CN101968715A - 一种基于脑机接口鼠标控制的因特网浏览方法 - Google Patents
一种基于脑机接口鼠标控制的因特网浏览方法 Download PDFInfo
- Publication number
- CN101968715A CN101968715A CN2010105095688A CN201010509568A CN101968715A CN 101968715 A CN101968715 A CN 101968715A CN 2010105095688 A CN2010105095688 A CN 2010105095688A CN 201010509568 A CN201010509568 A CN 201010509568A CN 101968715 A CN101968715 A CN 101968715A
- Authority
- CN
- China
- Prior art keywords
- target
- mouse
- interface
- brain
- browser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 210000004556 brain Anatomy 0.000 title claims description 14
- 230000000694 effects Effects 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 37
- 210000004761 scalp Anatomy 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 12
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 101100155204 Mus musculus Ubl5 gene Proteins 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 claims description 3
- 101100460719 Mus musculus Noto gene Proteins 0.000 claims description 3
- 238000004070 electrodeposition Methods 0.000 claims description 3
- 102000057593 human F8 Human genes 0.000 claims description 3
- 229940047431 recombinate Drugs 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000007830 nerve conduction Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于脑机接口鼠标控制的因特网浏览方法，首先系统初始化，然后基于运动想象和P300脑电电位控制鼠标在浏览器界面内移动至目标区域，如果目标是文本输入类目标，则界面切换为P300文本输入界面，使用P300信号检测实现文字输入，待文字输入完毕后返回浏览器界面，并将文本输入结果写入所选择的文本输入框，如果目标不是文本输入类目标则通过运动想象和P300脑电电位信息判断是否点击目标，是则点击目标打开新的界面，否则继续在界面内移动。本发明具有控制速度快、精度高、效果好、工作稳定、可实现连续控制的优点，可在由于外界或自身因素无法移动身体或计算机鼠标情况下使用。
Description
技术领域
本发明涉及脑机接口领域，尤其是一种基于脑机接口鼠标控制的因特网浏览方法。
背景技术
脑机接口(brain computer interface，BCI)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道，它不依赖于脑的正常生理输出通路(外周神经系统及肌肉组织)，是一种全新的人机接口方式，是近年来脑功能研究的热点课题。目前存在着侵入式与非侵入式两大类脑机接口技术。侵入式脑机接口所获得的信号精度相对较高，信噪比高，易于分析处理，但需要对使用者进行开颅手术，不便于长时间的信号采集，且容易对使用者的脑部造成感染或损伤，危险性较大。非侵入式脑机接口虽然其获取的脑信号噪声大，信号特征的可区分性差，但同时它的信号相对容易获取，不会对使用者脑部造成伤害，而且随着信号处理方法和技术的不断进步，对头皮脑电(electroencephalogram，EEG)的处理已经能够达到一定的水平，使脑机接口进入实际生活应用成为可能。因此，目前的研究焦点多放在非侵入式脑机接口技术上。
使用脑机接口技术进行因特网浏览器的开发为我们提供了另一种与外界交流的途径，它无需经过常规的神经肌肉控制，在一些特殊情况下(如飞行员、宇航员等由于重力等其他因素无法移动身体)提供了另一种输出的方法。同时在我们生活中存在着一部分患有肌萎缩性侧索硬化(amyotrophic lateral sclerosis，ALS)、脑干中风等的病人，他们可能处于严重或完全瘫痪状态，只能向外界发出很少的如眨眼、呼吸等信号，无法通过正常的神经传导、肌肉运动与外界环境进行信息交流，而他们最需要的恰恰是交流。万维网(world wide web，WWW)作为当今人类最开阔的交流平台，如果能够让这一类人群在这个平台上进行交流，将会从很大程度上改善他们的生活质量。
目前针对脑机接口浏览方法的研究主要分为两大类，一类是按字母顺序列出当前页面所包含的所有可用超级链接并在单独的区域中显示出来，使用SCP(slow cortical potential，大脑皮层慢电位)作为控制信号，对所有超级链接进行二叉树编码选择。该类技术的缺点是：须单独列出所有超级链接，需要独立的显示界面或者需要在界面之间反复切换。而单独列出的超级链接使得超级链接与其上下文环境脱离，可能导致使用者难以辨别其链接目标的含义，特别是当页面上存在相同名称的超级链接时将无法对其进行区分。另外页面中包含的图片链接也无法恰当的显示出来。同时使用者选择目标超级链接的时间会随链接数量线性增加。另外该类方法使用SCP作为控制信号，信息传输率较低。另一类是直接修改标准浏览器，在标准浏览器每个可用链接周围以不同颜色的边框进行显示，不单独提供链接列表，同样使用SCP信号进行二叉树方式的离散目标链接选择，并提供虚拟键盘进行文字输入。该类方法的缺点是：因为采用离散选择机制，在每次激活链接后须按预设的时间等待使用者阅读页面内容，不够灵活。另外同样采用SCP作为控制信号，存在信息传输率低的问题。
因此，需要发明一种可实现连续控制且控制时间短的基于脑机接口鼠标控制的因特网浏览方法。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于脑机接口鼠标控制的因特网浏览方法，该方法既可实现连续控制且控制时间相对较短。
本发明提供了一种基于脑机接口鼠标控制的因特网浏览方法，首先系统初始化，然后基于运动想象和P300脑电电位控制鼠标在浏览器界面内移动至目标区域，如果目标是文本输入类目标，则界面切换为P300文本输入界面，使用P300信号检测实现文字输入，待文字输入完毕后返回浏览器界面，并将文本输入结果写入所选择的文本输入框，如果目标不是文本输入类目标则通过运动想象和P300脑电电位信息判断是否点击目标，是则点击目标打开新的界面，否则继续在界面内移动。
具体包括以下步骤：
(1)系统初始化：使用者戴上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后打入导电胶并确定导电性良好；打开浏览器，系统自动提取当前载入页面中所有可激活的目标对象，保存其类型、位置、目标链接等信息，并直接对这些目标的选择范围进行放大，同时自动捕捉屏幕鼠标的位置，当鼠标移动到目标的可选范围内时显示其整个可选范围；
(2)鼠标二维移动：使用者在浏览器中发现感兴趣的目标后通过浏览器四周的P300键和进行运动想象产生头皮脑电信号，电极帽采集头皮脑电信号后传给计算机，计算机根据头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息特征不同，分别进行预处理、特征提取和分类，得到鼠标的水平和垂直位移信息，然后根据位移信息控制鼠标在浏览器上二维连续移动，直到鼠标移动至目标区域；
(3)目标类型判断：待鼠标移动至目标区域后，判断目标是否是文本输入类目标，如果是的话进入步骤(4)，否则进入步骤(5)；
(4)文本输入：界面切换为P300文本输入界面，在输入文本时，每输入一个字符，整个界面上的字符按钮重复闪烁n遍，在每遍闪烁中，界面上的每个字符按钮按照随机顺序各闪烁1次；计算机对采集到的头皮脑电信号进行带通滤波，然后将对应于每个字符按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样(即每6个采样点选取一个)，将对应于每个字符按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有字符按钮闪烁对应的特征向量进行分类，最后确定使用者想要输入的字符；待文本输入完毕后，返回浏览器界面并将文本输入结果写入所选择的文本输入框中；
(5)鼠标点击：使用者在通过脑机接口设备使浏览器上的鼠标到达目标后，执行相应的运动想象和P300视觉刺激任务，然后脑机接口设备将产生的脑电信号传至计算机，计算机对脑电信号中包含的P300信息和运动想象ERD/ERS信息分别同时进行数据处理和分析，最后根据分析结果判断是选择还是拒绝该目标，选择的话即打开新的界面，拒绝的话则返回步骤(2)，重新移动鼠标。
所述步骤(1)中，当对可激活目标的选择范围进行放大后，对出现目标范围重叠的现象进行如下处理：
(1-1)如果之前鼠标不在任何一个目标区域内，则从鼠标当前所在的所有目标区域中选择一个中心点离鼠标当前位置最近的，作为鼠标当前进入的目标；否则进入步骤(1-2)；
(1-2)判断当前鼠标所在的目标区域中是否有前一次判断时所在的区域，如果有，则鼠标继续处于此区域中；否则，认为鼠标之前不在任何一个目标区域内，按步骤(1-1)处理。
所述步骤(2)中，计算机对头皮脑电信号中包含的P300信息预处理方法为低通滤波，特征提取是以选择的电极的信号幅值作为特征，分类算法为支持向量机(support vector machine，SVM)算法；计算机对头皮脑电信号中包含的运动想象ERD/ERS信息预处理方法为对信号进行降采样和CAR滤波，特征提取是以采用共同空域模式提取的空间投影后的信号方差作为特征，分类算法为支持向量机算法。
所述步骤(4)中，P300文本输入界面包括一个文本显示框和50个P300闪烁键。
所述步骤(4)中，每输入一个字符重复闪烁次数n根据不同的受试者进行不同的设定。
所述步骤(2)和(5)中的P300界面是在浏览器的四周有8个P300闪烁键，其中上面有三个“UP”键，指示向上运动，下面有三个“DOWN”键，指示向下运动，左右各有一个“STOP”键，指示选择目标操作；在系统启动后，使用者通过注视P300闪烁键和进行左右手运动想象来控制鼠标向目标移动和实现鼠标点击。
所述步骤(5)中的运动想象和P300视觉刺激任务具体是指如果使用者对目标感兴趣，那么使用者停止进行任何有关运动想象活动，并注视浏览器界面上P300闪烁键中的“STOP”键；如果使用者对目标不感兴趣，那么使用者进行左手或右手的运动想象活动，并不注视工作界面上任何P300闪烁键。
所述步骤(5)中对于脑电信号中的运动想象信息，首先进行带通滤波，提取共同空域模式特征，然后按照共同空域模式特征中的值按照从大到小的顺序进行重组；对于脑电信号中的P300信息，首先进行带通滤波，然后提取P300波形特征；最后将这两组特征串连成一个向量，组合成新的联合特征；然后应用支持向量机分类算法对所获得的新的联合特征进行分析，如果特征中不存在运动想象活动且“STOP”键上有P300峰，则判断此目标为使用者所感兴趣的并对其进行选择；如果特征中存在运动想象活动且“STOP”键上没有出现P300峰，则判断此目标为使用者不感兴趣的并拒绝此目标。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明将运动想象和P300这两种独立的信号进行结合应用于脑机接口领域，能够解决当前基于非鼠标控制的浏览器无法浏览复杂内容页面的问题，且无需单独列出浏览器界面上所有的超级链接，控制速度和精度都有很大的提高。另外实现了连续控制，无需在每次激活链接后按预设的时间等待使用者阅读页面内容，使用灵活。
2、本发明将运动想象和P300这两种独立的信号进行结合应用于脑机接口领域，实现了光标的二维控制，使得使用者可以控制光标在二维平面从任意一点运动到任意的另外一点，并且是连续控制。
3、本发明将运动想象和P300这两种独立的信号进行结合应用于脑机接口领域，采用它们的特征组合具有明显的优势：一方面可以提高检测成功率，另一方面可以减少检测时间，从而可快速准确的实现光标的功能键选择。
附图说明
图1是本发明实现的流程示意图；
图2是本发明中P300文本输入界面示意图；
图3是本发明中浏览器界面示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本发明提供了一种基于脑机接口鼠标控制的因特网浏览方法，首先系统初始化，然后基于运动想象和P300脑电电位控制鼠标在浏览器界面内移动至目标区域，如果目标是文本输入类目标，则界面切换为P300文本输入界面，使用P300信号检测实现文字输入，待文字输入完毕后返回浏览器界面，并将文本输入结果写入所选择的文本输入框，如果目标不是文本输入类目标则通过运动想象和P300脑电电位信息判断是否点击目标，是则点击目标打开新的界面，否则继续在界面内移动。
具体包括以下步骤：
(1)系统初始化：使用者戴上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后打入导电胶并确定导电性良好；打开浏览器，系统自动提取当前载入页面中所有可激活的目标对象，保存其类型、位置、目标链接等信息，并直接对这些目标的选择范围进行放大，同时自动捕捉屏幕鼠标的位置，当鼠标移动到目标的可选范围内时显示其整个可选范围；
(2)鼠标二维移动：使用者在浏览器中发现感兴趣的目标后通过浏览器四周的P300键和进行运动想象产生头皮脑电信号，电极帽采集头皮脑电信号后传给计算机，计算机根据头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息特征不同，分别进行预处理、特征提取和分类，得到鼠标的水平和垂直位移信息，然后根据位移信息控制鼠标在浏览器上二维连续移动，直到鼠标移动至目标区域；
(3)目标类型判断：待鼠标移动至目标区域后，判断目标是否是文本输入类目标，如果是的话进入步骤(4)，否则进入步骤(5)；
(4)文本输入：界面切换为P300文本输入界面，在输入文本时，每输入一个字符，整个界面上的字符按钮重复闪烁n遍，在每遍闪烁中，界面上的每个字符按钮按照随机顺序各闪烁1次；计算机对采集到的头皮脑电信号进行带通滤波，然后将对应于每个字符按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样(即每6个采样点选取一个)，将对应于每个字符按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有字符按钮闪烁对应的特征向量进行分类，最后确定使用者想要输入的字符；待文本输入完毕后，返回浏览器界面并将文本输入结果写入所选择的文本输入框中；
(5)鼠标点击：使用者在通过脑机接口设备使浏览器上的鼠标到达目标后，执行相应的运动想象和P300视觉刺激任务，然后脑机接口设备将产生的脑电信号传至计算机，计算机对脑电信号中包含的P300信息和运动想象ERD/ERS信息分别同时进行数据处理和分析，最后根据分析结果判断是选择还是拒绝该目标，选择的话即打开新的界面，拒绝的话则返回步骤(2)，重新移动鼠标。
所述步骤(1)中，当对可激活目标的选择范围进行放大后，对出现目标范围重叠的现象进行如下处理：
(1-1)如果之前鼠标不在任何一个目标区域内，则从鼠标当前所在的所有目标区域中选择一个中心点离鼠标当前位置最近的，作为鼠标当前进入的目标；否则进入步骤(1-2)；
(1-2)判断当前鼠标所在的目标区域中是否有前一次判断时所在的区域，如果有，则鼠标继续处于此区域中；否则，认为鼠标之前不在任何一个目标区域内，按步骤(1-1)处理。
所述步骤(2)中，计算机对头皮脑电信号中包含的P300信息预处理方法为低通滤波，特征提取是以选择的电极的信号幅值作为特征，分类算法为支持向量机算法；计算机对头皮脑电信号中包含的运动想象ERD/ERS信息预处理方法为对信号进行降采样和CAR滤波，特征提取是以采用共同空域模式提取的空间投影后的信号方差作为特征，分类算法为支持向量机算法。
如图2所示，所述步骤(4)中，P300文本输入界面包括一个文本显示框和50个P300闪烁键。
所述步骤(4)中，每输入一个字符重复闪烁次数n根据不同的受试者进行不同的设定。
如图3所示，所述步骤(2)和(5)中的P300界面是在浏览器的四周有8个P300闪烁键，其中上面有三个“UP”键，指示向上运动，下面有三个“DOWN”键，指示向下运动，左右各有一个“STOP”键，指示选择目标操作；在系统启动后，使用者通过注视P300闪烁键和进行左右手运动想象来控制鼠标向目标移动和实现鼠标点击。
所述步骤(5)中的运动想象和P300视觉刺激任务具体是指如果使用者对目标感兴趣，那么使用者停止进行任何有关运动想象活动，并注视浏览器界面上P300闪烁键中的“STOP”键；如果使用者对目标不感兴趣，那么使用者进行左手或右手的运动想象活动，并不注视工作界面上任何P300闪烁键。所述步骤(5)中对于脑电信号中的运动想象信息，首先进行带通滤波，提取共同空域模式特征，然后按照共同空域模式特征中的值按照从大到小的顺序进行重组；对于脑电信号中的P300信息，首先进行带通滤波，然后提取P300波形特征；最后将这两组特征串连成一个向量，组合成新的联合特征；然后应用支持向量机分类算法对所获得的新的联合特征进行分析，如果特征中不存在运动想象活动且“STOP”键上有P300峰，则判断此目标为使用者所感兴趣的并对其进行选择；如果特征中存在运动想象活动且“STOP”键上没有出现P300峰，则判断此目标为使用者不感兴趣的并拒绝此目标。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.一种基于脑机接口鼠标控制的因特网浏览方法，其特征在于，首先系统初始化，然后基于运动想象和P300脑电电位控制鼠标在浏览器界面内移动至目标区域，如果目标是文本输入类目标，则界面切换为P300文本输入界面，使用P300信号检测实现文字输入，待文字输入完毕后返回浏览器界面，并将文本输入结果写入所选择的文本输入框，如果目标不是文本输入类目标则通过运动想象和P300脑电电位信息判断是否点击目标，是则点击目标打开新的界面，否则继续在界面内移动。
2.根据权利要求1所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于步骤具体如下：
(1)系统初始化：使用者戴上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后打入导电胶并确定导电性良好；打开浏览器，系统自动提取当前载入页面中所有可激活的目标对象，保存其类型、位置、目标链接的信息，并直接对这些目标的选择范围进行放大，同时自动捕捉屏幕鼠标的位置，当鼠标移动到目标的可选范围内时显示其整个可选范围；
(2)鼠标二维移动：使用者在浏览器中发现感兴趣的目标后通过浏览器四周的P300键和进行运动想象产生头皮脑电信号，电极帽采集头皮脑电信号后传给计算机，计算机根据头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息特征不同，分别进行预处理、特征提取和分类，得到鼠标的水平和垂直位移信息，然后根据位移信息控制鼠标在浏览器上二维连续移动，直到鼠标移动至目标区域；
(3)目标类型判断：待鼠标移动至目标区域后，判断目标是否是文本输入类目标，如果是的话进入步骤(4)，否则进入步骤(5)；
(4)文本输入：界面切换为P300文本输入界面，在输入文本时，每输入一个字符，整个界面上的字符按钮重复闪烁n遍，在每遍闪烁中，界面上的每个字符按钮按照随机顺序各闪烁1次；计算机对采集到的头皮脑电信号进行带通滤波，然后将对应于每个字符按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样，将对应于每个字符按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有字符按钮闪烁对应的特征向量进行分类，最后确定使用者想要输入的字符；待文本输入完毕后，返回浏览器界面并将文本输入结果写入所选择的文本输入框中；
(5)鼠标点击：使用者在通过脑机接口设备使浏览器上的鼠标到达目标后，执行相应的运动想象和P300视觉刺激任务，然后脑机接口设备将产生的脑电信号传至计算机，计算机对脑电信号中包含的P300信息和运动想象ERD/ERS信息分别同时进行数据处理和分析，最后根据分析结果判断是选择还是拒绝该目标，选择的话即打开新的界面，拒绝的话则返回步骤(2)，重新移动鼠标。
3.根据权利要求2所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于，所述步骤(1)中，当对可激活目标的选择范围进行放大后，对出现目标范围重叠的现象进行如下处理：
(1-1)如果之前鼠标不在任何一个目标区域内，则从鼠标当前所在的所有目标区域中选择一个中心点离鼠标当前位置最近的，作为鼠标当前进入的目标；否则进入步骤(1-2)；
(1-2)判断当前鼠标所在的目标区域中是否有前一次判断时所在的区域，如果有，则鼠标继续处于此区域中；否则，认为鼠标之前不在任何一个目标区域内，按步骤(1-1)处理。
4.根据权利要求2所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于，所述步骤(2)中，计算机对头皮脑电信号中包含的P300信息预处理方法为低通滤波，特征提取是以选择的电极的信号幅值作为特征，分类算法为支持向量机算法；计算机对头皮脑电信号中包含的运动想象ERD/ERS信息预处理方法为对信号进行降采样和CAR滤波，特征提取是以采用共同空域模式提取的空间投影后的信号方差作为特征，分类算法为支持向量机算法。
5.根据权利要求2所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于，所述步骤(4)中，P300文本输入界面包括一个文本显示框和50个P300闪烁键。
6.根据权利要求2所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于，所述步骤(4)中，每输入一个字符重复闪烁次数n根据不同的受试者进行不同的设定。
7.根据权利要求2所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于，所述步骤(2)和(5)中的P300界面是在浏览器的四周有8个P300闪烁键，其中上面有三个“UP”键，指示向上运动，下面有三个“DOWN”键，指示向下运动，左右各有一个“STOP”键，指示选择目标操作；在系统启动后，使用者通过注视P300闪烁键和进行左右手运动想象来控制鼠标向目标移动和实现鼠标点击。
8.根据权利要求2所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于，所述步骤(5)中的运动想象和P300视觉刺激任务具体是指如果使用者对目标感兴趣，那么使用者停止进行任何有关运动想象活动，并注视浏览器界面上P300闪烁键中的“STOP”键；如果使用者对目标不感兴趣，那么使用者进行左手或右手的运动想象活动，并不注视工作界面上任何P300闪烁键。
9.根据权利要求2所述的基于脑机接口鼠标控制的因特网浏览方法，其特征在于，所述步骤(5)中对于脑电信号中的运动想象信息，首先进行带通滤波，提取共同空域模式特征，然后按照共同空域模式特征中的值按照从大到小的顺序进行重组；对于脑电信号中的P300信息，首先进行带通滤波，然后提取P300波形特征；最后将这两组特征串连成一个向量，组合成新的联合特征；然后应用支持向量机分类算法对所获得的新的联合特征进行分析，如果特征中不存在运动想象活动且“STOP”键上有P300峰，则判断此目标为使用者所感兴趣的并对其进行选择；如果特征中存在运动想象活动且“STOP”键上没有出现P300峰，则判断此目标为使用者不感兴趣的并拒绝此目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105095688A CN101968715B (zh) | 2010-10-15 | 2010-10-15 | 一种基于脑机接口鼠标控制的因特网浏览方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105095688A CN101968715B (zh) | 2010-10-15 | 2010-10-15 | 一种基于脑机接口鼠标控制的因特网浏览方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101968715A true CN101968715A (zh) | 2011-02-09 |
| CN101968715B CN101968715B (zh) | 2012-10-31 |
Family
ID=43547877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105095688A Active CN101968715B (zh) | 2010-10-15 | 2010-10-15 | 一种基于脑机接口鼠标控制的因特网浏览方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101968715B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129307A (zh) * | 2011-03-10 | 2011-07-20 | 电子科技大学 | 一种基于眼电信号的计算机输入控制方法 |
| CN102323771A (zh) * | 2011-07-14 | 2012-01-18 | 华南理工大学 | 基于脑机接口的车模控制装置 |
| CN102331782A (zh) * | 2011-07-13 | 2012-01-25 | 华南理工大学 | 一种多模态脑机接口的自动车控制方法 |
| CN103150023A (zh) * | 2013-04-01 | 2013-06-12 | 北京理工大学 | 一种基于脑机接口的光标控制系统及方法 |
| CN103383629A (zh) * | 2013-06-27 | 2013-11-06 | 广州市动景计算机科技有限公司 | 一种基于html5的输入方法及装置 |
| CN103543836A (zh) * | 2013-10-28 | 2014-01-29 | 哈尔滨工业大学 | 基于脑机接口全自动控制网页浏览方法 |
| CN103677264A (zh) * | 2013-12-03 | 2014-03-26 | 华南理工大学 | 一种基于脑机接口资源管理器的操作方法 |
| CN103699216A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 |
| CN103699217A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法 |
| CN103995583A (zh) * | 2014-04-28 | 2014-08-20 | 三星半导体(中国)研究开发有限公司 | 实现针对p300成分的脑机接口界面的设备及其方法 |
| CN105446158A (zh) * | 2015-12-31 | 2016-03-30 | 华南理工大学 | 一种基于多模态脑机接口的智能家电控制护理装置及方法 |
| CN107209552A (zh) * | 2014-09-02 | 2017-09-26 | 托比股份公司 | 基于凝视的文本输入系统和方法 |
| CN107329571A (zh) * | 2017-06-29 | 2017-11-07 | 华南理工大学 | 一种面向虚拟现实应用的多通道自适应脑机交互方法 |
| CN107340863A (zh) * | 2017-06-29 | 2017-11-10 | 华南理工大学 | 一种基于emg的交互方法 |
| WO2019001360A1 (zh) * | 2017-06-29 | 2019-01-03 | 华南理工大学 | 一种基于视觉刺激的人机交互方法 |
| CN109388763A (zh) * | 2017-08-08 | 2019-02-26 | 北京国双科技有限公司 | 网页文本内容显示方法和装置 |
| CN114020158A (zh) * | 2021-11-26 | 2022-02-08 | 清华大学 | 网页搜索方法及装置、电子设备和存储介质 |
| CN115618086A (zh) * | 2022-12-05 | 2023-01-17 | 北京永洪商智科技有限公司 | 一种基于网页进行划词分析的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
| CN101571747A (zh) * | 2009-06-12 | 2009-11-04 | 天津大学 | 多模式脑电控制的智能打字的实现方法 |
-
2010
- 2010-10-15 CN CN2010105095688A patent/CN101968715B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
| CN101571747A (zh) * | 2009-06-12 | 2009-11-04 | 天津大学 | 多模式脑电控制的智能打字的实现方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129307B (zh) * | 2011-03-10 | 2014-05-21 | 电子科技大学 | 一种基于眼电信号的计算机输入控制方法 |
| CN102129307A (zh) * | 2011-03-10 | 2011-07-20 | 电子科技大学 | 一种基于眼电信号的计算机输入控制方法 |
| CN102331782A (zh) * | 2011-07-13 | 2012-01-25 | 华南理工大学 | 一种多模态脑机接口的自动车控制方法 |
| CN102331782B (zh) * | 2011-07-13 | 2013-05-22 | 华南理工大学 | 一种多模态脑机接口的自动车控制方法 |
| CN102323771A (zh) * | 2011-07-14 | 2012-01-18 | 华南理工大学 | 基于脑机接口的车模控制装置 |
| CN103150023A (zh) * | 2013-04-01 | 2013-06-12 | 北京理工大学 | 一种基于脑机接口的光标控制系统及方法 |
| CN103150023B (zh) * | 2013-04-01 | 2016-02-10 | 北京理工大学 | 一种基于脑机接口的光标控制系统及方法 |
| CN103383629A (zh) * | 2013-06-27 | 2013-11-06 | 广州市动景计算机科技有限公司 | 一种基于html5的输入方法及装置 |
| CN103383629B (zh) * | 2013-06-27 | 2017-05-31 | 广州爱九游信息技术有限公司 | 一种基于html5的输入方法及装置 |
| CN103543836A (zh) * | 2013-10-28 | 2014-01-29 | 哈尔滨工业大学 | 基于脑机接口全自动控制网页浏览方法 |
| CN103699217A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法 |
| CN103699216A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 |
| CN103699216B (zh) * | 2013-11-18 | 2016-08-17 | 南昌大学 | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 |
| CN103677264A (zh) * | 2013-12-03 | 2014-03-26 | 华南理工大学 | 一种基于脑机接口资源管理器的操作方法 |
| CN103995583A (zh) * | 2014-04-28 | 2014-08-20 | 三星半导体(中国)研究开发有限公司 | 实现针对p300成分的脑机接口界面的设备及其方法 |
| CN107209552A (zh) * | 2014-09-02 | 2017-09-26 | 托比股份公司 | 基于凝视的文本输入系统和方法 |
| CN107209552B (zh) * | 2014-09-02 | 2020-10-27 | 托比股份公司 | 基于凝视的文本输入系统和方法 |
| CN105446158A (zh) * | 2015-12-31 | 2016-03-30 | 华南理工大学 | 一种基于多模态脑机接口的智能家电控制护理装置及方法 |
| CN107340863A (zh) * | 2017-06-29 | 2017-11-10 | 华南理工大学 | 一种基于emg的交互方法 |
| CN107329571B (zh) * | 2017-06-29 | 2018-08-31 | 华南理工大学 | 一种面向虚拟现实应用的多通道自适应脑机交互方法 |
| WO2019001360A1 (zh) * | 2017-06-29 | 2019-01-03 | 华南理工大学 | 一种基于视觉刺激的人机交互方法 |
| CN107340863B (zh) * | 2017-06-29 | 2019-12-03 | 华南理工大学 | 一种基于emg的交互方法 |
| CN107329571A (zh) * | 2017-06-29 | 2017-11-07 | 华南理工大学 | 一种面向虚拟现实应用的多通道自适应脑机交互方法 |
| US10838496B2 (en) | 2017-06-29 | 2020-11-17 | South China University Of Technology | Human-machine interaction method based on visual stimulation |
| CN109388763A (zh) * | 2017-08-08 | 2019-02-26 | 北京国双科技有限公司 | 网页文本内容显示方法和装置 |
| CN114020158A (zh) * | 2021-11-26 | 2022-02-08 | 清华大学 | 网页搜索方法及装置、电子设备和存储介质 |
| CN115618086A (zh) * | 2022-12-05 | 2023-01-17 | 北京永洪商智科技有限公司 | 一种基于网页进行划词分析的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101968715B (zh) | 2012-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101968715B (zh) | 一种基于脑机接口鼠标控制的因特网浏览方法 | |
| JP6431119B2 (ja) | 携帯式端末設備における摺接操作による入力補助制御のシステム及び方法 | |
| US10838496B2 (en) | Human-machine interaction method based on visual stimulation | |
| CN103034427B (zh) | 一种触摸屏翻页方法、装置及一种触摸屏设备 | |
| CN104504390B (zh) | 一种基于眼动数据的网上用户状态识别方法和装置 | |
| Yu et al. | Surfing the internet with a BCI mouse | |
| CN102402369B (zh) | 电子设备及其操作提示标识移动方法 | |
| CN104035677B (zh) | 提示信息的显示方法和装置 | |
| CN106814854A (zh) | 一种防止误操作的方法及装置 | |
| CN101980106B (zh) | 一种脑机接口的二维光标控制方法及装置 | |
| Zhang et al. | Recognizing hand gestures with pressure-sensor-based motion sensing | |
| Menges et al. | Improving user experience of eye tracking-based interaction: Introspecting and adapting interfaces | |
| DE202005021427U1 (de) | Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung | |
| DE102011117012A1 (de) | Erfassung von gleitbewegungen von mehreren fingern unter verwendung von fingerabdrücken zur erzeugung verschiedener ereignisse | |
| CN101976115A (zh) | 一种基于运动想象与p300脑电电位的功能键选择方法 | |
| CN102945078A (zh) | 人机交互设备及人机交互方法 | |
| CN103631941A (zh) | 基于脑电的目标图像检索系统 | |
| CN103543836A (zh) | 基于脑机接口全自动控制网页浏览方法 | |
| CN103186268A (zh) | 手写输入方法及系统 | |
| Yu et al. | A Hybrid Brain‐Computer Interface‐Based Mail Client | |
| Putze et al. | Intervention-free selection using EEG and eye tracking | |
| CN105955644A (zh) | 截屏方法及移动终端 | |
| CN102467237A (zh) | 一种由非接触式手势动作实现鼠标功能的装置及其方法 | |
| CN103677264A (zh) | 一种基于脑机接口资源管理器的操作方法 | |
| CN104077119B (zh) | 页面对比方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190711 Address after: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Co-patentee after: Guangzhou South China University of Technology Asset Management Co., Ltd. Patentee after: Li Yuanqing Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Patentee before: South China University of Technology |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190812 Address after: 510670 Room 201, Building 72, Nanxiang Second Road, Huangpu District, Guangzhou City, Guangdong Province Patentee after: South China Brain Control (Guangdong) Intelligent Technology Co., Ltd. Address before: 510640 Tianhe District, Guangdong, No. five road, No. 381, Co-patentee before: Guangzhou South China University of Technology Asset Management Co., Ltd. Patentee before: Li Yuanqing |