CN109032347A - 一种基于眼电信号控制鼠标的方法 - Google Patents

一种基于眼电信号控制鼠标的方法 Download PDF

Info

Publication number
CN109032347A
CN109032347A CN201810733690.XA CN201810733690A CN109032347A CN 109032347 A CN109032347 A CN 109032347A CN 201810733690 A CN201810733690 A CN 201810733690A CN 109032347 A CN109032347 A CN 109032347A
Authority
CN
China
Prior art keywords
machine
electro
signal
data
ocular signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810733690.XA
Other languages
English (en)
Inventor
王文乐
伏云发
熊馨
李昭阳
陈睿
周洲洲
李玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201810733690.XA priority Critical patent/CN109032347A/zh
Publication of CN109032347A publication Critical patent/CN109032347A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于眼电信号控制鼠标的方法,本发明方法首先采集PC机Ⅱ的使用者的眼电信号数据,并将数据经过信号放大后输送至PC机Ⅰ中,PC机Ⅰ对数据进行预处理、特征提取、模式分类和波形检测;对数据预处理、特征提取、模式分类和波形检测后,PC机Ⅰ再将数据转换为鼠标控制命令,并传输至PC机Ⅱ中,完成利用操作者的眼电信号实现操作PC机Ⅱ;本发明方法为残疾人灵活操作电脑提供一种有效的途径,本发明方法分别采集了操作者的水平眼电和垂直眼电,相比传统方法只采集垂直眼电,增加了控制命令集的数量,有利于实现更多的控制功能,本发明方法控制精度高,灵活性好,为残疾人灵活操作电脑提供一种有效的途径。

Description

一种基于眼电信号控制鼠标的方法
技术领域
本发明涉及一种基于眼电信号控制鼠标的方法,属于信息技术领域。
背景技术
在信息化时代,基于脑电的BCI技术具有重要研究意义和广泛的应用领域。BCI技术可以直接利用人体脑电信号,通过外部的软硬件信息处理设备快速构建控制模型,形成控制指令,进而对外部物理设备进行控制,以达到人们想实现的行为目的。
该领域的相关技术可以为患有严重运动功能障碍的残疾人提供辅助运动控制,改善他们的生活质量;可以用于军事领域,提升单兵作战效能。根据脑电信息的相关研究进展表明,目前BCI技术已经广泛应用于认知科学、认知心理学、神经科学、心理生理学和生物医学等相关领域。根据最新的研究,脑电信号已用于新型人机接口—脑机交互领域,该项研究已经成为世界前沿科技人工智能领域中的研究热点之一。
鉴于部分残疾人由于种种原因失去双臂,甚至四肢全无,而无法与外界环境进行正常的沟通,严重影响其心理状态和对生活的积极性。
发明内容
本发明的目的在于提供一种基于眼电信号控制鼠标的方法,本发明方法通过把残疾人眼睛活动所产生的脑电信号数据进行处理,转换为控制命令,进而实现对计算机的控制,为残疾人灵活操作电脑提供一种有效的途径。
本发明的技术方案是:一种基于眼电信号控制鼠标的方法,具体步骤如下:
步骤(1):首先采集PC机Ⅱ的使用者的眼电信号数据,并将数据经过信号放大后输送至PC机Ⅰ中,PC机Ⅰ对数据进行预处理、特征提取、模式分类和波形检测;
步骤(2):步骤(1)的PC机Ⅰ对数据预处理、特征提取、模式分类和波形检测后,PC机Ⅰ再将数据转换为鼠标控制命令,并传输至PC机Ⅱ中,完成利用操作者的眼电信号实现操作PC机Ⅱ。
所述步骤(1)中,PC机Ⅰ对数据进行预处理、特征提取、模式分类和波形检测的具体过程如下:
PC机Ⅰ首先对采集到的眼电信号进行0.1~30Hz的带通滤波,消除基线漂移和去除高频噪声的影响,然后采用一阶差分运算进行特征提取,得到特征向量,最后采用支持向量机对得到的特征向量进行模式分类,并用10倍交叉验证进行分类精度评估,同时,对得到的特征向量进行波形检测,区分出不同眼部活动所产生的信号波形,眼睛向左和向右运动产生水平眼电,眼睛向上和向下产生垂直眼电。
步骤(1)信号放大采用信号放大器,且信号放大器与PC机Ⅰ之间的数据传输为无线传输。
步骤(1)采集使用者的眼电信号数据使用脑电信号采集仪。
步骤(2)PC机Ⅰ将鼠标控制命令传输至PC机Ⅱ中的传输为有线传输。
波形检测的目的是区分不同眼部活动所产生的信号波形,眼睛向左、向右、向上、向下和眨眼所产生的波形是不同的,眼睛向左和向右运动产生水平眼电,眼睛向上和向下产生垂直眼电。此外,眨眼和非眨眼所产生的垂直眼电波形,眨眼的情况下所产生的波形有明显和比较规律的波峰和波谷,波谷紧跟在波峰后面;而非眨眼的波峰和波谷不规律,有时波谷可能会出现在波峰的前面。对得到的特征向量同时进行SVM的模式分类和波形检测,目的是为了在两种数据处理情况下得到相同或相近的眼部活动分类结果,以便于区分假激活和不正确的眼部活动。
本发明数据处理过程基于MATLAB软件完成。
使用者操作计算机时,大脑皮层处于兴奋状态,此时可依据额区、颞区和中央区较明显的β波信号(14~30Hz)。此外,大脑属于觉醒并专注于某一事情时,常见一种频率比β波更高的γ波(30~80Hz),波幅范围不定。
本发明的有益效果是:
(1)本发明方法分别采集了操作者的水平眼电和垂直眼电,相比传统方法只采集垂直眼电,增加了控制命令集的数量,有利于实现更多的控制功能。
(2)本发明方法眼电信号数据处理和实际操作控制环节,分别采用2台PC机各自负责独立的任务,一是可以减少残疾人患者的实际操作工作量和不必要的任务,对于残疾人患者而言,其作为用户主要目的是实现对计算机的控制以进行更好的生活体验,因此尽量减少不必要的操作任务有利于其更专注于控制任务的实现;二是残疾人患者专注于在PC机Ⅱ中实现控制任务,没有其他操作任务的干扰,减少了有可能对眼电信号造成的干扰,有利于采集到更高质量的眼电信号。
(3)本发明信号放大器与PC机Ⅰ之间采用无线传输的方式,避免了有线连接时由于头部移动数据线拖拽造成的干扰,而PC机Ⅰ与PC机Ⅱ之间采用有线连接的方式,可以提高数据传输速率。
(4)本发明所需要采集的眼电信号通道数少,更加具有针对性,减少了多通道采集时其他不相关的脑电信号的影响,降低了脑电信号处理的难度和工作量,提高了数据处理精度。同时,少通道的脑电信号采集方式降低了残疾人由于配戴多通道脑电信号采集帽,而引起的不适感。
附图说明
图1为本发明的连接关系示意图;
图2为本发明采集人的脑电信号的位置示意图;
图中各标号为:1- PC机Ⅰ、2- PC机Ⅱ。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
实施例1:使用脑电信号采集仪采集PC机Ⅱ2的操作者残疾人的脑电信号,脑电信号采集仪包括脑电帽、信号放大器,其中脑电帽中嵌入电极,每个电极的信号传输线均与信号放大器连接,如图1所示,将PC机Ⅰ1与PC机Ⅱ2进行有线连接,信号放大器与PC机Ⅰ1之间通过无线连接进行无线传输;
本基于眼电信号控制鼠标的方法,具体操作步骤如下:
步骤(1):首先打开PC机Ⅱ2,然后使PC机Ⅱ2的操作者残疾人佩戴脑电帽,使用脑电帽中的电极采集PC机Ⅱ2的使用者的眼电信号数据,如图2所示,本发明主要采集和分析的脑电信号为:一是眼球运动同向凝视中枢,位于额叶的8区(FC1)和枕叶的19区(CP1);二是视觉皮质区,位于枕叶的距状裂上、下唇与楔叶;三是具有理解看到的符号和文字意义的功能的视觉语言中枢,位于顶下小叶的角回,39区(CPz)。四是左眼上、下睑的A和B电极测量眨眼以及眼睛上下运动所产生的眼电信号;眼内角和眼外角的C和D电极测量眼睛左右运动所产生的眼电信号。双耳后乳突处17区(A1)和18区(A2)作为参考电极和接地电极,FPz为额叶的参考电极,Cz为顶叶中央区域的参考电极,Oz为枕叶的参考电极,FPz、Cz、Oz便于对其他需要采集信号的电极进行定位,提供参考基准;
将采集的数据经过信号放大后通过无线输送至PC机Ⅰ(1)中,PC机Ⅰ(1)对数据进行预处理、特征提取、模式分类和波形检测,处理过程基于MATLAB平台完成,具体过程为:
PC机Ⅰ1首先对采集到的眼电信号进行0.1~30Hz的带通滤波,消除基线漂移和去除高频噪声的影响,然后采用一阶差分运算进行特征提取,得到特征向量,最后采用支持向量机对得到的特征向量进行模式分类,并用10倍交叉验证进行分类精度评估,同时,对得到的特征向量进行波形检测,区分出不同眼部活动所产生的信号波形,眼睛向左和向右运动产生水平眼电,眼睛向上和向下产生垂直眼电,本发明方法中眼电数据对应的电脑控制操作为:眼睛水平向左看:鼠标水平左移;眼睛水平向右看:鼠标水平右移;眼睛垂直向上看:鼠标垂直上移;眼睛垂直向下看:鼠标垂直下移;眼睛水平向前看:鼠标保持不动;快速眨眼一次:表示确定;快速眨眼两次:表示取消。
步骤(2):PC机Ⅰ1对数据预处理、特征提取、模式分类和波形检测完毕后,再将数据转换为鼠标控制命令,PC机Ⅰ1将鼠标控制命令传输至PC机Ⅱ2中,完成利用操作者的眼电信号实现操作PC机Ⅱ2。
以上结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种基于眼电信号控制鼠标的方法,其特征在于,具体步骤如下:
步骤(1):首先采集PC机Ⅱ(2)的使用者的眼电信号数据,并将数据经过信号放大后输送至PC机Ⅰ(1)中,PC机Ⅰ(1)对数据进行预处理、特征提取、模式分类和波形检测;
步骤(2):步骤(1)的PC机Ⅰ(1)对数据预处理、特征提取、模式分类和波形检测后,PC机Ⅰ(1)再将数据转换为鼠标控制命令,并传输至PC机Ⅱ(2)中,完成利用操作者的眼电信号实现操作PC机Ⅱ(2)。
2.根据权利要求1所述的基于眼电信号控制鼠标的方法,其特征在于:所述步骤(1)中,PC机Ⅰ(1)对数据进行预处理、特征提取、模式分类和波形检测的具体过程如下:
PC机Ⅰ(1)首先对采集到的眼电信号进行0.1~30Hz的带通滤波,消除基线漂移和去除高频噪声的影响,然后采用一阶差分运算进行特征提取,得到特征向量,最后采用支持向量机对得到的特征向量进行模式分类,并用10倍交叉验证进行分类精度评估,同时,对得到的特征向量进行波形检测,区分出不同眼部活动所产生的信号波形,眼睛向左和向右运动产生水平眼电,眼睛向上和向下产生垂直眼电。
3.根据权利要求1所述的基于眼电信号控制鼠标的方法,其特征在于:步骤(1)信号放大采用信号放大器,且信号放大器与PC机Ⅰ(1)之间的数据传输为无线传输。
4.根据权利要求1所述的基于眼电信号控制鼠标的方法,其特征在于:步骤(1)采集使用者的眼电信号数据使用脑电信号采集仪。
5.根据权利要求1所述的基于眼电信号控制鼠标的方法,其特征在于:步骤(2)PC机Ⅰ(1)将鼠标控制命令传输至PC机Ⅱ(2)中的传输为有线传输。
CN201810733690.XA 2018-07-06 2018-07-06 一种基于眼电信号控制鼠标的方法 Pending CN109032347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810733690.XA CN109032347A (zh) 2018-07-06 2018-07-06 一种基于眼电信号控制鼠标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810733690.XA CN109032347A (zh) 2018-07-06 2018-07-06 一种基于眼电信号控制鼠标的方法

Publications (1)

Publication Number Publication Date
CN109032347A true CN109032347A (zh) 2018-12-18

Family

ID=64641602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810733690.XA Pending CN109032347A (zh) 2018-07-06 2018-07-06 一种基于眼电信号控制鼠标的方法

Country Status (1)

Country Link
CN (1) CN109032347A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764532A (zh) * 2020-12-31 2021-05-07 北京信息科技大学 基于脑电眼电结合的键鼠控制系统及控制方法
CN112890834A (zh) * 2021-03-01 2021-06-04 福州大学 面向注意力识别的基于机器学习的眼电信号分类器
CN114970608A (zh) * 2022-05-06 2022-08-30 中国科学院自动化研究所 基于眼电信号的人机交互方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336580A (zh) * 2013-07-16 2013-10-02 卫荣杰 一种头戴装置的光标控制方法
CN105988603A (zh) * 2016-07-18 2016-10-05 河南理工大学 安全型眼电鼠标
CN205644443U (zh) * 2016-05-13 2016-10-12 河北工业大学 一种基于眼电的智能字符输入系统
CN106775023A (zh) * 2017-01-09 2017-05-31 成都信息工程大学 眼电信号采集方法及基于眼电信号控制的蓝牙鼠标系统
CN106940593A (zh) * 2017-02-20 2017-07-11 上海大学 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法
CN206370034U (zh) * 2017-01-09 2017-08-01 成都信息工程大学 基于眼电信号控制的蓝牙鼠标系统
CN107280663A (zh) * 2017-07-07 2017-10-24 南京邮电大学 一种基于不同实验难度的疲劳脑电特征研究的方法
CN107831900A (zh) * 2017-11-22 2018-03-23 中国地质大学(武汉) 一种眼控鼠标的人机交互方法及系统
CN108170279A (zh) * 2015-06-03 2018-06-15 塔普翊海(上海)智能科技有限公司 头显设备的眼动和头动交互方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336580A (zh) * 2013-07-16 2013-10-02 卫荣杰 一种头戴装置的光标控制方法
CN108170279A (zh) * 2015-06-03 2018-06-15 塔普翊海(上海)智能科技有限公司 头显设备的眼动和头动交互方法
CN205644443U (zh) * 2016-05-13 2016-10-12 河北工业大学 一种基于眼电的智能字符输入系统
CN105988603A (zh) * 2016-07-18 2016-10-05 河南理工大学 安全型眼电鼠标
CN106775023A (zh) * 2017-01-09 2017-05-31 成都信息工程大学 眼电信号采集方法及基于眼电信号控制的蓝牙鼠标系统
CN206370034U (zh) * 2017-01-09 2017-08-01 成都信息工程大学 基于眼电信号控制的蓝牙鼠标系统
CN106940593A (zh) * 2017-02-20 2017-07-11 上海大学 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法
CN107280663A (zh) * 2017-07-07 2017-10-24 南京邮电大学 一种基于不同实验难度的疲劳脑电特征研究的方法
CN107831900A (zh) * 2017-11-22 2018-03-23 中国地质大学(武汉) 一种眼控鼠标的人机交互方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何盛鸿: "基于EEG和EOG的异步人机接口及其应用", 《中国博士学位论文全文数据库 医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764532A (zh) * 2020-12-31 2021-05-07 北京信息科技大学 基于脑电眼电结合的键鼠控制系统及控制方法
CN112890834A (zh) * 2021-03-01 2021-06-04 福州大学 面向注意力识别的基于机器学习的眼电信号分类器
CN114970608A (zh) * 2022-05-06 2022-08-30 中国科学院自动化研究所 基于眼电信号的人机交互方法及系统
CN114970608B (zh) * 2022-05-06 2023-06-02 中国科学院自动化研究所 基于眼电信号的人机交互方法及系统

Similar Documents

Publication Publication Date Title
CN105997021B (zh) 穿戴式生理检测装置
CN109032347A (zh) 一种基于眼电信号控制鼠标的方法
CN111629653A (zh) 具有高速眼睛跟踪特征的大脑-计算机接口
WO2016045262A1 (zh) 脑电处理装置及方法和睡眠监测佩戴设备
CN107957783A (zh) 一种基于脑电与肌电信息的多模式智能控制系统及方法
KR102100120B1 (ko) 생체 신호를 모니터링하는 방법, 장치 및 컴퓨터 프로그램
CN109284004B (zh) 一种基于脑机接口的智能护理系统
US20210247843A1 (en) Smart control device for determining user's intention from color stimulus based on brain-computer interface and control method thereof
CN114786640A (zh) 智能控制装置及其控制方法和智能穿戴设备
CN116360600A (zh) 一种基于稳态视觉诱发电位的空间定位系统
CN114145755B (zh) 一种居家癫痫发作交互式智能监护系统及方法
KR101465878B1 (ko) 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치
Kelly et al. A comparison of covert and overt attention as a control option in a steady-state visual evoked potential-based brain computer interface
CN113546395A (zh) 一种智能化运动训练系统及训练方法
Ishii et al. Navigation of an electric wheelchair using electromyograms, electrooculograms, and electroencephalograms
CN116382481A (zh) 一种基于脑机接口技术的人机交互眼镜
Materka et al. High-speed noninvasive brain-computer interfaces
Sudarsanan et al. Controlling a robot using brain waves
CN106445140B (zh) 静视野自动识别的非注意事件相关电位脑-机接口方法
RU2661756C2 (ru) Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями
WO2021040206A1 (ko) 사용자 맞춤형 수면 관리 방법 및 시스템
Shen et al. An active and passive upper limb rehabilitation training system based on a hybrid brain–computer interface
CN107669416B (zh) 基于持续-轻快运动想象神经解码的轮椅系统及控制方法
CN110739042A (zh) 基于脑机接口的肢体运动康复方法、装置、存储介质及设备
CN104997507A (zh) 三位一体帽式智能监测预警系统及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218