CN103070682B - 基于眼电信号的眼动方向提取方法及提取装置 - Google Patents

基于眼电信号的眼动方向提取方法及提取装置 Download PDF

Info

Publication number
CN103070682B
CN103070682B CN201310008038.9A CN201310008038A CN103070682B CN 103070682 B CN103070682 B CN 103070682B CN 201310008038 A CN201310008038 A CN 201310008038A CN 103070682 B CN103070682 B CN 103070682B
Authority
CN
China
Prior art keywords
eye
mrow
signals
electrical signal
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310008038.9A
Other languages
English (en)
Other versions
CN103070682A (zh
Inventor
高小榕
郑敏敏
张罡
高上凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201310008038.9A priority Critical patent/CN103070682B/zh
Publication of CN103070682A publication Critical patent/CN103070682A/zh
Application granted granted Critical
Publication of CN103070682B publication Critical patent/CN103070682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种基于眼电信号的眼动方向提取方法及提取装置,该方法依次包括训练阶段a和测试阶段b;训练阶段a包括如下步骤:a1:设置电极;a2:开始采集眼电信号;a3:预处理;a4:平滑处理;a5:提取眼球运动方向的特征向量;a6:将不同方向的眼电信号投影到相同方向的特征向量;a7:对投影结果进行差分处理;a8:保存特征向量;测试阶段b包括如下步骤:b1:设置电极;b2:开始采集眼电信号;b3:预处理;b4:平滑处理;b5:将眼电信号投影到所述训练阶段a获得的眼球运动方向的特征向量;b6:对投影结果进行差分处理;b7:根据差分结果的最大幅值对应的眼电信号的正负分类识别得到待测者在测试阶段b的眼球运动方向。

Description

基于眼电信号的眼动方向提取方法及提取装置
技术领域
本发明涉及神经工程与信息学的交叉技术领域,特别涉及一种基于眼电信号的眼动方向提取方法及提取装置。
背景技术
传统的计算机系统以键盘和鼠标为主要的人-机交互设备,但是这些人-机交互设备无法满足肢体运动功能障碍者的需求。已有学者对无障碍人-机交互课题进行了广泛的研究,试图设计出一种不依赖肢体运动的人-机交互接口,并在此基础上设计出一套便于肢体运动功能障碍者使用的无障碍人-机交互系统。多年的研究发现,目前比较有应用前景的无障碍人-机交互方式主要有肌电控制、脑-机接口控制和眼动控制等。
在上述几种无障碍人-机交互方式中,眼动控制更易于为大部分肢体运动功能障碍者所接受。大部分肢体运动功能障碍者仍能够较自如地控制其眼球运动。如果将肢体运动功能障碍者的眼动信息提取出来并将其转化成控制命令来操纵计算机或其他辅助设备,则能更好地实现无障碍人-机交互。目前,眼动控制方法主要有搜索线圈法、眼电图法、红外线眼动图法、基于计算机图形学的方法以及影像追踪法。
人类肉眼的眼球运动或眨眼时产生的生理电信号称为眼电信号(EOG,Electro-oculogram)。人类肉眼产生的眼电信号可以被设置于眼睛周围的电极直接检测到。眼电信号具有幅度较强,且易于检测的特点,因此,如何利用眼电信号实现人-机交互成为该领域的焦点问题。
现在技术中,已经有一些眼电信号的提取方法。但是,这些方法大都利用眼电信号的幅值、持续时间、时间间隔或能量等特征参数,通过设置不同的检测阈值实现对眼电信号的提取。目前,还没有基于眼电信号的眼球运动方向的特征向量提取方法及装置。
发明内容
本发明的目的是提供一种基于眼电信号的眼动方向提取方法。
本发明的另一目的是提供一种基于眼电信号的眼动方向提取装置。
本发明提供的基于眼电信号的眼动方向提取装置包括:
采集模块,用于采集眼电信号,并用于记录采集眼电信号的时间;
放大器,用于将来自所述采集模块的眼电信号放大;
模数转换模块,用于将来自所述放大器的模拟眼电信号转换成数字眼电信号;和
处理模块,用于对来自模数转换模块的数字眼电信号进行预处理、平滑处理、特征向量提取、投影和差分处理;
所述采集模块、所述放大器、所述模数转换模块和所述处理模块依次电连接。
优选地,所述提取装置还包括计算机主机和显示器,所述计算机主机分别与所述显示器和所述处理模块电连接。
优选地,所述采集模块包括参考电极、接地电极和三个测试电极,其中所述三个测试电极用于采集眼电信号。
本发明提供的基于眼电信号的眼动方向提取方法采用所述的基于眼电信号的眼动方向提取装置,该方法依次包括训练阶段a和测试阶段b,将显示器的显示区域标记出上、下、左、右、左上、右上、左下和右下八个方向;
在训练阶段a,待测者的眼睛注视显示器,且待测者的眼球按照显示器显示的提示而运动;
训练阶段a包括如下步骤:
a1:在待测者的眼部周围设置三个测试电极,其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧,第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处;在待测者耳后乳突处设置参考电极,在待测者额头处设置接地电极;
a2:开启所述采集模块,所述三个测试电极开始采集待测者的眼电信号,通过所述计算机主机向所述采集模块发送并口同步信号,所述采集模块接收到并口同步信号后开始记录时间;
a3:所述采集模块采集的眼电信号依经放大器放大和模数转换模块转换为数字眼电信号后发送至所述处理模块,所述处理模块对数字眼电信号进行预处理;
a4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理,以去除干扰信号;
a5:所述处理模块通过主成分分析法从平滑处理后的眼电信号中提取眼球运动方向的特征向量;
a6:所述处理模块将平滑处理后的各个方向的眼电信号投影到与之方向相同的特征向量,得到各个方向的投影结果;
a7:所述处理模块对各个方向的投影结果进行差分处理并得到差分结果;
a8:统计差分结果的最大幅值对应的眼电信号的正负,如果最大幅值对应的正的眼电信号的数目大于负的眼电信号的数目,直接将眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中;如果最大幅值对应的正的眼电信号的数目小于负的眼电信号的数目,对眼球运动方向的特征向量进行反向处理,并将反向处理后的眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中;
在训练阶段b,待测者的眼睛注视显示器,显示器的所述八个方向上同时显示提示,待测者根据自己的意愿选择注视所述八个方向中任意一个方向的提示,从而使其眼球做出相应的运动;
测试阶段b包括如下步骤:
b1:在待测者的眼部周围设置三个测试电极,其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧,第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处;在待测者耳后乳突处设置参考电极,在待测者额头处设置接地电极;
b2:开启所述采集模块,所述三个测试电极开始采集待测者的眼电信号,通过所述计算机主机向所述采集模块发送并口同步信号,所述采集模块接收到并口同步信号后开始记录时间;
b3:所述采集模块采集的眼电信号依次经所述放大器放大和所述模数转换模块转换为数字眼电信号后发送至所述处理模块,所述处理模块对数字眼电信号进行预处理;
b4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理,以去除干扰信号;
b5:所述处理模块将平滑处理后的眼电信号投影到所述训练阶段a获得的眼球运动方向的特征向量,得出对应于不同眼球运动方向的特征向量的投影结果;
b6:所述处理模块对投影结果进行差分处理并找出差分结果的最大幅值对应的眼球运动方向的特征向量;
b7:根据差分结果的最大幅值对应的眼电信号的正负分类识别得到待测者在测试阶段b的眼球运动方向。
优选地,所述步骤a3和所述步骤b3的预处理进一步为:所述处理模块对数字眼电信号进行去基线处理。
优选地,所述步骤a4和所述步骤b4的平滑处理进一步包括如下子步骤:
根据预处理后的眼电信号设置结构元素;
所述第一测试电极和所述第二测试电极采集的眼电信号的差值为垂直眼电信号,所述第一测试电极和所述第二测试电极采集的眼电信号的平均值与所述第三测试电极采集的眼电信号的差值为水平眼电信号;
所述处理模块通过数学形态学方法对垂直眼电信号和水平眼电信号都依次进行开操作运算和闭操作运算,得到平滑处理后的眼电信号。
优选地,所述平滑处理的计算公式为:
Yi(m)=((XiοK)·K)(m);
公式中Xi为平滑处理前的水平眼电信号或者垂直眼电信号,其中i表示水平眼电信号和垂直眼电信号,且i=1,2;Yi,j为平滑处理后的眼电信号,其中j为方向,且j=1,2,3,4,5,6,7,8;K为延迟值长度的结构元素;m为平滑处理的眼电信号对应的时间点。
优选地,所述开操作的计算公式为:
所述闭操作的计算公式为:
( X i · K ) ( m ) = ( ( X i ⊕ K ) ΘK ) ( m ) ;
公式中Xi为平滑处理前的水平眼电信号或者垂直眼电信号,其中i为水平眼电信号和垂直眼电信号,且i=1,2;K为延迟值长度的结构元素;m为平滑处理的眼电信号对应的时间点。
优选地,所述步骤a5进一步包括如下子步骤:
所述处理模块通过主成分分析法根据平滑处理后的眼电信号得出不同眼球运动方向对应的特征矩阵;
所述处理模块提取特征矩阵的主分量得出不同眼球运动方向对应的特征向量。
优选地,所述步骤a6和b5的投影结果的计算公式为:
C j k = P j Y 1 , j k Y 2 , j k ;
公式中为投影结果,j=1,2,3,4,Pj为特征向量,k=1,2,…,q表示q个试次。
优选地,所述步骤a7和b6的差分处理的计算公式为:
D ( n ) = Σ m = 0 M - 1 Y ( n + m + M ) - Σ m = 0 M - 1 Y ( n + m ) ;
公式中D为差分处理结果;n为差分处理的眼电信号对应的时间点;m为平滑处理的眼电信号对应的时间点;M为差分处理的时间窗长度。
本发明具有如下有益效果:
(1)本发明提供的提取方法和提取装置能够基于眼电信号提取眼球运动方向的特征向量;
(2)所述提取方法和提取装置获得的眼球运动方向可以作为控制命令发送至计算机,从而实现向计算机的字符输入;
(3)所述提取方法和提取装置适于肢体运动功能障碍者使用,且适于肢体健全的正常人在矿井、航天器、水下等不方便用手操作的场合使用。
附图说明
图1为本发明的基于眼电信号的眼动方向提取装置的示意图;
图2为采集模块的电极设置的示意图;
图3为显示器上显示区域内八个方向的标记示意图;
图4为本发明的基于眼电信号的眼动方向提取方法的训练阶段的流程图;
图5为本发明的基于眼电信号的眼动方向提取方法的测试阶段的流程图。
具体实施方式
下面结合附图和实施例对本发明的发明内容作进一步的详细描述。
本实施例提供的基于眼电信号的眼动方向提取装置包括采集模块、放大器、模数转换模块、处理模块、计算机主机和显示器,如图1所示。采集模块、放大器、模数转换模块和处理模块依次电连接。计算机主机分别与显示器和处理模块电连接。
采集模块用于采集眼电信号,并用于记录采集眼电信号的时间。放大器用于将来自采集模块的眼电信号放大。模数转换模块用于将来自放大器的模拟眼电信号转换成数字眼电信号。处理模块用于对来自模数转换模块的数字眼电信号进行预处理、平滑处理、特征向量提取、投影和差分处理。采集模块包括参考电极、接地电极和三个测试电极,其中该三个测试电极用于采集眼电信号。在本实施例中,采集模块采集眼电信号的频率例如为1kHz。
本实施例提供的基于眼电信号的眼动方向提取方法采用上述基于眼电信号的眼动方向提取装置,该方法依次包括训练阶段a和测试阶段b。如图3所示,将显示器的显示区域标记出上、下、左、右、左上、右上、左下和右下八个方向。在本实施例中,将显示器的例如光标移动区域标记出上、下、左、右、左上、右上、左下和右下八个方向。
在训练阶段a,待测者的眼睛注视显示器,且待测者的眼球按照显示器显示的提示例如光标的移动而运动。如图4所示,训练阶段a包括如下步骤:
a1:在待测者的眼部周围设置三个测试电极,其中第一测试电极E1和第二测试电极E2分别设置于待测者的同一眼睛例如左眼的上、下侧,第三测试电极E3设置于待测者的与第一测试电极E1和第二测试电极E2同侧或异侧眼睛即左眼或右眼的外眼角处,如图2所示;在待测者耳后乳突处设置参考电极E4,在待测者额头处设置接地电极E5;
a2:开启采集模块,测试电极E1、E2和E3开始采集待测者的眼电信号,通过计算机主机向采集模块发送并口同步信号,采集模块接收到并口同步信号后开始记录时间;
a3:采集模块采集的眼电信号依次经放大器放大和模数转换模块转换为数字眼电信号后发送至处理模块,处理模块对数字眼电信号进行预处理;
a4:处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理,以去除干扰信号;
a5:处理模块通过主成分分析法从平滑处理后的眼电信号中提取眼球运动方向的特征向量;
a6:所述处理模块将平滑处理后的各个方向的眼电信号投影到与之方向相同的特征向量,得到各个方向的投影结果;
a7:所述处理模块对各个方向的投影结果进行差分处理并得到差分结果;
a8:统计差分结果的最大幅值对应的眼电信号的正负,如果最大幅值对应的正的眼电信号的数目大于负的眼电信号的数目,直接将眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中;如果最大幅值对应的正的眼电信号的数目小于负的眼电信号的数目,对眼球运动方向的特征向量进行反向处理,并将反向处理后的眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中。
步骤a3的预处理进一步为:处理模块对数字眼电信号进行去基线处理。
步骤a4的平滑处理进一步包括如下子步骤:
a41:根据预处理后的眼电信号中设置结构元素;
a42:第一测试电极E1和第二测试电极E2采集的眼电信号的差值为垂直眼电信号,第一测试电极E1和第二测试电极E2采集的眼电信号的平均值与第三测试电极E3采集的眼电信号的差值为水平眼电信号;
a43:处理模块通过数学形态学方法对垂直眼电信号和水平眼电信号都依次进行开操作运算和闭操作运算,得到平滑处理后的眼电信号。
结构元素为一维向量,根据预处理后的眼电信号的特征波形的形状设定结构元素。
在本实施例中,第一测试电极E1采集的眼电信号例如为O1,第二测试电极E2采集的眼电信号例如为O2,第三测试电极E3采集的眼电信号例如为O3,则垂直眼电信号为X1=O1-O2,水平眼电信号为X2=O3-(O1+O2)/2。
步骤a4的平滑处理的计算公式为:
Yi(m)=((XiοK)·K)(m),     公式(1)
公式(1)中Xi表示平滑处理前的水平眼电信号或者垂直眼电信号,其中i表示水平眼电信号和垂直眼电信号,且i=1,2;Yi,j表示平滑处理后的眼电信号,其中j表示方向,且j=1,2,3,4,5,6,7,8;K表示延迟值长度的结构元素;m表示平滑处理的眼电信号对应的时间点。
在本实施例中,开操作运算定义为对水平眼电信号或者垂直眼电信号先进行腐蚀运算,再进行膨胀运算。子步骤a43的开操作的计算公式为:
      公式(2)
在本实施例中,闭操作运算定义为对水平眼电信号或者垂直眼电信号先进行膨胀运算,再进行腐蚀运算。子步骤a43的闭操作的计算公式为:
( X i · K ) ( m ) = ( ( X i ⊕ K ) ΘK ) ( m ) .        公式(3)
步骤a5进一步包括如下子步骤:
a51:处理模块通过主成分分析法根据平滑处理后的眼电信号得出不同眼球运动方向对应的特征矩阵;
a52:处理模块提取特征矩阵的主分量得出不同眼球运动方向对应的特征向量。
在本实施例中,j=1,2,3,4例如分别表示右、右上、上、左上四个方向,(Y1,1;Y2,1)、(Y1,2;Y2,2)、(Y1,3;Y2,3)和(Y1,4;Y2,4)分别表示与该四个方向对应的眼电信号。通过主成分分析法由公式(2)可得到对应上述四个方向的特征矩阵为Uj(j=1,2,3,4),该特征矩阵满足如下公式:
Y 1 , j Y 2 , j Y 1 , j Y 2 , j T = U j Λ j 1 2 V j T ,      公式(4)
公式(4)中,j=1,2,3,4,∧表示对角矩阵;VT表示正交矩阵。
一般情况下,眼电信号的主要特征集中在上述特征矩阵的主分量即第一分量中。因此,提取上述四个特征矩阵的主分量作为不同眼球运动方向对应的特征向量。
步骤a6的投影结果的计算公式为:
C j k = P j Y 1 , j k Y 2 , j k        公式(5)
公式(5)中,表示投影结果,j=1,2,3,4,Pj表示特征向量,k=1,2,…,q表示q个试次(trial)。
步骤a7的差分处理的计算公式为:
D ( n ) = Σ m = 0 M - 1 C j k ( n + m + M ) - Σ m = 0 M - 1 C j k ( n + m ) ;      公式(6)
公式(6)中,D表示差分结果;n表示差分处理的眼电信号对应的时间点;m为平滑处理的眼电信号对应的时间点;M表示差分处理的时间窗长度。差分处理的时间窗长度一般根据差分处理的特征向量波形的持续时间设定。
步骤a8的反向处理进一步为取特征向量Pj的相反数,即取Pj=-Pj
步骤a8中,眼电信号为正,表示该眼电信号为上升沿,最大幅值对应的正的眼电信号的数目即上升沿的数目;眼电信号为负,表示该眼电信号为下降沿,最大幅值对应的负的眼电信号的数目即下降沿的数目。在本实施例中,眼电信号为正仅仅表示眼电信号的数值大于0;眼电信号为负仅仅表示眼电信号的数值小于0。
在训练阶段b,待测者的眼睛注视显示器,显示器的上述八个方向上同时显示提示例如光标运动,待测者根据自己的意愿选择注视上述八个方向中的任意一个方向的提示,从而使待测者的眼球做出相应的运动。
如图5所示,测试阶段b包括如下步骤:
b1:在待测者的眼部周围设置三个测试电极,其中第一测试电极E1和第二测试电极E2分别设置于待测者的同一眼睛例如左眼的上、下侧,第三测试电极E3设置于待测者的与第一测试电极E1和第二测试电极E2同侧或异侧眼睛左眼或右眼的外眼角处,如图2所示;在待测者耳后乳突处设置参考电极E4,在待测者额头处设置接地电极E5;
b2:开启采集模块,测试电极E1、E2和E3开始采集待测者的眼电信号,通过计算机主机向采集模块发送并口同步信号,采集模块接收到并口同步信号后开始记录时间;
b3:采集模块采集的眼电信号依次经放大器放大和模数转换模块转换为数字眼电信号后发送至处理模块,处理模块对数字眼电信号进行预处理;
b4:处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理,以去除干扰信号;
b5:处理模块将平滑处理后的眼电信号投影到训练阶段a获得的眼球运动方向的特征向量,得出对应于不同眼球运动方向的特征向量的投影结果;
b6:所述处理模块对投影结果进行差分处理并找出差分结果的最大幅值对应的眼球运动方向的特征向量;
b7:根据差分结果的最大幅值对应的眼电信号的正负分类识别得到待测者在测试阶段b的眼球运动方向。
步骤b7获得的眼球运动方向可以作为控制命令由处理模块发送至计算机主机,从而实现向计算机的字符输入。
步骤b3的预处理进一步为:处理模块对数字眼电信号进行去基线处理。
步骤b4的平滑处理进一步包括如下子步骤:
b41:根据预处理后的眼电信号设置结构元素;
b42:第一测试电极E1和第二测试电极E2采集的眼电信号的差值为垂直眼电信号,第一测试电极E1和第二测试电极E2采集的眼电信号的平均值与第三测试电极E3采集的眼电信号的差值为水平眼电信号;
b43:处理模块通过数学形态学方法对垂直眼电信号和水平眼电信号都依次进行开操作运算和闭操作运算,得到平滑处理后的眼电信号。
测试阶段b的结构元素的设置与训练阶段a相同。
测试阶段b的垂直眼电信号和水平眼电信号的采集方式与训练阶段a相同。
测试阶段b的平滑处理的计算公式、开操作运算公式和闭操作运算公式都与训练阶段a相同。
测试阶段b的投影结果计算公式和差分处理公式都与训练阶段a相同。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (7)

1.基于眼电信号的眼动方向提取方法,该方法采用基于眼电信号的眼动方向提取装置,所述基于眼电信号的眼动方向提取装置包括:采集模块,用于采集眼电信号,并用于记录采集眼电信号的时间;放大器,用于将来自所述采集模块的眼电信号放大;模数转换模块,用于将来自所述放大器的模拟眼电信号转换成数字眼电信号;和处理模块,用于对来自模数转换模块的数字眼电信号进行预处理、平滑处理、特征向量提取、投影和差分处理;所述采集模块、所述放大器、所述模数转换模块和所述处理模块依次电连接,其特征在于,该方法依次包括训练阶段a和测试阶段b,将显示器的显示区域标记出上、下、左、右、左上、右上、左下和右下八个方向;
在训练阶段a,待测者的眼睛注视显示器,且待测者的眼球按照显示器显示的提示而运动;
训练阶段a包括如下步骤:
a1:在待测者的眼部周围设置三个测试电极,其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧,第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处;在待测者耳后乳突处设置参考电极,在待测者额头处设置接地电极;
a2:开启所述采集模块,所述三个测试电极开始采集待测者的眼电信号,通过所述计算机主机向所述采集模块发送并口同步信号,所述采集模块接收到并口同步信号后开始记录时间;
a3:所述采集模块采集的眼电信号依次经放大器放大和模数转换模块转换为数字眼电信号后发送至所述处理模块,所述处理模块对数字眼电信号进行预处理;
a4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理,以去除干扰信号;
a5:所述处理模块通过主成分分析法从平滑处理后的眼电信号中提取眼球运动方向的特征向量;
a6:所述处理模块将平滑处理后的各个方向的眼电信号投影到与之方向相同的特征向量,得到各个方向的投影结果;
a7:所述处理模块对各个方向的投影结果进行差分处理并得到差分结果;
a8:统计差分结果的最大幅值对应的眼电信号的正负,如果最大幅值对应的正的眼电信号的数目大于负的眼电信号的数目,直接将眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中;如果最大幅值对应的正的眼电信号的数目小于负的眼电信号的数目,对眼球运动方向的特征向量进行反向处理,并将反向处理后的眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中;
在训练阶段b,待测者的眼睛注视显示器,显示器的所述八个方向上同时显示提示,待测者根据自己的意愿选择注视所述八个方向中任意一个方向的提示,从而使其眼球做出相应的运动;
测试阶段b包括如下步骤:
b1:在待测者的眼部周围设置三个测试电极,其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧,第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处;在待测者耳后乳突处设置参考电极,在待测者额头处设置接地电极;
b2:开启所述采集模块,所述三个测试电极开始采集待测者的眼电信号,通过所述计算机主机向所述采集模块发送并口同步信号,所述采集模块接收到并口同步信号后开始记录时间;
b3:所述采集模块采集的眼电信号依次经所述放大器放大和所述模数转换模块转换为数字眼电信号后发送至所述处理模块,所述处理模块对数字眼电信号进行预处理;
b4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理,以去除干扰信号;
b5:所述处理模块将平滑处理后的眼电信号投影到所述训练阶段a获得的眼球运动方向的特征向量,得出对应于不同眼球运动方向的特征向量的投影结果;
b6:所述处理模块对投影结果进行差分处理并找出差分结果的最大幅值对应的眼球运动方向的特征向量;
b7:根据差分结果的最大幅值对应的眼电信号的正负分类识别得到待测者在测试阶段b的眼球运动方向。
2.根据权利要求1所述基于眼电信号的眼动方向提取方法,其特征在于,所述步骤a3和所述步骤b3的预处理进一步为:所述处理模块对数字眼电信号进行去基线处理。
3.根据权利要求1所述的基于眼电信号的眼动方向提取方法,其特征在于,所述步骤a4和所述步骤b4的平滑处理进一步包括如下子步骤:
根据预处理后的眼电信号设置结构元素;
所述第一测试电极和所述第二测试电极采集的眼电信号的差值为垂直眼电信号,所述第一测试电极和所述第二测试电极采集的眼电信号的平均值与所述第三测试电极采集的眼电信号的差值为水平眼电信号;
所述处理模块通过数学形态学方法对垂直眼电信号和水平眼电信号都依次进行开操作运算和闭操作运算,得到平滑处理后的眼电信号。
4.根据权利要求3所述的基于眼电信号的眼动方向提取方法,其特征在于,所述平滑处理的计算公式为:
Yi(m)=((XiοK)·K)(m);
公式中Xi为平滑处理前的水平眼电信号或者垂直眼电信号,其中i表示水平眼电信号和垂直眼电信号,且i=1,2;Yi,j为平滑处理后的眼电信号,其中j为方向,且j=1,2,3,4,5,6,7,8;K为延迟值长度的结构元
素;m为平滑处理的眼电信号对应的时间点;其中,
5.根据权利要求1所述的基于眼电信号的眼动方向提取方法,其特征在于,所述步骤a5进一步包括如下子步骤:
所述处理模块通过主成分分析法根据平滑处理后的眼电信号得出不同眼球运动方向对应的特征矩阵;
所述处理模块提取特征矩阵的主分量得出不同眼球运动方向对应的特征向量。
6.根据权利要求4所述的基于眼电信号的眼动方向提取方法,其特征在于,所述步骤a6和b5的投影结果的计算公式为:
C j k = P j Y 1 , j k Y 2 , j k ;
公式中为投影结果,j=1,2,3,4,Pj为眼球运动方向的特征向量,k=1,2,…,q表示q个试次。
7.根据权利要求4所述的基于眼电信号的眼动方向提取方法,其特征在于,所述步骤a7和b6的差分处理的计算公式为:
D ( n ) = Σ m = 0 M - 1 Y ( n + m + M ) - Σ m = 0 M - 1 Y ( n + m ) ;
公式中D为差分处理结果;n为差分处理的眼电信号对应的时间点;m为平滑处理的眼电信号对应的时间点;M为差分处理的时间窗长度。
CN201310008038.9A 2013-01-09 2013-01-09 基于眼电信号的眼动方向提取方法及提取装置 Active CN103070682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310008038.9A CN103070682B (zh) 2013-01-09 2013-01-09 基于眼电信号的眼动方向提取方法及提取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310008038.9A CN103070682B (zh) 2013-01-09 2013-01-09 基于眼电信号的眼动方向提取方法及提取装置

Publications (2)

Publication Number Publication Date
CN103070682A CN103070682A (zh) 2013-05-01
CN103070682B true CN103070682B (zh) 2014-10-22

Family

ID=48147537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310008038.9A Active CN103070682B (zh) 2013-01-09 2013-01-09 基于眼电信号的眼动方向提取方法及提取装置

Country Status (1)

Country Link
CN (1) CN103070682B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104776869B (zh) * 2014-01-10 2019-01-22 深圳迈瑞生物医疗电子股份有限公司 一种光信号的解调方法、装置
CN105700677A (zh) * 2015-12-29 2016-06-22 努比亚技术有限公司 一种移动终端及其控制方法
CN105904459A (zh) * 2016-05-19 2016-08-31 南京邮电大学 基于眼电信号识别的机器人控制系统及该系统的设计方法
CN108175547A (zh) * 2018-01-30 2018-06-19 浙江省公众信息产业有限公司 人工假体的控制方法、装置及计算机可读存储介质
CN109144238B (zh) * 2018-05-14 2021-09-28 孙佳楠 一种基于眼电编码的人机交互系统及其交互方法
CN109684725A (zh) * 2018-12-25 2019-04-26 贵州大学 一种基于视觉认知理论的产品形态优化设计方法
CN110166645A (zh) * 2019-05-23 2019-08-23 上海理工大学 一种基于眼电信号控制的呼叫服务系统
CN114970608B (zh) * 2022-05-06 2023-06-02 中国科学院自动化研究所 基于眼电信号的人机交互方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0468340A2 (en) * 1990-07-24 1992-01-29 BioControl Systems, Inc. Eye directed controller
US5293187A (en) * 1992-02-05 1994-03-08 Biocontrol Systems, Inc. Method and apparatus for eye tracking for convergence and strabismus measurement
CN101599127A (zh) * 2009-06-26 2009-12-09 安徽大学 眼电信号的特征提取与识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0468340A2 (en) * 1990-07-24 1992-01-29 BioControl Systems, Inc. Eye directed controller
US5293187A (en) * 1992-02-05 1994-03-08 Biocontrol Systems, Inc. Method and apparatus for eye tracking for convergence and strabismus measurement
CN101599127A (zh) * 2009-06-26 2009-12-09 安徽大学 眼电信号的特征提取与识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于眼电和稳态视觉诱发电位分析的目光跟踪方法;郭琛 高小榕;《中国生物医学工程学报》;20120630;第31卷(第3期);382-387 *
郭琛 高小榕.基于眼电和稳态视觉诱发电位分析的目光跟踪方法.《中国生物医学工程学报》.2012,第31卷(第3期),382-387.

Also Published As

Publication number Publication date
CN103070682A (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
CN103070682B (zh) 基于眼电信号的眼动方向提取方法及提取装置
Fang et al. A multichannel surface EMG system for hand motion recognition
Chaudhary et al. Convolutional neural network based approach towards motor imagery tasks EEG signals classification
CN101599127B (zh) 眼电信号的特征提取与识别方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN106963372B (zh) 一种脑电-肌电信号融合装置及融合方法
Lotte Generating artificial EEG signals to reduce BCI calibration time
CN107885327A (zh) 一种基于Kinect深度信息的指尖检测方法
CN107122050B (zh) 基于csfl-gdbn的稳态运动视觉诱发电位脑-机接口方法
CN107411738A (zh) 一种基于静息脑电相似性的情绪跨个体识别方法
Ghani et al. GazePointer: A real time mouse pointer control implementation based on eye gaze tracking
CN108958620A (zh) 一种基于前臂表面肌电的虚拟键盘设计方法
CN107480716A (zh) 一种结合eog和视频的扫视信号识别方法及系统
Wu et al. Appearance-based gaze block estimation via CNN classification
CN109144238A (zh) 一种基于眼电编码的人机交互系统及其交互方法
Prince et al. Brain machine interface using Emotiv EPOC to control robai cyton robotic arm
CN111783719A (zh) 一种肌电控制方法及装置
CN106843509B (zh) 一种脑机接口系统
Zheng et al. Classification of motor imagery electrocorticogram signals for brain-computer interface
CN113312994A (zh) 一种手势分类识别方法及其应用
CN110751060A (zh) 一种基于多源信号的便携式运动模式实时识别系统
CN105816171A (zh) 心冲击伪迹信号提取装置及方法
CN106020453B (zh) 一种基于灰色理论的脑-机接口方法
CN114098768B (zh) 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法
Dong et al. An EOG signals recognition method based on improved threshold dual tree complex wavelet transform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant