CN102968072A - 基于校正/训练的眼电控制系统和方法 - Google Patents
基于校正/训练的眼电控制系统和方法 Download PDFInfo
- Publication number
- CN102968072A CN102968072A CN201210447005XA CN201210447005A CN102968072A CN 102968072 A CN102968072 A CN 102968072A CN 201210447005X A CN201210447005X A CN 201210447005XA CN 201210447005 A CN201210447005 A CN 201210447005A CN 102968072 A CN102968072 A CN 102968072A
- Authority
- CN
- China
- Prior art keywords
- signal
- electro
- eye
- training
- electrode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及一种基于校正/训练的眼电控制系统和方法。本系统包括眼电信号采集与放大系统、眼电信号处理系统和智能系统。采集与放大系统的传感器放置于眼睛周围，其输出连接到信号处理系统；信号处理系统与智能控制系统之间通过无线传输的方式相连接。具体工作过程为：采集与放大系统通过眼电传感器获取眼电信号，进行增益放大、滤波；信号处理系统提取眼电信号特征，将之与校正训练模式下保存的眼姿势特征参数进行匹配分析，判断眼姿势类型,无线发送命令编码至智能控制系统。智能控制系统输出控制信号实现对受控设备的控制，本发明测量精度高、鲁棒性好、操作简单，可以帮助提高肢残人士的独立生活能力；还可用于危险或条件苛刻的特殊工作场合。
Description
技术领域
本发明属于生物医学工程、信息学、控制工程等多学科交叉的领域，更具体地说是一种基于校正/训练的眼电控制系统和方法。
背景技术
传统的人机交互设备（键盘、鼠标、手写板、触摸屏等）无法满足许多残疾人与外界交互的正常需求。于是，科学家研究各种生物电（脑电、肌电、眼电等）的采集、处理和控制系统来实现多模态的无障碍人机交互，以期帮助残疾人与外界顺利沟通、提高他们独立生活的能力。在此背景下，出现了眼电控制系统。
1849年，Du Bois-Reymond等人发现，人眼的运动与人体皮肤表面电极电势之间存在着关系。这种电势关系由眼睛的角膜与视网膜不断地重复极化与去极化过程产生的电势差引起，称为角膜-视网膜电势（Corneal-Retinal Potential, CRP）。此电势产生的电流由视网膜一侧不断流向角膜一侧，故而形成一个角膜端为正极、视网膜端为负极的电场。其电势大小在几十μV至几mV之间，频率在0～100Hz之间。当眼球运动时，角膜与视网膜之间的电势差会随眼球的运动而不断变化，该电势差即是眼电信号（electro-oculogram, EOG）。眼电信号随眼球运动而不断变化：眼球左右运动，产生水平眼电信号；眼球上下运动，产生垂直眼电信号。将皮肤电极分别放在眼睛的内外眦部皮肤表面上，通过记录两个电极间的电势差变化可以获得眼电信号，继而通过眼电信号处理和控制来实现人机交互。
专利CN 200910117156.7是基于眼电信号的人机交互系统。该系统采用单极导联方式来采集眼电信号，信号幅值较低，且容易受各种干扰影响，采集精度不高。另外，不同人的眼球运动状态和各种眼姿势的特征值会有细微的差别，这种差别在一定程度上会影响用户使用眼电进行交互控制的精度和准确度。所以，为了提高眼电控制系统的鲁棒性和可靠性，需要增加用户自我校正训练环节。
发明内容
本发明的目的在于针对已有技术存在的缺陷，提供一种基于校正/训练的眼电控制系统和方法，提高了用眼电进行交互控制的鲁棒性、可靠性和应用精度。
为达到上述目的，本发明采用如下技术方案：
一种基于校正/训练的眼电控制系统，包括眼电信号采集与放大系统、眼电信号处理系统和智能控制系统。其特征在于所述采集与放大系统的传感器放置于眼睛周围，其输出连接到信号处理系统；信号处理系统与智能控制系统之间通过无线传输的方式相连接。具体工作过程为：采集与放大系统通过眼电传感器获取眼电信号，进行增益放大、滤波；信号处理系统提取眼电信号特征，将之与校正训练模式下保存的眼姿势特征参数进行匹配分析，判断眼姿势类型,无线发送命令编码至智能控制系统。智能控制系统输出控制信号实现对受控设备的控制。
所述的眼电信号采集与放大系统包括：双导联电极传感器和信号滤波与增益放大单元。所述的双导联电极传感器包括：电极A、电极B、电极C、电极D和电极E，其中:电极A作为接地电极，置于前额中央位置处；电极B与电极C共同用于记录垂直通道上的眼电信号，电极B置于右侧眼睑中央直线上方，距瞳孔约30mm处，电极C置于右侧眼睑中央直线下方，距瞳孔约30mm处；电极D与电极E共同用于记录水平通道上的眼电信号，置于眼球双外毗部的水平线上，电极D距右眼外毗部约20mm处，电极E置于左眼外毗部约20mm处。
所述的信号滤波与增益放大单元包括：依次连接的无源高通滤波器、电压跟随器、放大器、低通滤波器以及右腿驱动单元。
所述无源高通滤波器与双导联电极传感器的输出端相连，对双导联电极传感器输出的水平/垂直眼电信号进行高通滤波，高通滤波的截止频率为0.159Hz。所述电压跟随器的输入端与无源高通滤波器的输出端相连，其输出端既与放大器的输入端相连，又与右腿驱动单元的输入端相连。所述放大器为二级放大器，其中：前级放大倍数为200，后级放大倍数为10。所述低通滤波器的输入端与放大器的输出端相连，对增益放大后的眼电信号进行低通滤波，低通滤波截止频率为38Hz。低通滤波器的输出端与信号处理系统中的A/D模数转换器的模拟信号输入端相连。所述右腿驱动单元的输入端与电压跟随器的输出端相连，其输出端与信号处理系统中的A/D模数转换器的参考信号输入端相连。
所述眼电信号处理系统包括A/D模数转换器、微处理器模块、无线发送模块和液晶显示屏。A/D模数转换器的输入端与所述低通滤波器的输出端相连；将模拟眼电信号转换成数字信号，输出到与其相连的微处理器。在正常工作模式下，微处理器模块对接收的数字眼电信号进行在线特征提取、模式识别，实时判断出操作者的眼姿势；并对识别出的不同眼姿势进行相应的命令编码，经无线发送模块传输至智能控制系统。在校正训练模式下,微处理器控制与其相连的液晶显示屏,显示用户校正/训练所需要的图形与文字。
所述的不同眼姿势是指眼睛的不同运动状态，包括眼睛在上、下、左、右方向的扫视、有意眨眼、凝视等动作。
所述智能控制系统包括依次相连的无线接收模块、带D/A转换功能的微控制器和具体的受控设备。所述具体的受控设备包括智能轮椅、功能简单的小型电子设备等。所述无线接收模块接收信号处理系统无线发送的命令编码，传输至微控制器；微控制器完成命令解码和D/A数模转换，输出控制信号或模拟驱动信号，控制具体的受控设备完成相应动作。
一种基于校正/训练的眼电控制方法，采用上述系统进行眼电控制，具有如下操作步骤：
1） 系统初始化；
2） 工作模式选择；
3） 眼电信号采集与滤波；
4） 眼电信号处理；
5） 产生控制/驱动信号。
所述步骤1）系统初始化是指系统上电后，逐一完成各器件的初始化工作，包括微处理器、A/D模数转换器的初始化、液晶显示屏的初始化、带D/A数模转换功能的微控制器的初始化以及无线发送模块和无线接收模块的初始化。
所述步骤2）中的工作模式包括校正训练模式和正常工作模式。当系统通电启动后，微处理器完成初始化工作，控制液晶显示屏显示选择菜单：“是否进入校正训练模式？”操作者按下“是”按钮选择“校正训练模式”，按下“否”按钮选择“正常工作模式”。进入校正训练模式后，微处理器控制液晶显示屏显示校正训练的界面，供操作者训练使用。
所述校正训练模式：规定操作者从液晶屏的中心区域开始，按照显示界面上标注的数字顺序轨迹转动眼睛，具体操作步骤如下：
在此过程中，采集与放大系统采集上述眼睛运动时的眼电信号，对其进行滤波和增益放大，信号处理系统分析、辨识这些眼姿势并将对应的特征参数保存到微处理器自带的存储器中。如有必要，微处理器也可以外接容量更大的存储器。当各种眼姿势特征参数保存完毕，显示屏显示问询信息：“是否要继续训练？” 按下“是”按钮，重复上述步骤；按下“否”按钮，退出校正训练模式，自动进入正常工作模式。
所述正常工作模式：操作者不需要按照显示屏上设定好的眼动轨迹来转动眼睛，而是从实际控制需要出发，转动眼睛来完成相应的控制动作。
所述步骤4）眼电信号处理包括对眼电信号进行预处理、特征提取、模式识别和命令编码。
所述预处理：对眼电信号进行数字滤波及归一化处理；
所述特征提取从眼电信号中提取信号的特征序列，包括时域特征和频域特征；所述时域特征包括信号幅值和持续时间；所述频域特征包括信号频率和信号功率谱。
所述模式识别：将特征提取单元输出的眼电信号特征与校正训练阶段保存在微处理器内存中的各眼姿势的特征参数进行模板匹配，从输入的眼电信号特征来判断用户的实际眼姿势（eye gestures），即用户实际的眼睛运动模式，包括眼睛上下左右的扫视（saccade）模式、眨眼(blink)模式、凝视(fixation)模式。
所述命令编码：将识别出的眼姿势模式用一组二进制代码来表示，例如眼睛向左扫视，用八位二进制码11110001表示，眼睛向右扫视用11110010表示。
所述步骤5）智能控制系统产生控制/驱动信号的具体流程如下：
与现有技术相比，本发明具有如下显而易见的突出实质性优点和显著技术进步：
1. 本发明保证了多用户操作模式下的系统控制精度和可靠性：由于不同用户的眼电特征是略有不同的。当有多个用户需操作使用本发明所述眼电控制系统时，本发明中的用户自我校正训练模块，可以让用户在正式操作应用本发明所述系统时提取并储存用户自己的眼电特征，供后续正式应用系统时作参考标准。本发明具有高可靠性、强鲁棒性优点。
2. 本发明测量精度高：本发明使用双极导联方式采集眼电信号，所获得的眼电信号幅值要高于同等条件下单极导联方式采集到的眼电信号，更易与噪声区别，使得后续眼电信号处理相对更容易；另一方面，本发明所述眼电信号放大与采集模块中，集成了放大器、信号滤波器、右腿驱动电路，提高了系统的抗干扰能力，保证了对眼电信号的准确采集。
3. 本发明应用性较强：在诸多领域都有很大的应用潜力，它不仅可以帮助肢残人士与周围环境的交互，用户可以通过眼睛的运动来操控环境中的某些电子设备，如计算机、小家电、智能轮椅等。同时还可以用于正常人不便用手操作的场合或者某些高风险、高难度的工作区域，如矿井、航天器、营救手术、深水下等条件苛刻或狭窄的环境中。
4. 本发明识别效率高：本发明采用微处理器在线处理眼电信号，克服了传统批处理算法识别效率不高的缺点，实现了对眼电信号逐个样本点操作，实时获取操作者眼部动作，大大提高了系统的识别效率。
5. 本发明提供了一种新型的人机交互方式：利用人体自身的眼电信号，通过对眼动模式的检测和编码设计，增强了眼动控制简单伺服机构的能力。
6. 本发明操作简单方便：人性化用户接口界面的设计，使得用户可以很快适应整个操作规程。
附图说明
图1为本发明一种带校正训练模式的眼电控制系统的结构框图。
图2为本发明的双导联五电极接线示意图。
图3为本发明的眼电信号采集与放大系统的结构示意图。
图4为本发明的信号处理系统的结构示意图。
图5为本发明的智能控制系统的结构示意图。
图6为本发明的系统工作流程图。
图7为本发明的校正训练模式的示意图。
图8为本发明的信号处理流程图。
具体实施方式
本发明的优选实施例结合附图说明如下：
实施例一：
参见图1，本基于校正/训练的眼电控制系统，包括眼电信号采集与放大系统(1)、眼电信号处理系统(2)和智能控制系统(3)，其特征在于所述采集与放大系统(1)的传感器放置于眼睛周围，其输出连接到信号处理系统（2）；信号处理系统（2）与智能控制系统（3）之间通过无线传输的方式相连接。具体工作过程为：采集与放大系统通过眼电传感器获取眼电信号，进行增益放大、滤波；信号处理系统提取眼电信号特征，将之与校正训练模式下保存的眼姿势特征参数进行匹配分析，判断眼姿势类型,无线发送命令编码至智能控制系统。智能控制系统输出控制信号实现对受控设备的控制。
实施例二：
参见图1~图5，本实施例与实施例一基本相同，特别之处如下：
所述眼电信号采集与放大系统（1）由一个双导联电极传感器（4）连接一个信号滤波与增益放大单元构成；所述的双导联电极传感器（4）包括：电极A、电极B、电极C、电极D和电极E，其中:电极A作为接地电极，置于前额中央位置处；电极B与电极C共同用于记录垂直通道上的眼电信号，电极B置于右侧眼睑中央直线上方，电极C置于右侧眼睑中央直线下方；电极D与电极E共同用于记录水平通道上的眼电信号，置于眼球双外毗部的水平线上，电极D置于右眼外毗部，电极E置于左眼外毗部；所述的信号滤波与增益放大单元包括：无源高通滤波器(5)、电压跟随器(6)、放大器(7)、低通滤波器(8)以及右腿驱动单元(9)；所述的无源高通滤波器(5)输入端与双导联电极传感器（4）的输出端相连，对双导联电极传感器（4）输出的水平/垂直眼电信号进行高通滤波，高通滤波的截止频率为0.159Hz；所述电压跟随器（6）的输入端与无源高通滤波器（5）的输出端相连，其输出端既与放大器（7）的输入端相连，又与右腿驱动单元（9）的输入端相连；所述放大器(7)为二级放大器，其中：前级放大倍数为200，后级放大倍数为10；所述低通滤波器(8)的输入端与放大器（7）的输出端相连，对增益放大后的眼电信号进行低通滤波，低通滤波截止频率为38Hz；低通滤波器(8)的输出端与信号处理系统（2）中一个A/D模数转换器（10）的模拟信号输入端相连；所述右腿驱动单元(9)的输入端与电压跟随器（6）的输出端相连，其输出端与信号处理系统（2）中所述A/D模数转换器（10）的参考信号输入端相连；
所述眼电信号处理系统(2)包括A/D模数转换器（10）、微处理器模块（11）、无线发送模块（12）和液晶显示屏（13）；A/D模数转换器（10）的输入端与所述低通滤波器(8)的输出端相连；将模拟眼电信号转换成数字信号，输出到与其相连的微处理器（11）；在正常工作模式下，微处理器模块（11）对接收的数字眼电信号进行在线特征提取、模式识别，实时判断出操作者的眼姿势；并对识别出的不同眼姿势进行相应的命令编码，经无线发送模块（12）传输至智能控制系统（3）；在校正训练模式下,微处理器（11）控制与其相连的液晶显示屏(13),显示用户校正/训练所需要的图形与文字；
所述智能控制系统（3）包括依次相连的无线接收模块（14）、带D/A转换功能的微控制器（15）和具体的受控设备（16）；所述具体的受控设备（16）包括智能轮椅和功能简单的小型电子设备。所述无线接收模块（14）接收信号处理系统（2）无线发送的命令编码，传输至微控制器（15）；微控制器（15）完成命令解码和D/A数模转换，输出控制信号或模拟驱动信号，控制具体的受控设备（16）完成相应动作。
实施例三：
参见图6，本基于校正/训练的眼电控制方法，采用上述系统进行眼电控制，操作步骤如下：1）系统初始化；2）工作模式选择；3）眼电信号采集与滤波；4）眼电信号处理；5）产生控制/驱动信号。
实施例四：
参见图6~图8，本实施例与实施例三基本相同，特别之处如下：所述步骤1）系统初始化是指系统上电后，逐一完成各器件的初始化工作，包括微处理器（11）、A/D模数转换器（10）的初始化、液晶显示屏（13）的初始化、带D/A数模转换功能的微控制器（15）的初始化以及无线发送模块（12）和无线接收模块（14）的初始化。
所述步骤2）中的工作模式包括校正训练模式和正常工作模式；当系统通电启动后，微处理器(11)完成初始化工作，控制液晶显示屏(13)显示选择菜单：“是否进入校正训练模式？”操作者按下“是”按钮选择“校正训练模式”，按下“否”按钮选择“正常工作模式”；进入校正训练模式后，微处理器（11）控制液晶显示屏（13）显示校正训练的界面，供操作者训练使用；所述校正训练模式：规定操作者从液晶屏的中心区域开始，按照显示界面上标注的数字顺序轨迹转动眼睛，具体操作步骤如下：
在此过程中，采集与放大系统（1）采集上述眼睛运动时的眼电信号，对其进行滤波和增益放大，信号处理系统（2）分析、辨识这些眼姿势并将对应的特征参数保存到微处理器（11）自带的存储器中；当各种眼姿势特征参数保存完毕，显示屏（13）显示问询信息：“是否要继续训练？” 按下“是”按钮，重复上述步骤；按下“否”按钮，退出校正训练模式，自动进入正常工作模式；
所述正常工作模式：操作者不需要按照显示屏（13）上设定好的眼动轨迹来转动眼睛，而是从实际控制需要出发，转动眼睛来完成相应的控制动作。
所述步骤4）眼电信号处理包括对眼电信号进行预处理、特征提取、模式识别和命令编码；
所述预处理：对眼电信号进行数字滤波及归一化处理；
所述特征提取：从眼电信号中提取信号的特征序列，包括时域特征和频域特征；所述时域特征包括信号幅值和持续时间；所述频域特征包括信号频率和信号功率谱；
所述模式识别：将特征提取单元输出的眼电信号特征与校正训练阶段保存在微处理器（11）内存中的各眼姿势的特征参数进行模板匹配，从输入的眼电信号特征来判断用户的实际眼姿势，即用户实际的眼睛运动模式，包括眼睛上下左右的扫视模式、眨眼模式和凝视模式；
所述命令编码：将识别出的眼姿势模式用一组二进制代码来表示：眼睛向左扫视，用八位二进制码11110001表示，眼睛向右扫视用11110010表示。
所述步骤5）产生控制/驱动信号的具体流程如下：
实施例五：
参见图1，本实施例中的系统由眼电信号采集与放大系统（1）、眼电信号处理系统（2）和智能控制系统（3）组成。
参见图2，实施例中采用双导联电极方式采集眼电信号。双导联电极传感器（4）的贴放方式为：接地电极，置于前额中央，如图2电极A位置；第一通道为采集垂直方向上的眼电信号，第一导联所连电极置于右侧眼睑中央直线上方，距瞳孔约3cm处，如图2电极B位置；第二导联所连电极置于右侧眼睑中央直线下方，距瞳孔约3cm处，如图2电极C位置。第二通道为采集水平方向上的眼电信号，两个电极置于眼球双外毗部的水平线上，第一导联所连电极置于右眼外毗部约2cm处，如图2电极D位置，第二导联所连电极置于左眼外毗部约2cm处，如图2电极E位置。
设置双通道双导联方式，相对于单导联方式可以获取较大幅值的眼电信号，同时更好地抑制了共模干扰信号，提高了测量精度。另外，分两个通道分别采集水平眼电信号和垂直眼电信号，便于后面眼电信号的特征提取和模式识别。
本具体实施例中，电极一般选用银-氯化银电极；若在电极与皮肤表面涂上导电膏，能减小皮肤接触阻抗，进一步提高测量精度。
参见图3，本实施例中眼电信号采集与放大系统包括无源高通滤波器（5）、电压跟随器（6）、放大器（7）、低通滤波器（8）和右腿驱动单元（9）组成。选取合适的电阻、电容组成无源高通滤波器（5），截止频率为0.159Hz。根据眼电信号的特点，放大器采用两级放大，其中，前级放大器采用低噪声低功耗高共模抑制比的差分放大器，增益为200，后级放大器增益为10。为了更好地采集眼电信号，在高通滤波器之后、前置放大器之前添加电压跟随器（6），目的在于降低整个电路的输入阻抗，提高信噪比。选取合适的电阻、电容和放大器芯片构成萨伦·基低通滤波器（8），低通截止频率为38Hz，可消除工频干扰及高频分量等噪声。右腿驱动单元（9），用于去除人体携带的交流共模干扰信号，提高系统测量精度。
参见图4，本实施例中眼电信号处理系统(2)包括A/D模数转换器（10）、微处理器模块（11）、无线发送模块（12）和液晶显示屏（13）。A/D模数转换器（10）将采集、放大、滤波后的模拟眼电信号转换成数字信号，输出到与其相连的微处理器（11）。微处理器根据用户的选择，启动不同工作模式下的信号处理程序。本实施例中，采用单片机微处理器MSP430系列芯片实现眼电信号的处理分析。微处理器信号处理流程如图8所示。启动系统，系统各模块完成初始化工作后，微处理器控制显示屏显示选择界面，询问操作者是否要进入校正训练模式。若用户按下“是”按钮，则程序进入校正训练模式；若用户按下“否”按钮，则程序转入正常工作模式。
不同人的眼球运动状态和有意识眨眼信号的阈值会有细微的差别，而该差别在一定程度上会影响用户使用眼电进行交互控制的精度和准确度。因此，在本实施例中增加用户的自我校正训练模式。在校正训练模式下，要求用户按照图7预设的顺序轨迹运动眼睛，具体眼睛动作顺序如下：
从中心向右做慢速扫视运动，再回到中心，连续眨眼2次，停留约5秒；重复步骤
动作3次。
从中心向上做慢速扫视运动，再回到中心，连续眨眼2次，停留约5秒；重复步骤
动作3次。
在此过程中，系统采集眼电信号，分析、辨识对应的眼姿势并保存其特征参数。水平眼电信号和垂直眼电信号经由各自的采集通道获得，无需区分；并且眼姿势模式是已设定好的，将提取的某段眼电特征与已知眼姿势模式对应保存，不需进行模式识别。每个步骤重复3次，且每个过程尽量保持匀速眼动，以提高训练精度。
校正训练过程结束后，系统自动转入正常工作模式。
参见图6，在正常工作模式下，微处理器模块（11）对接收的数字眼电信号依次进行数字滤波、特征提取、模式识别，实时判断出操作者的眼姿势；并对识别出的不同眼姿势进行相应的命令编码，经无线发送模块（12）传输至智能控制系统（3）。在校正训练模式下,微处理器（11）控制与其相连的液晶显示屏(13),显示用户校正/训练所需要的图形与文字。
图8中，数字滤波采用Butterworth滤波器，对眼电信号进行预处理，进一步滤除各类毛刺干扰和高频分量。特征提取分时域和频域分别处理。时域主要提取信号的幅值、持续时间、形态特征值；频域主要分析信号的频率、功率谱。波形形态特征是指脉冲波形是向上的正脉冲还是向下的负脉冲。
Claims (9)
1.一种基于校正/训练的眼电控制系统，包括眼电信号采集与放大系统(1)、眼电信号处理系统(2)和智能控制系统(3)，其特征在于所述采集与放大系统(1)的传感器放置于眼睛周围，其输出连接到信号处理系统（2）；信号处理系统（2）与智能控制系统（3）之间通过无线传输的方式相连接，具体工作过程为：采集与放大系统通过眼电传感器获取眼电信号，进行增益放大、滤波；信号处理系统提取眼电信号特征，将之与校正训练模式下保存的眼姿势特征参数进行匹配分析，判断眼姿势类型,无线发送命令编码至智能控制系统；智能控制系统输出控制信号实现对受控设备的控制。
2.根据权利要求1所述的基于校正/训练的眼电控制系统，其特征是所述的眼电信号采集与放大系统（1）由一个双导联电极传感器（4）连接一个信号滤波与增益放大单元构成；所述的双导联电极传感器（4）包括：电极A、电极B、电极C、电极D和电极E，其中:电极A作为接地电极，置于前额中央位置处；电极B与电极C共同用于记录垂直通道上的眼电信号，电极B置于右侧眼睑中央直线上方，电极C置于右侧眼睑中央直线下方；电极D与电极E共同用于记录水平通道上的眼电信号，置于眼球双外毗部的水平线上，电极D置于右眼外毗部，电极E置于左眼外毗部；
所述的信号滤波与增益放大单元包括：无源高通滤波器(5)、电压跟随器(6)、放大器(7)、低通滤波器(8)以及右腿驱动单元(9)；
所述的无源高通滤波器(5)输入端与双导联电极传感器（4）的输出端相连，对双导联电极传感器（4）输出的水平/垂直眼电信号进行高通滤波，高通滤波的截止频率为0.159Hz；所述电压跟随器（6）的输入端与无源高通滤波器（5）的输出端相连，其输出端既与放大器（7）的输入端相连，又与右腿驱动单元（9）的输入端相连；所述放大器(7)为二级放大器，其中：前级放大倍数为200，后级放大倍数为10；所述低通滤波器(8)的输入端与放大器（7）的输出端相连，对增益放大后的眼电信号进行低通滤波，低通滤波截止频率为38Hz；低通滤波器(8)的输出端与信号处理系统（2）中一个A/D模数转换器（10）的模拟信号输入端相连；所述右腿驱动单元(9)的输入端与电压跟随器（6）的输出端相连，其输出端与信号处理系统（2）中所述A/D模数转换器（10）的参考信号输入端相连。
3.根据权利要求1所述的基于校正/训练的眼电控制系统,其特征是所述眼电信号处理系统(2)包括A/D模数转换器（10）、微处理器模块（11）、无线发送模块（12）和液晶显示屏（13）；A/D模数转换器（10）的输入端与所述低通滤波器(8)的输出端相连；将模拟眼电信号转换成数字信号，输出到与其相连的微处理器（11）；在正常工作模式下，微处理器模块（11）对接收的数字眼电信号进行在线特征提取、模式识别，实时判断出操作者的眼姿势；并对识别出的不同眼姿势进行相应的命令编码，经无线发送模块（12）传输至智能控制系统（3）；在校正训练模式下,微处理器（11）控制与其相连的液晶显示屏(13),显示用户校正/训练所需要的图形与文字。
4.根据权利要求1所述的基于校正/训练的眼电控制系统，其特征是所述智能控制系统（3）包括依次相连的无线接收模块（14）、带D/A转换功能的微控制器（15）和具体的受控设备（16）；所述具体的受控设备（16）包括智能轮椅和功能简单的小型电子设备；所述无线接收模块（14）接收信号处理系统（2）无线发送的命令编码，传输至微控制器（15）；微控制器（15）完成命令解码和D/A数模转换，输出控制信号或模拟驱动信号，控制具体的受控设备（16）完成相应动作。
5. 一种基于校正/训练的眼电控制方法，采用根据权利要求1所述的基于校正/训练的眼电控制系统进行眼电控制，其特征在于操作步骤如下：
系统初始化；
工作模式选择；
眼电信号采集与滤波；
眼电信号处理；
产生控制/驱动信号。
6.根据权利要求5所述的基于校正/训练的眼电控制方法，其特征在于所述步骤1）系统初始化是指系统上电后，逐一完成各器件的初始化工作，包括微处理器（11）、A/D模数转换器（10）的初始化、液晶显示屏（13）的初始化、带D/A数模转换功能的微控制器（15）的初始化以及无线发送模块（12）和无线接收模块（14）的初始化。
7. 根据权利要求5所述的基于校正/训练的眼电控制方法，其特征在于所述步骤2）中的工作模式包括校正训练模式和正常工作模式；当系统通电启动后，微处理器(11)完成初始化工作，控制液晶显示屏(13)显示选择菜单：“是否进入校正训练模式？”操作者按下“是”按钮选择“校正训练模式”，按下“否”按钮选择“正常工作模式”；进入校正训练模式后，微处理器（11）控制液晶显示屏（13）显示校正训练的界面，供操作者训练使用；
所述校正训练模式：规定操作者从液晶屏的中心区域开始，按照显示界面上标注的数字顺序轨迹转动眼睛，具体操作步骤如下：
从中心向右做慢速扫视运动，再快速回到中心，做连续眨眼动作，停留数秒；循环重复此步骤；
在此过程中，采集与放大系统（1）采集上述眼睛运动时的眼电信号，对其进行滤波和增益放大，信号处理系统（2）分析、辨识这些眼姿势并将对应的特征参数保存到微处理器（11）自带的存储器中；当各种眼姿势特征参数保存完毕，显示屏（13）显示问询信息：“是否要继续训练？” 按下“是”按钮，重复上述步骤；按下“否”按钮，退出校正训练模式，自动进入正常工作模式；
所述正常工作模式：操作者不需要按照显示屏（13）上设定好的眼动轨迹来转动眼睛，而是从实际控制需要出发，转动眼睛来完成相应的控制动作。
8.根据权利要求5所述的基于校正/训练的眼电控制方法，其特征在于所述步骤4）眼电信号处理包括对眼电信号进行预处理、特征提取、模式识别和命令编码；
所述预处理：对眼电信号进行数字滤波及归一化处理；
所述特征提取：从眼电信号中提取信号的特征序列，包括时域特征和频域特征；所述时域特征包括信号幅值和持续时间；所述频域特征包括信号频率和信号功率谱；
所述模式识别：将特征提取单元输出的眼电信号特征与校正训练阶段保存在微处理器（11）内存中的各眼姿势的特征参数进行模板匹配，从输入的眼电信号特征来判断用户的实际眼姿势，即用户实际的眼睛运动模式，包括眼睛上下左右的扫视模式、眨眼模式和凝视模式；
所述命令编码：将识别出的眼姿势模式用一组二进制代码来表示：眼睛向左扫视，用八位二进制码11110001表示，眼睛向右扫视用11110010表示。
9.根据权利要求5所述的基于校正/训练的眼电控制方法，其特征在于所述步骤5）产生控制/驱动信号的具体流程如下：
解码无线接收到的命令信息，分析具体的命令要求；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210447005XA CN102968072A (zh) | 2012-11-09 | 2012-11-09 | 基于校正/训练的眼电控制系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210447005XA CN102968072A (zh) | 2012-11-09 | 2012-11-09 | 基于校正/训练的眼电控制系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102968072A true CN102968072A (zh) | 2013-03-13 |
Family
ID=47798261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210447005XA Pending CN102968072A (zh) | 2012-11-09 | 2012-11-09 | 基于校正/训练的眼电控制系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102968072A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104622649A (zh) * | 2015-03-05 | 2015-05-20 | 中南大学 | 一种基于蓝牙肌电采集器的轮椅系统及其控制方法 |
| CN105616082A (zh) * | 2015-12-28 | 2016-06-01 | 深圳市尚荣医用工程有限公司 | 采用单一面部表面肌电信号的智能轮椅控制装置及方法 |
| CN105904459A (zh) * | 2016-05-19 | 2016-08-31 | 南京邮电大学 | 基于眼电信号识别的机器人控制系统及该系统的设计方法 |
| CN106156709A (zh) * | 2015-04-20 | 2016-11-23 | 北京智谷睿拓技术服务有限公司 | 头部动作确定方法和设备 |
| CN106155296A (zh) * | 2015-04-20 | 2016-11-23 | 北京智谷睿拓技术服务有限公司 | 控制方法和设备 |
| CN106293013A (zh) * | 2015-04-30 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 头部动作确定方法和设备 |
| CN106293049A (zh) * | 2015-08-19 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 输入信息确定方法和设备 |
| CN106371560A (zh) * | 2015-08-19 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 吹吸气确定方法和设备 |
| CN106371562A (zh) * | 2015-08-19 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 吹吸气确定方法和设备 |
| CN106371561A (zh) * | 2015-08-19 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 输入信息确定方法和设备 |
| CN112057251A (zh) * | 2020-09-21 | 2020-12-11 | 山西白求恩医院(山西医学科学院) | 一种眼电与唇部动作信号控制的电动智能轮椅及控制方法 |
| CN112057250A (zh) * | 2020-09-21 | 2020-12-11 | 山西白求恩医院(山西医学科学院) | 一种眼电智能轮椅及其控制方法 |
| CN112190405A (zh) * | 2020-10-14 | 2021-01-08 | 合肥工业大学 | 一种轮椅控制系统及其控制方法 |
| CN112890834A (zh) * | 2021-03-01 | 2021-06-04 | 福州大学 | 面向注意力识别的基于机器学习的眼电信号分类器 |
| CN114970608A (zh) * | 2022-05-06 | 2022-08-30 | 中国科学院自动化研究所 | 基于眼电信号的人机交互方法及系统 |
| CN116797612A (zh) * | 2023-08-24 | 2023-09-22 | 天津医科大学第二医院 | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 |
| CN117357351A (zh) * | 2023-12-05 | 2024-01-09 | 华南脑控(广东)智能科技有限公司 | 一种电动病床和家电的多模态智能控制方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598973B (zh) * | 2009-06-26 | 2011-01-05 | 安徽大学 | 基于眼电信号的人机交互系统 |
| CN101599127B (zh) * | 2009-06-26 | 2011-09-14 | 安徽大学 | 眼电信号的特征提取与识别方法 |
-
2012
- 2012-11-09 CN CN201210447005XA patent/CN102968072A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598973B (zh) * | 2009-06-26 | 2011-01-05 | 安徽大学 | 基于眼电信号的人机交互系统 |
| CN101599127B (zh) * | 2009-06-26 | 2011-09-14 | 安徽大学 | 眼电信号的特征提取与识别方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104622649B (zh) * | 2015-03-05 | 2016-09-28 | 中南大学 | 一种基于蓝牙肌电采集器的轮椅系统及其控制方法 |
| CN104622649A (zh) * | 2015-03-05 | 2015-05-20 | 中南大学 | 一种基于蓝牙肌电采集器的轮椅系统及其控制方法 |
| CN106156709B (zh) * | 2015-04-20 | 2019-05-21 | 北京智谷睿拓技术服务有限公司 | 头部动作确定方法和设备 |
| US10936052B2 (en) | 2015-04-20 | 2021-03-02 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Method and device for determining head movement according to electrooculographic information |
| US10613623B2 (en) | 2015-04-20 | 2020-04-07 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Control method and equipment |
| CN106156709A (zh) * | 2015-04-20 | 2016-11-23 | 北京智谷睿拓技术服务有限公司 | 头部动作确定方法和设备 |
| CN106155296A (zh) * | 2015-04-20 | 2016-11-23 | 北京智谷睿拓技术服务有限公司 | 控制方法和设备 |
| CN106293013A (zh) * | 2015-04-30 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 头部动作确定方法和设备 |
| US10646141B2 (en) | 2015-04-30 | 2020-05-12 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Method and device for determining head movement |
| CN106371562A (zh) * | 2015-08-19 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 吹吸气确定方法和设备 |
| CN106371561A (zh) * | 2015-08-19 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 输入信息确定方法和设备 |
| CN106293049A (zh) * | 2015-08-19 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 输入信息确定方法和设备 |
| CN106371560A (zh) * | 2015-08-19 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 吹吸气确定方法和设备 |
| CN105616082A (zh) * | 2015-12-28 | 2016-06-01 | 深圳市尚荣医用工程有限公司 | 采用单一面部表面肌电信号的智能轮椅控制装置及方法 |
| CN105904459A (zh) * | 2016-05-19 | 2016-08-31 | 南京邮电大学 | 基于眼电信号识别的机器人控制系统及该系统的设计方法 |
| CN112057251B (zh) * | 2020-09-21 | 2022-10-25 | 山西白求恩医院(山西医学科学院) | 一种眼电与唇部动作信号控制的电动智能轮椅及控制方法 |
| CN112057250A (zh) * | 2020-09-21 | 2020-12-11 | 山西白求恩医院(山西医学科学院) | 一种眼电智能轮椅及其控制方法 |
| CN112057251A (zh) * | 2020-09-21 | 2020-12-11 | 山西白求恩医院(山西医学科学院) | 一种眼电与唇部动作信号控制的电动智能轮椅及控制方法 |
| CN112190405A (zh) * | 2020-10-14 | 2021-01-08 | 合肥工业大学 | 一种轮椅控制系统及其控制方法 |
| CN112890834A (zh) * | 2021-03-01 | 2021-06-04 | 福州大学 | 面向注意力识别的基于机器学习的眼电信号分类器 |
| CN114970608A (zh) * | 2022-05-06 | 2022-08-30 | 中国科学院自动化研究所 | 基于眼电信号的人机交互方法及系统 |
| CN116797612A (zh) * | 2023-08-24 | 2023-09-22 | 天津医科大学第二医院 | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 |
| CN116797612B (zh) * | 2023-08-24 | 2024-03-29 | 天津医科大学第二医院 | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 |
| CN117357351A (zh) * | 2023-12-05 | 2024-01-09 | 华南脑控(广东)智能科技有限公司 | 一种电动病床和家电的多模态智能控制方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102968072A (zh) | 基于校正/训练的眼电控制系统和方法 | |
| CN101598973B (zh) | 基于眼电信号的人机交互系统 | |
| Bright et al. | EEG-based brain controlled prosthetic arm | |
| EP2298164B1 (en) | Cardiac monitoring circuit with adaptive sampling | |
| Hossain et al. | Hardware and software implementation of real time electrooculogram (EOG) acquisition system to control computer cursor with eyeball movement | |
| CN100594858C (zh) | 一种脑电肌电联合控制的电动假手的控制方法 | |
| CN104758130B (zh) | 一种基于脑机接口的智能护理装置及方法 | |
| CN105446158A (zh) | 一种基于多模态脑机接口的智能家电控制护理装置及方法 | |
| CN104224495A (zh) | 便携式肘关节康复机器人控制方法 | |
| Ramkumar et al. | A review-classification of electrooculogram based human computer interfaces | |
| CN105997050A (zh) | 一种穿戴式非接触心电采集装置及方法 | |
| CN206822623U (zh) | 一种便携式生理信号采集放大器 | |
| CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| CN105904459A (zh) | 基于眼电信号识别的机器人控制系统及该系统的设计方法 | |
| CN110584898B (zh) | 一种基于多传感器的脑控轮椅自动避障方法 | |
| CN106569606A (zh) | 一种基于自然手势识别的智能家居红外控制系统与方法 | |
| CN108113660A (zh) | 一种便携式多生物信号放大器 | |
| CN107193374A (zh) | 一种主动故意手势动作的检测装置及检测方法 | |
| Francis et al. | Brain-computer interfacing for wheelchair control by detecting voluntary eye blinks | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| CN206147520U (zh) | 一种用于基于运动想象和p300相结合的脑机接口控制虚拟现实的数据采集装置 | |
| CN106843509B (zh) | 一种脑机接口系统 | |
| CN201308487Y (zh) | 基于p-vep的弱视检查系统 | |
| CN206852594U (zh) | 一种根据人体生物电磁波获取用户特征的装置 | |
| CN208355453U (zh) | 一种情感信号采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130313 |