CN112083797A - 一种基于眼电的智能手持终端控制系统及控制方法 - Google Patents

一种基于眼电的智能手持终端控制系统及控制方法 Download PDF

Info

Publication number
CN112083797A
CN112083797A CN201911368511.8A CN201911368511A CN112083797A CN 112083797 A CN112083797 A CN 112083797A CN 201911368511 A CN201911368511 A CN 201911368511A CN 112083797 A CN112083797 A CN 112083797A
Authority
CN
China
Prior art keywords
electrode
handheld terminal
electro
oculogram
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911368511.8A
Other languages
English (en)
Inventor
贺庆
张云
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chucai Precision Instrument Technology Co ltd
Beijing Information Science and Technology University
Original Assignee
Beijing Chucai Precision Instrument Technology Co ltd
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chucai Precision Instrument Technology Co ltd, Beijing Information Science and Technology University filed Critical Beijing Chucai Precision Instrument Technology Co ltd
Priority to CN201911368511.8A priority Critical patent/CN112083797A/zh
Publication of CN112083797A publication Critical patent/CN112083797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开的一种基于眼电的智能手持终端控制系统及控制方法,该控制系统可用于检测用户的眼球转动和眨眼动作以此识别意图并控制智能手持终端完成相应操作,解决了手部残疾患者无法操作智能手持终端的困扰。该系统包括:头戴设备和智能手持终端;头戴设备由眼电导联,预处理通道,模数转换器,右腿驱动电路,处理器,存储器,通信模块,第一惯性传感器及供电模块组成。利用基线调整、断线检测、屏蔽层驱动,右腿驱动等技术提高系统共模抑制比和可靠性,通过头戴设备和智能手持终端自带的惯性传感器对头部和终端位姿进行校正,提高眼动信号检测的准确性,为了提高系统的可穿戴性,优选无线通信方式进行头戴设备和智能手持终端的通信连接。

Description

一种基于眼电的智能手持终端控制系统及控制方法
技术领域
本发明实施例涉及人机交互技术领域,具体涉及一种基于眼电的智能手持终端控制系统及控制方法。
背景技术
智能手持终端除了传统的通信功能外,还具有上网,购物,读书,看视频,聊天,拍照等多种功能,早已成为现代人们生活必不可少的重要工具。然而目前智能手持终端绝大部分功能需要用手指滑动触控和点击来操作,这无疑给手部残疾患者、老年帕金森患者带来严重不便。即使是普通人,在进行双手劳作或双手污浊时,也不便于使用智能手持终端。
因此,如何提出一种智能手持终端的人机交互方案,能够方便用户进行智能手持终端的操作,是本领域技术人员亟待解决的技术问题。
发明内容
为此,本发明实施例提供一种基于眼电的智能手持终端控制系统及控制方法,用户可通过眼部活动,替代手指实时操作智能手持终端,能够方便用户进行智能手持终端的操作,解放双手。本发明实施例中所提到的包括但不限于:智能手机、PDA(个人数字助手)、平板电脑等电子终端。本发明提供如下技术方案:
一方面,本发明实施例提供一种基于眼电的智能手持终端控制系统,包括头戴设备和智能手持终端;
所述头戴设备包括:与眼电极连接的眼电导联,用于接收设于眼周的预设位置的眼电极获取的眼电信号;
预处理通道,其输入端与所述眼电极导联连接,用于将所述眼电导联接收到的眼电信号进行预处理,得到眼电模拟信号;
模数转换模块,其输入端与预处理通道相连,用于对多路眼电模拟信号进行并行同步采集,得到量化的眼电数字信号;
处理器,用于接收所述模数转换模块输出的眼电数字信号,并对所述眼电数字信号进行消噪和端点检测;并执行预设眼电处理算法,提取出眼电信号特征,对眼电信号分类,并将眼动状态结果通过通信模块发送至智能手持终端,以控制所述智能手持终端进行预设操作;
第一通信模块,与所述处理器连接,用于与智能手持终端通信连接;所述处理器通过所述第一通信模块将计算得到的眼动状态结果快速传输到智能手持终端,以实现对智能手持终端的控制动作;
供电模块,用于为所述头戴设备提供电能。
优选地,所述头戴设备还包括:第一惯性传感器;
所述第一惯性传感器用于获取用户的头部运动、姿势信息;所述处理器还用于利用所述头部运动、姿势信息补偿眼电计算结果,以避免因头部运动导致眼动状态误判或不稳定。
优选地,所述头戴设备还包括:右腿驱动电路;
所述右腿驱动电路的输入端与模数转换器或处理器相连,输出端通过眼电导联馈入人体耳垂或乳突处,以提高眼电信号采集的共模抑制能力。
优选地,所述眼电导联可由:单极导联或双极导联两种方式实现;
所述单极导联包括:第一电极、第二电极、第三电极、第四电极、第五电极、第六电极、第七电极;
所述第一电极贴于用户的额头中央,用于作为地电极,第二电极、第三电极分别放置于两眼眉心上方,第四电极、第五电极分别放置于两眼外侧距用户外眦部10mm处;第六电极、第七电极作为参考电极,贴于两侧乳突或耳垂处;当检测时,第二电极、第三电极、第四电极、第五电极经过导联分别馈入四个放大器的正输入端,而参考第六电极、第七电极电势相等经导联同时馈入四个放大器的负输入端,地第一电极接入放大器的供电地端,经放大、滤波后,对四路信号进行分别采集,得到四个测量电极相对于参考电极的绝对电势,从而判断眼动状况;
所述双极导联包括:第八电极、第九电极、第十电极、第十一电极、第十二电极;
所述第八电极贴于额中央,作为地电极,第九电极、第十电极、第十一电极、第十二电极作为测量电极,其中第九电极、第十电极配对作为垂直测量电极,第九电极放置于一侧眉心上方,第十电极置于眼眶下方20mm处,与第九电极位于一条垂直线上;第十一电极、第十二电极配对作为水平测量电极,分别放置于两眼外侧距用户的眼部外眦部10mm处;当检测时,第九电极、第十电极分别接入一个放大器的正负输入端,第十一电极、第十二电极分别接入另一个放大器的正负输入端;从而分别得到第九电极、第十电极和第十一电极、第十二电极的相对电势差,第九电极、第十电极间电势差即为眼球垂直运动情况,第十一电极、第十二电极间电势差即为眼球水平运动情况。
优选地,所述预处理通道包括:保护器件,放大器,滤波器和基线调整电路;
所述保护器件,与眼电导联相连,用于保护后级电路作用,防护人体静电对于后级电路的击穿和/或干扰,防止电路中漏电对人体造成伤害;
所述放大器,用于对输入的眼电信号进行可控放大,以增强系统共模抑制比的作用;
所述滤波器,负责滤除眼电信号中混入的无关干扰信号;所述无关干扰信号包括:工频干扰,环境无线电信号,心电信号,肌电信号;
所述基线调整电路,用于将眼电模拟信号的中心调整到便于模数转换器采集的幅度,以避免眼电模拟信号偏移过大,超出模数转换器的测量范围。
所述模数转换模块,用于实现多路眼电模拟信号的同步采集,将眼电模拟信号转换成眼电数字信号,并输出一路偏移驱动信号,馈入右腿驱动电路;所述模数转换模块,还用于实现断线检测功能。
优选地,所述第一通信模块可由:蓝牙模块、WIFI模块或5G通信模块实现,用于将眼动状态结果发送至智能手持终端。
所述智能手持终端通过调用第二通信模块与所述头戴设备进行通信;接收所述头戴设备处理器解析出的眼动状态结果,并实现控制动作;
所述智能手持终端设有摄像头,所述摄像头用于对人脸和人眼进行识别,以判断不同的用户,并采用相对应的特征向量。当判断用户的眼部看向所述终端屏幕时,执行控制动作,当判断用户的眼部没有看向所述终端屏幕时,禁止执行动作;
所述智能手持终端设有第二惯性传感器;所述第二惯性传感器用于获取用户的持部运动、姿势信息;所述智能手持终端还用于利用所述运动、姿势信息对所述眼动状态结果进行修正。
所述智能手持终端还设有:眼电映射模块,用于将眼动状态结果映射为对所述智能手持终端的预设操作;
将与眼球向不同方向的转动对应的第一眼动状态结果,映射为手指在智能手持终端上的滑动;
将与有意识眨眼动作对应的第二眼动状态结果,映射为对所述智能手持终端的点击。
另一方面,本发明实施例提供一种基于眼电的智能手持终端控制方法,应用于如上述任一种所述的基于眼电的智能手持终端控制系统,包括:
接收所述模数转换模块输出的眼电数字信号;
对所述眼电数字信号进行消噪和端点检测,并执行预设眼电处理算法,提取出眼电信号特征,对眼电信号分类;
将眼动状态结果通过通信模块发送至智能手持终端,以控制所述智能手持终端进行预设操作。
本发明实施例提供一种基于眼电的智能手持终端控制系统,包括头戴设备和智能手持终端;所述头戴设备包括:与眼电极连接的眼电导联,用于接收设于眼周的预设位置的眼电极获取的眼电信号;预处理通道,其输入端与所述眼电极导联连接,用于将所述眼电导联接收到的眼电信号进行预处理,得到眼电模拟信号;模数转换模块,其输入端与预处理通道相连,用于对多路眼电模拟信号进行并行同步采集,得到量化的眼电数字信号;处理器,用于接收所述模数转换模块输出的眼电数字信号,并对所述眼电数字信号进行消噪和端点检测;并执行预设眼电处理算法,提取出眼电信号特征,对眼电信号分类,并将眼动状态结果通过通信模块发送至智能手持终端,以控制所述智能手持终端进行预设操作;第一通信模块,与所述处理器连接,用于与智能手持终端通信连接;所述处理器通过所述第一通信模块将计算得到的眼动状态结果快速传输到智能手持终端,以实现对智能手持终端的控制动作;供电模块,用于为所述头戴设备提供电能。
本发明实施例提供的一种基于眼电的智能手持终端控制系统及控制方法,便于使用者佩戴,用户可通过眼部活动,替代手指实时操作智能手持终端,能够方便用户进行智能手持终端的操作,解放双手。使智能终端能够适应更多的应用场合,具有相同的有益效果,在此不再一一赘述。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引申获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明一种具体实施方式提供的一种基于眼电的智能手持终端控制系统的组成结构示意图;
图2为本发明一种具体实施方式提供的一种基于眼电的智能手持终端控制系统的单极导联实施方案结构示意图;
图3为本发明一种具体实施方式提供的一种基于眼电的智能手持终端控制系统的双极导联实施方案结构示意图;
图4为本发明实施例提供一种基于眼电的智能手持终端控制方法的流程图;
图5为本发明实施例提供一种智能手持终端的眼电映射方法的流程图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1、图2、图3,图1为本发明一种具体实施方式提供的一种基于眼电的智能手持终端控制系统的组成结构示意图;图2为本发明一种具体实施方式提供的一种基于眼电的智能手持终端控制系统的单极导联实施方案结构示意图;图3为本发明一种具体实施方式提供的一种基于眼电的智能手持终端控制系统的双极导联实施方案结构示意图。
本发明实施例提供一种基于眼电的智能手持终端控制系统,包括头戴设备和智能手持终端;所述头戴设备包括:与眼电极连接的眼电导联,用于接收设于眼周的预设位置的眼电极获取的眼电信号;预处理通道,其输入端与所述眼电极导联连接,用于将所述眼电导联接收到的眼电信号进行预处理,得到眼电模拟信号;模数转换模块,其输入端与预处理通道相连,用于对多路眼电模拟信号进行并行同步采集,得到量化的眼电数字信号;处理器,用于接收所述模数转换模块输出的眼电数字信号,并对所述眼电数字信号进行消噪和端点检测;并执行预设眼电处理算法,提取出眼电信号特征,对眼电信号分类,并将眼动状态结果通过第一通信模块发送至智能手持终端,以控制所述智能手持终端进行预设操作;存储器,与处理器相连接,用于存储用户的眼电特征信息;第一通信模块,与所述处理器连接,用于与智能手持终端通信连接;所述处理器通过所述第一通信模块将计算得到的眼动状态结果快速传输到智能手持终端,以实现对智能手持终端的控制动作;供电模块,用于为所述头戴设备提供电能。
具体地,眼电导联,用于与眼电极连接,接收各个位置处眼电极获取的眼电信号;眼电导联分为单极导联和双极导联两种方式。如图2中,第一电极用A标识、第二电极用B标识、第三电极用C标识、第四电极用D标识、第五电极用E标识、第六电极用F标识、第七电极用G标识,单极导联方式中,将一个电极A贴于额中央,作为地电极,四个电极B、C、D、E作为测量电极,其中两个电极分别放置于两眼眉心上方,两电极分别放置于两眼外侧距外眦部约10mm处。另两个电极F、G作为参考电极,贴于两侧乳突或耳垂处。检测时,四个测量电极经过导联分别馈入四个放大器的正输入端,而参考电极F、G电势相等经导联同时馈入四个放大器的负输入端,地电极A接入放大器的供电地端。经放大、滤波后,对四路信号进行分别采集,得到四个测量电极相对于参考电极的绝对电势,从而判断眼动状况。
而在双极导联方式中,如图3中,第八电极用A标识、第九电极用B标识、第十电极用C标识、第十一电极用D标识、第十二电极用E标识,将电极A贴于额中央,作为地电极,四个电极B、C、D、E作为测量电极,其中电极B、C配对作为垂直测量电极,B放置于一侧眉心上方,C置于该眼眼眶下方约20mm处,与B位于一条垂直线上。D、E配对作为水平测量电极,分别放置于两眼外侧距外眦部约10mm处。检测时,B、C分别接入一个放大器的正负输入端,D、E分别接入另一个放大器的正负输入端。从而分别得到BC和DE的相对电势差。B、C间电势差即为眼球垂直运动情况。D、E间电势差即为眼球水平运动情况。
可选的,眼电极导联可以具体包括干电极和/或湿电极,眼电极馈线,及电接口(如BNC接口)。
进一步地,由于眼电极采集到的眼电信号比较微弱,为了进行后续的处理,可以对该眼电信号进行放大,具体地,可以在预处理通道将所述眼电导联接收到的眼电信号进行放大、滤波等处理,得到眼电模拟信号;预处理通道包括:保护器件,放大器,滤波器和基线调整电路。
保护器件,与眼电导联相连。用于保护后级电路作用,主要防护人体静电对于后级电路的击穿和/或干扰,或防止电路中漏电对人体造成伤害。可采用TVS管,齐纳二极管,气体放电管等器件实现。
放大器,具体的,可选用高输入阻抗的仪表放大器实现。可选的,采用屏蔽层驱动技术,即将放大器的参考端与眼电极馈线及头戴设备的屏蔽层相连,增强对外界电磁干扰的屏蔽能力。
滤波器,滤除常见的干扰信号包括:工频干扰,环境无线电信号,心电信号,肌电信号等。
基线调整电路,将眼电模拟信号的中心调整到便于模数转换器采集的幅度,避免眼电模拟信号偏移过大,超出模数转换器的测量范围。
模数转换模块,具体的,可选用ADS1299为代表的生物电采集模数转换器。用于对多路眼电模拟信号进行并行同步采集,将眼电模拟信号转换成眼电数字信号。该模数转换模块可同时实现右腿驱动信号的生成,以及断线检测功能;
处理器,可由DSP、ARM或FPGA器件编程实现。是头戴设备的控制中心。用于实现对头戴设备的控制,以及对眼电数字信号的处理。接收所述模数转换模块输出的眼电数字信号,并对该信号进行消噪和端点检测。然后执行眼电处理算法,提取出眼电信号特征,对眼电信号分类,并将眼动状态结果通过第一通信模块发送至智能手持终端;
所述存储器,与处理器相连接。用于存储用户的脑电特征信息。具体的可由flash存储器或EEPROM存储器实现。
所述第一通信模块,与所述处理器连接,用于与智能手持终端通信连接;所述处理器通过所述第一通信模块将计算得到的眼动状态结果快速传输到智能手持终端,实现对智能手持终端的控制动作。为了提高可穿戴性,第一通信模块可由5G通信模块、蓝牙或WIFI等无线通信模块实现。
惯性信息包括加速度、角度、角速度等信息,根据头部惯性信息,能够直接描述转动角度、动作惯性,实现动作捕获。第一惯性传感器用以判断人头部的运动,计算头部的位姿改变,从而补偿眼电计算结果。避免因头部运动导致眼动状态误判或不稳定。具体可由MEMS陀螺仪实现。
具体地,右腿驱动电路的输入端与模数转换器或处理器相连,输出端通过眼电导联馈入人体耳垂或乳突处。用以提高眼电信号采集的共模抑制能力。右腿驱动电路通常用于生物信号放大器,以减少共模干扰。眼电或脑电信号十分微小,通常只有几微伏至几百微伏。而由于病人的身体也可以作为天线能受到电磁干扰,特别是50/60Hz的工频噪音,这种干扰可能会掩盖的生物信号,使得信号难以测量。因此,可以通过添加右腿驱动电路用来消除干扰噪声。
所述供电模块,为整个头戴设备提供必要的电能。供电模块由电池和电平转换电路组成。为了提高系统的可穿戴性,头戴设备使用时不需要外接电源线供电。
所述智能手持终端终端应用程序可替代人手实现对智能手持终端的操作。它通过调用智能手持终端自带的蓝牙、WIFI或5G等通信模块与头戴设备进行通信,接收头戴设备处理器解析出的眼动状态结果,并据此实施对智能手持终端的控制动作。手机端应用程序还可调用手机自带的摄像头,对人脸和人眼进行识别。由于不同用户的眼电特征不完全相同。因此通过对人脸识别或人眼虹膜识别,判断不同的用户,从而采用相对应的特征向量,提高眼动判断准确性。另外根据摄像头拍摄到人脸或人眼的不同角度,可以实现开屏(开app)或锁屏(关app)的操作。手机端应用程序可调用手机自带的惯性器件,实现对手机位姿改变的检测。利用手机位姿的改变,补偿眼动状态结果,避免因手部抖动或移动造成眼动状态的误判或不稳定,提高控制系统的准确性。
在一个具体实施例中,该智能手持终端可以是手机,当用户面对手机时,摄像头检测到用户人脸。打开该终端应用程序,通知人脸识别或虹膜识别判断用户,通过第二通信模块通知头戴设备调取该用户眼电特征信息。对于新用户,手机启动用户校准程序。依次出现向上、下、左、右各个方向的指示光标,及眨眼提醒。用户按照指示完成眼球相应的动作。处理器将该用户信息记录到存储器中,用于之后的眼电检测分析。校准后,该手机端应用程序在后台正常运行。屏幕中央处出现一个指针式光标。当用户眼球向上移动时,光标随之向上移动,到达屏幕上边缘时,界面随之滚动。眼球向其他位置移动时,与此类似。当光标指向某个软件或控件时,用户单次眨眼,手机执行点击操作。当用户眼睛注视到手机屏幕以外,暂停眼动对终端的控制。用户眼睛重新注视到屏幕时,再次启动后台的该终端应用程序。
另外,本申请发明人在实际中发现,每个用户的眼电特征并不相同,使用前最好先对用户眼球转动进行智能校准,以便能够准确测取,在进行校准时,屏幕依次出现向上、下,左,右各个方向的指示光标,及眨眼提醒,用户按照指示完成眼球相应的动作,处理器将该用户信息记录下来,用于之后的眼电检测分析。
对眼电信号特征的提取可以小波变换、线性判别分析、相关分析等方法,对眼电信号的分类可以采用支持向量机、隐马尔科夫链、神经网络等方法,无论最终采用哪种技术,凡是采用本发明思想进行眼电控制的技术方案,均应视为基于本发明实现。
也就是说,本发明实施例中提供的基于眼电的智能手持终端控制系统,其中的智能手持终端需要运行程序模块进行功能的实现,具体地,智能手持终端通过调用第二通信模块与所述头戴设备进行通信;接收所述头戴设备处理器解析出的眼动状态结果,并实现控制动作;所述智能手持终端设有摄像头,所述摄像头用于对人脸和人眼进行识别,以判断不同的用户,并采用相对应的特征向量。当判断用户的眼部看向终端屏幕时,执行控制动作,当判断用户的眼部没有看向所述终端屏幕时,禁止执行动作;所述智能手持终端设有第二惯性传感器;所述第二惯性传感器用于获取用户的持部运动、姿势信息;所述智能手持终端还用于利用所述运动、姿势信息对所述眼动状态结果进行修正。全文文中的持部,指的是用户握持智能手持终端的部位,当然,也可以是其他对智能手持终端放置的地方,例如行驶中的车辆上。
该智能手持终端还设有:眼电映射模块,用于将眼动状态结果映射为对所述智能手持终端的预设操作;将与眼球向不同方向的转动对应的第一眼动状态结果,映射为手指在智能手持终端上的滑动触控;将与有意识眨眼动作对应的第二眼动状态结果,映射为对所述智能手持终端的点击。当然,也可以有其他的映射方式,本发明实施例只是对其中的而一种方式举例说明,并不是对本发明的限制。
因此本发明实施例提出一种基于眼电的智能手持终端控制系统。通过眼球的转动和眨眼,实现对智能手持终端的控制。人眼是带电体,眼球的角膜端带正电,视网膜端带负电,当眼球转动时,眼球附近的皮层会产生细微的电量变化。利用分布于眼睛四围的电极,可以测量出眼球转动时,各电极电平波动,从而解析出眼球转动的方向。当人闭眼时,α波信号会大幅度增加,从而容易的判别出眨眼动作。对智能手持终端的常用操作是手指在屏幕面板向上、下、左、右滑动,以及点击操作。将眼球向不同方向的转动,映射成手指在智能手持终端上的滑动触控。有意识眨眼动作,映射成对手机的点击,便可替代人手实现对智能手持终端的操作。因此,该发明使更多的人可以更加方便的应用智能手持终端,适用于更多的场合。对于辅助残障人士像正常人一样使用智能手持终端具有重要意义。本发明实施例中所提到的智能手持终端包括但不限于:智能手机、PDA(个人数字助手)、平板电脑等电子终端。
请参考图4,图4为本发明实施例提供一种基于眼电的智能手持终端控制方法的流程图。
本发明实施例提供一种基于眼电的智能手持终端控制方法,应用于如上述任一实施例中所述的基于眼电的智能手持终端控制系统,包括:
步骤S11:接收所述模数转换模块输出的眼电数字信号;
步骤S12:对所述眼电数字信号进行消噪和端点检测,并执行预设眼电处理算法,提取出眼电信号特征,对眼电信号分类;
步骤S13:将眼动状态结果通过通信模块发送至智能手持终端,以控制所述智能手持终端进行预设操作。
请参考图5,图5为本发明实施例提供一种智能手持终端的眼电映射方法的流程图。
本发明实施例提供一种智能手持终端的眼电映射方法,应用于上述任一种实施方式中所述的基于眼电的智能手持终端控制系统,本实施例中,以智能手机为例进行说明,当然也可以是其他的智能终端,该方法包括:
1)调用智能手持终端摄像头进行面部识别或虹膜识别,判断用户并调用该用户的眼电特征信息。
2)识别眼球向各个方向转动,将其映射为手指在智能手持终端面板上的滑动操作。
3)识别单次眨眼,映射为手指对屏幕的点击操作。
4)用户可自定义多次眨眼或一闭眼一眼睁等动作为智能手持终端的其他扩展操作。
5)摄像头识别到用户眼睛移开智能手持终端屏幕或面部未朝向屏幕时,关闭该手机端应用程序。
值得说明的是,本发明实施例提供的一种基于眼电的智能手持终端控制系统及控制方法,解决了残障人士无法使用智能手持终端的困扰,便于使用者佩戴,解放使用者双手使手机能够适应更多的应用场合。上述实施例中,存在针对智能手机进行说明的情况,但是其并不构成对权利要求的限定,本发明实施例凡是能够对智能手机进行的设置,也可以对其他智能手持终端进行相同的设置和互动操作。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (10)

1.一种基于眼电的智能手持终端控制系统,其特征在于,包括头戴设备和智能手持终端;
所述头戴设备包括:与眼电极连接的眼电导联,用于接收设于眼周的预设位置的眼电极获取的眼电信号;
预处理通道,其输入端与所述眼电极导联连接,用于将所述眼电导联接收到的眼电信号进行预处理,得到眼电模拟信号;
模数转换模块,其输入端与预处理通道相连,用于对多路眼电模拟信号进行并行同步采集,得到量化的眼电数字信号;
处理器,用于接收所述模数转换模块输出的眼电数字信号,并对所述眼电数字信号进行消噪和端点检测;并执行预设眼电处理算法,提取出眼电信号特征,对眼电信号分类,并将眼动状态结果通过第一通信模块发送至智能手持终端,以控制所述智能手持终端进行预设操作;
第一通信模块,与所述处理器连接,用于与智能手持终端通信连接;所述处理器通过所述第一通信模块将计算得到的眼动状态结果快速传输到智能手持终端,以实现对智能手持终端的控制动作;
供电模块,用于为所述头戴设备提供电能。
2.根据权利要求1所述的基于眼电的智能手持终端控制系统,所述头戴设备还包括:第一惯性传感器;
所述第一惯性传感器用于获取用户的头部运动、姿势信息;所述处理器还用于利用所述头部运动、姿势信息补偿眼电计算结果,以避免因头部运动导致眼动状态误判或不稳定。
3.根据权利要求1所述的基于眼电的智能手持终端控制系统,所述头戴设备还包括:右腿驱动电路;
所述右腿驱动电路的输入端与模数转换器或处理器相连,输出端通过眼电导联馈入人体耳垂或乳突处,以提高眼电信号采集的共模抑制能力。
4.根据权利要求1所述的基于眼电的智能手持终端控制系统,其特征在于,所述眼电导联包括两种方式:单极导联或双极导联;
所述单极导联包括:第一电极、第二电极、第三电极、第四电极、第五电极、第六电极、第七电极;
所述第一电极贴于用户的额头中央,用于作为地电极,第二电极、第三电极分别放置于两眼眉心上方,第四电极、第五电极分别放置于两眼外侧距用户外眦部10mm处;第六电极、第七电极作为参考电极,贴于两侧乳突或耳垂处;当检测时,第二电极、第三电极、第四电极、第五电极经过导联分别馈入四个放大器的正输入端,而参考第六电极、第七电极电势相等经导联同时馈入四个放大器的负输入端,地第一电极接入放大器的供电地端,经放大、滤波后,对四路信号进行分别采集,得到四个测量电极相对于参考电极的绝对电势,从而判断眼动状况;
所述双极导联包括:第八电极、第九电极、第十电极、第十一电极、第十二电极;
所述第八电极贴于额中央,作为地电极,第九电极、第十电极、第十一电极、第十二电极作为测量电极,其中第九电极、第十电极配对作为垂直测量电极,第九电极放置于一侧眉心上方,第十电极置于眼眶下方20mm处,与第九电极位于一条垂直线上;第十一电极、第十二电极配对作为水平测量电极,分别放置于两眼外侧距用户的眼部外眦部10mm处;当检测时,第九电极、第十电极分别接入一个放大器的正负输入端,第十一电极、第十二电极分别接入另一个放大器的正负输入端;从而分别得到第九电极、第十电极和第十一电极、第十二电极的相对电势差,第九电极、第十电极间电势差即为眼球垂直运动情况,第十一电极、第十二电极间电势差即为眼球水平运动情况。
5.根据权利要求1所述的基于眼电的智能手持终端控制系统,其特征在于,所述预处理通道包括:保护器件,放大器,滤波器和基线调整电路;
所述保护器件,与眼电导联相连,用于保护后级电路作用,防护人体静电对于后级电路的击穿和/或干扰,防止电路中漏电对人体造成伤害;
所述放大器,用于对输入的眼电信号进行可控放大,以增强系统共模抑制比的作用;
所述滤波器,负责滤除眼电信号中混入的无关干扰信号;所述无关干扰信号包括:工频干扰,环境无线电信号,心电信号,肌电信号;
所述基线调整电路,用于将眼电模拟信号的中心调整到便于模数转换器采集的幅度,以避免眼电模拟信号偏移过大,超出模数转换器的测量范围。
6.根据权利要求1所述的基于眼电的智能手持终端控制系统,其特征在于,所述模数转换模块,用于实现多路眼电模拟信号的同步采集,将眼电模拟信号转换成眼电数字信号,并输出一路偏移驱动信号,馈入右腿驱动电路;所述模数转换模块,还用于实现断线检测功能。
7.根据权利要求1所述的基于眼电的智能手持终端控制系统,其特征在于,所述第一通信模块由:蓝牙模块、WIFI模块或5G通信模块实现,用于将眼动状态结果发送至智能手持终端。
8.根据权利要求1所述的基于眼电的智能手持终端控制系统,其特征在于,所述智能手持终端通过调用第二通信模块与所述头戴设备进行通信;接收所述头戴设备处理器解析出的眼动状态结果,并实现控制动作;
所述智能手持终端设有摄像头,所述摄像头用于对人脸和人眼进行识别,以判断不同的用户,并采用相对应的特征向量;当判断用户的眼部看向终端屏幕时,执行控制动作,当判断用户的眼部没有看向所述终端屏幕时,暂停执行动作;
所述智能手持终端设有第二惯性传感器;所述第二惯性传感器用于获取用户的持部运动、姿势信息;所述智能手持终端还用于利用所述运动、姿势信息对所述眼动状态结果进行修正。
9.根据权利要求1至8任一项所述的基于眼电的智能手持终端控制系统,其特征在于,还包括:眼电映射模块,用于将眼动状态结果映射为对所述智能手持终端的预设操作;
将与眼球向不同方向的转动对应的第一眼动状态结果,映射为手指在智能手持终端上的滑动;
将与有意识眨眼动作对应的第二眼动状态结果,映射为对所述智能手持终端的点击。
10.一种基于眼电的智能手持终端控制方法,应用于如权利要求1至9任一项所述的基于眼电的智能手持终端控制系统,其特征在于,包括:
接收所述模数转换模块输出的眼电数字信号;
对所述眼电数字信号进行消噪和端点检测,并执行预设眼电处理算法,提取出眼电信号特征,对眼电信号分类;
将眼动状态结果通过通信模块发送至智能手持终端,以控制所述智能手持终端进行预设操作。
CN201911368511.8A 2019-12-26 2019-12-26 一种基于眼电的智能手持终端控制系统及控制方法 Pending CN112083797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911368511.8A CN112083797A (zh) 2019-12-26 2019-12-26 一种基于眼电的智能手持终端控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911368511.8A CN112083797A (zh) 2019-12-26 2019-12-26 一种基于眼电的智能手持终端控制系统及控制方法

Publications (1)

Publication Number Publication Date
CN112083797A true CN112083797A (zh) 2020-12-15

Family

ID=73734335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911368511.8A Pending CN112083797A (zh) 2019-12-26 2019-12-26 一种基于眼电的智能手持终端控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN112083797A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764532A (zh) * 2020-12-31 2021-05-07 北京信息科技大学 基于脑电眼电结合的键鼠控制系统及控制方法
CN113325956A (zh) * 2021-06-29 2021-08-31 华南理工大学 一种基于神经网络的眼动控制系统及实现方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764532A (zh) * 2020-12-31 2021-05-07 北京信息科技大学 基于脑电眼电结合的键鼠控制系统及控制方法
CN113325956A (zh) * 2021-06-29 2021-08-31 华南理工大学 一种基于神经网络的眼动控制系统及实现方法

Similar Documents

Publication Publication Date Title
US20230088533A1 (en) Detecting and Using Body Tissue Electrical Signals
US9955895B2 (en) Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
Bulling et al. Wearable EOG goggles: Seamless sensing and context-awareness in everyday environments
CN112764532A (zh) 基于脑电眼电结合的键鼠控制系统及控制方法
CN107193374B (zh) 一种主动故意手势动作的检测装置及检测方法
Belkacem et al. Classification of four eye directions from EEG signals for eye-movement-based communication systems
CN103654774A (zh) 穿戴式移动手环
CN112083797A (zh) 一种基于眼电的智能手持终端控制系统及控制方法
Norris et al. The eye mouse, an eye communication device
KR102057705B1 (ko) 동작 인식을 위한 지능형 장치 및 그 제어 방법
CN207370703U (zh) 生物信息检测装置和可穿戴设备
Steinhausen et al. A three sensor eye tracking system based on electrooculography
López et al. EOG-based system for mouse control
Soltani et al. Design of a novel wearable human computer interface based on electrooculograghy
Vijayprasath et al. Experimental explorations on EOG signal processing for realtime applications in labview
CN107943285B (zh) 一种基于生物肌电的人机交互腕环、系统及方法
Chaudhuri et al. A low-cost, wearable, portable EOG recording system
CN211207290U (zh) 一种基于眼电的智能手持终端控制系统
Patel et al. EMG-based human machine interface control
BR102018071412B1 (pt) Dispositivo e método para captar, processar e classificar movimentos oculares, movimentos com a cabeça e atividade cerebral
CN110051351B (zh) 咬牙信号获取方法以及电子设备的控制方法及装置
KR101520462B1 (ko) 상지 장애인용 인터페이스장치
Bharadwaj et al. Electrooculography: Analysis on device control by signal processing.
DE102022210008A1 (de) Verfahren und vorrichtungen zur augenerkennung
CN115712350A (zh) 一种基于肌电检测的眨眼交流表达系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination