CN104866164A - 一种基于眨眼信号模式检测实现的人机交互系统与方法 - Google Patents

一种基于眨眼信号模式检测实现的人机交互系统与方法 Download PDF

Info

Publication number
CN104866164A
CN104866164A CN201410062468.3A CN201410062468A CN104866164A CN 104866164 A CN104866164 A CN 104866164A CN 201410062468 A CN201410062468 A CN 201410062468A CN 104866164 A CN104866164 A CN 104866164A
Authority
CN
China
Prior art keywords
signal
blinking
user
menu item
ogy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410062468.3A
Other languages
English (en)
Inventor
王真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410062468.3A priority Critical patent/CN104866164A/zh
Publication of CN104866164A publication Critical patent/CN104866164A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于眨眼信号模式检测实现的人机交互系统和方法。该系统它包括有计算机设备、脑电信号传感设备和用于信号采集、分析、处理的人机交互的软件。所述的方法主要是通过脑电信号的采集和分析，检测识别出使用者主动眨眼的信号，并分析其眨眼信号的有效模式，以用于控制鼠标指针的移动、鼠标的点击、鼠标滚轮的滚动和菜单功能项的选择与确认，从而达到仅利用使用者主动眨眼的动作就可以完成文字输入、上网浏览、播放语音、使用其它应用软件等人机交互功能。从而为全身瘫痪的患者提供一种成熟度高、易学易用且便于商业化推广的与外界沟通的有效手段，以达到改善广大全身瘫痪患者生活质量的目标。

Description

一种基于眨眼信号模式检测实现的人机交互系统与方法
技术领域
本发明属于脑机接口（BCI，Brain Computer Interface）的应用领域，特别是涉及一种基于眨眼信号模式检测实现的人机交互系统与方法。
背景技术
目前在社会上存在着很多由于各种原因导致的暂时性和永久性全身瘫痪的病人，这些病人的大脑意识清醒，可以看清眼前的事物，可以听懂周围人的讲话，但其四肢和躯干都无法自主运动，且无法像正常人一样发音讲话，他们的生活通常也无法自理，需要家人给予非常多的照料。
这些全身瘫痪的病人另一大问题是无法有效地与家人沟通，其家人通常只能通过感觉或猜测来判断病人的意图和想法，以给予相应的照顾。病人本身虽然头脑清晰，可以听懂家人的语言表达，但由于其无法正常发音或使用手势，其真实的意图往往无法有效表达，这为其与家人的沟通带来了十分严重的障碍。这一问题长期影响病人及其家属的日常生活和情感沟通。
当前虽然有一些技术手段来帮助这些病人与外界进行沟通，例如：英国著名物理学家和宇宙学家斯蒂芬·威廉·霍金（Stephen William Hawking）因患有肌肉萎缩性侧索硬化症，全身瘫痪，不能发音，英特尔等公司专门为其制造了一套语音合成系统，以通过摄像头拍摄其眼睛的运动模式来控制文字输入和语音合成，这为其提供了与外界沟通的能力。但是这样一套系统是定制化生产的，其成本高、不成熟、不能产品化，难以具备量产能力，因此很难为大多数全身瘫痪的患者提供类似帮助，而当前正流行的基于脑电信号意念控制的人机交互方式，还远未走出实验室阶段，更难以商业化推广应用。
目前实现类似人机交互功能的技术主要有两类：
??一类是通过摄像头，拍摄使用者眼部的图像，并分析其眼部运行的模式，以控制人机交互相关功能；这种方式一方面受使用者具体客观情况不同的限制，例如：是否配戴眼镜以及戴镜的形状、度数等都会影响相关人机交互系统的佩戴和使用效果，另一方面还会受使用者眼睛尺寸、眼部动作大小等因素的影响，通常需要一对一定制才能满足使用者的需求，因此这类系统难以统一化量产，不利于推广。
另一类是通过脑电信号采集分析，利用使用者的主动意念来控制人机交互相关功能。这种方式由于需要对使用者进行意念控制训练，或者需要在使用者体内植入电极，其易用性和安全性目前均未走出实验室阶段，因此更难以商业化推广。
发明内容
本发明为解决公知技术中存在的问题而提供一种低成本、设备成熟度高、容易产品化，具备可量产能力，受使用者客观条件因素影响小，且易于掌握和使用的基于眨眼信号模式检测实现的人机交互系统，以为广大全身瘫痪不能有效与外界沟通的病人提供一种有效的与外界沟通的方式。
本发明为解决公知技术中存在的问题还提供一种应用上述系统基于眨眼信号模式检测实现人机交互的方法。本发明所提供的基于眨眼信号模式检测实现的人机交互系统，即是用于实现该方法的系统。
本发明为解决公知技术中存在的问题所采用的基于眨眼信号模式检测实现人机交互系统的技术方案是：它包括有脑电信号传感器和计算机，另外还包括蓝牙通信模块或无线射频通信模块，脑电信号传感器通过蓝牙通信模块或无线射频通信模块与计算机相连接。
所述的脑电信号传感器包括至少一个感应电极，且该感应电极应佩戴在使用者的头部前额区域，同时该传感器还应包括蓝牙通信模块或无线射频通信模块，并包含用于（1）测量使用者头部前额区域的脑电信号（2）将测量的脑电信号通过蓝牙通信模块或无线射频通信模块传输给计算机的软件。
所述的计算机应至少包含并连接（1）一台显示器（2）蓝牙通信模块或无线射频通信模块。
所述的计算机还应包含用于（1）连接脑电信号传感器（2）采集、分析和处理脑电信号传感器测量的脑电信号（3）利用脑电信号分析识别使用者是否出现眨眼信号（4）利用脑电信号分析识别使用者眨眼信号的强度（5）分析识别使用者眨眼信号的模式（6）基于眨眼信号模式检测提供人机交互功能（7）显示鼠标指针的软件；
 ??所述的人机交互功能可以包括：（1）基于眨眼信号模式检测提供鼠标指针移动控制、点击控制和滚轮控制功能（2）基于眨眼信号模式检测提供菜单项的选择控制和确认控制功能（3）基于眨眼信号模式检测提供拼音输入法输入汉字功能（4）基于眨眼信号模式检测提供标准语音合成和个性化语音合成的文字语音朗读功能（5）基于眨眼信号模式检测提供控制应用程序打开、关闭的功能等；
??所述的连接脑电信号传感器和采集、分析、处理脑电信号的功能，可以是由脑电传感器的设备驱动程序直接提供的，也可以是由应用程序自行连接COM端口采集并自行分析处理的；所述的利用脑电信号分析识别使用者是否出现眨眼信号和分析识别使用者眨眼信号强度的功能，可以是由脑电传感器设备驱动程序直接提供的，也可以是由应用程序自行分析脑电信号数据所获得的；
??所述的用于显示鼠标指针的软件，目前通用的操作系统通常默认是自动支持的，对于一些非通用的操作系统或单片机或简易计算机来说，该功能可能需要由应用软件自行实现。但在一些特殊情况下，如果使用者有特殊要求，例如异形指针等，则该功能需要由应用软件自行实现。
所述的人机交互系统通过测量和采集使用者的脑电信号，对使用者脑电信号进行分析，从中分析提取出使用者的眨眼信号和眨眼强度测量值，并对使用者眨眼信号的模式进行分析识别，通过预设的眨眼信号模式定义，操控软件系统的功能，实现人机交互的目的。
本发明基于眨眼信号模式检测实现的人机交互系统的技术方案还可以采用如下技术措施：
??所述的计算机可以使用运行通用操作系统的计算机；
??所述的计算机可以使用能够完成前述软件功能的单片机；
??所述的计算机可以使用能够完成前述软件功能并运行专用操作系统的计算机；
??所述的计算机可以使用能够完成前述软件功能的简易计算机。
本发明为解决公知技术中存在的问题所采用的基于眨眼信号模式检测实现人机交互的方法包括以下步骤：
??（1）采集使用者的脑电信号，从中分析提取出使用者的眨眼信号和眨眼信号强度的测量值；
??（2）从检测到的眨眼信号中，使用“有效眨眼信号的判定方法”，分析提取出有效眨眼信号；
??（3）从检测到的有效眨眼信号中，分析提取出有效眨眼信号模式；
??（4）利用分析提取出的有效眨眼信号模式，使用“预定义的交互方法”，实现人机交互功能。
本发明为解决公知技术中存在的问题所采用的检测使用者主动意识的眨眼信号和使用者非主动意识的眨眼信号的方法是：主动意识眨眼信号和非主动意识眨眼信号通过判定阀值k来确定：
??所述的判定阀值k，应使用在系统所能测量到的使用者眨眼信号的强度的最大取值范围中，k是介于最强烈眨眼信号强度所对应的测量数值与最不强烈眨眼信号强度所对应的测量数值之间的数值；
??所述的主动意识的眨眼信号，应使用当系统检测出使用者的眨眼信号时，眨眼信号强度测量值介于k和用于表达最强烈眨眼信号强度的测量数值之间时，则将该信号视为主动意识的眨眼信号；
??所述的非主动意识的眨眼信号，应使用当系统检测出使用者的眨眼信号时，眨眼信号强度测量值介于k和用于表达最不强烈眨眼信号强度的测量数值之间时，则将该信号视为非主动意识的眨眼信号；
??例如：某种脑电信号传感器驱动程序所提供的眨眼信号强度的取值范围为1至200之间的整数，其中1表示眨眼强度最强的眨眼信号，200表示眨眼强度最弱的眨眼信号，则若设k=100，则当k介于1与100之间时，视为主动意识的眨眼信号，当k介于100与200之间时，视为非主动意识的眨眼信号，k在实际使用中可根据使用者的具体情况在取值范围内灵活设置。
所述的“有效眨眼信号的判定方法”通过以下步骤来实现：
??（1）设定满足上述条件的判定阀值k；
??（2）提取使用者的眨眼信号强度测量值，当该测量值介于k和用于表达最强烈眨眼信号强度的测量数值之间时，则将该眨眼信号判定为主动意识的眨眼信号；
??（3）将判定为主动意识的眨眼信号设为有效眨眼信号。
本发明为解决公知技术中存在的问题所采用的有效眨眼信号模式，应至少包括下列眨眼信号模式中的一种：单次眨眼信号模式、双次眨眼信号模式、三次眨眼信号模式、四次眨眼信号模式和五次眨眼信号模式；
??所述的单次眨眼信号模式，其检测要点是：系统检测到在t时刻使用者眨眼1次，其中t同时满足以下条件：（1）0<t，（2）在集合{[t-Dt)，(t+Dt]}定义的时间段内，系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??所述的双次眨眼信号模式，其检测要点是：系统检测到在t1、t2时刻使用者分别眨眼1次，其中t1、t2同时满足以下条件：（1）0<t1<t2，（2）t2-t1≤Dt，（3）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t2+Dt]} 定义的的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??所述的三次眨眼信号模式，其特征在于：系统检测到在t1、t2、t3时刻使用者分别眨眼1次，其中t1、t2、t3同时满足以下条件：（1）0<t1<t2<t3，（2）t2-t1≤Dt，（3）t3-t2≤Dt，（4）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t3)，(t3, t3+Dt]} 定义的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??所述的四次眨眼信号模式，其检测要点是：系统检测到在t1、t2、t3、t4时刻使用者分别眨眼1次，其中t1、t2、t3、t4同时满足以下条件：（1）0<t1<t2<t3<t4，（2）t2-t1≤Dt，（3）t3-t2≤Dt，（4）t4-t3≤Dt，（5）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t3)，(t3, t4)，(t4, t4+Dt]} 定义的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??所述的五次眨眼信号模式，其检测要点是：系统检测到在t1、t2、t3、t4、t5时刻使用者分别眨眼1次，其中t1、t2、t3、t4、t5同时满足以下条件：（1）0<t1<t2<t3<t4<t5，（2）t2-t1≤Dt，（3）t3-t2≤Dt，（4）t4-t3≤Dt，（5）t5-t4≤Dt，（6）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t3)，(t3, t4)，(t4, t5)，(t5, t5+Dt]} 定义的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??所述内容之中，涉及到的“某时刻”的类似概念，是指自然时间标量，其单位应使用自然时间的系列单位进行度量，例如：t、t1、t2、t3、t4、t5均是指这一概念。
本发明为解决公知技术中存在的问题所采用的基于眨眼信号模式检测实现人机交互的方法中，所述的“预定义的交互方法”，应至少包括下列方法之中的一种方法：
??（1）通过眨眼的方式控制鼠标指针的移动的方法；
??（2）通过眨眼的方式控制鼠标指针的点击动作的方法；
??（3）通过眨眼的方式控制鼠标滚轮的滚动动作的方法；
??（4）通过眨眼的方式控制菜单项的选择的方法；
??（5）通过眨眼的方式控制菜单项的确认的方法；
??（6）通过眨眼的方式控制使用拼音输入法输入汉字的方法；
??（7）通过眨眼的方式控制标准语音合成或个性化语音合成的文字语音朗读的方法；
??使用“预定义的交互方法”控制人机交互功能时，不同的交互功能可以使用同一种有效眨眼信号模式进行控制，但当多个交互方法需要在一起同时组合使用时，如果存在交互功能所使用的眨眼信号模式冲突的情况时，则应使用不同的有效眨眼信号模式进行控制，以免造成因眨眼信号模式相同而引起的对使用者要操作的交互功能无法准确判定的问题。例如：通过眨眼控制鼠标移动可以使用单次眨眼信号模式进行控制，通过眨眼控制鼠标点击也可以使用单次眨眼信号模式进行控制，但当这两种交互功能需要同时使用时，其中一种交互功能必须使用不同于单次眨眼信号模式的方式进行控制；而如果是使用通过眨眼的方式同时控制菜单项的选择、确认和拼音输入法输入汉字，则控制菜单项的选择和确认的交互功能应使用不同的眨眼信号模式进行控制，而使用拼音输入法输入汉字的交互功能由于是通过控制菜单项的选择和确认的交互功能实现的，故与其不存在信号模式的使用冲突，则可以使用与控制菜单项的选择和确认的交互功能相同的眨眼信号模式进行控制；
??所述的菜单项，是泛指为使用者提供多种选择项的相关功能，可以包括标准菜单、图形菜单、列表选择、组合框选择、复选框选择等满足基于在有限集合中选择一个有限子集的功能形式；
??所述的鼠标指针移动、鼠标单击、鼠标滚轮滚动，均指系统通过模拟鼠标硬件对应的动作而发送的动作消息，它们可被实现为逻辑功能，并非是指要控制鼠标硬件本身生产物理上的动作，因此本系统并不一定需要一个物理上的鼠标器硬件，而是只需要相关软件支持模拟鼠标的各种动作即可。
本发明为解决公知技术中存在的问题所采用的使用有效眨眼信号控制鼠标指针的移动的方法，包括以下步骤：
??（1）将显示器当前可见区域中的部分区域或全部区域设为“当前区域”，同时将鼠标指针移动到“当前区域”的几何中心点坐标，并将“当前区域”记为集合Ma；
??（2）将“当前区域”划分为j个连续的子区域，j是满足1≤j≤10的整数，划分后的子区域分别记为集合P1、P2、……、Pj，且对于任意的集合Pm（1≤m≤j）均应满足Pm的面积大于0，同时集合Pm还应满足Ma=P1∪P2∪……∪Pj；
??（3）以Dt0为周期，周期性依次对P1、P2、……、Pj区域分别进行循环标记，当标记Pi区域时（1≤i≤j），其它j-1个区域应不做标记，且在分别标记每个区域时，应让使用者能够在显示器上清晰地观察到对应区域的边界，其中Dt0应满足1≤Dt0≤5000毫秒；
??（4）当系统检测到有效眨眼信号模式时，则将当前标记的区域Pm设为“当前区域”，其中m是满足1≤m≤j的整数，然后将鼠标指针移动到“当前区域”的几何中心点坐标，并将“当前区域”重新记为集合Ma；
??（5）重复上述步骤（2）至步骤（4），直到鼠标指针被移动到目标位置为止。
本发明为解决公知技术中存在的问题所采用的使用有效眨眼信号控制鼠标指针的点击动作的方法，包括以下步骤：
??（1）当系统检测到有效眨眼信号模式时，记录鼠标指针的当前屏幕坐标，记为(x0, y0) ；
??（2）向屏幕坐标(x0, y0)发送鼠标点击消息（所述的鼠标点击消息，其点击的次数可以根据需要设为单击、双击或多击）。
本发明为解决公知技术中存在的问题所采用的使用有效眨眼信号控制鼠标滚轮的滚动动作的方法，包括以下步骤：
??（1）当系统检测到有效眨眼信号模式时，记录鼠标指针的当前屏幕坐标，记为(x0, y0) ；
??（2）向屏幕坐标(x0, y0)发送鼠标滚轮滚动消息（所述的鼠标滚轮滚动消息，其滚动的次数可以根据需要设为单次滚动或多次滚动，其滚动的方向可以根据需要，例如可根据鼠标指针在屏幕上位置的不同，设为向上滚动或向下滚动或向左滚动或向右滚等）。
本发明为解决公知技术中存在的问题所采用的使用有效眨眼信号控制菜单项的选择的方法，包括以下步骤：
??（1）在显示器的可见区域显示可供使用者选择的菜单项列表，并将全部显示的菜单选项设为“当前菜单项组”，将“当前菜单项组”记为有限集合Sa，其中集合Sa中的元素在实现时应该是有序排列的，且满足｜Sa｜>0，即可供用户选择的菜单选项的数量应大于0；
??（2）将“当前菜单项组”划分为k组，k是满足1≤k≤｜Sa｜的整数，划分后的菜单项组分别记为集合I1、I2、……、Ik，且对于任意的集合Im（1≤m≤k）均应满足｜Im｜>0，同时集合Im还应满足Sa=I1∪I2∪……∪Ik；
??（3）以Dt1为周期，周期性依次对菜单项组I1、I2、……、Ik分别进行循环标记，当标记Ii菜单项组时（1≤i≤k），其它k-1个菜单项组应不做标记，且在分别标记每个菜单项组时，应让使用者能够在显示器上清晰地观察到对应标记的菜单项组与非标记的菜单项组之间的区别，其中Dt1应满足1≤Dt1≤10000毫秒；
??（4）当系统检测到有效眨眼信号模式时，则将当前标记的菜单项组Im设为“当前菜单项组”，然后将“当前菜单项组”重新记为有限集合Sa，其中m是满足1≤m≤k的整数；
??（5）重复上述步骤（2）至步骤（4），直到当前集合Sa中仅剩余一个元素为止。
本发明为解决公知技术中存在的问题所采用的使用有效眨眼信号控制菜单项的确认的方法，包括以下步骤：
??（1）当系统检测到有效眨眼信号模式时，记录当前时刻显示的已被标记的菜单选项中的第一个菜单选项，即所述的“当前菜单项组”Sa中的第一个元素所对应的菜单选项，并将该菜单选项记为i0；
??（2）执行菜单项i0所对应的功能。
本发明为解决公知技术中存在的问题所采用的使用有效眨眼信号控制使用拼音输入法输入汉字的方法，包括以下步骤：
??（1）显示汉语拼音的声母选择菜单，使用所述的菜单选项的选择和确认方法，选择并确认待输入汉字的拼音的声母部分，不存在声母部分的汉字拼音，应将汉字拼音的声母部分选择并确认为空值；
??（2）显示汉语拼音的韵母选择菜单，使用所述的菜单选项的选择和确认方法，选择并确认待输入汉字的拼音的韵母部分；
??（3）将确认的汉字拼音的声母部分和韵母部分组合为完整的拼音，然后显示该完整拼音可以对应的汉字选择菜单，并使用所述的菜单选项的选择和确认方法，选择并确认待输入的汉字，从而完成单个汉字的输入；
??（4）显示可以与步骤（3）所输入之汉字组成词语的词语联想菜单，使用所述的菜单选项的选择和确认方法，选择并确认待输入的联想词语，以完成联想词语的输入；
??（5）重复步骤（1）至步骤（4），直至完成输入全部待输入的汉字为止。
本发明为解决公知技术中存在的问题所采用的使用有效眨眼信号控制标准语音合成和个性化语音合成的文字语音朗读功能的方法，包括以下步骤：
??（1）使用所述的拼音汉字输入方法，或使用所述的菜单选项的选择和确认方法，输入汉字或其它语言的待朗读的文字、短语和符号；
??（2）使用所述的菜单选项的选择和确认方法，选择确认语音朗读菜单功能项；
??（3）调用标准语音合成引擎或个性化语音合成引擎朗读在步骤（1）中所输入的文字和符号。
本发明所具有的优点和积极效果是：
??1、成本低，可以很容易普及到绝大多数有需要的患者；
??2、硬件产品成熟度高，相关硬件已走出实验室阶段，进入商品化阶段，更易于推广应用；
??3、用户操作简单，易学易用，可以满足大多数患者的与外界沟通的基本需求；
??4、整套系统成熟度高，易于量产，便于大规则的商业化；
??5、用户使用本系统除可以实现与外界基本沟通功能外，还可以利用本系统提供的鼠标控制功能实现自主上网或使用简单应用程序的能力，大大增加了全身瘫痪患者与外界沟通的手段和途径，从而可以改善全身瘫痪患者的生活质量；
??6、使用本发明只要用户满足基本使用条件，就可以不受其自身其它条件的影响，例如无论用户是否需要配戴眼镜或助听器，均可以无需对本发明所述之设备进行任何改造，就可以正常佩戴使用，大大拓宽了其可应用的人群。
附图说明
图1是本发明的硬件布置图。
图2是本发明的控制菜单项选择方法初始第1周期的示意图。
图3是本发明的控制菜单项选择方法初始第2周期的示意图。
图4是本发明的控制鼠标指针移动方法初始第1周期的示意图。
图5是本发明的控制鼠标指针移动方法初始第2周期的示意图。
具体实施方式
为能进一步了解本发明的内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
??本发明所述系统对使用者的基本要求：（1）大脑意识清醒（2）双眼可以自主控制眨动（3）视觉正常或佩戴眼镜后矫正视觉正常（4）听力正常或佩戴助听器后矫正听力正常（5）认识常用汉字（6）需要使用拼音输入法输入汉字的用户应会使用汉语拼音。
在实际使用中本发明所涉及的可变参数均可根据使用者的习惯，在有效取值范围内由使用者自行设置和调整，以满足不同使用者对显示内容的划分和系统响应节奏的不同需求，下面仅以一种参数组合情况为例说明本发明的其中一种工作状态。
请参阅图1，如果用户要使用本系统，仅需要准备一台笔记本电脑并在电脑上安装实现本发明所述系统的应用软件和脑电信号传感器的设备驱动程序，同时使用者只需头戴一个支持无线通信的脑电信号传感器即完成了全部硬件的准备和安装。虽然本系统可以支持多种计算机，例如：PC机、服务器、平板电脑、便携式笔记本计算机、PDA终端、智能手机等设备，但考虑到使用者的实际情况和使用现场的环境，通常便携式笔记本计算机会被作为一种较好的选择，因为它具有体积小、屏幕大、内置显示器和蓝牙通信功能、默认安装有鼠标、且具备安装多种应用软件的能力等的优势。
用户运行应用软件，并打开脑电信号传感器的电源开关，这时脑电信号传感器将处于初始化状态中，用户首次佩戴传感器后，大约经过0.5至3分钟的时间，脑电信号传感器将完成初始化操作，进入工作状态，这时应用软件已完成与脑电信号传感器的连接工作，进入正式工作状态。此时用户的眨眼动作将可以被脑电信号传感器检测到，并通过设备驱动程序发送给应用软件，以供应用软件进行分析处理。
请参阅图2，这时本发明所述之系统将为用户提供一个屏幕菜单以供用户进行选择，示例菜单中包括的内容有选择声母、选择韵母、朗读文本、上网功能选项。初始系统会以2秒为周期，在第1周期内高亮显示选择声母和选择韵母选项；请参阅图3，在第2周期内高亮显示朗读文本和上网功能选项。如果用户这时希望使用上网功能，则在系统高亮显示朗读文本和上网功能选项时主动眨眼一次，这时系统会再次以2秒为周期，并在第1周期内高亮显示朗读文本选项，在第2周期内高亮显示上网功能选择，当系统高亮显示上网功能选项时，用户在这时主动连续眨眼2次，系统将启动一个默认的浏览器进程，并转到用户预先设定好的起始网页开始上网。
请参阅图4，打开浏览器后，系统会将鼠标指针移动到屏幕的中心，并将屏幕划分为4个区域。然后本发明所述之系统将会以1秒为周期，分别在屏幕上依次显示这4个区域的边界，在第1周期显示区域1的边界；请参阅图5，在第2周期显示区域2的边界，以此类推。当用户希望点击某一个链接时，用户只需等待直到该链接出现在屏幕上标记出的区域边界内时，主动眨眼一次，这时系统会将鼠标移动到当前标记出的显示边界的区域中心，并将该区域再次分割为4个较小的区域，并仍以1秒为周期，分别在屏幕上依次显示这4个较小区域的边界，不断重复这一过程，当用户发现当前鼠标指针已经移动到其要点击的链接上时，主动连续眨眼两次，系统将向该链接发出鼠标点击动作，从而完成打开一个新网页的功能。
如果用户希望向下滚动网页内容，只需用上述方法将鼠标指针移动到屏幕的下半区域，并主动连续眨眼三次，系统检测到这一信号后会自动向网页发送向下滚动的消息，从而完成网页的翻页。
同理使用上述方法还可以依次逐级完成拼音声母、韵母、汉字和联想词语的选择从而完成文字的输入，若将菜单功能设为其它语言的文字或符号，即可完成其它语言文字和符号的输入功能。
当用户完成全部文字的输入后，利用眨眼的方式通过上述菜单功能选择朗读文本选项，系统将调用语音合成引擎将文本转换为波形，并通过扬声器播放出对应的语音波形数据，从而实现了用户仅通过眨眼的方式完成与外界语言的沟通和上网等能力。
同样使用本发明定义的其它类型的眨眼模式与相关菜单或其它功能结合，就可以组合出更多的利用眨眼控制的人机交互功能。

Claims (10)

1.一种基于眨眼信号模式检测的人机交互方法，其特征在于应包括以下步骤：
??（1）采集使用者的脑电信号，从中分析提取出使用者的眨眼信号和眨眼信号强度的测量值；
??（2）从检测到的眨眼信号中，使用“有效眨眼信号的判定方法”，分析提取出有效眨眼信号；其中所述的“有效眨眼信号的判定方法”，其特征在于应包括以下步骤：
??A、设定判定阀值k，其中判定阀值k的特征在于：在系统所能测量到的使用者眨眼信号强度的最大取值范围中，k是介于最强烈眨眼信号强度所对应的测量数值与最不强烈眨眼信号强度所对应的测量数值之间的数值；
??B、提取使用者的眨眼信号强度测量值，当该测量值介于k和用于表达最强烈眨眼信号强度的测量数值之间时，则将该眨眼信号判定为主动意识的眨眼信号；
??C、将判定为主动意识的眨眼信号设为有效眨眼信号；
??（3）从检测到的有效眨眼信号中，分析提取出有效眨眼信号模式；其中所述的有效眨眼信号模式，其特征在于应至少包括下列眨眼信号模式中的一种： 
??A、单次眨眼信号模式，其特征在于：系统检测到在t时刻使用者眨眼1次，其中t同时满足以下条件：（A）0<t，（B）在集合{[t-Dt)，(t+Dt]}定义的时间段内，系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??B、双次眨眼信号模式，其特征在于：系统检测到在t1、t2时刻使用者分别眨眼1次，其中t1、t2同时满足以下条件：（A）0<t1<t2，（B）t2-t1≤Dt，（C）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t2+Dt]} 定义的的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??C、三次眨眼信号模式，其特征在于：系统检测到在t1、t2、t3时刻使用者分别眨眼1次，其中t1、t2、t3同时满足以下条件：（A）0<t1<t2<t3，（B）t2-t1≤Dt，（C）t3-t2≤Dt，（D）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t3)，(t3, t3+Dt]} 定义的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??D、四次眨眼信号模式，其特征在于：系统检测到在t1、t2、t3、t4时刻使用者分别眨眼1次，其中t1、t2、t3、t4同时满足以下条件：（A）0<t1<t2<t3<t4，（B）t2-t1≤Dt，（C）t3-t2≤Dt，（D）t4-t3≤Dt，（E）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t3)，(t3, t4)，(t4, t4+Dt]} 定义的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??E、五次眨眼信号模式，其特征在于：系统检测到在t1、t2、t3、t4、t5时刻使用者分别眨眼1次，其中t1、t2、t3、t4、t5同时满足以下条件：（A）0<t1<t2<t3<t4<t5，（B）t2-t1≤Dt，（C）t3-t2≤Dt，（D）t4-t3≤Dt，（E）t5-t4≤Dt，（F）在集合{[t1-Dt, t1)，(t1, t2)，(t2, t3)，(t3, t4)，(t4, t5)，(t5, t5+Dt]} 定义的时间段内系统检测到使用者眨眼0次，其中0<Dt≤1500毫秒；
??（4）利用分析提取出的有效眨眼信号模式，使用“预定义的交互方法”，实现人机交互功能；其中所述的“预定义的交互方法”，其特征在于应至少包括下列方法之中的一种方法：
??A、通过眨眼的方式控制鼠标指针移动的方法；
??B、通过眨眼的方式控制鼠标指针的点击动作的方法；
??C、通过眨眼的方式控制鼠标滚轮的滚动动作的方法；
??D、通过眨眼的方式控制菜单项的选择的方法；
??E、通过眨眼的方式控制菜单项的确认的方法；
??F、通过眨眼的方式控制使用拼音输入法输入汉字的方法；
??G、通过眨眼的方式控制标准语音合成或个性化语音合成的文字语音朗读的方法。
2.一种用于实现权利要求1所述方法的系统，它包括脑电信号传感器和计算机，其特征是：它还包括蓝牙通信模块或无线射频通信模块，脑电信号传感器通过蓝牙通信模块或无线射频通信模块与计算机相连接；
??所述的脑电信号传感器包括至少一个感应电极，且该感应电极应佩戴在使用者的头部前额区域，同时该传感器还应包括蓝牙通信模块或无线射频通信模块，并包含用于（1）测量使用者头部前额区域的脑电信号（2）将测量的脑电信号通过蓝牙通信模块或无线射频通信模块传输给计算机的软件；
??所述的计算机应至少包含并连接（1）一台显示器（2）蓝牙通信模块或无线射频通信模块；
??所述的计算机还应包含用于（1）连接脑电信号传感器（2）采集、分析和处理脑电信号传感器测量的脑电信号（3）利用脑电信号分析识别使用者是否出现眨眼信号（4）利用脑电信号分析识别使用者眨眼信号的强度（5）分析识别使用者眨眼信号的模式（6）基于眨眼信号模式检测提供人机交互功能（7）显示鼠标指针的软件；
??所述的人机交互系统通过测量和采集使用者的脑电信号，对使用者脑电信号进行分析，从中分析提取出使用者的眨眼信号和眨眼强度测量值，并对使用者眨眼信号的模式进行分析识别，通过预设的眨眼信号模式定义，操控软件系统的功能，实现人机交互的目的。
3.根据权利要求1所述的一种基于眨眼信号模式检测的人机交互方法，其特征在于，所述的通过眨眼的方式控制鼠标指针移动的方法应包括以下步骤：
??（1）将显示器当前可见区域中的部分区域或全部区域设为“当前区域”，同时将鼠标指针移动到“当前区域”的几何中心点坐标，并将“当前区域”记为集合Ma；
??（2）将“当前区域”划分为j个连续的子区域，j是满足1≤j≤10的整数，划分后的子区域分别记为集合P1、P2、……、Pj，且对于任意的集合Pm（1≤m≤j）均应满足Pm的面积大于0，同时集合Pm还应满足Ma=P1∪P2∪……∪Pj；
??（3）以Dt0为周期，周期性依次对P1、P2、……、Pj区域分别进行循环标记，当标记Pi区域时（1≤i≤j），其它j-1个区域应不做标记，且在分别标记每个区域时，应让使用者能够在显示器上清晰地观察到对应区域的边界，其中Dt0应满足1≤Dt0≤5000毫秒；
??（4）当系统检测到所述的有效眨眼信号模式时，则将当前标记的区域Pm设为“当前区域”，其中m是满足1≤m≤j的整数，然后将鼠标指针移动到“当前区域”的几何中心点坐标，并将“当前区域”重新记为集合Ma；
??（5）重复上述步骤（2）至步骤（4），直到鼠标指针被移动到目标位置为止。
4.根据权利要求1所述的一种基于眨眼信号模式检测的人机交互方法，其特征在于，所述的通过眨眼的方式控制菜单项的选择的方法应包括以下步骤：
??（1）在显示器的可见区域显示可供使用者选择的菜单项列表，并将全部显示的菜单选项设为“当前菜单项组”，将“当前菜单项组”记为有限集合Sa，其中集合Sa中的元素在实现时应该是有序排列的，且满足｜Sa｜>0；
??（2）将“当前菜单项组”划分为k组，k是满足1≤k≤｜Sa｜的整数，划分后的菜单项组分别记为集合I1、I2、……、Ik，且对于任意的集合Im（1≤m≤k）均应满足｜Im｜>0，同时集合Im还应满足Sa=I1∪I2∪……∪Ik；
??（3）以Dt1为周期，周期性依次对菜单项组I1、I2、……、Ik分别进行循环标记，当标记Ii菜单项组时（1≤i≤k），其它k-1个菜单项组应不做标记，且在分别标记每个菜单项组时，应让使用者能够在显示器上清晰地观察到对应标记的菜单项组与非标记的菜单项组之间的区别，其中Dt1应满足1≤Dt1≤10000毫秒；
??（4）当系统检测到所述的有效眨眼信号模式时，则将当前标记的菜单项组Im设为“当前菜单项组”，然后将“当前菜单项组”重新记为有限集合Sa，其中m是满足1≤m≤k的整数；
??（5）重复上述步骤（2）至步骤（4），直到当前集合Sa中仅剩余一个元素为止。
5.根据权利要求4所述的一种基于眨眼信号模式检测的人机交互方法，其特征在于，所述的通过眨眼的方式控制菜单项的确认的方法应包括以下步骤：
??（1）当系统检测到有效眨眼信号模式时，记录当前时刻显示的已被标记的菜单选项中的第一个菜单选项，即所述的“当前菜单项组”Sa中的第一个元素所对应的菜单选项，并将该菜单选项记为i0；
??（2）执行菜单项i0所对应的功能。
6.根据权利要求5所述的一种基于眨眼信号模式检测的人机交互方法，其特征在于，所述的通过眨眼的方式使用拼音输入法输入汉字的方法应包括以下步骤：
??（1）显示汉语拼音的声母选择菜单，并使用所述的菜单选项的选择和确认方法，选择并确认待输入汉字的拼音的声母部分，不存在声母部分的汉字拼音，应将汉字拼音的声母部分选择并确认为空值；
??（2）显示汉语拼音的韵母选择菜单，并使用所述的菜单选项的选择和确认方法，选择并确认待输入汉字的拼音的韵母部分；
??（3）将确认的汉字拼音的声母部分和韵母部分组合为完整的拼音，然后显示所述完整拼音可以对应的汉字选择菜单，并使用所述的菜单选项的选择和确认方法，选择并确认待输入的汉字，从而完成单个汉字的输入；
??（4）显示可以与步骤（3）所输入之汉字组成词语的词语联想菜单，并使用所述的菜单选项的选择和确认方法，选择并确认待输入的联想词语，以完成联想词语的输入；
??（5）重复步骤（1）至步骤（4），直至完成输入全部待输入的汉字为止。
7.根据权利要求1或4或5或6所述的一种基于眨眼信号模式检测的人机交互方法，其特征在于，所述的通过眨眼的方式控制标准语音合成或个性化语音合成的文字语音朗读的方法应包括以下步骤：
??（1）使用所述的拼音输入法输入汉字的方法，或使用所述的菜单选项的选择和确认方法，输入汉字或其它语言的待朗读的文字、短语和符号；
??（2）使用所述的菜单选项的选择和确认方法，选择确认语音朗读菜单功能项；
??（3）调用标准语音合成引擎或个性化语音合成引擎朗读在步骤（1）中所输入的文字和符号。
8.根据权利要求1所述的一种基于眨眼信号模式检测的人机交互方法，其特征在于，所述的通过眨眼的方式控制鼠标指针的点击动作的方法应包括以下步骤：
??（1）当系统检测到有效眨眼信号模式时，记录鼠标指针的当前屏幕坐标，记为(x0, y0) ；
??（2）向屏幕坐标(x0, y0)发送鼠标点击消息。
9.根据权利要求1所述的一种基于眨眼信号模式检测的人机交互方法，其特征在于，所述的通过眨眼的方式控制鼠标滚轮的滚动动作的方法应包括以下步骤：
??（1）当系统检测到有效眨眼信号模式时，记录鼠标指针的当前屏幕坐标，记为(x0, y0) ；
??（2）向屏幕坐标(x0, y0)发送鼠标滚轮滚动消息。
10.根据权利要求2所述的一种基于眨眼信号模式检测实现的人机交互系统，其特征在于，所述的计算机应具有下列特点之一：
??A、所述的计算机是运行通用操作系统的计算机；
??B、所述的计算机是能够完成所述软件功能的单片机；
??C、所述的计算机是能够完成所述软件功能并运行专用操作系统的计算机；
??D、所述的计算机是能够完成所述软件功能的简易计算机。
CN201410062468.3A 2014-02-22 2014-02-22 一种基于眨眼信号模式检测实现的人机交互系统与方法 Pending CN104866164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410062468.3A CN104866164A (zh) 2014-02-22 2014-02-22 一种基于眨眼信号模式检测实现的人机交互系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410062468.3A CN104866164A (zh) 2014-02-22 2014-02-22 一种基于眨眼信号模式检测实现的人机交互系统与方法

Publications (1)

Publication Number Publication Date
CN104866164A true CN104866164A (zh) 2015-08-26

Family

ID=53912034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410062468.3A Pending CN104866164A (zh) 2014-02-22 2014-02-22 一种基于眨眼信号模式检测实现的人机交互系统与方法

Country Status (1)

Country Link
CN (1) CN104866164A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700690A (zh) * 2016-03-31 2016-06-22 云南省交通科学研究所 一种基于移动平台的脑电多媒体控制系统
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107272880A (zh) * 2017-04-25 2017-10-20 中国农业大学 一种光标定位、光标控制方法及装置
CN108154829A (zh) * 2018-02-12 2018-06-12 黄赛华 一种辅助化选择显示系统
CN110140166A (zh) * 2016-11-03 2019-08-16 埃利亚斯·库利 用于向计算机提供免手工输入的系统
CN110673721A (zh) * 2019-08-29 2020-01-10 江苏大学 基于视觉与意念信号协同控制的机器人看护系统
CN111046779A (zh) * 2019-12-06 2020-04-21 江苏理工学院 基于单通道脑电信号的有意眨眼识别方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700690A (zh) * 2016-03-31 2016-06-22 云南省交通科学研究所 一种基于移动平台的脑电多媒体控制系统
CN110140166A (zh) * 2016-11-03 2019-08-16 埃利亚斯·库利 用于向计算机提供免手工输入的系统
CN110140166B (zh) * 2016-11-03 2022-06-24 埃利亚斯·库利 用于向计算机提供免手工输入的系统
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107272880A (zh) * 2017-04-25 2017-10-20 中国农业大学 一种光标定位、光标控制方法及装置
CN107272880B (zh) * 2017-04-25 2019-11-15 中国农业大学 一种光标定位、光标控制方法及装置
CN108154829A (zh) * 2018-02-12 2018-06-12 黄赛华 一种辅助化选择显示系统
CN110673721A (zh) * 2019-08-29 2020-01-10 江苏大学 基于视觉与意念信号协同控制的机器人看护系统
CN110673721B (zh) * 2019-08-29 2023-07-21 江苏大学 基于视觉与意念信号协同控制的机器人看护系统
CN111046779A (zh) * 2019-12-06 2020-04-21 江苏理工学院 基于单通道脑电信号的有意眨眼识别方法及装置

Similar Documents

Publication Publication Date Title
CN104866164A (zh) 一种基于眨眼信号模式检测实现的人机交互系统与方法
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
US11768909B2 (en) Systems and methods for providing accessible search results
Królak et al. Eye-blink detection system for human–computer interaction
US20090251407A1 (en) Device interaction with combination of rings
Liu et al. Human–computer interaction based visual feedback system for augmentative and alternative communication
Arai et al. Eye-based human computer interaction allowing phoning, reading e-book/e-comic/e-learning, internet browsing, and tv information extraction
CN103336581A (zh) 基于人体眼动特征设计的人机交互方法及系统
Yang et al. Design of virtual keyboard using blink control method for the severely disabled
CN111562842B (zh) 一种基于肌电信号的虚拟键盘设计方法
US11086473B2 (en) System and method for aiding communication
US10684686B1 (en) Dynamic command remapping for human-computer interface
Kwon et al. Myokey: Surface electromyography and inertial motion sensing-based text entry in ar
Fejtová et al. Hands-free interaction with a computer and other technologies
KR102569000B1 (ko) 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
CN108536285B (zh) 一种基于眼部移动识别与控制的鼠标交互方法与系统
CN116185195A (zh) 一种基于多模态柔性传感的可穿戴手势交互系统及其方法
KR100549994B1 (ko) 지화 인식 방법 및 장치
Tang et al. HeadPager: page turning with computer vision based head interaction
CN105493026B (zh) 一种智能穿戴设备屏显方法及装置
JP2019144822A (ja) 形式知化システムおよびその方法
Schipor et al. GearWheels: A Software Tool to Support User Experiments on Gesture Input with Wearable Devices
KR20130109295A (ko) 영상 입력 장치를 이용한 전자책 제어 방법 및 그 기기
EP2447808B1 (en) Apparatus for operating a computer using thoughts or facial impressions
Shin A Group Based Personalized Approach to Efficient Hand Gesture Recognition Using Sensor Fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150826