CN109933270A - 一种基于手指开关的人机交互系统及其交互方法 - Google Patents

一种基于手指开关的人机交互系统及其交互方法 Download PDF

Info

Publication number
CN109933270A
CN109933270A CN201910297611.XA CN201910297611A CN109933270A CN 109933270 A CN109933270 A CN 109933270A CN 201910297611 A CN201910297611 A CN 201910297611A CN 109933270 A CN109933270 A CN 109933270A
Authority
CN
China
Prior art keywords
signal
key
finger
finger switch
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910297611.XA
Other languages
English (en)
Other versions
CN109933270B (zh
Inventor
李远清
石晓杰
黄骐云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910297611.XA priority Critical patent/CN109933270B/zh
Publication of CN109933270A publication Critical patent/CN109933270A/zh
Application granted granted Critical
Publication of CN109933270B publication Critical patent/CN109933270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Input From Keyboards Or The Like (AREA)

Abstract

一种基于手指开关的人机交互系统,包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5;该信号采集模块1的输出端口与信号检测单元3的输入端口相连;该信号检测单元3的输出端口与所述主控制单元4的输入端口相连;所述主控单元4的控制端口与所述控制模块5的输入端口相连;所述主控单元4的交互端口与所述交互界面2相连;所述控制模块5用于驱动执行模块工作。采用手指开关信号采集模块,被试者长时间面对虚拟按键闪烁界面进行实验时,不会感到疲乏,进而不会影响手指开关信号识别的准确率。

Description

一种基于手指开关的人机交互系统及其交互方法
技术领域
本发明涉及人机交互领域,具体涉及一种基于手指开关的人机交互系统及其工作方法。
背景技术
近年来,我国人口老龄化的问题日益凸显,医疗行业得到了快速的发展,如何通过人机交互的方式来实现医院病人的日常活动成为了近来的热点之一。本文针对瘫痪、残疾等行动不便的病人,提出了一种基于开关手指的人机交互系统。经测试,病人可以进行字符拼写、以及对护理床、电视、空调进行选择控制。
传统的人机交互控制系统是面向正常人的,结合语音识别、手势识别等人机接口技术,其应用已经非常成熟了。然而对于医院中那些基本运动功能丧失的病人,传统的人机交互控制系统并不适用。
随着智慧医疗行业的发展,根据病人的需要,延伸出了利用多种方式来实现家电控制、字符拼写等。其中一种新的人机交互的方式是利用人体生物电的方式,人体生物电主要包括脑电(EEG,Electronecephalogram)、心电(ECG,Electrocardiogram)、肌电(ECM,Electromyography)、眼电(EOG,Electrooculography)等。
其中脑电的电信号十分微弱,容易受噪声干扰,需要复杂的前端采集设备来进行采集,采集设备成本高昂,不具有实用性。眼电需要被试者不断地眨眼,时间一长,给被试者带来了巨大的体力消耗,人眼容易疲乏,可能产生不自主的眨眼或者眨眼的反应时间发生变化,最终降低识别的准确率。例如公开号为CN106708273A的中国发明专利,于2017年2月21日申请的一种基于EOG的开关装置及开关键实现方法,该方法所述ON/OFF键之间闪亮的间隔为600ms,且为一次检测,人眼需要不断地眨眼且不能出错,这给人的眼睛带来了很大的负担。肌电需要被试者具有运动能力、肌肉组织正常,心电难以受被试者的控制。
手指也可以被用来设计用于人机交互的一种信号接口。相对于人来说,手指执行开关闭合动作比较简单,易于控制,不会产生疲乏感,。氯化银,由于阻抗小,导电性能好,常用来采集人体的生物电。基于此,使用两个手指和氯化银干电极布组合就可以产生稳定的开关信号。
基于以上问题,我们提出了一种基于开关手指的人机交互系统,被试者病人通过人机交互的方式,可以有效地实现字符拼写、护理床以及家电的控制,具有重要的实用价值。
发明内容
本发明针对现有技术的不足,目的在于提供一种更加简便、实用的基于开关手指的人机交互系统及其交互方法。
具体为,提出一种基于手指开关的人机交互系统,具体技术方案如下:
一种基于手指开关的人机交互系统,其特征在于:包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5;
该信号采集模块1的输出端口与信号检测单元3的输入端口相连;
该信号检测单元3的输出端口与所述主控制单元4的输入端口相连;
所述主控单元4的控制端口与所述控制模块5的输入端口相连;
所述主控单元4的交互端口与所述交互界面2相连;
所述控制模块5用于驱动执行模块工作。
进一步地:所述信号采集模块包括电极模块和蓝牙通信模块,该电极模块包括至少两个电极,该蓝牙通信模块与所述信号检测单元通过无线连接。
一种基于手指开关的人机交互方法,具体技术方案为:
一种基于手指开关的人机交互方法,其特征在于:
采用以下步骤,
S1:信号采集模块采集手指开闭状态,将手指的开闭状态发送到信号检测单元;
S2:设虚拟按键初始闪烁时间为t0,信号开始时间ti,设置信号采样时间段为s,当虚拟按键开始闪烁时,信号采集模块提取ti+s的时间段作为特征值a;
S3:设置有幅度阀值Ath,持续时间阀值[T1,T2],反应时间阀值Di
信号检测模块提取特征值a中的信号最大值amax、持续时间ac以及手指开关信号的反应时间即相对于虚拟按键的时延|t0-ti|;
信号检测单元将信号最大值amax和幅度阀值Ath进行比较,持续时间ac和持续时间阀值[T1,T2]进行比较,手指信号的相对于每个按键的反应时间即时延|t0-ti|;
如果信号最大值amax大于等于幅度阀值Ath,持续时间ac大于等于持续时间阀值[T1,T2],以及|t0-ti|小于等于Di,则判断为检测到手指开关动作,否则,回到步骤2;
S4:交互界面2切换到预处理窗口,预处理窗口的虚拟按键闪烁N次,手指开关动作N次,虚拟按键闪烁时间间隔为t1,读取N次手指开关动作的反应时间,即相对于虚拟按键闪烁后的时延,计算得到被试者手指开关动作的平均反应时间Tp
通过该平均持续时间Tp,调整后续虚拟按键闪烁的频率;
S5:交互界面2切换到菜单选择窗口,在该菜单选择窗口用于选择进入到字符拼写界面窗口或者护理床家电控制窗口;
如果选择切换到字符拼写界面窗口,则进入步骤S6,否则,进入步骤S7;
S6:交互界面2切换到字符拼写界面窗口,该字符拼写界面窗口包括26个虚拟选择按键,该字符拼写界面窗口分别按照行与列进行闪烁,通过行与列确定选择的虚拟选择按键,进入S8;
S7:交互界面2切换到护理床家电控制窗口,该护理床家电控制窗口包括21个虚拟选择按键,该护理床家电控制窗口先按照自上而下,一行虚拟按键闪烁,然后自左向右一列虚拟按键闪烁,通过S2、S3确定行与列虚拟按键,通过行与列交叉点确定选择的虚拟选择按键,进入S8;
S8:所述主控制单元4通知所述控制模块5驱动执行模块工作。
本发明的有益效果为:第一,采用手指开关信号采集模块,手指开关信号是通过包裹在人的食指与中指的干电极布的闭合松开产生的,电极布采用氯化银材料,信号灵敏稳定,相对于来说,包裹在手指上简便、舒适,而且成本很低。被试者长时间面对虚拟按键闪烁界面进行实验时,不会感到疲乏,进而不会影响手指开关信号识别的准确率。
第二,根据预处理界面中被试者的十次手指开关反应的平均时间(相对于虚拟按键闪烁),来动态的调整后面虚拟按键闪烁的频率,让不同被试者更好适应按键闪烁的选择时机。
第三,为了避免被试者手指的误触发以及相邻虚拟闪烁按键之间的干扰,我们采用防抖措施,当闪烁界面某个按键闪烁时,我们手动选择,当信息处理模块检测到的“开”信号持续时间达到预期的阀值时,才会输出选择命令,这样就可以防止抖动,降低了误报率,同时,当手指开关信号相关参数满足阀值时,输出相应的命令,这样就能避免相邻闪烁按键之间的干扰。同时,单个虚拟按键闪烁后,通过信号检测单元3以及主控制单元,直接输出被试者的选择命令,无需通过每一轮(即每个按键都要闪烁)按键闪烁后再进行命令输出,这样极大提高了速度。
附图说明
图1为本发明的结构框图;
图2为本发明的工作流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
如图1和图2所示:
一种基于手指开关的人机交互系统,包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5;
该信号采集模块1是通过包裹在人的食指与中指的干电极布的闭合松开产生的,电极布采用氯化银材料,信号灵敏稳定,相对于来说,包裹在手指上简便、舒适,而且成本很低。被试者长时间面对虚拟按键闪烁界面进行实验时,不会感到疲乏,进而不会影响手指开关信号识别的准确率。
该信号采集模块1的输出端口与信号检测单元3的输入端口相连;
该信号检测单元3的输出端口与所述主控制单元4的输入端口相连;
所述主控单元4的控制端口与所述控制模块5的输入端口相连;
所述主控单元4的交互端口与所述交互界面2相连;
所述控制模块5用于驱动执行模块工作。
所述信号采集模块包括电极模块和蓝牙通信模块,该电极模块包括至少两个电极,该蓝牙通信模块与所述信号检测单元通过无线连接。
一种基于手指开关的人机交互方法,其特征在于:
采用以下步骤,
S1:信号采集模块采集手指开闭状态,将手指的开闭状态发送到信号检测单元,手指开关信号采集模块放置靠近被试者的地方,其包括电极模块、蓝牙通信模块。电极模块由两块氯化银电极布组成,电极1与电极2分别包裹在食指与中指上,当被试者看到对应虚拟按键闪烁时,中指与食指自然的开关,对应闭合和松开状态,产生开关信号,当中指与食指闭合时,代表“开”,信号数据为高幅值,当食指与中指松开后,代表“关”,信号数据为低幅值,通过蓝牙通信模块将采集的信号发送到手指开关信号检测单元;
S2:设虚拟按键初始闪烁时间为t0,信号开始时间ti,设置信号采样时间段为s,当虚拟按键开始闪烁时,信号采集模块提取t0+s的时间段作为特征值a,在本实施例中该特征值对应于单个虚拟按键闪烁后100ms-800ms的手指信号数据,同时,手指“开”信号发生的开始时间ti为250ms-320ms,这个时间会稳定在一个范围内。人的手指开关一下,“开”信号的持续时间一般为300ms;
S3:设置有幅度阀值Ath和持续时间阀值[T1,T2],信号检测模块提取特征值a中的信号最大值amax和持续时间ac,此处设定为T1=200、T2=500ms进行阀值检测,可以避免因为被试者手指抖动而引起的误操作;
信号检测单元将信号最大值amax和幅度阀值Ath进行比较,持续时间ac和持续时间阀值[T1,T2]进行比较;
如果信号最大值amax大于等于幅度阀值Ath,同时持续时间ac大于等于持续时间阀值[T1,T2],则判断为检测到手指开关动作,否则,回到S2;信号检测单元用作检测手指开关信号是否有效,分为三个条件检测,主控制单元用作发布按键选择相应的命令以及切换闪烁界面。
S4:交互界面2切换到预处理窗口,预处理窗口的虚拟按键闪烁N次,闪烁时间间隔为t1,读取N次虚拟按键闪烁对应的持续时间ta,计算得到N次虚拟按键闪烁对应的平均持续时间tN
通过该平均持续时间tN,调整后续虚拟按键闪烁的频率;
预处理窗口,是用来检测每个被试者手指开关动作的平均反应时间,该平均反应时间为相对于虚拟按键闪烁后的手指开关信号开始时间,由于被试者多是病人,反应时间差别较大,因此,动态调整虚拟按键闪烁频率。
S5:交互界面2切换到菜单选择窗口,在该菜单选择窗口用于选择进入到字符拼写界面窗口或者护理床家电控制窗口;
如果选择切换到字符拼写界面窗口,则进入步骤S6,否则,进入步骤S7;
S6:交互界面2切换到字符拼写界面窗口,该字符拼写界面窗口包括26个虚拟选择按键,该字符拼写界面窗口分别按照行与列进行闪烁,通过行与列确定选择的虚拟选择按键,进入S8;
S7:交互界面2切换到护理床家电控制窗口,该护理床家电控制窗口包括21个虚拟选择按键,该21个虚拟选择按键分别代表着护理床的左翻、右翻、左翻平、右翻平、曲腿、腿平、便盆开、便盆关以及复位命令、电视频道加减、音道加减以及开关命令空调模式冬夏、开关以及温度加减命令。该护理床家电控制窗口分别按照行与列进行闪烁,通过行与列确定选择的虚拟选择按键,进入S8;
S8:所述主控制单元4通知所述控制模块5驱动执行模块工作。

Claims (6)

1.一种基于手指开关的人机交互系统,其特征在于:包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5;
该信号采集模块1的输出端口与信号检测单元3的输入端口相连;
该信号检测单元3的输出端口与所述主控制单元4的输入端口相连;
所述主控单元4的控制端口与所述控制模块5的输入端口相连;
所述主控单元4的交互端口与所述交互界面2相连;
所述控制模块5用于驱动执行模块工作。
2.根据权利要求1所述一种基于手指开关的人机交互系统,其特征在于:所述信号采集模块包括电极模块和蓝牙通信模块,该电极模块包括至少两个电极,该蓝牙通信模块与所述信号检测单元通过无线连接。
3.一种基于手指开关的人机交互方法,其特征在于:
采用以下步骤,
S1:信号采集模块采集手指开闭状态,将手指的开闭状态发送到信号检测单元;
S2:设虚拟按键初始闪烁时间为t0,信号开始时间ti,设置信号采样时间段为s,当虚拟按键开始闪烁时,信号采集模块提取ti+s的时间段作为特征值a;
S3:设置有幅度阀值Ath,持续时间阀值[T1,T2],反应时间阀值Di
信号检测模块提取特征值a中的信号最大值amax、持续时间ac以及手指开关信号的反应时间即相对于虚拟按键的时延|t0-ti|;
信号检测单元将信号最大值amax和幅度阀值Ath进行比较,持续时间ac和持续时间阀值[T1,T2]进行比较,手指信号的相对于每个按键的反应时间即时延|t0-ti|;
如果信号最大值amax大于等于幅度阀值Ath,持续时间ac大于等于持续时间阀值[T1,T2],以及|t0-ti|小于等于Di,则判断为检测到手指开关动作,否则,回到步骤2;
S4:交互界面2切换到预处理窗口,预处理窗口的虚拟按键闪烁N次,手指开关动作N次,虚拟按键闪烁时间间隔为t1,读取N次手指开关动作的反应时间,即相对于虚拟按键闪烁后的时延,计算得到被试者手指开关动作的平均反应时间Tp
通过该平均持续时间Tp,调整后续虚拟按键闪烁的频率;
S5:交互界面2切换到菜单选择窗口,在该菜单选择窗口用于选择进入到字符拼写界面窗口或者护理床家电控制窗口;
如果选择切换到字符拼写界面窗口,则进入步骤S6,否则,进入步骤S7;
S6:交互界面2切换到字符拼写界面窗口,该字符拼写界面窗口包括26个虚拟选择按键,该字符拼写界面窗口分别按照行与列进行闪烁,通过行与列确定选择的虚拟选择按键,进入S8;
S7:交互界面2切换到护理床家电控制窗口,该护理床家电控制窗口包括21个虚拟选择按键,该护理床家电控制窗口先按照自上而下,一行虚拟按键闪烁,然后自左向右一列虚拟按键闪烁,通过S2、S3确定行与列虚拟按键,通过行与列交叉点确定选择的虚拟选择按键,进入S8;
S8:所述主控制单元4通知所述控制模块5驱动执行模块工作。
4.根据权利要求3所述一种基于手指开关的人机交互方法,其特征在于:
在S4中,相邻按键闪烁的时间:
其中Wt为可调整权值,通过将Wt设定为1,Tp为N次手指开关反应的平均持续时间tN,pi为相邻的每行或每列虚拟按键闪烁时间,pi大于被试平均者反应时间Tp,根据每个被试者手指开关动作的平均反应时间Tp,来动态的调整后面虚拟按键闪烁的频率,提高虚拟按键闪烁后被选中的可能性。
5.根据权利要求4所述一种基于手指开关的人机交互方法,其特征在于:
所述S6包括如下步骤:
S61:在字符拼写界面窗口中每个虚拟按键均闪烁过后,主控制单元对每个虚拟按键闪烁后对应的手指信号进行检测;
S62:得到在预处理窗口期间,计算得到的手指开关信号发生时间相对于虚拟按键的平均时延Tp,当满足条件:
|ti-Tp|≤Di
则代表相应的虚拟按键被选中;
同时,通过信号检测单元3以及控制模块5用于驱动执行模块工作。
6.根据权利要求5所述一种基于手指开关的人机交互方法,其特征在于:
所述S61包括如下步骤:
S611:在字符拼写界面窗口中,字符先经过第一轮的行闪烁,信号检测单元3判断是否检测到手指开关信号,如果是,则进入下一步骤,否则,继续进行检测;
S612:信号检测单元3确定被选择的字母行,对该字母按键依次进行列闪烁;
信号检测单元3判断是否检测到手指开关信号,如果没有,则回到上一步骤,否则,进入到一步骤;
S613:通过前面的行字母检测与当前检测的列字母检测,共同确定了输出的字母按键,主控制单元4打印相应的字母。
CN201910297611.XA 2019-04-15 2019-04-15 一种基于手指开关的人机交互系统及其交互方法 Active CN109933270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910297611.XA CN109933270B (zh) 2019-04-15 2019-04-15 一种基于手指开关的人机交互系统及其交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910297611.XA CN109933270B (zh) 2019-04-15 2019-04-15 一种基于手指开关的人机交互系统及其交互方法

Publications (2)

Publication Number Publication Date
CN109933270A true CN109933270A (zh) 2019-06-25
CN109933270B CN109933270B (zh) 2024-06-14

Family

ID=66989959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910297611.XA Active CN109933270B (zh) 2019-04-15 2019-04-15 一种基于手指开关的人机交互系统及其交互方法

Country Status (1)

Country Link
CN (1) CN109933270B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331250A (ja) * 2000-03-13 2001-11-30 Hokkaido Technology Licence Office Co Ltd 個人適応型生体信号被動機器制御システムおよび制御方法
CN101598973A (zh) * 2009-06-26 2009-12-09 安徽大学 基于眼电信号的人机交互系统
KR20160034598A (ko) * 2014-09-22 2016-03-30 광주과학기술원 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법
CN105446158A (zh) * 2015-12-31 2016-03-30 华南理工大学 一种基于多模态脑机接口的智能家电控制护理装置及方法
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制系统
CN107340863A (zh) * 2017-06-29 2017-11-10 华南理工大学 一种基于emg的交互方法
CN107608524A (zh) * 2017-10-13 2018-01-19 中国科学院软件研究所 一种基于肌电的多目标控制指令生成装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331250A (ja) * 2000-03-13 2001-11-30 Hokkaido Technology Licence Office Co Ltd 個人適応型生体信号被動機器制御システムおよび制御方法
CN101598973A (zh) * 2009-06-26 2009-12-09 安徽大学 基于眼电信号的人机交互系统
KR20160034598A (ko) * 2014-09-22 2016-03-30 광주과학기술원 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법
CN105446158A (zh) * 2015-12-31 2016-03-30 华南理工大学 一种基于多模态脑机接口的智能家电控制护理装置及方法
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制系统
CN107340863A (zh) * 2017-06-29 2017-11-10 华南理工大学 一种基于emg的交互方法
CN107608524A (zh) * 2017-10-13 2018-01-19 中国科学院软件研究所 一种基于肌电的多目标控制指令生成装置

Also Published As

Publication number Publication date
CN109933270B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN100366215C (zh) 基于脑电稳态诱发响应的控制方法及系统和感官测试方法及系统
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
Li et al. Multimodal BCIs: target detection, multidimensional control, and awareness evaluation in patients with disorder of consciousness
KR100396924B1 (ko) 생체신호를 이용한 전자기기 제어 장치 및 그 방법
CN102609090B (zh) 采用脑电时频成分双重定位范式的快速字符输入方法
CN104758130B (zh) 一种基于脑机接口的智能护理装置及方法
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
Qian et al. A motor imagery-based online interactive brain-controlled switch: paradigm development and preliminary test
CN106214391B (zh) 基于脑机接口的智能护理床及其控制方法
Li et al. A EOG-based switch and its application for “start/stop” control of a wheelchair
Bayliss et al. Changing the P300 brain computer interface
CN102654793B (zh) 基于双模校验机制的脑电驱动高可靠操控系统
Ko et al. Enhancing the hybrid BCI performance with the common frequency pattern in dual-channel EEG
Barreto et al. A real-time assistive computer interface for users with motor disabilities
CN111743538A (zh) 脑机接口报警方法及系统
Lo et al. Novel non-contact control system for medical healthcare of disabled patients
CN106708273A (zh) 一种基于eog的开关装置及开关键实现方法
Peng et al. Control of a nursing bed based on a hybrid brain-computer interface
CN108491792B (zh) 基于眼电信号的办公场景人机交互行为识别方法
CN113345546A (zh) 一种基于稳态视觉诱发电位的手功能主动康复训练系统及方法
CN109933270A (zh) 一种基于手指开关的人机交互系统及其交互方法
CN103440039B (zh) 基于状态反馈的脑机通讯速率自适应控制方法
JP2000014656A (ja) リラックス状態測定装置
CN206563944U (zh) 一种基于eog的开关装置
CN115712350A (zh) 一种基于肌电检测的眨眼交流表达系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant