CN104182048B - 基于脑机接口的电话系统及其方法 - Google Patents
基于脑机接口的电话系统及其方法 Download PDFInfo
- Publication number
- CN104182048B CN104182048B CN201410427277.2A CN201410427277A CN104182048B CN 104182048 B CN104182048 B CN 104182048B CN 201410427277 A CN201410427277 A CN 201410427277A CN 104182048 B CN104182048 B CN 104182048B
- Authority
- CN
- China
- Prior art keywords
- module
- interface
- eeg signals
- visual stimulus
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于脑机接口的电话系统,包括对被测试者的脑电信号进行提取的脑电信号提取装置、与脑电信号提取装置相接的脑电信号预处理装置和与脑电信号预处理装置进行通信的数据处理终端;脑电信号采样装置包括对枕叶区电位、额叶区电位和耳部电位分别采样的第一脑电电极、第二脑电电极和第三脑电电极,该电话系统结构简单、体积小、设计合理且操作简便、使用效果好,能满足特殊人群的电话使用需求。本发明还公开一种基于脑机接口的通话方法,包括步骤:一、脑电信号提取及传送;二、脑电信号采样及同步上传;三、脑电信号分析处理,该通话方法简单、实现方便且使用效果好,能根据被测试者的脑电信号自动完成拨号、接听等多种电话操作。
Description
技术领域
本发明涉及一种电话系统及其方法,尤其是涉及一种一种基于脑机接口的电话系统及其方法。
背景技术
基于视觉诱发电位的脑机接口技术在国内还是处于起步阶段,所以相关的研究还比较少。南昌大学的研究小组设计了一个基于脑机接口的拨号系统。天津职业技术师范大学等机构也进行了相关的研究,但是他们设计的系统存在以下一些共同的问题:
第一、大多数系统只能进行模拟拨号,不能拨打电话。就算其中少数系统可以拨打电话,但是要一个指令、一个指令地进行操作,当肢体运动有障碍的使用者出现紧急情况的时候,这样拨号进行求救很可能会耽误了较长时间,从而出现意外;
第二、如果使用者之中有肢体运动有障碍且语言功能有障碍的人,脑波电话系统就不能满足这种特殊的人群需要;
第三、不能通过视觉诱发电位进行电话的接听,这样不利于家人以及医护人员对使用者的身体状况进行实时的了解。
另外,设计的视觉刺激模块大都是LED视觉刺激模块,为了保证每个刺激块之间的安全距离(避免其他刺激方块对所盯视的刺激方块产生影响),所以他们的视觉刺激模块做的较大。采样到的脑波信号要进行分析处理,并且得到的拨号号码要显示出来,所以用PC机进行数据分析且在PC机屏幕上显示选取的数字。所以整个拨号系统的体积是比较大的。由于脑波电话是针对肢体运动有障碍的特殊人群,所以体积太大不利于在实际中的应用。
综上,由于现有基于脑机接口的脑波拨号系统由刺激器、PC机以及脑波采样电路三大部分组成,体积大,不便于携带。并且只能通过一个个拨号进行电话的拨打,不能在紧急情况下拨打紧急电话,而且没有发送短信的功能,更不能通过视觉诱发电位进行电话的接听。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于脑机接口的电话系统,其结构简单、设计合理、投入成本较低且使用操作简便、使用效果好,能满足肢体运动有障碍的特殊人群的电话使用需求。
为解决上述技术问题,本发明采用的技术方案是:一种基于脑机接口的电话系统,其特征在于:包括对被测试者的脑电信号进行提取的脑电信号提取装置、与脑电信号提取装置相接且对脑电信号提取装置所提取信号进行采样及预处理的脑电信号预处理装置和与脑电信号预处理装置进行通信的数据处理终端;所述脑电信号提取装置包括对被测试者枕叶区的电位进行实时采样的第一脑电电极、对被测试者左侧或右侧额叶区的电位进行实时采样的第二脑电电极和对被测试者耳部的电位进行实时采样的第三脑电电极,所述第一脑电电极、第二脑电电极和第三脑电电极均与脑电信号预处理装置相接;所述数据处理终端包括数据处理器和由所述数据处理器进行控制的显示器,所述数据处理器与脑电信号预处理装置进行通信。
上述基于脑机接口的电话系统,其特征是:所述数据处理终端为平板电脑或智能手机。
上述基于脑机接口的电话系统,其特征是:所述脑电信号预处理装置为美国NeuroSky公司研发的TGAM芯片。
上述基于脑机接口的电话系统,其特征是:所述TGAM芯片的型号为TGAM1,所述第一脑电电极的输出端接TGAM芯片的EEG引脚,第二脑电电极的输出端接TGAM芯片的REF引脚,第三脑电电极的输出端接TGAM芯片的EEG_GND引脚。
上述基于脑机接口的电话系统,其特征是:还包括与脑电信号预处理装置相接的无线通信模块一,所述数据处理终端还包括与所述数据处理器相接的无线通信模块二;所述脑电信号预处理装置通过无线通信模块一和所述无线通信模块二与所述数据处理器进行通信。
上述基于脑机接口的电话系统,其特征是:所述无线通信模块一和所述无线通信模块二均为蓝牙无线通信模块。
上述基于脑机接口的电话系统,其特征是:所述脑电信号预处理装置为美国NeuroSky公司研发的TGAM芯片,所述TGAM芯片的TXD引脚与无线通信模块一的RXD引脚相接。
同时,本发明还公开了一种方法简单、实现方便、使用效果好且能根据被测试者的脑电信号自动完成拨号、接听等多种电话操作的电话系统的通话方法,其特征在于该方法包括以下步骤:
步骤一、脑电信号提取及传送:被测试者对盯视显示器上所显示视觉刺激模块过程中,脑电信号提取装置对被测试者的脑电信号进行实时提取,并将所提取的脑电信号同步传送至脑电信号预处理装置;
所述视觉刺激模块为所述数据处理器调用视觉刺激产生模块产生并在所述显示器上同步显示的闪烁发光模块,所述闪烁发光模块的闪烁频率由所述数据处理器预先设定;
步骤二、脑电信号采样及同步上传:所述脑电信号预处理装置按照预先设定的采样频率,对脑电信号提取装置实时提取的脑电信号进行采样,并将所采样脑电信号同步上传至所述数据处理器;
步骤三、脑电信号分析处理:所述数据处理器按照时间先后顺序,对脑电信号预处理装置各采样周期内所采样的脑电信号进行分析处理,每个采样周期内所采样的脑电信号均包括一个枕叶区信号、一个额叶区信号和一个耳部信号,其中所述枕叶区信号、额叶区信号和耳部信号分别为第一脑电电极、第二脑电电极和第三脑电电极所采样的脑电信号,所述第三脑电电极为参考电极;每个采样周期内所采样脑电信号的分析处理方法均相同,对任一个采样周期内所采样脑电信号进行分析处理时,过程如下:
步骤301、脑电信号预处理:以当前所处理脑电信号中的耳部信号作为参考信号,并调用脑电信号预处理模块将当前所处理脑电信号中所述枕叶区信号中所含的自发脑波信号滤除后,获得当前状态下被测试者的视觉诱发信号;
所述自发脑波信号为当前所处理脑电信号中的额叶区信号;
步骤302、当前所盯视视觉刺激模块闪烁频率判定:调用频率计算模块对步骤301中所述视觉诱发信号的频率f1进行确定,并获得当前状态下被测试者所盯视视觉刺激模块的闪烁频率f0,其中f0=f1;
步骤303、当前通讯动作确定:调用动作识别模块对当前状态下被测试这的通讯动作进行确定,过程如下:
步骤3031、当前界面判定:根据所述数据处理器当前调用并处于运行状态的界面显示模块,对当前状态下所述显示器的界面进行判定;
所述显示器的每个界面上均显示有多个视觉刺激模块;
步骤3032、当前通讯动作确定:根据预先建立的视觉刺激模块基本信息库,并结合步骤3031中所判定的当前界面和步骤302中所判定的闪烁频率f0,确定当前状态下被测试者盯视的视觉刺激模块,并获得被测试者盯视视觉刺激模块的属性信息;所获得的属性信息为当前状态下被测试者要进行的通讯动作;
所述视觉刺激模块基本信息库内存储有所述显示器的各界面上所显示视觉刺激模块的数量以及各视觉刺激模块的闪烁频率和属性信息;
步骤一中在显示器上对所述视觉刺激模块进行显示的同时,对当前所显示视觉刺激模块对应的属性信息进行同步显示;所述属性信息为视觉刺激模块的控制指令;
步骤304、当前通讯动作执行:根据步骤3032中所确定的当前通讯动作,根据调用通讯动作执行模块完成对应的通讯动作;
步骤305、下一个采样周期内所采样脑电信号分析处理:按照步骤301至步骤304中所述的方法,对下一个采样周期内所采样的脑电信号进行分析处理;
步骤306、多次重复步骤305,直至完成被测试者的通讯过程。
上述通话方法,其特征是:步骤3032中所述控制指令为接听电话、呼叫电话、挂断电话、发送短信、选择联系人的姓名、选择短信文本的内容、发送短信或进入其它界面;所述其它界面为所述显示器能显示的多个界面中除当前所显示界面之外的其它界面。
上述通话方法,其特征是:所述界面显示模块的数量为多个;多个所述界面显示模块分别为主界面模块、普通拨号界面模块、紧急呼叫界面模块、紧急短信通讯界面模块、拨号键盘界面模块、普通电话本界面模块、紧急电话本界面模块和电话接听界面模块;
当所述主界面模块处于运行状态时,当前状态下所述显示器的界面为主界面;所述主界面模块调用所述视觉刺激产生模块产生三个不同闪烁频率的视觉刺激模块,并通过显示器对三个视觉刺激模块及其属性信息进行同步显示;三个所述视觉刺激模块的属性信息分别为进入普通拨号界面、进入紧急呼叫界面和进入紧急短信通讯界面;
当所述普通拨号界面模块处于运行状态时,当前状态下所述显示器的界面为普通拨号界面;所述普通拨号界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入拨号键盘界面和进入普通电话本界面;
当所述紧急呼叫界面模块处于运行状态时,当前状态下所述显示器的界面为紧急呼叫界面;所述紧急呼叫界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入拨号键盘界面和进入主界面;
当所述紧急短信通讯界面模块处于运行状态时,当前状态下所述显示器的界面为紧急短信通讯界面;所述紧急短信通讯界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入紧急短信通讯界面和进入主界面。
本发明与现有技术相比具有以下优点:
1、所采用的电话系统结构简单、设计合理、接线方便且使用操作简便、使用效果好,并且该电话系统体积小,能满足肢体运动有障碍的特殊人群的使用、随身携带等需求。
2、所采用的视觉刺激模块并非采用LED视觉刺激模块,而是采用一个功能模块,并通过数据处理终端的显示器进行显示,因而实现方便,并且投入成本低,且使用效果好,各视觉刺激模块的闪烁频率调整方便,显示直观。
3、所采用的数据处理终端为平板电脑或智能手机,投入成本低且使用操作简便,体积小,携带方便。并且,给目前人们常用的通话设备。
4、使用操作简便、功能完善且实用价值高,不仅能实现拨打电话功能,并且还能进行短信发送、电话接听、电话挂断和紧急电话拨打等功能,与现有模拟拨号方式完全不同,能真正满足肢体运动有障碍的特殊人群的电话使用需求。
5、所采用的通讯方法步骤简单、实现方便且使用效果好,能根据被测试者的脑电信号自动完成拨号、接听等多种通讯动作(也称电话操作),有普通拨号、紧急呼叫、紧急短信通讯等功能,能满足不同使用着在不同状态下的使用需求,不仅可当作正常电话使用,并且在使用者遇到紧急情况时可以快速拨打紧急电话或发送紧急短信,发送紧急短信能满足肢体运动有障碍且语言功能有障碍的人群使用。同时,由于急于视觉诱发电位进行控制操作,因而操作非常简便,
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明所采用电话系统的电路原理框图。
图2为本发明脑电信号提取装置、脑电信号预处理装置和无线通信模块一的电路原理图。
图3为本发明所采用通话方法的方法流程框图。
图4为本发明显示器上所显示家属1的视觉刺激模块的显示状态示意图。
附图标记说明:
1—脑电信号提取装置;1-1—第一脑电电极;1-2—第二脑电电极;
1-3—第三脑电电极;2—脑电信号预处理装置;3—数据处理终端;
4-1—无线通信模块一。
具体实施方式
如图1所示的一种基于脑机接口的电话系统,包括对被测试者的脑电信号进行提取的脑电信号提取装置1、与脑电信号提取装置1相接且对脑电信号提取装置1所提取信号进行采样及预处理的脑电信号预处理装置2和与脑电信号预处理装置2进行通信的数据处理终端3。结合图2,所述脑电信号提取装置1包括对被测试者枕叶区的电位进行实时采样的第一脑电电极1-1、对被测试者左侧或右侧额叶区的电位进行实时采样的第二脑电电极1-2和对被测试者耳部的电位进行实时采样的第三脑电电极1-3,所述第一脑电电极1-1、第二脑电电极1-2和第三脑电电极1-3均与脑电信号预处理装置2相接。所述数据处理终端3包括数据处理器和由所述数据处理器进行控制的显示器,所述数据处理器与脑电信号预处理装置2进行通信。
实际使用时,所述数据处理终端3为平板电脑或智能手机。
所述数据处理终端3也可以采用其它具有显示和语音通话功能的数据处理设备。
本实施例中,所述数据处理终端3为华硕的Padfone平板电脑,该Padfone平板电脑能替代现有脑波拨号系统中的视觉刺激器和PC机。
本实施例中,所述脑电信号预处理装置2为美国NeuroSky(中文名:神念科技)公司研发的TGAM芯片。
现如今,美国NeuroSky公司已经研发出成品的TGAM芯片模块,实际接线非常简便。实际使用时,所述脑电信号预处理装置2也可以采用其它类型的脑电芯片。
本实施例中,所述TGAM芯片的型号为TGAM1,所述第一脑电电极1-1的输出端接TGAM芯片的EEG引脚,第二脑电电极1-2的输出端接TGAM芯片的REF引脚,第三脑电电极1-3的输出端接TGAM芯片的EEG_GND引脚。实际使用时,所述第三脑电电极1-3为参考电极。
同时,本发明所述的电话系统还包括与脑电信号预处理装置2相接的无线通信模块一4-1,所述数据处理终端3还包括与所述数据处理器相接的无线通信模块二。所述脑电信号预处理装置2通过无线通信模块一4-1和所述无线通信模块二与所述数据处理器进行通信。
本实施例中,所述无线通信模块一4-1和所述无线通信模块二均为蓝牙无线通信模块。实际使用时,所述脑电信号预处理装置2通过无线通信模块一4-1和所述无线通信模块二向数据处理终端3传送预处理后的信号。并且所述无线通信模块一4-1为BlueTooth芯片。
实际接线时,所述TGAM芯片的TXD引脚与无线通信模块一4-1的RXD引脚相接。所述TGAM芯片的电源端和TGAM芯片的VCC管脚均接+3.3V电源端。
如图3所示的一种基于脑机接口的电话系统的通话方法,包括以下步骤:
步骤一、脑电信号提取及传送:被测试者对盯视显示器上所显示视觉刺激模块过程中,脑电信号提取装置1对被测试者的脑电信号进行实时提取,并将所提取的脑电信号同步传送至脑电信号预处理装置2。
所述视觉刺激模块为所述数据处理器调用视觉刺激产生模块产生并在所述显示器上同步显示的闪烁发光模块,所述闪烁发光模块的闪烁频率由所述数据处理器预先设定。
实际使用过程中,所述显示器对按照预先设定的闪烁频率进行闪烁发光的所述视觉刺激模块进行显示,被测试者盯视所述显示器上当前所显示的所述视觉刺激模块时,所述视觉刺激模块的刺激信号通过眼睛传入人脑,经过大脑的加工处理后在人脑枕叶区会产生与刺激频率(即闪烁频率)相对应的视觉诱发电位(即视觉诱发信号),再通过脑电信号提取装置1对被测试者的脑电信号(主要是被测试者枕叶区的脑电信号)进行提取,其中枕叶区为大脑视觉反应区。
实际对第一脑电电极1-1进行布设时,所述第一脑电电极1-1既可以对被测试者左侧枕叶区的电位进行实时采样,也可以对被测试者右侧枕叶区的电位进行实时采样,并且第一脑电电极1-1布设在左侧枕叶区或右侧枕叶区的中部。
步骤二、脑电信号采样及同步上传:所述脑电信号预处理装置2按照预先设定的采样频率,对脑电信号提取装置1实时提取的脑电信号进行采样,并将所采样脑电信号同步上传至所述数据处理器。
步骤三、脑电信号分析处理:所述数据处理器按照时间先后顺序,对脑电信号预处理装置2各采样周期内所采样的脑电信号进行分析处理,每个采样周期内所采样的脑电信号均包括一个枕叶区信号、一个额叶区信号和一个耳部信号,其中所述枕叶区信号、额叶区信号和耳部信号分别为第一脑电电极1-1、第二脑电电极1-2和第三脑电电极1-3所采样的脑电信号,所述第三脑电电极1-3为参考电极;每个采样周期内所采样脑电信号的分析处理方法均相同,对任一个采样周期内所采样脑电信号进行分析处理时,过程如下:
步骤301、脑电信号预处理:以当前所处理脑电信号中的耳部信号作为参考信号,并调用脑电信号预处理模块将当前所处理脑电信号中所述枕叶区信号中所含的自发脑波信号滤除后,获得当前状态下被测试者的视觉诱发信号。
所述自发脑波信号为当前所处理脑电信号中的额叶区信号。其中,当前状态下被测试者的视觉诱发信号为将当前所处理脑电信号中的枕叶区信号中所含自发脑波信号滤除后得到的信号。
实际使用过程中,所述TGAM芯片的EEG端输入第一脑电电极1-1所采样的脑电信号,EEG_shiled端的作用是屏蔽在第一脑电电极1-1所采样脑电信号输入TGAM芯片之前这段时间的干扰;REF端输入第二脑电电极1-2所采样的脑电信号,由于自发式脑电波(即自发脑波信号)是无时无刻都存在的,而步骤三中需进行脑电信号分析处理的是视觉诱发电位,因而需对自发式脑电波进行滤除,由于而视觉诱发电位只有在大脑的枕叶区才能检测到,而额叶区几乎没有,因而将第二脑电电极1-2所采样的额叶区脑电信号作为参考电位,便能有效滤除自发式脑电波;REF_shiled端主要是屏蔽第二脑电电极1-2所采样脑电信号输入TGAM芯片之前这段时间的干扰;脑波地线连接在人体的耳部,即第三脑电电极1-3所采样的脑电信号,主要的作用是为了屏蔽人体头部以下电波的影响,譬如心电波就是一种比较强的干扰波,脑波地线的连接能有效滤除心电波。
由于自发脑波信号在人脑皮层的各个区域强度差异不大,因而根据额叶区采集到的脑电信号(即自发脑电波),并通过自适应滤波来滤除第一脑电电极1-1所采样脑电信号中的自发脑电波,从而得到较为纯净的视觉诱发电位。
步骤302、当前所盯视视觉刺激模块闪烁频率判定:调用频率计算模块对步骤301中所述视觉诱发信号的频率f1进行确定,并获得当前状态下被测试者所盯视视觉刺激模块的闪烁频率f0,其中f0=f1。
本实施例中,所述频率计算模块为快速傅里叶变换模块,即FFT算法模块。对对步骤301中所述视觉诱发信号的频率f1进行确定时,所述频率计算模块对所述视觉诱发信号进行快速傅里叶变换,得到所述视觉诱发信号的频率值f1。
步骤303、当前通讯动作确定:调用动作识别模块对当前状态下被测试这的通讯动作进行确定,过程如下:
步骤3031、当前界面判定:根据所述数据处理器当前调用并处于运行状态的界面显示模块,对当前状态下所述显示器的界面进行判定。
所述显示器的每个界面上均显示有多个视觉刺激模块。
步骤3032、当前通讯动作确定:根据预先建立的视觉刺激模块基本信息库,并结合步骤3031中所判定的当前界面和步骤302中所判定的闪烁频率f0,确定当前状态下被测试者盯视的视觉刺激模块,并获得被测试者盯视视觉刺激模块的属性信息;所获得的属性信息为当前状态下被测试者要进行的通讯动作。
所述视觉刺激模块基本信息库内存储有所述显示器的各界面上所显示视觉刺激模块的数量以及各视觉刺激模块的闪烁频率和属性信息;
步骤一中在显示器上对所述视觉刺激模块进行显示的同时,对当前所显示视觉刺激模块对应的属性信息进行同步显示;所述属性信息为视觉刺激模块的控制指令。
步骤304、当前通讯动作执行:根据步骤3032中所确定的当前通讯动作,根据调用通讯动作执行模块完成对应的通讯动作。
步骤305、下一个采样周期内所采样脑电信号分析处理:按照步骤301至步骤304中所述的方法,对下一个采样周期内所采样的脑电信号进行分析处理。
步骤306、多次重复步骤305,直至完成被测试者的通讯过程。
本实施例中,所述数据处理终端3采用华硕的Padfone平板电脑,而Padfone平板电脑采用Android系统,因而步骤三中进行脑电信号分析处理时,所调用的功能模块均基于java语言进行开发,其中功能模块包括视觉刺激模块、脑电信号预处理模块(也称滤波模块)、频率计算模块、动作识别模块和动作执行模块。所述脑电信号提取装置1实时提取的脑电信号,通过TGAM芯片的TXD端传给BlueTooth芯片的RXD端,然后BlueTooth芯片由将信号发送给Padfone平板电脑,再由Padfone对脑波数据进行分析处理。
实际使用时,当被测试者盯视显示器上以特定频率闪烁的视觉刺激模块时,通过眼睛将刺激信号传入人脑,经过人脑的加工处理后,会在大脑皮层枕叶区产生与刺激信号相对应的视觉诱发电位,用第一脑电电极1-1采集枕叶区的脑波信号,此时第一脑电电极1-1采集到的脑波信号掺杂自发式脑电波,因而需对第一脑电电极1-1采集的脑波信号进行预处理以消除自发式脑电波;然后,通过蓝牙芯片将预处理后的脑波信号(即视觉诱发信号)传给Padfone平板电脑,Padfone平板电脑对视觉诱发信号进行快速傅里叶变换后,便得到一个频率值(该频率值为视觉诱发信号的频率值),且该频率值与被测试者当前状态下所盯视的视觉刺激模块的闪烁频率相同;通过上述频率值便能判断出被测试者所盯视的具体视觉刺激模块,然后进行相应的操作。
本实施例中,步骤3032中所述控制指令为接听电话、呼叫电话、挂断电话、发送短信、选择联系人的姓名、选择短信文本的内容、发送短信或进入其它界面;所述其它界面为所述显示器能显示的多个界面中除当前所显示界面之外的其它界面。
本实施例中,所述界面显示模块的数量为多个。多个所述界面显示模块分别为主界面模块、普通拨号界面模块、紧急呼叫界面模块、紧急短信通讯界面模块、拨号键盘界面模块、普通电话本界面模块、紧急电话本界面模块和电话接听界面模块。
当所述主界面模块处于运行状态时,当前状态下所述显示器的界面为主界面;所述主界面模块调用所述视觉刺激产生模块产生三个不同闪烁频率的视觉刺激模块,并通过显示器对三个视觉刺激模块及其属性信息进行同步显示;三个所述视觉刺激模块的属性信息分别为进入普通拨号界面、进入紧急呼叫界面和进入紧急短信通讯界面;
当所述普通拨号界面模块处于运行状态时,当前状态下所述显示器的界面为普通拨号界面;所述普通拨号界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入拨号键盘界面和进入普通电话本界面;
当所述紧急呼叫界面模块处于运行状态时,当前状态下所述显示器的界面为紧急呼叫界面;所述紧急呼叫界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入拨号键盘界面和进入主界面;
当所述紧急短信通讯界面模块处于运行状态时,当前状态下所述显示器的界面为紧急短信通讯界面;所述紧急短信通讯界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入紧急短信通讯界面和进入主界面。
本实施例中,步骤3032中所述控制指令中的进入其它界面为进入主界面、普通拨号界面、紧急呼叫界面、紧急短信通讯界面、拨号键盘界面、普通电话本界面、紧急电话本界面或电话接听界面。
实际使用过程中,当使用者需采用普通拨号方式给联系人A拨打电话时,需先进入普通拨号界面,如当前显示界面为主界面时,使用者盯视显示器上属性信息为进入普通拨号界面的视觉刺激模块,便自动进入普通拨号界面;实际使用时,也可以由其它界面直接进入普通拨号界面或返回主界面后再进入普通拨号界面。进入普通拨号界面后,使用者盯视显示器上两个视觉刺激模块中的一个视觉刺激模块,并相应进入拨号键盘界面或普通电话本界面。当进入拨号键盘界面时,所述显示器上显示出多个视觉刺激模块,且所显示的多个视觉刺激模块的属性信息分别为呼叫电话和数字,其中数字包括0、1、2、3、4、5、6、7、8和9,首先使用者先按照联系人A的电话号码,先完成拨号(具体是由先至后盯视属性信息为数字的视觉刺激模块),再盯视属性信息为呼叫电话的视觉刺激模块,便能完成自动拨号;电话拨通后,进入通话界面,所述通话界面上显示出一个属性信息为挂断电话的视觉刺激模块;当通话结束、无人接听或者使用者想中途挂断电话时,盯视属性信息为挂断电话的视觉刺激模块,便自动挂断电话。当进入普通电话本界面时,所述显示器上显示出多个视觉刺激模块,且所显示的多个视觉刺激模块的属性信息均为选择联系人的姓名(如家属1),如需对家属1进行拨打电话时,盯视显示器上属性信息为家属1的视觉刺激模块(详见图4),便能完成自动向家属1拨号;电话拨通后,进入通话界面,所述通话界面上显示出一个属性信息为挂断电话的视觉刺激模块;当通话结束、无人接听或者使用者想中途挂断电话时,盯视属性信息为挂断电话的视觉刺激模块,便自动挂断电话。实际使用过程中,所述视觉刺激模块的形状为三角形、圆形、多边形等形状。
当使用者处于紧急情况下(如发生摔倒、病情发作等),需先进入紧急呼叫界面或紧急短信通讯界面,如当前显示界面为主界面时,使用者盯视显示器上属性信息为紧急呼叫界面或进入紧急短信通讯界面的视觉刺激模块,便自动进入紧急呼叫界面或紧急短信通讯界面。实际使用时,也可以由其它界面直接进入紧急呼叫界面或紧急短信通讯界面,或者也可以先返回主界面后再进入紧急呼叫界面或紧急短信通讯界面。
当进入紧急呼叫界面时,所述显示器会显示出多个视觉刺激模块,且所显示的多个视觉刺激模块的属性信息均为选择联系人的姓名,此时所显示视觉刺激模块的数量为4-6个联系人,并且所供选择的联系人为能进行紧急呼叫的联系人,通常为直系亲属或者护理工等;此时,盯视显示器上属性信息为家属2的视觉刺激模块(详见图4),便能完成自动向家属2拨号;电话拨通后,进入通话界面,所述通话界面上显示出一个属性信息为挂断电话的视觉刺激模块;当通话结束、无人接听或者使用者想中途挂断电话时,盯视属性信息为挂断电话的视觉刺激模块,便自动挂断电话。
当进入紧急短信通讯界面,所述显示器会显示出一个属性信息为发送短信的视觉刺激模块和多个属性信息均为选择短信文本的内容的视觉刺激模块,盯视显示器上属性信息为需发送短信文本内容的视觉刺激模块,便能完成自动完成短信文本选择;之后,自动进入联系人选择界面,此时显示器上所显示多个视觉刺激模块的属性信息均为选择联系人的姓名,并且所显示内容与紧急呼叫界面一致,此时盯视显示器上属性信息为家属3的视觉刺激模块,便自动完成短信接收者的选择;盯视显示器上属性信息为发送短信的视觉刺激模块,便自动完成向家属3发送所选择短信文本的短信息。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (8)
1.一种基于脑机接口的电话系统的通话方法,其特征在于:所采用的电话系统包括对被测试者的脑电信号进行提取的脑电信号提取装置(1)、与脑电信号提取装置(1)相接且对脑电信号提取装置(1)所提取信号进行采样及预处理的脑电信号预处理装置(2)和与脑电信号预处理装置(2)进行通信的数据处理终端(3);所述脑电信号提取装置(1)包括对被测试者枕叶区的电位进行实时采样的第一脑电电极(1-1)、对被测试者左侧或右侧额叶区的电位进行实时采样的第二脑电电极(1-2)和对被测试者耳部的电位进行实时采样的第三脑电电极(1-3),所述第一脑电电极(1-1)、第二脑电电极(1-2)和第三脑电电极(1-3)均与脑电信号预处理装置(2)相接;所述数据处理终端(3)包括数据处理器和由所述数据处理器进行控制的显示器,所述数据处理器与脑电信号预处理装置(2)进行通信;
所述电话系统的通话方法,包括以下步骤:
步骤一、脑电信号提取及传送:被测试者对盯视显示器上所显示视觉刺激模块过程中,脑电信号提取装置(1)对被测试者的脑电信号进行实时提取,并将所提取的脑电信号同步传送至脑电信号预处理装置(2);
所述视觉刺激模块为所述数据处理器调用视觉刺激产生模块产生并在所述显示器上同步显示的闪烁发光模块,所述闪烁发光模块的闪烁频率由所述数据处理器预先设定;
步骤二、脑电信号采样及同步上传:所述脑电信号预处理装置(2)按照预先设定的采样频率,对脑电信号提取装置(1)实时提取的脑电信号进行采样,并将所采样脑电信号同步上传至所述数据处理器;
步骤三、脑电信号分析处理:所述数据处理器按照时间先后顺序,对脑电信号预处理装置(2)各采样周期内所采样的脑电信号进行分析处理,每个采样周期内所采样的脑电信号均包括一个枕叶区信号、一个额叶区信号和一个耳部信号,其中所述枕叶区信号、额叶区信号和耳部信号分别为第一脑电电极(1-1)、第二脑电电极(1-2)和第三脑电电极(1-3)所采样的脑电信号,所述第三脑电电极(1-3)为参考电极;每个采样周期内所采样脑电信号的分析处理方法均相同,对任一个采样周期内所采样脑电信号进行分析处理时,过程如下:
步骤301、脑电信号预处理:以当前所处理脑电信号中的耳部信号作为参考信号,并调用脑电信号预处理模块将当前所处理脑电信号中所述枕叶区信号中所含的自发脑波信号滤除后,获得当前状态下被测试者的视觉诱发信号;
所述自发脑波信号为当前所处理脑电信号中的额叶区信号;
步骤302、当前所盯视视觉刺激模块闪烁频率判定:调用频率计算模块对步骤301中所述视觉诱发信号的频率f1进行确定,并获得当前状态下被测试者所盯视视觉刺激模块的闪烁频率f0,其中f0=f1;
步骤303、当前通讯动作确定:调用动作识别模块对当前状态下被测试这的通讯动作进行确定,过程如下:
步骤3031、当前界面判定:根据所述数据处理器当前调用并处于运行状态的界面显示模块,对当前状态下所述显示器的界面进行判定;
所述显示器的每个界面上均显示有多个视觉刺激模块;
所述界面显示模块的数量为多个;多个所述界面显示模块分别为主界面模块、普通拨号界面模块、紧急呼叫界面模块、紧急短信通讯界面模块、拨号键盘界面模块、普通电话本界面模块、紧急电话本界面模块和电话接听界面模块;
当所述主界面模块处于运行状态时,当前状态下所述显示器的界面为主界面;所述主界面模块调用所述视觉刺激产生模块产生三个不同闪烁频率的视觉刺激模块,并通过显示器对三个视觉刺激模块及其属性信息进行同步显示;三个所述视觉刺激模块的属性信息分别为进入普通拨号界面、进入紧急呼叫界面和进入紧急短信通讯界面;
当所述普通拨号界面模块处于运行状态时,当前状态下所述显示器的界面为普通拨号界面;所述普通拨号界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入拨号键盘界面和进入普通电话本界面;
当所述紧急呼叫界面模块处于运行状态时,当前状态下所述显示器的界面为紧急呼叫界面;所述紧急呼叫界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入拨号键盘界面和进入主界面;
当所述紧急短信通讯界面模块处于运行状态时,当前状态下所述显示器的界面为紧急短信通讯界面;所述紧急短信通讯界面模块调用所述视觉刺激产生模块产生两个不同闪烁频率的视觉刺激模块,并通过显示器对两个视觉刺激模块及其属性信息进行同步显示;两个所述视觉刺激模块的属性信息分别为进入紧急短信通讯界面和进入主界面;
步骤3032、当前通讯动作确定:根据预先建立的视觉刺激模块基本信息库,并结合步骤3031中所判定的当前界面和步骤302中所判定的闪烁频率f0,确定当前状态下被测试者盯视的视觉刺激模块,并获得被测试者盯视视觉刺激模块的属性信息;所获得的属性信息为当前状态下被测试者要进行的通讯动作;
所述视觉刺激模块基本信息库内存储有所述显示器的各界面上所显示视觉刺激模块的数量以及各视觉刺激模块的闪烁频率和属性信息;
步骤一中在显示器上对所述视觉刺激模块进行显示的同时,对当前所显示视觉刺激模块对应的属性信息进行同步显示;所述属性信息为视觉刺激模块的控制指令;
步骤304、当前通讯动作执行:根据步骤3032中所确定的当前通讯动作,根据调用通讯动作执行模块完成对应的通讯动作;
步骤305、下一个采样周期内所采样脑电信号分析处理:按照步骤301至步骤304中所述的方法,对下一个采样周期内所采样的脑电信号进行分析处理;
步骤306、多次重复步骤305,直至完成被测试者的通讯过程。
2.按照权利要求1所述的通话方法,其特征在于:所述数据处理终端(3)为平板电脑或智能手机。
3.按照权利要求1或2所述的通话方法,其特征在于:所述脑电信号预处理装置(2)为美国NeuroSky公司研发的TGAM芯片。
4.按照权利要求3所述的通话方法,其特征在于:所述TGAM芯片的型号为TGAM1,所述第一脑电电极(1-1)的输出端接TGAM芯片的EEG引脚,第二脑电电极(1-2)的输出端接TGAM芯片的REF引脚,第三脑电电极(1-3)的输出端接TGAM芯片的EEG_GND引脚。
5.按照权利要求1或2所述的通话方法,其特征在于:还包括与脑电信号预处理装置(2)相接的无线通信模块一(4-1),所述数据处理终端(3)还包括与所述数据处理器相接的无线通信模块二;所述脑电信号预处理装置(2)通过无线通信模块一(4-1)和所述无线通信模块二与所述数据处理器进行通信。
6.按照权利要求5所述的通话方法,其特征在于:所述无线通信模块一(4-1)和所述无线通信模块二均为蓝牙无线通信模块。
7.按照权利要求6所述的通话方法,其特征在于:所述脑电信号预处理装置(2)为美国NeuroSky公司研发的TGAM芯片,所述TGAM芯片的TXD引脚与无线通信模块一(4-1)的RXD引脚相接。
8.按照权利要求1所述的通话方法,其特征在于:步骤3032中所述控制指令为接听电话、呼叫电话、挂断电话、发送短信、选择联系人的姓名、选择短信文本的内容、发送短信或进入其它界面;所述其它界面为所述显示器能显示的多个界面中除当前所显示界面之外的其它界面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410427277.2A CN104182048B (zh) | 2014-08-27 | 2014-08-27 | 基于脑机接口的电话系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410427277.2A CN104182048B (zh) | 2014-08-27 | 2014-08-27 | 基于脑机接口的电话系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104182048A CN104182048A (zh) | 2014-12-03 |
CN104182048B true CN104182048B (zh) | 2017-07-07 |
Family
ID=51963168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410427277.2A Active CN104182048B (zh) | 2014-08-27 | 2014-08-27 | 基于脑机接口的电话系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104182048B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104503571B (zh) * | 2014-12-16 | 2018-03-20 | 重庆邮电大学 | 基于脑机接口的意念采集装置、电话终端及系统 |
CN105022488B (zh) * | 2015-07-20 | 2017-11-21 | 北京工业大学 | 基于ssvep脑电电位的无线bci输入系统 |
CN106060240B (zh) * | 2016-05-16 | 2019-12-17 | 福州大学 | 基于头部生物电的智能手机接拨控制方法 |
CN106066697A (zh) * | 2016-06-13 | 2016-11-02 | 吉林大学 | 一种脑控手机拨号的控制装置及控制方法 |
CN107510562A (zh) * | 2017-08-09 | 2017-12-26 | 西安科技大学 | 基于脑机接口的护理床系统 |
CN107704079A (zh) * | 2017-09-19 | 2018-02-16 | 蔺雷华 | 一种脑波的检测仪与调整仪 |
CN108415764A (zh) * | 2018-02-13 | 2018-08-17 | 广东欧珀移动通信有限公司 | 电子装置、游戏背景音乐匹配方法及相关产品 |
CN110393527B (zh) * | 2019-08-12 | 2021-12-28 | 东南大学 | 基于beamforming和CCA的稳态视觉诱发电位检出方法 |
CN115714832A (zh) * | 2022-10-24 | 2023-02-24 | 南京航空航天大学 | 一种基于稳态视觉诱发电位的电话拨打系统的操作方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872242A (zh) * | 2010-06-02 | 2010-10-27 | 于潇洋 | 利用脑电波与其他人交流的方法与装置 |
CN101887307A (zh) * | 2010-06-03 | 2010-11-17 | 西安交通大学 | 一种多频率时序组合的稳态视觉诱发电位脑-机接口方法 |
CN102098639A (zh) * | 2010-12-28 | 2011-06-15 | 中国人民解放军第三军医大学野战外科研究所 | 脑机接口短消息发送控制装置及发送控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8734339B2 (en) * | 1996-12-16 | 2014-05-27 | Ip Holdings, Inc. | Electronic skin patch for real time monitoring of cardiac activity and personal health management |
-
2014
- 2014-08-27 CN CN201410427277.2A patent/CN104182048B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872242A (zh) * | 2010-06-02 | 2010-10-27 | 于潇洋 | 利用脑电波与其他人交流的方法与装置 |
CN101887307A (zh) * | 2010-06-03 | 2010-11-17 | 西安交通大学 | 一种多频率时序组合的稳态视觉诱发电位脑-机接口方法 |
CN102098639A (zh) * | 2010-12-28 | 2011-06-15 | 中国人民解放军第三军医大学野战外科研究所 | 脑机接口短消息发送控制装置及发送控制方法 |
Non-Patent Citations (2)
Title |
---|
基于稳态视觉诱发电位的脑机接口系统的设计与研究;刘家乐;《中国优秀硕士学位论文全文数据库》;20120415;全文 * |
基于脑电信号控制的电话拨号系统的设计与实现;肖美霞;《中国优秀硕士学位论文全文数据库》;20121215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN104182048A (zh) | 2014-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104182048B (zh) | 基于脑机接口的电话系统及其方法 | |
CN106469040B (zh) | 通信方法、服务器及设备 | |
CN103699226B (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
CN101159086B (zh) | 基于脑电信息检波的呼叫装置 | |
CN102799267B (zh) | Ssvep及阻断和p300三特征多脑-机接口方法 | |
CN104503571B (zh) | 基于脑机接口的意念采集装置、电话终端及系统 | |
CN109036416A (zh) | 同声传译方法和系统、存储介质及电子装置 | |
CN110495854A (zh) | 特征提取方法、装置、电子设备及存储介质 | |
CN109963114A (zh) | 一种就餐检测装置、方法、服务器及系统 | |
CN110236498A (zh) | 一种多生理信号同步采集、数据共享与在线实时处理系统 | |
CN107481359A (zh) | 基于p300和运动想象的智能门锁系统及其控制方法 | |
CN107506578A (zh) | 基于arm的多通路无线数据通信处理的医疗健康临床监测系统 | |
CN108304074A (zh) | 显示控制方法及相关产品 | |
CN108234143A (zh) | 一种直播时消息的处理方法、装置和设备 | |
CN104027070A (zh) | 一种健康监测报警求救系统及其工作方法 | |
CN106476281B (zh) | 基于眨眼识别与视觉诱发的3d打印机控制方法 | |
CN105451297B (zh) | 一种网络接入方法和装置 | |
CN104571502B (zh) | 一种信息处理方法及穿戴式电子设备 | |
CN106354255A (zh) | 一种面向机器人产品的人机交互方法及装置 | |
CN108211308B (zh) | 一种运动效果展示方法及装置 | |
CN203763055U (zh) | 一种健康监测报警求救系统 | |
CN106604309A (zh) | 一种隐藏无线接入设备ssid的方法及系统 | |
CN106774843A (zh) | 一种密码输入设备和方法 | |
CN107730483A (zh) | 移动设备、处理脸部生物特征的方法、装置和系统 | |
CN110198465A (zh) | 一种基于脑-机接口的电视智能遥控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |