CN103338265A - 一种结合脑电和眼电的信息交互系统及信息交互方法 - Google Patents

Abstract

本发明公开了一种结合脑电和眼电的信息交互系统及信息交互方法，信息交互系统的无线通信模块包括多个Zigbee通信终端，且以其中一个Zigbee通信终端作为网络协调器；每个信息交互子终端包括信息融合模块和串口通信模块；每个信息交互子终端通过各自的串口通信模块与多个Zigbee通信终端之一相连接；每个信息交互子终端上连接有一个眼电与脑电信号采集模块；眼电与脑电信号采集模块采集用户的眼电信号与脑电信号并将所采集的眼电信号与脑电信号放大处理后发送至信息融合模块。本发明实现了一种结合脑电和眼电的信息交互系统及方法，提供了一种非言语与肢体的全新信息交互方式，具有应用范围广、扩展性强、使用舒适、交互性好、鲁棒性强等优点。

Description

一种结合脑电和眼电的信息交互系统及信息交互方法

技术领域

本发明涉及一种结合脑电和眼电的信息交互系统及信息交互方法。

背景技术

随着人机交互技术的不断发展与完善，越来越多的新技术被利用并成为人与计算机或者人与人之间的交互渠道，这些渠道包括语音技术、视频技术、生物电技术以及触摸传感技术等。其中，基于生物电的人机交互技术作为常规人机交互方法的一种补充，在一些特殊的应用场景下，比如：残疾群体与外界环境的交互，临床病人的监护，特殊环境下的通信，驾驶员的疲劳检测等方面都具有较强的实际应用价值。科学家霍金所使用的人机交互系统是大家所熟知的一种典型应用，该系统在霍金的眼镜上，约距右颊一英寸处，安装了负责侦测肌肉活动的红外线发射器及侦测器，他通过眼球控制红外线感应器实现与电脑的通信，并由电脑将他所表达的意思以合成语音的方式播放出来。再比如，目前美军正在研制的“读心头盔”已将基于生物电的人机交互系统应用于军事，该系统通过头戴的电极帽来捕获使用者在大脑中想象“前方有敌人”、“召来直升机”等字句时的脑电波活动，然后再转化成相应代码发送到计算机，以实现用思维生成和发布作战命令的目的。可以看出，生物电人机交互技术以其较高的医学、应用价值和丰富的信息交互手段已经得到了社会各界的广泛关注。

所谓生物电是指由离子跨膜流动而产生的电势变化，我们常见的生物电信号有：心电（ECG）、肌电（EMG）、脑电（EEG）和眼电（EOG）等，这种变化的电势可以通过电极从生物体获取，然后通过计算机对这些生物电信号进行研究分析，并根据分析结果生成控制指令，从而实现对外部受控对象的控制，同时，操作者可以根据受控对象的动作相应地调整输出的控制指令，从而实现人与机器的交互，这就是基于生物电的人机交互过程。其中，基于眼电的人机交互系统和基于alpha波的脑电人机交互系统，由于具有信号较强，易于检测等特点，已逐步走进人们的生活。然而，迄今为止，将两种技术有效结合起来并服务于人们生活的信息交互系统尚无相关报导。

发明内容

本发明是为避免上述已有技术中存在的不足之处，提出了一种应用范围广、扩展性强、使用舒适、交互性好、鲁棒性强的结合脑电和眼电的信息交互系统及信息交互方法。

本发明为解决技术问题采用以下技术方案。

一种结合脑电和眼电的信息交互系统，其结构特点是，包括多个眼电与脑电信号采集模块、一个无线通信模块和多个信息交互子终端；所述无线通信模块包括多个Zigbee通信终端，且以其中一个Zigbee通信终端作为网络协调器；

所述多个信息交互子终端中的每一个均包括一个信息融合模块和一个串口通信模块；所述多个信息交互子终端中的每一个均通过各自的串口通信模块与所述多个Zigbee通信终端之一相连接；每一个信息交互子终端上均连接有一个眼电与脑电信号采集模块；

所述眼电与脑电信号采集模块，用于采集用户的眼电信号与脑电信号，并将所采集的眼电信号与脑电信号处理后发送至所述信息融合模块；

所述信息融合模块，用于对用户的眼电信号与脑电信号进行有效识别，对所述眼电信号和脑电信号的识别结果进行融合后生成多种不同的交互信息；

所述无线通信模块，用于通过Zigbee网络实现不同的Zigbee通信终端之间的通信，从而实现不同用户间的无线信息交互。

本发明的一种结合脑电和眼电的信息交互系统的结构特点也在于：

所述眼电与脑电信号采集模块包括置于用户额头并用于采集用户眼电信号和脑电信号的固态电极，所述固态电极在数据采集时使用的是共用前额电极采集模式。

所述信息融合模块包括眼电/脑电模式识别单元和交互信息生成单元；

所述眼电/脑电模式识别单元，用于从眼电与脑电信号采集模块所采集的混合信号中区分出眼电信号与脑电信号，并对眼电信号与脑电信号进行在线识别与信息统计；

所述交互信息生成单元，用来对眼电/脑电模式识别单元所输出的识别结果进行信息融合，以生成不同的且便于用户记忆、使用的交互信息。

所述每一个信息交互子终端的串口通信模块均通过RS-232总线与一个Zigbee通信终端相连接。

本发明还提供了一种结合脑电和眼电的信息交互方法，包括以下步骤：

步骤1：将3个电极分别置于在用户的前额和乳突穴处，然后初始化系统，组建Zigbee无线网络；

步骤2：位于前额处的电极将采集到的眼电/脑电混合信号通过眼电/脑电信号采集模块进行充分地放大后，通过无线蓝牙的方式传送至终端处理器接收；终端处理器对所接收到的眼电/脑电混合信号进行预处理后通过频率与幅度等特征将两者区分，并分别对区分后的信号进行模式识别，以获取用户动作；

步骤3：发送信息过程；当终端处理器检测到用户由于闭眼而产生了生alpha波后，便自动开启系统，然后对用户的眼部动作进行连续不间断地检测，并根据检测结果生成所需交互的信息，对其进行编码后通过RS-232串口发送至无线通信模块，经由Zigbee网络将信息向其它用户进行分发；

步骤4：接收信息过程；当接收到其它通信终端发送过来的信息时，该信息将经由RS-232串口传送至终端处理器并对该信息进行解码，解码后的结果采用文字与语音两种提示方式将信息反馈给用户；

步骤5：当某一用户想退出该系统时，可以通过再次通过闭眼产生alpha波以关闭该终端。

与已有技术相比，本发明有益效果体现在：

本发明的一种结合脑电和眼电的信息交互系统及信息交互方法，包括有眼电/脑电信号采集模块、信息融合模块以及无线通信模块。眼电/脑电信号采集模块主要用来采集、放大并发送眼电与脑电信号至终端处理器；信息融合模块是指将用户的眼动信息（比如：眨眼动作）与脑电中的alpha波信息进行组合，以生成不同的交互信息；无线通信模块是指通过Zigbee网络实现不同用户间的无线信息交互。本发明的信息交互系统具有以下几个特点。

1）本发明应用范围广。

本发明提出了一种非言语与肢体的全新的信息交互系统，该系统不仅可以应用在一些需要保持语音静默的场合，比如：侦察前线侦察兵之间的联系、战术行动小组间的配合等，也可以应用在一些吵杂环境下无法使用语言进行沟通的场合，比如：在试车时机场工作人员间的交流、大型厂房的工作间内等；同时对于一些有语言和肢体障碍的残疾人来说，本发明不仅可以帮助其与正常人进行交流，还可以通过所产生的交互信息来控制一些外部设备来改善自身的生活质量，比如：电视、空调、电灯等。

2）本发明扩展性强。

本发明不同终端间采用了Zigbee无线网络进行通信，网络最多可以容纳65535个节点，因此，系统具有良好的可扩展性；同时，Zigbee技术的引入，节省了现场布线等繁琐程序，每个终端用户可方便地加入/退出系统，而不需要更多的硬件支持，有效提高了系统使用灵活性。

3）本发明使用舒适。

本发明提出了使用固态电极取代传统的电极膏辅助电极，极大提升了用户的舒适度与可操作性；另一方面本发明整合了眼电电极与脑电电极，减少了电极数量，在减少干扰信号的耦合通道、保证信号采集的质量的同时，能进一步提升用户舒适度。

4）本发明具有较强的鲁棒性。

本发明提出了脑电与眼电相结合的信息交互系统，相比较传统的仅使用单个生物电信号的系统来说，本发明通过对两种信号的融合，不仅增加了交互信息产生的控制通道，提高了实用性；同时，当某一种控制信号出现问题时更一种仍能保持正常工作，能有效提高系统的鲁棒性。

5）本发明具有较好的交互性。

本发明可根据实际用户需要对眼动信号与脑电信号进行组合编码，生成不同交互信息；同时，本发明不需要用户进行前期训练，可依据操作说明直接使用，极大地简化了使用过程；人性化用户界面的设计，用户可以很快适应整个操作规程。

本发明实现了一种结合脑电和眼电的信息交互系统及方法，提供了一种非言语与肢体的全新信息交互方式，具有应用范围广、扩展性强、使用舒适、交互性好、鲁棒性强等优点。

附图说明

图1为本发明的一种结合脑电和眼电的信息交互系统的系统原理图。

图2为本发明的Zigbee网络拓扑结构图。

图3为本发明电极个数及安装位置图。

图4为本发明眼电与脑电混合波形及其端点检测结果图。

图5为本发明中作为网络协调器的Zigbee通信终端的工作流程图。

图6为本发明的子节点的Zigbee通信终端（非网络协调器）的工作流程图。

图7为本发明的结合脑电和眼电的信息交互系统的工作流程图。

以下通过具体实施方式，并结合附图对本发明作进一步说明。

具体实施方式

参见图1～7，一种结合脑电和眼电的信息交互系统，包括多个眼电与脑电信号采集模块、一个无线通信模块和多个信息交互子终端；所述无线通信模块包括多个Zigbee通信终端，且以其中一个Zigbee通信终端作为网络协调器；

所述多个信息交互子终端中的每一个均包括一个信息融合模块和一个串口通信模块；所述多个信息交互子终端中的每一个均通过各自的串口通信模块与所述多个Zigbee通信终端之一相连接；每一个信息交互子终端上均连接有一个眼电与脑电信号采集模块；

所述眼电与脑电信号采集模块，用于采集用户的眼电信号与脑电信号，并将所采集的眼电信号与脑电信号处理后发送至所述信息融合模块；所述眼电信号是指用户由于眼部运动而产生的微弱生物电信号，比如：眨眼、眼球转动等；所述脑电信号是指脑电中频率为8-13Hz的alpha（阿尔法）波信号。

所述信息融合模块，用于对用户的眼电信号与脑电信号进行有效识别，对所述眼电信号和脑电信号的识别结果进行融合后生成多种不同的交互信息；

所述无线通信模块，用于通过Zigbee网络实现不同的Zigbee通信终端之间的通信，从而实现不同用户间的无线信息交互。

所述眼电与脑电信号采集模块包括置于用户额头并用于采集用户眼电信号和脑电信号的固态电极，所述固态电极在数据采集时使用的是共用前额电极采集模式。

固态电极在数据采集时使用的是共用前额电极采集模式，同时，为了提高用户使用舒适度，所采集到的数据与终端处理器之间通过无线蓝牙方式进行通信。共用前额电极采集模式的电极设置方式参见图3。

传统电极膏辅助电极在使用时，需要在相应的采集部位涂上电极膏，然后将电极通过胶带固定于采集部位进行信号采集，采集完毕需要清理电极膏，操作繁琐，用户舒适度低。所述固态电极是相对于传统电极膏辅助电极而言，该电极将放大器与电极组装在一起，并通过支架固定电极，在使用时不必涂上电极膏，可直接通过电极传感器与用户皮肤接触来获取脑电与眼电信号，能有效降低传统电极安装复杂度与电极膏所带来的不适性。

现有的信号采集模式采用两个独立的电极分别采集眼电信号和脑电信号，共需四个电极，其中一个电极用于采集眼电信号，另一电极采集脑电信号，其它两个电极分别作为参考电极和接地电极。本发明的共用前额电极采集模式是指将眼电电极与脑电电极合二为一并使其置于用户前额处，可称之为前额电极；参考电极和接地电极均置于耳后的乳突穴处。该前额电极可同时采集眼电信号和脑电信号，因此，共用前额电极采集模式仅需三个电极就可以采集到眼电与脑电的混合信号，节省了一个电极。本发明中，所采集的眼电信号主要是眨眼信号。

所述共用前额电极采集模式在对受试者进行信号采集时，减少了电极数量，提高系统可靠性与受试者舒适度，将眼电采集电极与脑电采集电极进行整合，即两者通过一个共用电极进行数据采集，且该电极安放于用户前额，如图3所示。

所述信息融合模块包括眼电/脑电模式识别单元和交互信息生成单元；

所述眼电/脑电模式识别单元，用于从眼电与脑电信号采集模块所采集的混合信号中区分出眼电信号与脑电信号，并对眼电信号与脑电信号进行在线识别与信息统计；

所述交互信息生成单元，用来对眼电/脑电模式识别单元所输出的识别结果进行信息融合，以生成不同的且便于用户记忆、使用的交互信息。

固态电极所采集的信号是包括眼电信号和脑电信号的混合信号，需要将眼电信号和脑电信号区分出来进行分别识别和统计，然后获得识别结果。识别结果的信息发送给交互信息生成单元，进行信息融合。

所述每一个信息交互子终端的串口通信模块均通过RS-232总线与一个Zigbee通信终端相连接。

一种结合脑电和眼电的信息交互系统的信息交互方法，包括以下步骤：

步骤1：将3个电极分别置于在用户的前额和乳突穴处，然后初始化系统，组建Zigbee无线网络；

步骤2：位于前额处的电极将采集到的眼电/脑电混合信号通过眼电/脑电信号采集模块进行充分地放大后，通过无线蓝牙的方式传送至终端处理器接收；终端处理器对所接收到的眼电/脑电混合信号进行预处理后通过频率与幅度等特征将两者区分，并分别对区分后的信号进行模式识别，以获取用户动作；

步骤3：发送信息过程；当终端处理器检测到用户由于闭眼而产生了生alpha波后，便自动开启系统，然后对用户的眼部动作进行连续不间断地检测，并根据检测结果生成所需交互的信息，对其进行编码后通过RS-232串口发送至无线通信模块，经由Zigbee网络将信息向其它用户进行分发；

步骤4：接收信息过程；当接收到其它通信终端发送过来的信息时，该信息将经由RS-232串口传送至终端处理器并对该信息进行解码，解码后的结果采用文字与语音两种提示方式将信息反馈给用户；

步骤5：当某一用户想退出该系统时，可以通过再次通过闭眼产生alpha波以关闭该终端。

如图1所示，所述的无线通信模块主要用于构建不同用户间信息交互通道，该模块采用了Zigbee技术，主要由若干个通信子节点及其外围电路组成，一个子节点上有一个Zigbee通信终端，无线通信模块与信息交互子终端之间通过RS-232串口进行通信，其中一个Zigbee通信终端作为无线通信模块的网络协调器。

参见图1，说明了本实施例中系统的架构及每个终端的基本组成。具体实施中，每个终端处都包含眼电/脑电信号采集模块、信息融合模块及无线通信模块三部分。终端之间通过Zigbee网络进行信息交互，网络采用网状拓扑结构，如图2所示，最多可容纳65535个通信终端。

参见图3，说明了本实施例中电极个数及安装位置。系统共使用3个电极，其中主电极位于前额部位（如图3电极A位置），与前额皮肤接触用以采集受试者的眼电信号与脑电信号；参考电极与接地电极分别位于耳朵后方的乳凸穴的位置（如图3电极B和C位置），这种采用三个电极分别置于前额和耳后的方式，称为共用前额电极采集模式。

参见图4，说明了本实施例中眼电与脑电混合波形及其端点检测结果。该波形直观地反映了操作者的动作，即：进行两遍连续三次眨眼后，闭眼休息时产生了alpha波，随后又进行了一次眨眼与两次眨眼。为了能够有效区分眼电信号与脑电信号，系统首先对混合信号进行端点检测，检测结果如图4中红线所示，由于眼电信号的频率低于alpha波且幅度明显大于alpha波，因此系统通过检测信号频率与信号幅度两个判据进行混合信号的区分。

参见图5和6，说明了本实施例中Zigbee网络协调器与子节点的信号处理流程图。见图5，在网络协调器端，首先对网络进行初始化并建立一个新的Zigbee网络，等待子节点的加入。如果有子节点加入网络，则网络协调器会自动给该子节点分配网络号并建立连接。对子节点而言，在初始化成功后，会向网络协调器发送入网请求并等待网络协调器给自己分配网络地址。

见图6，在网络建成以后，各节点之间便可以进行通信。当某一节点的通信终端需要向其它终端发送信息时，该终端将会通过串口接收该终端处理器传送来的已编码的交互信息，并将其向指定用户端发送；如果需要接收信息，此时该终端则将其它终端所发送信息接收后通过串口回送至终端处理器机进行解码与显示。

如图7，基于本实施例系统的方法主要包括以下步骤：

1.把眼电/脑电信号采集电极按照图3所示，分别放置在用户的前额A（眼眉正上方）、乳凸处B（参考电极）与C（地）处；

2.打开Zigbee网络各节点电源，组建网络；

3.步骤1中的前额电极将采集到的眼电/脑电混合信号通过眼电/脑电信号采集模块进行充分地放大后，通过无线蓝牙的方式传送至终端处理器接收；终端处理器对所接收到的眼电/脑电混合信号进行预处理后通过频率与幅度等特征将两者区分，并分别对区分后的信号进行模式识别，以获取用户动作；

4.通过对串口工作状态的监控，，系统自动在发送信息状态与接收信息状态间切换。

4.1发送信息过程

当终端处理器检测到用户由于闭眼而产生了生alpha波后，便自动开启系统，然后对用户的眼部动作进行连续不间断监测，并根据检测结果生成所需交互的信息。为了减小传输量，提高传输效率，系统对该条待发送信息编码后通过Zigbee网络向指定节点发送出去。

4.2接收信息过程

当接收到其它终端发送过来的信息时，该信息将经由RS-232串口传送至终端处理器并对该信息进行解码，解码后的结果采用文字与语音两种提示方式将信息反馈给用户。

5.当某一用户想退出该系统时，可以通过再次通过闭眼产生alpha波以关闭该终端。

本发明具有应用范围广、扩展性强、使用舒适、交互性好、鲁棒性强等特点，实现了基于脑电与眼电的非言语与肢体的全新信息交互系统。本发明不仅可以应用在一些需要保持语音静默的场合，同时在一些吵杂环境下无法使用语言进行沟通的场合也具有较好的适用性；另外，对于一些有语言和肢体障碍的残疾人来说，本发明不仅可以帮助其与正常人进行交流，还可以通过所产生的交互信息来控制一些外部设备用以改善自身的生活质量，以实现一种非语言与肢体的全新信息交互方式。

Claims (5)

1.一种结合脑电和眼电的信息交互系统，其特征是，包括多个眼电与脑电信号采集模块、一个无线通信模块和多个信息交互子终端；所述无线通信模块包括多个Zigbee通信终端，且以其中一个Zigbee通信终端作为网络协调器；

所述多个信息交互子终端中的每一个均包括一个信息融合模块和一个串口通信模块；所述多个信息子终端中的每一个均通过各自的串口通信模块与所述多个Zigbee通信终端之一相连接；每一个信息交互子终端上均连接有一个眼电与脑电信号采集模块。

所述眼电与脑电信号采集模块，用于采集用户的眼电信号与脑电信号，并将所采集的眼电信号与脑电信号处理后发送至所述信息融合模块；

所述信息融合模块，用于对用户的眼电信号与脑电信号进行有效识别，对所述眼电信号和脑电信号的识别结果进行融合后生成多种不同的交互信息；

所述无线通信模块，用于通过Zigbee网络实现不同的Zigbee通信终端之间的通信，从而实现不同用户间的无线信息交互。

2.根据权利要求1所述的一种结合脑电和眼电的信息交互系统，其特征是，所述眼电与脑电信号采集模块包括置于用户额头并用于采集用户眼电信号和脑电信号的固态电极，所述固态电极在数据采集时使用的是共用前额电极采集模式。

3.根据权利要求1所述的一种结合脑电和眼电的信息交互系统，其特征是，所述信息融合模块包括眼电/脑电模式识别单元和交互信息生成单元；

所述眼电/脑电模式识别单元，用于从眼电与脑电信号采集模块所采集的混合信号中区分出眼电信号与脑电信号，并对眼电信号与脑电信号进行在线识别与信息统计；

所述交互信息生成单元，用来对眼电/脑电模式识别单元所输出的识别结果进行信息融合，以生成不同的且便于用户记忆、使用的交互信息。

4.根据权利要求1所述的一种结合脑电和眼电的信息交互系统，其特征是，所述每一个信息交互子终端的串口通信模块均通过RS-232总线与一个Zigbee通信终端相连接。

5.一种结合脑电和眼电的信息交互系统的信息交互方法，其特征是，包括以下步骤：

步骤1：将3个电极分别置于在用户的前额和乳突穴处，然后初始化系统，组建Zigbee无线网络；

步骤2：位于前额处的电极将采集到的眼电/脑电混合信号通过眼电/脑电信号采集模块进行充分地放大后，通过无线蓝牙的方式传送至终端处理器接收；终端处理器对所接收到的眼电/脑电混合信号进行预处理后通过频率与幅度等特征将两者区分，并分别对区分后的信号进行模式识别，以获取用户动作。

步骤3：发送信息过程；当终端处理器检测到用户由于闭眼而产生了生alpha波后，便自动开启系统，然后对用户的眼部动作进行连续不间断地检测，并根据检测结果生成所需交互的信息，对其进行编码后通过RS-232串口发送至无线通信模块，经由Zigbee网络将信息向其它用户进行分发；

步骤4：接收信息过程；当接收到其它通信终端发送过来的信息时，该信息将经由RS-232串口传送至终端处理器并对该信息进行解码，解码后的结果采用文字与语音两种提示方式将信息反馈给用户；

步骤5：当某一用户想退出该系统时，可以通过再次通过闭眼产生alpha波以关闭该终端。

Images