CN113110743B - 一种并行脑眼融合系统和方法 - Google Patents

Abstract

本发明提供一种并行脑眼融合系统和方法，包括拼写器模块、眼动仪、脑电信号采集模块、脑电眼动信号同步模块、脑电信号处理模块、眼动信号处理模块和脑眼融合决策模块，通过拼写器模块、脑电以及眼动信号采集和处理模块对脑电、眼动进行处理，得到特征和模式识别结果，能够对采集到的脑电和眼动信号进行快速处理和反应；使用并行脑眼融合决策模块对脑电和眼动处理模块的结果进行融合，并使用动态停止的策略输出字符，通过计算每一次字符识别结果的置信度，等置信度满足要求时才输出结果，同时当用眼动仪对视线转移时间进行动态调整，提高字符识别的准确率、可靠性和稳定性，从而提高整个系统的可靠性、稳定性和实用性，满足实际应用。

Description

一种并行脑眼融合系统和方法

技术领域

本发明涉及电数字数据处理技术领域，具体涉及一种并行脑眼融合系统和方法。

背景技术

脑-机接口(BCI)是一种能够在人大脑与机器构建直接的沟通通道的新型交互方式。由于无需肢体的运动即可控制机器，BCI可以应用于康复医疗领域，帮助有神经系统疾病的患者(如脑中风等)重新获得与外界交流的能力。不仅如此，BCI还可以应用于肢体活动首先的场景，如航天员身着航天服执行舱外操作任务。2016年我国在天宫二号上进行了脑机交互实验，证明了将BCI技术应用于太空任务是可行的。BCI按照脑电信号类型的不同可以分为运动想象(MI)、稳态视觉诱发电位(SSVEP)、时间相关电位(ERP)等。2019年在北京亦庄举办的世界机器人大会上，来自全国各个赛区的选手参加了基于SSVEP的脑控打字比赛，报道了最高691.55bit/min的信息传输速率(ITR)，相当于在100％准确率下以0.413秒输出一个英文字母(单字母信息量按4.76bit/min计算)，而普通人用手在触屏手机上打字的速度约为每分钟600bit。

眼动交互技术是一种通过实时检测眼球运动信息及跟踪视线注视位置进行人机交互的技术。通常使用眼动仪检测眼动信号，通过检测人眼睛注视的信息可以提取人的意图，从而实现人与计算机的交互。传统的人机交互方式，如鼠标、键盘等是基于视觉的，所以同样基于视觉的眼动交互技术可以直接根据眼动信息提取人的意图，使其可以在更短的时间内找到用户感兴趣的区域和目标。眼动交互技术无需肢体的运动就可以实现对计算机和机器的控制。

脑眼融合交互系统可以顺序处理或并行处理不同的输入。并行控制结构同时接受并处理输入信号，两个系统的输出信号被融合后用于生成控制指令。近些年，越来越多的学者开始开展通过融合不同模态的信息来提升系统性能相关的研究。尽管脑机和眼动交互技术得到了极大的发展，并且也是未来人机交互技术发展的方向，但是目前这些技术仍然存在人群适应性较差的问题。对于BCI盲的用户，使用脑机交互系统的体验较差；有些用户使用眼动交互时存在注视点抖动等现象，从而导致眼动交互正确率较低，严重影响了用户的使用体验，也无法满足实际应用的需求。

为了研制可用于实际应用环境中的并行脑眼融合系统，将各个模态信息的优势互补，从而提高系统整体的性能，并扩大系统在人群中的适用范围，达到系统高效可靠和对用户友好的实用化标准，亟需发展新的人机交互技术。据我们所知，至今还未见并行脑眼融合系统的相关报道。

发明内容

本发明是为了解决患有严重运动障碍的患者(如烦脑外伤、脑中风、肌萎缩性侧索硬化症和格林－巴利综合征等)的人机交互问题，通过用户的眼睛注视拼写器界面来完成拼写字符的操作，从而使其更好的与人交流改善其生活质量。通过融合脑机和眼动交互技术，不仅可以提高拼写器系统的准确率和信息传输速率，还有使系统具有较好的稳定性、易用性和可扩展性，并且相比于传统的脑电或者眼动单模态交互，所提出的系统有更广泛的使用人群。

本发明提供一种并行脑眼融合系统，包括拼写器模块，眼动仪，脑电信号采集模块，与眼动仪、脑电信号采集模块均连接的脑电眼动信号同步模块，与脑电眼动信号同步模块连接的脑电信号处理模块、眼动信号处理模块和与拼写器模块、脑电信号处理模块、眼动信号处理模块均连接的脑眼融合决策模块；

拼写器模块用于显示控制选项和将用户输入时的事件时刻发送至脑电眼动信号同步模块，拼写器模块用于接收脑眼融合决策模块发送的开始闪烁指令并控制注视点周围按键区域闪烁，拼写器模块用于接收脑眼融合决策模块发送的结束闪烁指令并控制注视点周围按键区域结束闪烁，眼动仪用于采集用户在拼写器模块输入时的眼动信号并生成与事件时刻同步的眼动数字信号输出至脑电眼动信号同步模块，脑电信号采集模块用于采集用户在拼写器模块输入时的脑电信号并生成与事件时刻同步的脑电数字信号发送给脑电眼动信号同步模块，脑电眼动信号同步模块用于接收眼动数字信号和脑电数字信号并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号发送给脑电信号处理模块和眼动信号处理模块，脑电信号处理模块用于接收脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给脑眼融合决策模块，眼动信号处理模块用于接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块，脑眼融合决策模块用于接收脑电信号识别字符τ_brain、脑电信号置信度C_brain、眼动信号识别字符τ_eye和眼动信号置信度C_eye后将开始闪烁指令和注视点发送至拼写器模块，脑眼融合决策模块用于计算得到最终识别字符τ并将最终识别字符τ和停止闪烁指令发送给拼写器模块。

本发明所述的一种并行脑眼融合系统，作为优选方式，拼写器模块包括用于显示控制选项的显示器，控制选项包括字符和可闪烁的字符方块；

脑电信号采集模块包括接触头皮安装的电极，电极包括多个分布于用户大脑枕区的采集信号电极、位于用户头顶的参考电极和位于用户的前额叶的接地电极；

脑电信号处理模块包括预处理模块、特征提取模块和模式识别模块，预处理模块用于提取脑电融合信号的脑电频率特征并进行滤波分解得到脑电频率，特征提取模块用于根据脑电频率计算得到脑电信号识别字符τ_brain，模式识别模块用于计算得到脑电信号置信度C_brain；

预处理模块包括若干个滤波器，滤波器为切比雪夫I型无限脉冲响应滤波器。

本发明提供一种并行脑眼融合方法，包括以下步骤：

S1、拼写器模块运行：拼写器模块的显示器上显示字符，用户注视字符诱发眼动仪、脑电信号采集模块、脑电眼动信号同步模块、脑电信号处理模块、眼动信号处理模块和脑眼融合决策模块开始运行；

S2、采集眼动信号和脑电信号：拼写器模块将事件时刻发送至脑电眼动信号同步模块，眼动仪采集用户的眼动信号并生成与事件时刻同步的眼动数字信号发送给脑电眼动信号同步模块，脑电信号采集模块采集用户在拼写器模块输入时的脑电信号并生成与事件时刻同步的脑电数字信号发送给脑电眼动信号同步模块；

S3、眼动信号和脑电信号同步：脑电眼动信号同步模块接收眼动数字信号和脑电数字信号，并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号分别发送给脑电信号处理模块和眼动信号处理模块；

S4、眼动信号和脑电信号处理：脑电信号处理模块接收脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给脑眼融合决策模块，眼动信号处理模块接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块；

S5、脑眼融合决策：脑眼融合决策模块接收脑电信号识别字符τ_brain、脑电信号置信度C_brain、眼动信号识别字符τ_eye和眼动信号置信度C_eye后将开始闪烁指令和注视点发送至拼写器模块，注视点周围按键区域闪烁；

当脑电信号置信度C_brain和眼动信号置信度C_eye均未达到预设值C₀或者用户凝视字符的时间t未达到最大检测时间T_max时返回步骤S2，直至脑电信号置信度C_brain或眼动信号置信度C_eye达到预设值C₀，或者用户凝视字符的时间t达到了最大检测时间T_max，脑眼融合决策模块计算得到最终识别字符τ并将最终识别字符τ和结束闪烁指令发送给拼写器模块；

S6、拼写器反馈：拼写器模块在拼写器模块上显示最终识别字符并结束闪烁，返回步骤S1，直至全部拼写任务完成。

本发明所述的一种并行脑眼融合方法，作为优选方式，步骤S4包括：

S41、脑电信号处理：脑电信号处理模块接收脑电融合信号并计算得到脑电信号识别字符τ_brain、脑电信号置信度C_brain发送给脑眼融合决策模块；

S42、眼动信号处理：眼动信号处理模块用于接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块。

本发明所述的一种并行脑眼融合方法，作为优选方式，步骤S41包括：

S411、脑电信号预处理：脑电信号处理模块接收脑电融合信号后提取脑电频率特征并进行滤波分解得到脑电频率发送至脑电信号处理模块的特征提取模块；

S412、脑电信号特征提取：特征提取模块计算得到脑电频率与各个字符脑电模板数据的相关系数(r₁，r₂，...，r_K)，K为字符的总数目，最大相关系数r_m1所对应的字符即为脑电信号识别字符τ_brain；

S413、脑电信号模式识别：模式模块计算脑电信号置信度C_brain，以最大相关系数r_m1和次大相关关系系数r_m2之间差值来度量脑电信号置信度C_brain：

脑电信号处理模块将脑电信号识别字符τ_brain和脑电信号置信度C_brain输出至脑眼融合决策模块。

本发明所述的一种并行脑眼融合方法，作为优选方式，

步骤S411中，提取脑电频率特征为截取脑电频率数据，截取的数据片段降采样到250Hz；

滤波为：利用切比雪夫I型无限脉冲响应滤波器进行7-90Hz带通滤波，并用50Hz的陷波滤波器去除常见的电源噪音；

分解为：将脑电频率分解为n个子频带，对于第n个频带，截止频率分别是n×8Hz和90Hz，使用filtfilt函数进行0相位的正向和反向滤波得到脑电频率发送至特征提取模块；

步骤S412中，特征提取模块使用CCA或TRCA算法计算相关系数(r₁，r₂，...，r_K)；

步骤S413中，模式模块使用线性判别分析或支持向量机或人工神经网络计算脑电信号置信度C_brain计算脑电信号置信度C_brain。

本发明所述的一种并行脑眼融合方法，作为优选方式，步骤S42包括：

S421、模式选择：判断凝视点在字符上的停留时间t是否超过预设目标值T，当判断为是时进入步骤S422；当判断为否时，进入步骤S423；

S422、直接目标选择模式：将字符作为识别结果，得到眼动信号识别字符τ_eye和眼动信号置信度C_eye，眼动信号置信度C_eye为1；

S423、最近目标选择模式：凝视点停留时间最大值T_m所对应的字符即为眼动信号识别字符τ_eye，

眼动信号置信度C_eye为：C_eye＝T_m/T。

本发明所述的一种并行脑眼融合方法，作为优选方式，步骤S5中，最终识别字符τ的判断方法如下：

当t≤T_max时：

τ＝τ_eye当max(C_eye，C_brain)≥C₀，τ＝τ_eye，当max(C_eye，C_brain)≥C₀，C_eye＞C_brainτ＝τ_brain当max(C_eye，C_brain)≥C₀，/>C_eye＜C_brain/>为空集；

当t＞T_max时，若则τ＝τ_eye；若/>则τ＝τ_brain。

本发明所述的一种并行脑眼融合方法，作为优选方式，步骤S1中，显示字符的模式包括带提示模式，带提示模式运行时，显示器按顺序提示字符，默认从左到右，从上到下提示，字符所在的方框变红或者出现一个空心红框将字符方框包围。

本发明所述的一种并行脑眼融合方法，作为优选方式，步骤S5中，注视点周围按键区域闪烁为与注视点的坐标相邻的9个字符闪烁。

为提升拼写器的信息传输速率，本申请提出了一种基于脑机交互和眼动交互技术的多模态并行融合系统和方法。

各个模块职能简要叙述如下：

1.拼写器模块。

在脑眼融合模式中，配置了“注视区域闪烁”，即只有当前注视的按键区域闪烁。眼动注视点距离最近的9(默认)个字符，红色实心点为眼动注视点，红框内方块为闪烁的方块。

拼写器分为2种模式，带提示和自由拼写。

·带提示模式：拼写器模块的输入是：由脑眼数据处理程序(脑眼融合决策模块)发出，包括：注视点坐标、是否开始闪烁、是否结束闪烁、识别出的字符、反馈是否正确。

拼写器模块的输出是：同步后的脑电和眼动数据，提示字符和字符刺激方块开始闪烁时的trigger，界面上显示反馈和修正后的反馈。

t0：拼写器模块运行开始后，按一定的顺序提示字符，默认从左到右，从上到下提示，提示的方式为目标字符所在的方框变红或者出现一个空心红框将目标字符方框包围，提示开始时的同时发trigger(标签)；

t1：接收从脑眼融合决策模块发出的指令开始闪烁指令和注视点坐标后，将注视点坐标相邻的9个字符闪烁，闪烁开始的同时发trigger；

t2：接收到结束闪烁指令后结束闪烁，并在界面上反馈识别出的字符；

·自由拼写模式：拼写器模块的输入是：由脑眼数据处理程序发出，包括：注视点坐标、是否开始闪烁、是否结束闪烁、识别出的字符、反馈是否正确。

拼写器模块的输出是：同步后的脑电和眼动数据，字符刺激方块开始闪烁时的trigger，界面上显示反馈和修正后的反馈。

t0：拼写器模块运行开始后，等待接收数据处理模块开始闪烁的指令；

t1：接收到开始闪烁指令和注视点坐标后，将注视点坐标相邻的9个字符闪烁，闪烁开始的同时发trigger；

t2：接收到结束闪烁指令后结束闪烁，并在界面上反馈识别出的字符。

2.眼动仪。负责采集用户的眼动信号，并发送给脑电和眼动信号同步模块。

3.脑电信号采集模块。通过脑电放大器将脑电进行放大，并转换为数字信号，发送给脑电和眼动信号同步模块。

4.脑电和眼动信号同步模块。同时接受眼动仪和脑电信号采集模块的信号，并在时间上同步，同时接受事件发生器的信号，并单独生成一维表示事件的信号，与眼动和脑电信号一起组成一个时间上同步的信号，发送给脑电信号处理模块。

5.脑电信号处理模块。由预处理模块、特征提取模块和模式识别模块三部分组成，用以对脑电(EEG)数据时频特征的提取与识别。信号预处理模块将所得到的EEG信号在时域上分别提取脑电频率和时间成分。首先，对于刺激呈现之后的EEG数据提取频域上的特征。系统将截取的数据片段降采样到250Hz，利用切比雪夫I型无限脉冲响应(infiniteimpulse response,IIR)滤波器进行7-90Hz带通滤波，并用50Hz的陷波滤波器去除常见的电源噪音。用滤波器组分析的方法将EEG数据分解为n(n＝1，2，…，5)个子频带，所用到的滤波器为IIR滤波器，对于第n个频带，其截止频率分别是n×8Hz和90Hz，使用MATLAB(MathWorks股份有限公司)上的filtfilt()函数进行0相位的正向和反向滤波。特征提取模块采用CCA、TRCA等算法计算各个刺激频率所对应的得分，通过比较得分大小识别目标刺激频率。模式识别模块中的分类器可以根据实际需要采用线性判别分析、或支持向量机、或人工神经网络。

CCA算法，即Canonical Correlation Analysis算法，是一种多元统计分析方法，它通过计算两组变量之间的典型相关系数，来反映两组指标之间的整体相关性。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1(分别为两个变量组中各变量的线性组合)，利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。TRCA算法，即task relevant componentanalysis算法，通过最大化试次之间的协方差计算EEG数据中各导联的最优线性组合W，通过使用W对原始数据滤波得到任务相关成分，最后计算当前滤波后的脑电数据分别与各个字符的脑电模板数据的相关系数(r₁，r₂，...，r_K)，其中K为字符的数目，在本申请中为40。最大相关系数所对应的的字符被确定为目标字符。

当最大相关系数r_m1和次大相关关系系数r_m2之间的差值较小时，最大相关系数所对应的字符为目标的可信度较低；反之，可信度较高。因此，以用最大和次大相关系数之间的差值来度量识别结果的置信度C：

脑电信号处理模块的输出结果为识别出的目标字符τ和相应的置信度C。

6.眼动信号处理模块。基于注视时间的眼动追踪交互(Eye TrackingInterfaces，ETI)通常可以自己控制进度，用户可以简单地通过在超出停留时间目标值T之前，将注视点从目标移开，可以避免非本意的命令输入，换句话说，对拼写器来说有时没有输出。为了保证该模块有输出，分两种情况：1)直接目标选择(ETI-target)和2)最近目标选择(ETI-nearest)。下面详细介绍：

ETI-target。当凝视点停留在目标上时，当停留时间超过预设的目标值时，将注视的目标作为识别结果。在一次字符识别过程中，为每一个字符计算凝视点的停留时间，如果凝视点不在字符方块范围内，则将所有字符的注视点驻留计时器暂停，直到注视点落到某一个字符方块范围内，该字符的驻留计时器才重新开始计时，其他字符的驻留计时器继续暂停计时。因此这里的注视点驻留时间为累积注视时间。如果任何目标上的凝视点停留时间均不超过停留时间目标值T，则由ETI-nearest方法给出识别结果；否则，识别结果为字符驻留时间最大值所对应的字符。

ETI-nearest。在任何目标上的凝视点停留时间均不超过停留时间目标值T情况下，将凝视点停留时间最大值T_m所对应的字符来确定为目标。

ETI-target方法比ETI-nearest更加保守，因为前者有识别结果有更严苛的条件，因此将前者识别出的结果置信度设置为1。由于T_m越接近T则，ETI-nearest方法识别出的结果可信性越高，反之，越低，因此识别出的结果置信度C定义为：

C＝T_m/T.

当T_m＝0时，输出结果为空。因此，眼动信号处理模块的数据结果为识别出的字符τ和置信度C，或者为空。

7.并行脑眼融合决策模块。由于该模块可以实时接收来自脑电和眼动信号处理模块的识别结果和对应的置信度，因此如何合理利用二者的结果，并给出最终输出结果变得尤为重要。用户在进行字符拼写过程中，由于疲劳状况和注意力水平等因素影响，大脑的状态时刻发生着变化，造成脑电和眼动信号处理模块输出的置信度也时刻发生着变化。从用户注视字符开始t₀，随着脑电和眼动数据的累积，系统得到的大脑信息越多，理论上识别结果的置信度会越来越趋近于1。但是为了提高字符拼写的速度，本申请使用动态停止的策略。具体来说，在字符识别过程中进行多次检测，直到置信度达到预设值C₀或者从t₀开始计时的时间t达到了最大检测时间T_max，该模块才输出最终识别结果；若置信度未达到C₀，则不输出，等待下一次检测。当t≤T_max时在每一次检测中，识别结果定义为：

当t＞T_max时，若则τ＝τ_eye；若/>则τ＝τ_brain。

本发明的关键点在于，将眼动和脑电信号的并行融合交互技术应用于拼写器系统中，以期增强用户使用拼写器时的信息传输速率。

本发明具有以下优点：

(1)减少用户眼睛的疲劳。传统的基于稳态视觉诱发电位(SSVEP)的脑机接口(BCI)系统，用户注视交互界面时，所有的刺激全部闪烁，长时间使用易造成用户疲劳，本申请提出根据眼动仪确定的注视点，只让注视点附近的刺激闪烁，缩小了闪烁刺激的数目，有利于降低用户疲劳。

(2)提升系统的字符识别准确率。传统的BCI系统或者眼动交互系统通常设置固定的单个字符刺激时间或者凝视注视时间，以该段时间内的数据作为依据识别用户想要拼写的字符，但是用户的状态时刻发生变化，固定的时间段无法保证可靠的输出。本申请提出使用动态停止的策略输出字符，通过计算每一次字符识别结果的置信度，等置信度满足要求时才输出结果，可以提高字符识别的准确率。

(3)提升系统的信息传输速率。传统的BCI拼写器系统将拼写完一个字符后视线转移至下一个字符的时间，即视线转移时间，设置为固定值，可能会出现开始注视的时刻与刺激开始闪烁的时刻不同步的问题，影响了系统的性能。本申请通过眼动仪识别出的凝视点在某个字符上的驻留时间达到要求，字符刺激才开始闪烁，这样可以用眼动仪对视线转移时间进行动态调整，理论上可以达到最短且正确的视线转移时间，从而有效提升系统的信息传输速率。

附图说明

图1为一种并行脑眼融合系统结构示意图；

图2为一种并行脑眼融合方法流程图；

图3为一种并行脑眼融合方法步骤S4流程图；

图4为一种并行脑眼融合方法步骤S41流程图；

图5为一种并行脑眼融合方法步骤S42流程图；

图6为一种并行脑眼融合方法主视区闪烁示意图1；

图7为一种并行脑眼融合方法主视区闪烁示意图2；

图8为一种并行脑眼融合方法主视区闪烁示意图3；

图9为一种并行脑眼融合方法拓扑图；

图10为一种并行脑眼融合系统脑电波信号采集位置图。

附图标记：

1、拼写器模块；2、眼动仪；3、脑电信号采集模块；4、脑电眼动信号同步模块；5、脑电信号处理模块；6、眼动信号处理模块；7、脑眼融合决策模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

如图1所示，一种并行脑眼融合系统，包括拼写器模块1，眼动仪2，脑电信号采集模块3，与眼动仪2、脑电信号采集模块3均连接的脑电眼动信号同步模块4，与脑电眼动信号同步模块4连接的脑电信号处理模块5、眼动信号处理模块6和与拼写器模块1、脑电信号处理模块5、眼动信号处理模块6均连接的脑眼融合决策模块7；

拼写器模块1用于显示控制选项和将用户输入时的事件时刻发送至脑电眼动信号同步模块4，拼写器模块1用于接收脑眼融合决策模块7发送的开始闪烁指令并控制注视点周围按键区域闪烁，拼写器模块1用于接收脑眼融合决策模块7发送的结束闪烁指令并控制注视点周围按键区域结束闪烁，眼动仪2用于采集用户在拼写器模块1输入时的眼动信号并生成与事件时刻同步的眼动数字信号输出至脑电眼动信号同步模块4，脑电信号采集模块3用于采集用户在拼写器模块1输入时的脑电信号并生成与事件时刻同步的脑电数字信号发送给脑电眼动信号同步模块4，脑电眼动信号同步模块4用于接收眼动数字信号和脑电数字信号并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号发送给脑电信号处理模块5和眼动信号处理模块6，脑电信号处理模块5用于接收脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给脑眼融合决策模块7，眼动信号处理模块6用于接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块7，脑眼融合决策模块7用于接收脑电信号识别字符τ_brain、脑电信号置信度C_brain、眼动信号识别字符τ_eye和眼动信号置信度C_eye后将开始闪烁指令和注视点发送至拼写器模块1，脑眼融合决策模块7用于计算得到最终识别字符τ并将最终识别字符τ和停止闪烁指令发送给拼写器模块1。

实施例2

如图1所示，一种并行脑眼融合系统，包括拼写器模块1，眼动仪2，脑电信号采集模块3，与眼动仪2、脑电信号采集模块3均连接的脑电眼动信号同步模块4，与脑电眼动信号同步模块4连接的脑电信号处理模块5、眼动信号处理模块6和与拼写器模块1、脑电信号处理模块5、眼动信号处理模块6均连接的脑眼融合决策模块7；

拼写器模块1用于显示控制选项和将用户输入时的事件时刻发送至脑电眼动信号同步模块4，拼写器模块1用于接收脑眼融合决策模块7发送的开始闪烁指令并控制注视点周围按键区域闪烁，拼写器模块1用于接收脑眼融合决策模块7发送的结束闪烁指令并控制注视点周围按键区域结束闪烁，眼动仪2用于采集用户在拼写器模块1输入时的眼动信号并生成与事件时刻同步的眼动数字信号输出至脑电眼动信号同步模块4，脑电信号采集模块3用于采集用户在拼写器模块1输入时的脑电信号并生成与事件时刻同步的脑电数字信号发送给脑电眼动信号同步模块4，脑电眼动信号同步模块4用于接收眼动数字信号和脑电数字信号并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号发送给脑电信号处理模块5和眼动信号处理模块6，脑电信号处理模块5用于接收脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给脑眼融合决策模块7，眼动信号处理模块6用于接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块7，脑眼融合决策模块7用于接收脑电信号识别字符τ_brain、脑电信号置信度C_brain、眼动信号识别字符τ_eye和眼动信号置信度C_eye后将开始闪烁指令和注视点发送至拼写器模块1，脑眼融合决策模块7用于计算得到最终识别字符τ并将最终识别字符τ和停止闪烁指令发送给拼写器模块1；

拼写器模块1包括用于显示控制选项的显示器，控制选项包括字符和可闪烁的字符方块；

脑电信号采集模块3包括接触头皮安装的电极，电极包括多个分布于用户大脑枕区的采集信号电极、位于用户头顶的参考电极和位于用户的前额叶的接地电极；

脑电信号处理模块5包括预处理模块、特征提取模块和模式识别模块，预处理模块用于提取脑电融合信号的脑电频率特征并进行滤波分解得到脑电频率，特征提取模块用于根据脑电频率计算得到脑电信号识别字符τ_brain，模式识别模块用于计算得到脑电信号置信度C_brain；

预处理模块包括若干个滤波器，滤波器为切比雪夫I型无限脉冲响应滤波器。

实施例3

如图2所示，一种并行脑眼融合方法，包括以下步骤：

S1、拼写器模块运行：拼写器模块1的显示器上显示字符，用户注视字符诱发眼动仪2、脑电信号采集模块3、脑电眼动信号同步模块4、脑电信号处理模块5、眼动信号处理模块6和脑眼融合决策模块7开始运行；

S2、采集眼动信号和脑电信号：拼写器模块1将事件时刻发送至脑电眼动信号同步模块4，眼动仪2采集用户的眼动信号并生成与事件时刻同步的眼动数字信号发送给脑电眼动信号同步模块4，脑电信号采集模块3采集用户在拼写器模块1输入时的脑电信号并生成与事件时刻同步的脑电数字信号发送给脑电眼动信号同步模块4；

S3、眼动信号和脑电信号同步：脑电眼动信号同步模块4接收眼动数字信号和脑电数字信号，并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号分别发送给脑电信号处理模块5和眼动信号处理模块6；

S4、眼动信号和脑电信号处理：脑电信号处理模块5接收脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给脑眼融合决策模块7，眼动信号处理模块6接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块7；

S5、脑眼融合决策：脑眼融合决策模块7接收脑电信号识别字符τ_brain、脑电信号置信度C_brain、眼动信号识别字符τ_eye和眼动信号置信度C_eye后将开始闪烁指令和注视点发送至拼写器模块1，注视点周围按键区域闪烁；

当脑电信号置信度C_brain和眼动信号置信度C_eye均未达到预设值C₀或者用户凝视字符的时间t未达到最大检测时间T_max时返回步骤S2，直至脑电信号置信度C_brain或眼动信号置信度C_eye达到预设值C₀，或者用户凝视字符的时间t达到了最大检测时间T_max，脑眼融合决策模块7计算得到最终识别字符τ并将最终识别字符τ和结束闪烁指令发送给拼写器模块1；

S6、拼写器反馈：拼写器模块1在拼写器模块1上显示最终识别字符并结束闪烁，返回步骤S1，直至全部拼写任务完成。

实施例4

如图2所示，一种并行脑眼融合方法，包括以下步骤：

S1、拼写器模块运行：拼写器模块1的显示器上显示字符，用户注视字符诱发眼动仪2、脑电信号采集模块3、脑电眼动信号同步模块4、脑电信号处理模块5、眼动信号处理模块6和脑眼融合决策模块7开始运行；

显示字符的模式包括带提示模式，带提示模式运行时，显示器按顺序提示字符，默认从左到右，从上到下提示，字符所在的方框变红或者出现一个空心红框将字符方框包围；

S2、采集眼动信号和脑电信号：拼写器模块1将事件时刻发送至脑电眼动信号同步模块4，眼动仪2采集用户的眼动信号并生成与事件时刻同步的眼动数字信号发送给脑电眼动信号同步模块4，脑电信号采集模块3采集用户在拼写器模块1输入时的脑电信号并生成与事件时刻同步的脑电数字信号发送给脑电眼动信号同步模块4；

S3、眼动信号和脑电信号同步：脑电眼动信号同步模块4接收眼动数字信号和脑电数字信号，并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号分别发送给脑电信号处理模块5和眼动信号处理模块6；

S4、眼动信号和脑电信号处理：脑电信号处理模块5接收脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给脑眼融合决策模块7，眼动信号处理模块6接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块7；

如图3所示，S41、脑电信号处理：脑电信号处理模块5接收脑电融合信号并计算得到脑电信号识别字符τ_brain、脑电信号置信度C_brain发送给脑眼融合决策模块7；

如图4所示，S411、脑电信号预处理：脑电信号处理模块5接收脑电融合信号后提取脑电频率特征并进行滤波分解得到脑电频率发送至脑电信号处理模块5的特征提取模块；

提取脑电频率特征为截取脑电频率数据，截取的数据片段降采样到250Hz；

滤波为：利用切比雪夫I型无限脉冲响应滤波器进行7-90Hz带通滤波，并用50Hz的陷波滤波器去除常见的电源噪音；

分解为：将脑电频率分解为nn＝1，2，…，5个子频带，对于第n个频带，截止频率分别是n×8Hz和90Hz，使用filtfilt函数进行0相位的正向和反向滤波得到脑电频率发送至特征提取模块；

S412、脑电信号特征提取：特征提取模块计算得到脑电频率与各个字符脑电模板数据的相关系数(r₁，r₂，...，r_K)，K为字符的总数目，最大相关系数r_m1所对应的字符即为脑电信号识别字符τ_brain；

特征提取模块使用CCA或TRCA算法计算相关系数(r₁，r₂，...，r_K)；

S413、脑电信号模式识别：模式模块计算脑电信号置信度C_brain，以最大相关系数r_m1和次大相关关系系数r_m2之间差值来度量脑电信号置信度C_brain：

脑电信号处理模块5将脑电信号识别字符τ_brain和脑电信号置信度C_brain输出至脑眼融合决策模块7；

模式模块使用线性判别分析或支持向量机或人工神经网络计算脑电信号置信度C_brain计算脑电信号置信度C_brain；

S42、眼动信号处理：眼动信号处理模块6用于接收眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给脑眼融合决策模块7；

如图5所示，S421、模式选择：判断凝视点在字符上的停留时间t是否超过预设目标值T，当判断为是时进入步骤S422；当判断为否时，进入步骤S423；

S422、直接目标选择模式：将字符作为识别结果，得到眼动信号识别字符τ_eye和眼动信号置信度C_eye，眼动信号置信度C_eye为1；

S423、最近目标选择模式：凝视点停留时间最大值T_m所对应的字符即为眼动信号识别字符τ_eye，

眼动信号置信度C_eye为：C_eye＝T_m/T；

S5、脑眼融合决策：脑眼融合决策模块7接收脑电信号识别字符τ_brain、脑电信号置信度C_brain、眼动信号识别字符τ_eye和眼动信号置信度C_eye后将开始闪烁指令和注视点发送至拼写器模块1，注视点周围按键区域闪烁，即与注视点的坐标相邻的9个字符闪烁，如图6-8所示，实心点为眼动注视点，白色方框内的字符方块为闪烁的方块，白色方框仅用于标识；

当脑电信号置信度C_brain和眼动信号置信度C_eye均未达到预设值C₀或者用户凝视字符的时间t未达到最大检测时间T_max时返回步骤S2，直至脑电信号置信度C_brain或眼动信号置信度C_eye达到预设值C₀，或者用户凝视字符的时间t达到了最大检测时间T_max，脑眼融合决策模块7计算得到最终识别字符τ并将最终识别字符τ和结束闪烁指令发送给拼写器模块1；

最终识别字符τ的判断方法如下：

当t≤T_max时：

τ＝τ_eye，当max(C_eye，C_brain)≥C₀，τ＝τ_eye，当max(C_eye，C_brain)≥C₀，/>C_eye＞C_brainτ＝τ_brain，当max(C_eye，C_brain)≥C₀，C_eye＞C_brain/>为空集；

当t＞T_max时，若则τ＝τ_eye；若/>则τ＝τ_brain；

S6、拼写器反馈：拼写器模块1在拼写器模块1上显示最终识别字符并结束闪烁，返回步骤S1，直至全部拼写任务完成。

实施例4

一种并行脑眼融合系统和方法，如图9所示，共包括7个模块：脑电信号采集模块、眼动仪、脑电和眼动信号同步模块、脑电信号处理模块、眼动信号处理模块、并行脑眼融合决策模块、拼写器。现对这个拓扑关系图的工作流程做简要描述。本申请所提出的系统主要面向丧失肢体活动能力的用户或者肢体被限制只能使用视觉通道进行交互的场景。首先用户注视拼写器中自己需要拼写的字符，注视的字符附近的字符方块开始闪烁诱发SSVEP，眼动仪和脑电信号采集模块同时采集眼动和脑电信号，并实时发送给脑电和眼动信号同步模块。经过同步对齐后的信号发送给脑电信号处理模块和眼动信号处理模块，分别计算得到识别结果和置信度，并发送给并行脑眼融合决策模块计算得到最终的识别结果，并发送给拼写器进行反馈。

SSVEP诱发单元可选的一种实现方式可以是在显示器中设计一组代表不同指令的方块，不同方块的亮度随时间的变化规律为具有不同频率和相位的正弦函数波形。

图10为本申请实施例的一种脑电波信号采集的位置图，电极采用干电极，即接触到头皮即可采集脑电信号，电极的分布采用国际10-20标准。本申请所涉及的为64通道中的9导，分布在大脑的枕区，这些电极为P3，Pz，P4，PO3，POz，PO4，O1，Oz，O2，参考电极位于头顶，接地电极位于前额叶。

本申请的一种实施方式的步骤具体如下：用户注视拼写器中需要拼写的字符，数据采集、同步、处理、融合决策模块得到输出结果和相应的置信度，如果置信度满足要求则给拼写器发送指令，在拼写器上反馈结果，否则等待下一次检测。单个字符拼写完成后，用户开始注视下一个字符，直到完成所有需要拼写的字符。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种并行脑眼融合方法，其特征在于：包括以下步骤：

S1、拼写器模块运行：拼写器模块(1)的显示器上显示字符，用户注视字符诱发眼动仪(2)、脑电信号采集模块(3)、脑电眼动信号同步模块(4)、脑电信号处理模块(5)、眼动信号处理模块(6)和脑眼融合决策模块(7)开始运行；

S2、采集眼动信号和脑电信号：所述拼写器模块(1)将事件时刻发送至所述脑电眼动信号同步模块(4)，所述眼动仪(2)采集用户的眼动信号并生成与所述事件时刻同步的眼动数字信号发送给脑电眼动信号同步模块(4)，所述脑电信号采集模块(3)采集用户在所述拼写器模块(1)输入时的脑电信号并生成与所述事件时刻同步的脑电数字信号发送给所述脑电眼动信号同步模块(4)；

S3、眼动信号和脑电信号同步：所述脑电眼动信号同步模块(4)接收所述眼动数字信号和所述脑电数字信号，并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号分别发送给所述脑电信号处理模块(5)和所述眼动信号处理模块(6)；

S4、眼动信号和脑电信号处理：所述脑电信号处理模块(5)接收所述脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给脑眼融合决策模块(7)，所述眼动信号处理模块(6)接收所述眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给所述脑眼融合决策模块(7)；

S41、脑电信号处理：所述脑电信号处理模块(5)接收所述脑电融合信号并计算得到所述脑电信号识别字符τ_brain、所述脑电信号置信度C_brain发送给脑眼融合决策模块(7)；

S411、脑电信号预处理：所述脑电信号处理模块(5)接收所述脑电融合信号后提取脑电频率特征并进行滤波分解得到脑电频率发送至所述脑电信号处理模块(5)的特征提取模块；

S412、脑电信号特征提取：所述特征提取模块计算得到所述脑电频率与各个字符脑电模板数据的相关系数(r₁，r₂，...，r_K)，K为所述字符的总数目，最大相关系数r_m1所对应的字符即为脑电信号识别字符τ_brain；

S413、脑电信号模式识别：模式模块计算所述脑电信号置信度C_brain，以所述最大相关系数r_m1和次大相关关系系数r_m2之间差值来度量所述脑电信号置信度C_brain：

所述脑电信号处理模块(5)将所述脑电信号识别字符τ_brain和所述脑电信号置信度C_brain输出至所述脑眼融合决策模块(7)；

S42、眼动信号处理：所述眼动信号处理模块(6)用于接收所述眼动融合信号并计算得到所述眼动信号识别字符τ_eye和所述眼动信号置信度C_eye发送给所述脑眼融合决策模块(7)；

S421、模式选择：判断凝视点在字符上的停留时间t是否超过预设目标值T，当判断为是时进入步骤S422；当判断为否时，进入步骤S423；

S422、直接目标选择模式：将所述字符作为识别结果，得到眼动信号识别字符τ_eye和眼动信号置信度C_eye，所述眼动信号置信度C_eye为1；

S423、最近目标选择模式：凝视点停留时间最大值T_m所对应的字符即为所述眼动信号识别字符τ_eye，

所述眼动信号置信度C_eye为：C_eye＝T_m/T；

S5、脑眼融合决策：所述脑眼融合决策模块(7)接收所述脑电信号识别字符τ_brain、所述脑电信号置信度C_brain、所述眼动信号识别字符τ_eye和所述眼动信号置信度C_eye后将开始闪烁指令和注视点发送至所述拼写器模块(1)，所述注视点周围按键区域闪烁；

当所述脑电信号置信度C_brain和所述眼动信号置信度C_eye均未达到预设值C₀或者用户凝视所述字符的时间t未达到最大检测时间T_max时返回步骤S2，直至所述脑电信号置信度C_brain或所述眼动信号置信度C_eye达到预设值C₀，或者用户凝视所述字符的时间t达到了最大检测时间T_max，所述脑眼融合决策模块(7)计算得到最终识别字符并将所述最终识别字符/>和结束闪烁指令发送给所述拼写器模块(1)；

S6、拼写器反馈：所述拼写器模块(1)在所述拼写器模块(1)上显示所述最终识别字符并结束闪烁，返回步骤S1，直至全部拼写任务完成。

2.根据权利要求1所述的一种并行脑眼融合方法的融合系统，其特征在于：包括拼写器模块(1)，眼动仪(2)，脑电信号采集模块(3)，与所述眼动仪(2)、所述脑电信号采集模块(3)均连接的脑电眼动信号同步模块(4)，与所述脑电眼动信号同步模块(4)连接的脑电信号处理模块(5)、眼动信号处理模块(6)和与所述拼写器模块(1)、所述脑电信号处理模块(5)、所述眼动信号处理模块(6)均连接的脑眼融合决策模块(7)；

所述拼写器模块(1)用于显示控制选项和将用户输入时的事件时刻发送至所述脑电眼动信号同步模块(4)，所述拼写器模块(1)用于接收所述脑眼融合决策模块(7)发送的开始闪烁指令并控制注视点周围按键区域闪烁，所述拼写器模块(1)用于接收所述脑眼融合决策模块(7)发送的结束闪烁指令并控制注视点周围按键区域结束闪烁，所述眼动仪(2)用于采集用户在所述拼写器模块(1)输入时的眼动信号并生成与所述事件时刻同步的眼动数字信号输出至所述脑电眼动信号同步模块(4)，所述脑电信号采集模块(3)用于采集用户在所述拼写器模块(1)输入时的脑电信号并生成与所述事件时刻同步的脑电数字信号发送给所述脑电眼动信号同步模块(4)，所述脑电眼动信号同步模块(4)用于接收所述眼动数字信号和所述脑电数字信号并在时间上对齐添加事件后形成时间同步带事件的脑电融合信号发送给所述脑电信号处理模块(5)和所述眼动信号处理模块(6)，所述脑电信号处理模块(5)用于接收所述脑电融合信号并计算得到脑电信号字符τ_brain和脑电信号置信度C_brain发送给所述脑眼融合决策模块(7)，所述眼动信号处理模块(6)用于接收所述眼动融合信号并计算得到眼动信号识别字符τ_eye和眼动信号置信度C_eye发送给所述脑眼融合决策模块(7)，所述脑眼融合决策模块(7)用于接收所述脑电信号识别字符τ_brain、所述脑电信号置信度C_brain、所述眼动信号识别字符τ_eye和所述眼动信号置信度C_eye后将所述开始闪烁指令和注视点发送至所述拼写器模块(1)，所述脑眼融合决策模块(7)用于计算得到最终识别字符并将所述最终识别字符/>和停止闪烁指令发送给所述拼写器模块(1)。

3.根据权利要求2所述的一种并行脑眼融合系统，其特征在于：所述拼写器模块(1)包括用于显示控制选项的显示器，所述控制选项包括字符和可闪烁的字符方块；

所述脑电信号采集模块(3)包括接触头皮安装的电极，所述电极包括多个分布于用户大脑枕区的采集信号电极、位于用户头顶的参考电极和位于用户的前额叶的接地电极；

所述脑电信号处理模块(5)包括预处理模块、特征提取模块和模式识别模块，所述预处理模块用于提取所述脑电融合信号的脑电频率特征并进行滤波分解得到脑电频率，所述特征提取模块用于根据所述脑电频率计算得到所述脑电信号识别字符τ_brain，所述模式识别模块用于计算得到所述脑电信号置信度C_brain；

所述预处理模块包括若干个滤波器，所述滤波器为切比雪夫I型无限脉冲响应滤波器。

4.根据权利要求1所述的一种并行脑眼融合方法，其特征在于：

步骤S411中，所述提取脑电频率特征为截取脑电频率数据，截取的数据片段降采样到250Hz；

所述滤波为：利用切比雪夫I型无限脉冲响应滤波器进行7-90Hz带通滤波，并用50Hz的陷波滤波器去除常见的电源噪音；

所述分解为：将所述脑电频率分解为n(n＝1，2，…，5)个子频带，对于第n个频带，截止频率分别是n×8Hz和90Hz，使用filtfilt函数进行0相位的正向和反向滤波得到所述脑电频率发送至所述特征提取模块；

步骤S412中，所述特征提取模块使用CCA或TRCA算法计算所述相关系数(r₁，r₂，...，r_K)；

步骤S413中，所述模式模块使用线性判别分析或支持向量机或人工神经网络计算脑电信号置信度C_brain计算所述脑电信号置信度C_brain。

5.根据权利要求1所述的一种并行脑眼融合方法，其特征在于：步骤S5中，所述最终识别字符的判断方法如下：

当t≤T_max时：

当t＞T_max时，若则τ＝τ_eye；若/>则τ＝τ_brain。

6.根据权利要求1所述的一种并行脑眼融合方法，其特征在于：步骤S1中，所述显示字符的模式包括带提示模式，所述带提示模式运行时，所述显示器按顺序提示所述字符，默认从左到右，从上到下提示，所述字符所在的方框变红或者出现一个空心红框将所述字符方框包围。

7.根据权利要求1所述的一种并行脑眼融合方法，其特征在于：步骤S5中，所述注视点周围按键区域闪烁为与所述注视点的坐标相邻的9个字符闪烁。