CN103699230A - 一种基于图标脑电控制的数字界面交互方法 - Google Patents

Abstract

一种基于图标脑电控制的数字界面交互方法，有：图标搜集与处理步骤从多款数字界面搜集图标，运用图形图像处理软件对图标图片处理；获取图标图片的用户计算机功能控制命令步骤包括脑电设备与测试用计算机的通信，测试过程，原始信号离线分析，群组平均脑电信号时域和频域特征的提取和微处理器处理；目标图标图片的脑电信号的时域和频域特征提取步骤；相似度计算和激发目标图标图片的控制指令步骤。本发明是一种基于图标脑电控制的数字界面交互方法，直接采集人对不同图标图片的脑电信号，依据脑电信号的不同实现了图标对数字界面的脑机交互，提高了数字界面的交互效率。

Description

一种基于图标脑电控制的数字界面交互方法

技术领域

本发明涉及一种基于图标脑电控制的数字界面交互方法，属于神经科学与人机交互的交叉领域，为一种全新的数字界面交互方式，采用脑机接口技术实现图标对数字界面的交互和控制，可作为无手操作的新型的数字界面交互方式，适用于残疾人等特殊人群和军事人员。

背景技术

随着科学技术的发展和进步，数字界面已广泛应用于汽车驾驶、核电厂控制、航空舰载操控、战场指挥等复杂系统领域，并取代传统人-机硬件界面成为主要的功能载体和交互载体。图标是数字界面的重要组成部分，图标的应用可方便用户更快速的理解界面，消除用户与计算机的沟通障碍，使用户与计算机之间的交流更简单、自然、友好和方便。本发明中“图标”指数字界面中的功能标识符号。

计算机用户界面经历了以符号为主的命令语言式界面、以视觉感知为主的图形用户界面、兼顾听觉感知的多媒体用户界面和综合运用多种感官(包括触觉等)的虚拟现实系统界面等四个阶段。人机交互方式也越来越多样化，除了传统的鼠标、键盘之外，语音控制、手势操作、人脸识别、触摸控制等交互方式都在数字界面上得到了不同程度的应用，各项技术正在不断发展、日益成熟。

目前，脑机接口（Brain-computer Interface，BCI）已变成一种新型的人机交互方式，BCI通过采集和传送大脑神经系统的电活动信号，然后进行信号处理与模式识别，使计算机能够识别用户的脑电信号，最终完成用户希望的控制行为。

脑机接口应用系统主要分为两大类应用：其一是直接用脑电信号控制家电、医疗器材等智能设备，其二是实现对计算机的控制。本发明属于第二种应用，属于视觉诱发事件相关电位的脑机接口，基于图标脑电控制实现对数字界面的交互。

发明内容

本发明的目的提供了一种基于图标脑电控制的数字界面交互方法，通过获取数字界面中不同图标的脑电信号特征，依据不同图标脑电信号的差异，实现对数字界面的脑电控制，使得特殊场合和特殊人群的人机交互更加友好方便。

一种基于图标脑电控制的数字界面交互方法，其特征在于，包括以下步骤：

步骤1图标搜集与处理：从多款数字界面中搜集i个功能图标图片，i=1、2、……、10，运用Photoshop，Illustrator或Coreldraw图形图像处理软件对图标图片处理，得到面积和像素均为48px*48px的png格式的图标图片，将png格式的图标图片放入面积为1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片，

步骤2获取图标图片的用户计算机功能控制命令：

步骤2.1将事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机连接，以实现事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机的通信，

步骤2.2选取20名被试者，每名被试者对张图标图片均进行10次重复测试，每张图标图片获得200个测试样本并将200个测试样本组成一个群组，所述测试的过程为：将一张测试图像呈现在被试者的面前并对被试者的视觉形成刺激，使用佩戴在被试者头上的由事件相关电位ERP脑电设备中配置的电极帽以及Scan软件采集被试者对所述一张测试图像的刺激时段的原始脑电信号且采样率为500赫兹，遍历所有单张测试图像，得到被试者对所有测试图像的刺激时段的原始脑电信号，所述一张测试图像的呈现包括提示阶段、图标图片视觉刺激呈现阶段及空屏阶段，在提示阶段，屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，该阶段被试者需集中注意力；在图标图片视觉刺激呈现阶段，屏幕中央将呈现面积为48px*48px的任一单张图标图片，被试者仔细观察任一单张图标图片，呈现1000ms后消失；在空屏阶段，屏幕呈现白色空屏，呈现时间1000ms，以消除被试者的视觉残留，

步骤2.3用Scan软件对原始脑电信号离线分析，所述离线分析包括对各原始脑电信号进行预处理和各群组叠加平均，获取各图标图片的群组平均脑电信号

为图标图片的群组平均脑电信号的表达通式，表示第i个图标图片的群组平均脑电信号，

所述预处理是分别对各个原始脑电信号进行预览和去除眼电伪迹，再对原始脑电信号进行分段提取，得到第i图标图片视觉刺激原始脑电信号y_i(t)，t为采样时间点且t＝1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，最后对图标图片视觉刺激原始脑电信号y_i(t)进行基线矫正及去除伪迹，所述群组叠加平均是分别对20名被试者的10次测试所得的去除伪迹后的图标图片视觉刺激原始脑电信号y_i(t)进行叠加平均得到

步骤2.4分别对各图标图片的群组平均脑电信号

进行时域和频域特征的提取，所述的时域特征

包括均值绝对平均幅值

方差

均方根值

峰峰值

波形因子

峭度因子

和偏斜度因子所述的频域特征

包括频谱平均振幅

频谱方差

第一频谱特征频率

和第二频谱特征频率

步骤2.5分别将已提取的各图标图片的群组平均脑电信号的时域特征值和频域特征值，送入微处理器处理，转换为用户计算机可识别的数字信号，并通过USB或其它通用输入端口送入用户计算机的控制信号输入端，作为相应图标图片的用户计算机的功能控制命令，存储于用户计算机的图标激发命令模块，

步骤3目标图标图片的脑电信号的时域和频域特征提取：

将事件相关电位ERP脑电设备与用户计算机连接，用户佩戴由事件相关电位ERP脑电设备中配置的电极帽，观察既定的目标图标图片，使既定的目标图标图片对用户产生1000ms的刺激，使用事件相关电位ERP脑电设备中配置的Scan软件采集受刺激时的用户的原始脑电信号且采样率为500赫兹，对所采集到的受刺激时的用户的原始脑电信号进行预览、去除眼电伪迹、基线矫正及去除伪迹，再对去除伪迹后的脑电信号y_i'(t')进行时域特征Y_i和频域特征S_i的提取，

所述y_i'(t')为去除伪迹后的受既定的目标图标图片刺激时的脑电信号的表达通式，表示第i个图标图片所对应的既定的目标图标图片的脑电信号，t'为观察既定的目标图标图片时脑电采样时间点，既定的目标图标图片刺激开始为计时零点，且t'＝2n其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数，

所述的时域特征Y_i包括均值Y_i1、绝对平均幅值Y_i2、方差Y_i3、均方根值Y_i4、峰峰值Y_i5、波形因子Y_i6、峭度因子Y_i7和偏斜度因子Y_i8，所述的频域特征S_i包括频谱平均振幅S_i1、频谱方差S_i2、第一频谱特征频率S_i3和第二频谱特征频率S_i4，

步骤4相似度计算和激发目标图标图片的控制指令：

计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的时域特征Y_i与相对应的图标图片的群组平均脑电信号的时域特征

的时域相似度A，再计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的频域特征S_i与相对应的图标图片的群组平均脑电信号的频域特征

的频域相似度B，若时域相似度A及频域相似度B都大于90%，则激发既定目标图标图片的控制指令，实现图标诱发脑电信号对界面的控制，所述的i指第i个图标图片。

与现有技术相比，本发明具有如下优点：

本发明首次将图标认知的相关神经信号应用于数字界面之中，是一种全新范式下的脑-机接口。与传统的人机交互方法相比，本发明不需要任何语言和动作，直接通过图标交互实现对数字界面的脑电控制，因此，适用于残疾人等特殊人群，也可用于正常人不便用手操作计算机的场合，如宇航员在飞船或太空舱操作计算机等。

本发明一种基于图标脑电控制的数字界面交互方法的特点是，突破传统的计算机人机交互方式，提取图标对人的视觉诱发电位，将脑电信号转换成计算机的控制信号，通过脑电测试获取图标的群组脑电信号的时域特征和频域特征，和用户实际测试的脑电信号的进行相似度对比，实现图标脑电信号对数字界面的控制。该方法不存在视觉刺激概率偏差的要求和限制，更加符合实际使用情况，有较高的准确率。相比较其他交互方式，本发明更加直接和简洁，可节省操作时间，显著提高控制效率。

采用视觉想象运动电位脑电测试产生诱发脑电想象信号，实现对数字界面中光标的控制，进而实现对数字界面的控制，相比较此种方式，本发明所选择的基于图标脑电控制的数字界面交互方法是通过运用图形图像处理软件对图标进行处理，用户直接观察数字界面的图标，采集用户理解图标过程中的脑电波，并从时域和频域两个维度计算目标图标视觉诱发脑电信号和相应图标的群组脑电信号的相似度，从界面图标的角度上更加直观、准确地实现脑电信号对用户计算机的触发和交互，克服了在信号匹配过程中的不稳定性，并能实现对无经验数据的脑电信号的分析和计算，更加客观、快速和准确。

附图说明

图1是基于图标脑电控制的数字界面交互方法的流程图；

图2是图标搜集与处理过程图；

图3是脑电测试过程示意图；

图4是脑电设备与测试用计算机的通信示意图；

图5是原始脑电信号离线分析图；

图6是微处理器处理图；

图7是激发目标图标图片控制指令的示意图。

具体实施方式

下面结合附图，对本发明一种基于图标脑电控制的数字界面交互方法做进一步详细描述。

如图1所示，一种基于图标脑电控制的数字界面交互方法，其特征在于，包括以下步骤：

步骤1图标搜集与处理：从多款数字界面中搜集i个功能图标图片，i=1、2、……、10，运用Photoshop，Illustrator或Coreldraw图形图像处理软件对图标图片处理，得到面积和像素均为48px*48px的png格式的图标图片，将png格式的图标图片放入面积为1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片，

步骤2获取图标图片的用户计算机功能控制命令：

步骤2.1将事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机连接，以实现事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机的通信，

步骤2.2选取20名被试者，每名被试者对张图标图片均进行10次重复测试，每张图标图片获得200个测试样本并将200个测试样本组成一个群组，所述测试的过程为：将一张测试图像呈现在被试者的面前并对被试者的视觉形成刺激，使用佩戴在被试者头上的由事件相关电位ERP脑电设备中配置的电极帽以及Scan软件采集被试者对所述一张测试图像的刺激时段的原始脑电信号且采样率为500赫兹，遍历所有单张测试图像，得到被试者对所有测试图像的刺激时段的原始脑电信号，所述一张测试图像的呈现包括提示阶段、图标图片视觉刺激呈现阶段及空屏阶段，在提示阶段，屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，该阶段被试者需集中注意力；在图标图片视觉刺激呈现阶段，屏幕中央将呈现面积为48px*48px的任一单张图标图片，被试者仔细观察任一单张图标图片，呈现1000ms后消失；在空屏阶段，屏幕呈现白色空屏，呈现时间1000ms，以消除被试者的视觉残留，

步骤2.3用Scan软件对原始脑电信号离线分析，所述离线分析包括对各原始脑电信号进行预处理和各群组叠加平均，获取各图标图片的群组平均脑电信号

为图标图片的群组平均脑电信号的表达通式，表示第i个图标图片的群组平均脑电信号，

所述预处理是分别对各个原始脑电信号进行预览和去除眼电伪迹，再对原始脑电信号进行分段提取，得到第i图标图片视觉刺激原始脑电信号y_i(t)，t为采样时间点且t＝1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，最后对图标图片视觉刺激原始脑电信号y_i(t)进行基线矫正及去除伪迹，所述群组叠加平均是分别对20名被试者的10次测试所得的去除伪迹后的图标图片视觉刺激原始脑电信号y_i(t)进行叠加平均得到

步骤2.4分别对各图标图片的群组平均脑电信号

进行时域和频域特征的提取，所述的时域特征

包括均值

绝对平均幅值

方差

均方根值

峰峰值波形因子

峭度因子

和偏斜度因子

所述的频域特征

包括频谱平均振幅

频谱方差

第一频谱特征频率和第二频谱特征频率

步骤2.5分别将已提取的各图标图片的群组平均脑电信号的时域特征值和频域特征值，送入微处理器处理，转换为用户计算机可识别的数字信号，并通过USB或其它通用输入端口送入用户计算机的控制信号输入端，作为相应图标图片的用户计算机的功能控制命令，存储于用户计算机的图标激发命令模块，

步骤3目标图标图片的脑电信号的时域和频域特征提取：

将事件相关电位ERP脑电设备与用户计算机连接，用户佩戴由事件相关电位ERP脑电设备中配置的电极帽，观察既定的目标图标图片，使既定的目标图标图片对用户产生1000ms的刺激，使用事件相关电位ERP脑电设备中配置的Scan软件采集受刺激时的用户的原始脑电信号且采样率为500赫兹，对所采集到的受刺激时的用户的原始脑电信号进行预览、去除眼电伪迹、基线矫正及去除伪迹，再对去除伪迹后的脑电信号y_i'(t')进行时域特征Y_i和频域特征S_i的提取，

所述y_i'(t')为去除伪迹后的受既定的目标图标图片刺激时的脑电信号的表达通式，表示第i个图标图片所对应的既定的目标图标图片的脑电信号，t'为观察既定的目标图标图片时脑电采样时间点，既定的目标图标图片刺激开始为计时零点，且t'＝2n其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数，

所述的时域特征Y_i包括均值Y_i1、绝对平均幅值Y_i2、方差Y_i3、均方根值Y_i4、峰峰值Y_i5、波形因子Y_i6、峭度因子Y_i7和偏斜度因子Y_i8，所述的频域特征S_i包括频谱平均振幅S_i1、频谱方差S_i2、第一频谱特征频率S_i3和第二频谱特征频率S_i4，

步骤4相似度计算和激发目标图标图片的控制指令：

计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的时域特征Y_i与相对应的图标图片的群组平均脑电信号的时域特征

的时域相似度A，再计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的频域特征S_i与相对应的图标图片的群组平均脑电信号的频域特征

的频域相似度B，若时域相似度A及频域相似度B都大于90%，则激发既定目标图标图片的控制指令，实现图标诱发脑电信号对界面的控制，所述的i指第i个图标图片。

实施例中对步骤1的说明：

本实施例中图标搜集是指，运用截屏工具从数字界面中获取常用功能图标图片。本实施例所述的功能图标图片为关闭图标图片、保存图标图片、撤消图标图片、前进图标图片、放大图标图片、缩小图标图片、选择图标图片、剪切图标图片、最大化图标图片或最小化图标图片。所述图标的处理，是为排除视角和清晰度不同而产生干扰，运用Photoshop，Illustrator或Coreldraw图形图像处理软件对图标处理，得到面积和像素均为48px*48px的png格式的图标图片，将图标图片放入面积为1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片。如图2所示，以“放大镜”为例，从Visio软件、图片预览软件、Photoshop CC和Auto CAD软件等10款数字界面中，搜集“放大镜”功能图标图片，通过图形图像软件的处理，生成满足测试要求的图标图片。

实施例中对步骤2的说明：

实施例中步骤2获取图标图片的用户计算机功能控制命令包括以下阶段：脑电设备与测试用计算机的通信，测试过程，原始信号离线分析，群组平均脑电信号时域和频域特征的提取和微处理器处理。

实施例中对步骤2.1的说明：

实施例中所述的E-Prime软件是一套针对心理与行为实验的计算机化的实验设计、生成和运行的软件，所述的事件相关电位是从自发电位中经计算机提取而获得的脑的高级功能电位，所述的事件相关电位ERP脑电设备为Neuroscan事件相关电位系统。如图4所示，所述的所述事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机的通信是在E-Prime中选取和脑电设备相对应的数据传输com接口，和在E-Prime中插入inline语句来实现脑电设备的触发、记录、视觉刺激与脑电信号同步和marker标记。

实施例中对步骤2.2的说明：

本实施例中被试者20名，其中男女各10名，均具有大学教育背景，年龄在20-30岁之间，均为右利手，无精神病史或大脑创伤，视力正常或矫正视力正常。所述的Neuroscan事件相关电位系统包括Synamp2导信号放大器、Scan脑电记录分析系统和64导Ag/AgCl电极帽，按照国际10-20系统来放置电极。所述的Scan软件是Neuroscan事件相关电位系统的脑电信号记录和分析处理软件，脑电信号记录之前，Scan参数设置包括：参考电极置于双侧乳突连线，接地电极在FPZ电极和FZ电极连线中点，同时记录水平眼电和垂直眼电，高低带通为0.05-100赫兹，采样频率为500赫兹，电极与头皮接触电阻均小于5k欧。测试过程中刺激呈现采用E-Prime软件,每个事件类型的脑电信号通过Scan软件同步记录。视觉刺激程序在E-Prime上运行，通过CRT显示器呈现，测试过程中所有图片背景均为白色，所有刺激物均位于屏幕中央，如图3所示为测试过程示意图。

实施例中对步骤2.3的说明：

本实施例中所述的离线分析是对记录到的原始生理信号进行再分析处理的过程，离线分析的所有过程是在Scan软件中完成的，所述的离线分析过程包括脑电预览、去除眼动伪迹、脑电信号分段、基线矫正、去除伪迹和群组叠加平均，如图5所示。所述的脑电预览指剔除明显漂移的脑电数据；所述的去除眼动伪迹通过参考眼电的幅值正负、眼电方向与脑电方向，运用ICA独立成分分析法来实现；所述的原始脑电信号分段提取通过对连续记录的原始脑电数据进行分段，根据每张图标图片出现的时间点和marker标记选取图标图片出现开始到消失的1000ms，即截取每张图标图片出现前后总计1000ms时长的时间段；所述的基线矫正可消除脑电相对基线的偏移，以图标图片出现时的信号为基线进行基线矫正；所述的去除伪迹将分段时间内的脑电数据中幅度较高的伪迹剔除，伪迹剔除的幅值设定范围为±50μv～±100μv；所述的群组叠加平均是对所有被试者的脑电数据进行总叠加和平均，得到相应图标图片的群组平均脑电信号。单个被试者对每种图标图片重复测试次数为10次，测试样本人数为20，共计200次，即单个图标图片的群组平均脑电信号是200次叠加平均后的脑电信号。

实施例中对步骤2.4的说明：

1）所述第i个图标图片的群组平均脑电信号

的时域特征的提取方法如下：

所述第i个图标图片的群组平均脑电信号

的时域特征

中的均值

为： $\stackrel{\‾}{Y_{i1}}=\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}\stackrel{\‾}{y_i\left(t\right)}=\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}\stackrel{\‾}{y_i(1000+2m)},$

所述第i个图标图片的群组平均脑电信号的时域特征

中的绝对平均幅值

$\stackrel{\‾}{Y_{i2}}=\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}\left|\stackrel{\‾}{y_i\left(t\right)}\right|=\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}\left|\stackrel{\‾}{y_i(1000+2m)}\right|,$

所述第i个图标图片的群组平均脑电信号的时域特征

中的方差

$\stackrel{\‾}{Y_{i3}}=\frac{1}{499}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}{(\stackrel{\‾}{y_i\left(t\right)}-\stackrel{\‾}{Y_{i1}})}^2=\frac{1}{499}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{(\stackrel{\‾}{y_i(1000+2m)}-\stackrel{\‾}{Y_{i1}})}^2,$

所述第i个图标图片的群组平均脑电信号的时域特征

中的均方根值 $\stackrel{\‾}{Y_{i4}}=\sqrt{\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i\left(t\right)}\right)}^2}=\sqrt{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i(1000+2m)}\right)}^2},$

所述第i个图标图片的群组平均脑电信号的时域特征

中的峰峰值

$\stackrel{\‾}{Y_{i5}}=\max \left(\stackrel{\‾}{y_i\left(t\right)}\right)-\min \left(\stackrel{\‾}{y_i\left(t\right)}\right)=\max \left(\stackrel{\‾}{y_i(1000+2m)}\right)-\min \left(\stackrel{\‾}{y_i(1000+2m)}\right),$

所述第i个图标图片的群组平均脑电信号的时域特征

中的波形因子

$\stackrel{\‾}{Y_{i6}}=\frac{\sqrt{\frac{1}{500}\underset{1000}{\overset{2000}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i\left(t\right)}\right)}^2}}{\frac{1}{500}\underset{1000}{\overset{2000}{\mathrm{\Σ}}}\left|\stackrel{\‾}{y_i\left(t\right)}\right|}=\frac{\sqrt{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i(1000+2m)}\right)}^2}}{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}\left|\stackrel{\‾}{y_i(1000+2m)}\right|}=\frac{\stackrel{\‾}{Y_{i4}}}{Y_{i2}},$

所述第i个图标图片的群组平均脑电信号的时域特征

中的峭度因子 $\stackrel{\‾}{Y_{i7}}=\frac{\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i\left(t\right)}\right)}^4}{{\left(\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i\left(t\right)}\right)}^2\right)}^2}=\frac{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i(1000+2m)}\right)}^4}{{\left(\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i(1000+2m)}\right)}^2\right)}^2},$

所述第i个图标图片的群组平均脑电信号的时域特征

中的偏斜度因子

$\stackrel{\‾}{Y_{i8}}=\frac{\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i\left(t\right)}\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i\left(t\right)}\right)}^3\right)}\right)}^3}=\frac{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i(1000+2m)}\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{\left(\stackrel{\‾}{y_i(1000+2m)}\right)}^3\right)}\right)}^3},$

以上八个式子中所述的y_i(t)均为第i个图标图片视觉刺激原始脑电信号，

为第i个图标图片的群组平均脑电信号，t均为采样时间点且t＝1000+2m，m均为图标图片视觉刺激原始脑电信号的采样个数且m均为[1，500]区间上的整数。

2）所述第i个图标图片的群组平均脑电信号的频域特征的提取方法如下：

首先，分别对图标图片的群组平均脑电信号

进行傅立叶变换，得到如下

的频谱函数

$\stackrel{\‾}{S_i\left(k\right)}=\underset{1002}{\overset{2000}{\mathrm{\Σ}}}{e}^{-i\frac{2\mathrm{\π}}{500}\mathrm{tk}}\stackrel{\‾}{y_i\left(t\right)}=\underset{m=1}{\overset{500}{\mathrm{\Σ}}}{e}^{-i\frac{2\mathrm{\π}}{500}(1000+2m)k}\stackrel{\‾}{y_i(1000+2m)}$

其中-i代表复数单位，t为采样时间点且t＝1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，k代表谱线数且为[1，500]区间上的整数，

然后，对图标图片的群组平均脑电信号频域特征指标

提取如下：

所述第i个图标图片的群组平均脑电信号的频域特征

中频谱平均振幅

$\stackrel{\‾}{S_{i1}}=\frac{\underset{k=1}{\overset{500}{\mathrm{\Σ}}}\stackrel{\‾}{S_i\left(k\right)}}{500},$

所述第i个图标图片的群组平均脑电信号的频域特征

中频谱方差

$\stackrel{\‾}{S_{i2}}=\frac{\underset{k=1}{\overset{500}{\mathrm{\Σ}}}{(\stackrel{\‾}{S_i\left(k\right)}-\stackrel{\‾}{S_{i1}})}^2}{499},$

所述第i个图标图片的群组平均脑电信号的频域特征

中第一频谱特征频率

$\stackrel{\‾}{S_{i3}}=\frac{\underset{k=1}{\overset{500}{\mathrm{\Σ}}}\stackrel{\‾}{S_i\left(k\right)}{f}_k}{\underset{k=1}{\overset{500}{\mathrm{\Σ}}}\stackrel{\‾}{S_i\left(k\right)}},$

所述第i个图标图片的群组平均脑电信号的频域特征

中第二频谱特征频率

$\stackrel{\‾}{S_{i4}}=\sqrt{\frac{\underset{k=1}{\overset{500}{\mathrm{\Σ}}}\stackrel{\‾}{S_i\left(k\right)}{(f_k-\stackrel{\‾}{S_{i3}})}^2}{500}},$

以上四个式子中所述的

均为对图标图片的群组平均脑电信号

进行傅立叶变换而得到的，均表示第i个图标图片群组平均脑电信号

的频谱，f_k均为第k条谱线的频率值，f_k的计算公式为其中Fs为采样频率500赫兹，k均代表谱线数且均为[1，500]区间上的整数。

实施例中对步骤2.5的说明：

如图6所示，本实施例中所述的步骤2.5是将已提取的各图标图片的群组平均脑电信号的时域特征值和频域特征值，送入微处理器处理，转换为用户计算机可识别的数字信号，并通过USB或其它通用输入端口送入用户计算机的控制信号输入端，作为相应图标图片的用户计算机的功能控制命令，存储于用户计算机的图标激发命令模块，用于激发用户计算机中的关闭图标、保存图标、撤消图标、前进图标、放大图标、缩小图标、选择图标、剪切图标、最大化图标或最小化图标。

实施例中对步骤3的说明：

1）本实施例步骤3中所述的脑电预览、去除眼动伪迹、基线矫正及去除伪迹的方法和过程与本实施例步骤2.3中所述一致。

2）所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征的提取方法如下：

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的均值Y_i1为： $Y_{i1}=\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{y_i}^{\′}\left(t^{\′}\right)=\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{y_i}^{\′}\left(2n\right),$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的绝对平均幅值Y_i2: $Y_{i2}=\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}\left|{y_i}^{\′}\left(t^{\′}\right)\right|=\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}\left|{y_i}^{\′}\left(2n\right)\right|,$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的方差Y_i3： $Y_{i3}=\frac{1}{499}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{({y_i}^{\′}\left(t^{\′}\right)-Y_{i1})}^2=\frac{1}{499}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{({y_i}^{\′}\left(2n\right)-Y_{i1})}^2,$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的均方根值Y_i4: $Y_{i4}=\sqrt{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(t^{\′}\right)\right)}^2}=\sqrt{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(2n\right)\right)}^2},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的峰峰值Y_i5：Y_i5＝max(y_i'(t'))-min(y_i'(t'))＝max(y_i'(2n))-min(y_i'(2n))，

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的波形因子Y_i6： $Y_{i6}=\frac{\sqrt{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(t^{\′}\right)\right)}^2}}{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}\left|{y_i}^{\′}\left(t^{\′}\right)\right|}=\frac{\sqrt{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(2n\right)\right)}^2}}{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}\left|{y_i}^{\′}\left(2n\right)\right|}=\frac{Y_{i4}}{Y_{i2}},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的峭度因子Y_i7： $Y_{i7}=\frac{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(t^{\′}\right)\right)}^4}{{\left(\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(t^{\′}\right)\right)}^2\right)}^2}=\frac{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(2n\right)\right)}^4}{{\left(\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(2n\right)\right)}^2\right)}^2},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的偏斜度因子Y_i8： $Y_{i8}=\frac{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(t^{\′}\right)\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(t^{\′}\right)\right)}^3\right)}\right)}^3}=\frac{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(2n\right)\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{\left({y_i}^{\′}\left(2n\right)\right)}^3\right)}\right)}^3},$

以上八个式子中所述的y_i'(t')均为第i个图标图片所对应的既定的目标图标图片的脑电信号，t'均为观察既定的目标图标图片时脑电采样时间点且t'＝2n，其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数。

3）所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征的提取方法如下：

首先，分别对既定的目标图标图片的脑电信号y_i'(t')进行傅立叶变换，得到y_i'(t')的频谱函数S_i(k')：

$S_i\left(k^{\′}\right)=\underset{2}{\overset{1000}{\mathrm{\Σ}}}{e}^{-i\frac{2\mathrm{\π}}{500}{t}^{\′}{k}^{\′}}{y_i}^{\′}\left(t^{\′}\right)=\underset{n=1}{\overset{500}{\mathrm{\Σ}}}{e}^{-i\frac{2\mathrm{\π}}{500}{2\mathrm{nk}}^{\′}}{y_i}^{\′}\left(2n\right)$

式子中-i代表复数单位，t'均为观察既定的目标图标图片时脑电采样时间点且t'＝2n，其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数，k’代表谱线数且为[1，500]区间上的整数，

然后，对图标图片的群组平均脑电信号频域特征指标S_i提取如下：

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中频谱平均振幅S_i1： $S_{i1}=\frac{\underset{k^{\′}=1}{\overset{500}{\mathrm{\Σ}}}{S}_i\left(k^{\′}\right)}{500},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中频谱方差S_i2： $S_{i2}=\frac{\underset{k^{\′}=1}{\overset{500}{\mathrm{\Σ}}}{(S_i\left(k^{\′}\right)-S_{i1})}^2}{499},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中第一频谱特征频率S_i3： $S_{i3}=\frac{\underset{k^{\′}=1}{\overset{500}{\mathrm{\Σ}}}{S}_i\left(k^{\′}\right){f^{\′}}_{k^{\′}}}{\underset{k^{\′}=1}{\overset{500}{\mathrm{\Σ}}}{S}_i\left(k^{\′}\right)},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中第二频谱特征频率S_i4： $S_{i4}=\sqrt{\frac{\underset{k^{\′}=1}{\overset{500}{\mathrm{\Σ}}}{S}_i\left(k^{\′}\right){({f^{\′}}_{k^{\′}}-S_{i3})}^2}{500}},$

以上四个式子中所述的S_i(k')均为对第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')进行傅立叶变换而得到的，均表示第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频谱，f'_k'均为第k’条谱线的频率值，f'_k'的计算公式为

其中Fs为采样频率500赫兹，k’均代表谱线数且均为[1，500]区间上的整数。

实施例中对步骤3的说明：

图7是以放大镜图标为例，激发目标图标图片控制指令的过程示意图，图中7-1表示电极帽，7-2表示ERP脑电设备，7-3表示SCAN脑电信号处理模块，7-4表示微处理器，7-5表示计算脑电信号时域和频域特征的相似度，7-6表示时域和频域相似度都大于0.9的情况，7-7表示触发用户计算机“放大镜”命令，7-8表示显示装置，7-9表示目标图标图片“放大镜”命令的激活，实现页面的放大。

本实施例中所述第i个图标图片的既定的目标图标图片的脑电信号与相应图标图片群组平均脑电信号的时域相似度A的计算过程如下：

$A=\underset{j=1}{\overset{8}{\mathrm{\&Sigma;}}}\frac{1}{8}{A}_{\mathrm{ij}},$ 其中 $A_{\mathrm{ij}}=\left\{\begin{array}{c}\frac{\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}}{Y_{\mathrm{ij}}},\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}<Y_{\mathrm{ij}}\\ \frac{Y_{\mathrm{ij}}}{\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}},\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}\&GreaterEqual;Y_{\mathrm{ij}}\end{array}\right.$

其中A_ij为第i个图标图片的第j个时域特征的相似度，为第i个图标图片群组平均脑电信号的第j个时域特征值，Y_ij为第i图标图片的既定的目标图标图片的脑电信号的第j个时域特征值，j为[1,8]之间的整数，时域特征共有8个指标，每个指标的权重为

所述频域相似度B的计算过程如下：

$B=\underset{l=1}{\overset{4}{\mathrm{\&Sigma;}}}\frac{1}{4}{B}_{\mathrm{il}},$ 其中 $B_{\mathrm{il}}=\left\{\begin{array}{c}\frac{\stackrel{\&OverBar;}{S_{\mathrm{il}}}}{S_{\mathrm{il}}},\stackrel{\&OverBar;}{S_{\mathrm{il}}}<S_{\mathrm{il}}\\ \frac{S_{\mathrm{il}}}{\stackrel{\&OverBar;}{S_{\mathrm{il}}}},\stackrel{\&OverBar;}{S_{\mathrm{il}}}\&GreaterEqual;S_{\mathrm{il}}\end{array}\right.$

其中B_il为第i个图标图片的第l个频域特征的相似度，

为第i个图标图片群组平均脑电信号的第l个频域特征值，S_il为第i图标图片的既定的目标图标图片的脑电信号的第l个频域特征值，l为[1,4]之间的整数，频域特征共有4个指标，每个指标的权重为

本发明旨在提出一种新的数字界面交互方法，通过图标搜集与处理，进行视觉刺激测试和ERP脑电设备同步，采集原始脑电信号，并进行脑电信号处理，再提取时域和频域特征，进行微处理器处理，最后实现用户脑电信号对数字界面图标的控制。本发明一种基于图标脑电控制的数字界面交互方法，可有效提高数字界面操作效率，降低用户的脑力负荷，并获得可观的社会效益和经济效益。最佳实施方案拟采用专利转让、技术合作或产品开发。

Claims (7)

1.一种基于图标脑电控制的数字界面交互方法，其特征在于，包括以下步骤：

步骤1图标搜集与处理：从多款数字界面中搜集i个功能图标图片，i=1、2、……、10，运用Photoshop，Illustrator或Coreldraw图形图像处理软件对图标图片处理，得到面积和像素均为48px*48px的png格式的图标图片，将png格式的图标图片放入面积为1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片，

步骤2获取图标图片的用户计算机功能控制命令：

步骤2.1将事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机连接，以实现事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机的通信，

步骤2.2选取20名被试者，每名被试者对张图标图片均进行10次重复测试，每张图标图片获得200个测试样本并将200个测试样本组成一个群组，所述测试的过程为：将一张测试图像呈现在被试者的面前并对被试者的视觉形成刺激，使用佩戴在被试者头上的由事件相关电位ERP脑电设备中配置的电极帽以及Scan软件采集被试者对所述一张测试图像的刺激时段的原始脑电信号且采样率为500赫兹，遍历所有单张测试图像，得到被试者对所有测试图像的刺激时段的原始脑电信号，所述一张测试图像的呈现包括提示阶段、图标图片视觉刺激呈现阶段及空屏阶段，在提示阶段，屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，该阶段被试者需集中注意力；在图标图片视觉刺激呈现阶段，屏幕中央将呈现面积为48px*48px的任一单张图标图片，被试者仔细观察任一单张图标图片，呈现1000ms后消失；在空屏阶段，屏幕呈现白色空屏，呈现时间1000ms，以消除被试者的视觉残留，

步骤2.3用Scan软件对原始脑电信号离线分析，所述离线分析包括对各原始脑电信号进行预处理和各群组叠加平均，获取各图标图片的群组平均脑电信号

为图标图片的群组平均脑电信号的表达通式，表示第i个图标图片的群组平均脑电信号，

所述预处理是分别对各个原始脑电信号进行预览和去除眼电伪迹，再对原始脑电信号进行分段提取，得到第i图标图片视觉刺激原始脑电信号y_i(t)，t为采样时间点且t＝1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，最后对图标图片视觉刺激原始脑电信号y_i(t)进行基线矫正及去除伪迹，所述群组叠加平均是分别对20名被试者的10次测试所得的去除伪迹后的图标图片视觉刺激原始脑电信号y_i(t)进行叠加平均得到

步骤2.4分别对各图标图片的群组平均脑电信号

进行时域和频域特征的提取，所述的时域特征

包括均值

绝对平均幅值

方差

均方根值

峰峰值

波形因子

峭度因子

和偏斜度因子

所述的频域特征包括频谱平均振幅

频谱方差第一频谱特征频率

和第二频谱特征频率

步骤2.5分别将已提取的各图标图片的群组平均脑电信号的时域特征值和频域特征值，送入微处理器处理，转换为用户计算机可识别的数字信号，并通过USB或其它通用输入端口送入用户计算机的控制信号输入端，作为相应图标图片的用户计算机的功能控制命令，存储于用户计算机的图标激发命令模块，

步骤3目标图标图片的脑电信号的时域和频域特征提取：

将事件相关电位ERP脑电设备与用户计算机连接，用户佩戴由事件相关电位ERP脑电设备中配置的电极帽，观察既定的目标图标图片，使既定的目标图标图片对用户产生1000ms的刺激，使用事件相关电位ERP脑电设备中配置的Scan软件采集受刺激时的用户的原始脑电信号且采样率为500赫兹，对所采集到的受刺激时的用户的原始脑电信号进行预览、去除眼电伪迹、基线矫正及去除伪迹，再对去除伪迹后的脑电信号y_i'(t')进行时域特征Y_i和频域特征S_i的提取，

所述y_i'(t')为去除伪迹后的受既定的目标图标图片刺激时的脑电信号的表达通式，表示第i个图标图片所对应的既定的目标图标图片的脑电信号，t'为观察既定的目标图标图片时脑电采样时间点，既定的目标图标图片刺激开始为计时零点，且t'＝2n其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数，

所述的时域特征Y_i包括均值Y_i1、绝对平均幅值Y_i2、方差Y_i3、均方根值Y_i4、峰峰值Y_i5、波形因子Y_i6、峭度因子Y_i7和偏斜度因子Y_i8，所述的频域特征S_i包括频谱平均振幅S_i1、频谱方差S_i2、第一频谱特征频率S_i3和第二频谱特征频率S_i4，

步骤4相似度计算和激发目标图标图片的控制指令：

计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的时域特征Y_i与相对应的图标图片的群组平均脑电信号的时域特征的时域相似度A，再计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的频域特征S_i与相对应的图标图片的群组平均脑电信号的频域特征

的频域相似度B，若时域相似度A及频域相似度B都大于90%，则激发既定目标图标图片的控制指令，实现图标诱发脑电信号对界面的控制，所述的i指第i个图标图片。

2.如权利要求1所述的基于图标脑电控制的数字界面交互方法，其特征在于，所述的功能图标图片为关闭图标图片、保存图标图片、撤消图标图片、前进图标图片、放大图标图片、缩小图标图片、选择图标图片、剪切图标图片、最大化图标图片或最小化图标图片。

3.如权利要求1所述的基于图标脑电控制的数字界面交互方法，其特征在于，

所述第i个图标图片的群组平均脑电信号

的时域特征

中的均值

为： $\stackrel{\&OverBar;}{Y_{i1}}=\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{y_i\left(t\right)}=\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{y_i(1000+2m)},$

所述第i个图标图片的群组平均脑电信号的时域特征

中的绝对平均幅值 $\stackrel{\&OverBar;}{Y_{i2}}=\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}\left|\stackrel{\&OverBar;}{y_i\left(t\right)}\right|=\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}\left|\stackrel{\&OverBar;}{y_i(1000+2m)}\right|,$

所述第i个图标图片的群组平均脑电信号的时域特征中的方差

$\stackrel{\&OverBar;}{Y_{i3}}=\frac{1}{499}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}{(\stackrel{\&OverBar;}{y_i\left(t\right)}-\stackrel{\&OverBar;}{Y_{i1}})}^2=\frac{1}{499}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{(\stackrel{\&OverBar;}{y_i(1000+2m)}-\stackrel{\&OverBar;}{Y_{i1}})}^2,$

所述第i个图标图片的群组平均脑电信号

的时域特征

中的均方根值

$\stackrel{\&OverBar;}{Y_{i4}}=\sqrt{\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)}^2}=\sqrt{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right)}^2},$

所述第i个图标图片的群组平均脑电信号

的时域特征

中的峰峰值

$\stackrel{\&OverBar;}{Y_{i5}}=\max \left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)-\min \left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)=\max \left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right)-\min \left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right),$

所述第i个图标图片的群组平均脑电信号的时域特征

中的波形因子 $\stackrel{\&OverBar;}{Y_{i6}}=\frac{\sqrt{\frac{1}{500}\underset{1000}{\overset{2000}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)}^2}}{\frac{1}{500}\underset{1000}{\overset{2000}{\mathrm{\&Sigma;}}}\left|\stackrel{\&OverBar;}{y_i\left(t\right)}\right|}=\frac{\sqrt{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right)}^2}}{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}\left|\stackrel{\&OverBar;}{y_i(1000+2m)}\right|}=\frac{\stackrel{\&OverBar;}{Y_{i4}}}{Y_{i2}},$

所述第i个图标图片的群组平均脑电信号的时域特征中的峭度因子

$\stackrel{\&OverBar;}{Y_{i7}}=\frac{\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)}^4}{{\left(\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)}^2\right)}^2}=\frac{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right)}^4}{{\left(\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right)}^2\right)}^2},$

所述第i个图标图片的群组平均脑电信号

的时域特征

中的偏斜度因子

$\stackrel{\&OverBar;}{Y_{i8}}=\frac{\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i\left(t\right)}\right)}^3\right)}\right)}^3}=\frac{\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left(\stackrel{\&OverBar;}{y_i(1000+2m)}\right)}^3\right)}\right)}^3},$

以上八个式子中所述的y_i(t)均为第i个图标图片视觉刺激原始脑电信号，

为第i个图标图片的群组平均脑电信号，t均为采样时间点且t＝1000+2m，m均为图标图片视觉刺激原始脑电信号的采样个数且m均为[1，500]区间上的整数。

4.如权利要求1所述的基于图标脑电控制的数字界面交互方法，其特征在于，

所述第i个图标图片的群组平均脑电信号

的频域特征的提取方法如下：

首先，分别对图标图片的群组平均脑电信号进行傅立叶变换，得到如下

的频谱函数

$\stackrel{\&OverBar;}{S_i\left(k\right)}=\underset{1002}{\overset{2000}{\mathrm{\&Sigma;}}}{e}^{-i\frac{2\mathrm{\&pi;}}{500}\mathrm{tk}}\stackrel{\&OverBar;}{y_i\left(t\right)}=\underset{m=1}{\overset{500}{\mathrm{\&Sigma;}}}{e}^{-i\frac{2\mathrm{\&pi;}}{500}(1000+2m)k}\stackrel{\&OverBar;}{y_i(1000+2m)}$

其中-i代表复数单位，t为采样时间点且t＝1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，k代表谱线数且为[1，500]区间上的整数，

然后，对图标图片的群组平均脑电信号频域特征指标提取如下：

所述第i个图标图片的群组平均脑电信号的频域特征

中频谱平均振幅

$\stackrel{\&OverBar;}{S_{i1}}=\frac{\underset{k=1}{\overset{500}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{S_i\left(k\right)}}{500},$

所述第i个图标图片的群组平均脑电信号的频域特征

中频谱方差

$\stackrel{\&OverBar;}{S_{i2}}=\frac{\underset{k=1}{\overset{500}{\mathrm{\&Sigma;}}}{(\stackrel{\&OverBar;}{S_i\left(k\right)}-\stackrel{\&OverBar;}{S_{i1}})}^2}{499},$

所述第i个图标图片的群组平均脑电信号的频域特征

中第一频谱特征频率

$\stackrel{\&OverBar;}{S_{i3}}=\frac{\underset{k=1}{\overset{500}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{S_i\left(k\right)}{f}_k}{\underset{k=1}{\overset{500}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{S_i\left(k\right)}},$

所述第i个图标图片的群组平均脑电信号的频域特征

中第二频谱特征频率

$\stackrel{\&OverBar;}{S_{i4}}=\sqrt{\frac{\underset{k=1}{\overset{500}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{S_i\left(k\right)}{(f_k-\stackrel{\&OverBar;}{S_{i3}})}^2}{500}},$

以上四个式子中所述的

均为对图标图片的群组平均脑电信号

进行傅立叶变换而得到的，均表示第i个图标图片群组平均脑电信号

的频谱，f_k均为第k条谱线的频率值，f_k的计算公式为：

其中Fs为采样频率500赫兹，k均代表谱线数且均为[1，500]区间上的整数。

5.如权利要求1所述的基于图标脑电控制的数字界面交互方法，其特征在于，

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的均值Y_i1为： $Y_{i1}=\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{y_i}^{\&prime;}\left(t^{\&prime;}\right)=\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{y_i}^{\&prime;}\left(2n\right),$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的绝对平均幅值Y_i2: $Y_{i2}=\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}\left|{y_i}^{\&prime;}\left(t^{\&prime;}\right)\right|=\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}\left|{y_i}^{\&prime;}\left(2n\right)\right|,$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的方差Y_i3： $Y_{i3}=\frac{1}{499}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{({y_i}^{\&prime;}\left(t^{\&prime;}\right)-Y_{i1})}^2=\frac{1}{499}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{({y_i}^{\&prime;}\left(2n\right)-Y_{i1})}^2,$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的均方根值Y_i4: $Y_{i4}=\sqrt{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(t^{\&prime;}\right)\right)}^2}=\sqrt{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(2n\right)\right)}^2},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的峰峰值Y_i5：Y_i5＝max(y_i'(t'))-min(y_i'(t'))＝max(y_i'(2n))-min(y_i'(2n))，

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的波形因子Y_i6： $Y_{i6}=\frac{\sqrt{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(t^{\&prime;}\right)\right)}^2}}{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}\left|{y_i}^{\&prime;}\left(t^{\&prime;}\right)\right|}=\frac{\sqrt{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(2n\right)\right)}^2}}{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}\left|{y_i}^{\&prime;}\left(2n\right)\right|}=\frac{Y_{i4}}{Y_{i2}},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的峭度因子Y_i7： $Y_{i7}=\frac{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(t^{\&prime;}\right)\right)}^4}{{\left(\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(t^{\&prime;}\right)\right)}^2\right)}^2}=\frac{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(2n\right)\right)}^4}{{\left(\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(2n\right)\right)}^2\right)}^2},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的时域特征Y_i中的偏斜度因子Y_i8： $Y_{i8}=\frac{\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(t^{\&prime;}\right)\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(t^{\&prime;}\right)\right)}^3\right)}\right)}^3}=\frac{\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(2n\right)\right)}^3}{{\left(\sqrt{\left(\frac{1}{500}\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{\left({y_i}^{\&prime;}\left(2n\right)\right)}^3\right)}\right)}^3},$

以上八个式子中所述的y_i'(t')均为第i个图标图片所对应的既定的目标图标图片的脑电信号，t'均为观察既定的目标图标图片时脑电采样时间点且t'＝2n，其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数。

6.如权利要求1所述的基于图标脑电控制的数字界面交互方法，其特征在于，所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征的提取方法如下：

首先，分别对既定的目标图标图片的脑电信号y_i'(t')进行傅立叶变换，得到y_i'(t')的频谱函数S_i(k')：

$S_i\left(k^{\&prime;}\right)=\underset{2}{\overset{1000}{\mathrm{\&Sigma;}}}{e}^{-i\frac{2\mathrm{\&pi;}}{500}{t}^{\&prime;}{k}^{\&prime;}}{y_i}^{\&prime;}\left(t^{\&prime;}\right)=\underset{n=1}{\overset{500}{\mathrm{\&Sigma;}}}{e}^{-i\frac{2\mathrm{\&pi;}}{500}{2\mathrm{nk}}^{\&prime;}}{y_i}^{\&prime;}\left(2n\right)$

式子中-i代表复数单位，t'均为观察既定的目标图标图片时脑电采样时间点且t'＝2n，其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数，k’代表谱线数且为[1，500]区间上的整数，

然后，对图标图片的群组平均脑电信号频域特征指标S_i提取如下：

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中频谱平均振幅S_i1： $S_{i1}=\frac{\underset{k^{\&prime;}=1}{\overset{500}{\mathrm{\&Sigma;}}}{S}_i\left(k^{\&prime;}\right)}{500},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中频谱方差S_i2： $S_{i2}=\frac{\underset{k^{\&prime;}=1}{\overset{500}{\mathrm{\&Sigma;}}}{(S_i\left(k^{\&prime;}\right)-S_{i1})}^2}{499},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中第一频谱特征频率S_i3： $S_{i3}=\frac{\underset{k^{\&prime;}=1}{\overset{500}{\mathrm{\&Sigma;}}}{S}_i\left(k^{\&prime;}\right){f^{\&prime;}}_{k^{\&prime;}}}{\underset{k^{\&prime;}=1}{\overset{500}{\mathrm{\&Sigma;}}}{S}_i\left(k^{\&prime;}\right)},$

所述第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频域特征S_i中第二频谱特征频率S_i4： $S_{i4}=\sqrt{\frac{\underset{k^{\&prime;}=1}{\overset{500}{\mathrm{\&Sigma;}}}{S}_i\left(k^{\&prime;}\right){({f^{\&prime;}}_{k^{\&prime;}}-S_{i3})}^2}{500}},$

以上四个式子中所述的S_i(k')均为对第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')进行傅立叶变换而得到的，均表示第i个图标图片所对应的既定的目标图标图片的脑电信号y_i'(t')的频谱，f'_k'均为第k’条谱线的频率值，f'_k'的计算公式为

其中Fs为采样频率500赫兹，k’均代表谱线数且均为[1，500]区间上的整数。

7.如权利要求1所述的基于图标脑电控制的数字界面交互方法，其特征在于，

所述第i个图标图片的既定的目标图标图片的脑电信号与相应图标图片群组平均脑电信号的时域相似度A的计算过程如下：

$A=\underset{j=1}{\overset{8}{\mathrm{\&Sigma;}}}\frac{1}{8}{A}_{\mathrm{ij}},$ 其中 $A_{\mathrm{ij}}=\left\{\begin{array}{c}\frac{\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}}{Y_{\mathrm{ij}}},\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}<Y_{\mathrm{ij}}\\ \frac{Y_{\mathrm{ij}}}{\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}},\stackrel{\&OverBar;}{Y_{\mathrm{ij}}}\&GreaterEqual;Y_{\mathrm{ij}}\end{array}\right.$

其中A_ij为第i个图标图片的第j个时域特征的相似度，

为第i个图标图片群组平均脑电信号的第j个时域特征值，Y_ij为第i图标图片的既定的目标图标图片的脑电信号的第j个时域特征值，j为[1,8]之间的整数，时域特征共有8个指标，每个指标的权重为

所述频域相似度B的计算过程如下：

$B=\underset{l=1}{\overset{4}{\mathrm{\&Sigma;}}}\frac{1}{4}{B}_{\mathrm{il}},$ 其中 $B_{\mathrm{il}}=\left\{\begin{array}{c}\frac{\stackrel{\&OverBar;}{S_{\mathrm{il}}}}{S_{\mathrm{il}}},\stackrel{\&OverBar;}{S_{\mathrm{il}}}<S_{\mathrm{il}}\\ \frac{S_{\mathrm{il}}}{\stackrel{\&OverBar;}{S_{\mathrm{il}}}},\stackrel{\&OverBar;}{S_{\mathrm{il}}}\&GreaterEqual;S_{\mathrm{il}}\end{array}\right.$

其中B_il为第i个图标图片的第l个频域特征的相似度，

为第i个图标图片群组平均脑电信号的第l个频域特征值，S_il为第i图标图片的既定的目标图标图片的脑电信号的第l个频域特征值，l为[1,4]之间的整数，频域特征共有4个指标，每个指标的权重为

Images