CN113515195A - 基于ssvep的脑机交互方法、装置、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种基于SSVEP的脑机交互，其中，该基于SSVEP的脑机交互方法包括：获取脑机交互指令，基于脑机交互指令，获取多个视觉交互图形，每个视觉交互图形与交互信息相对应，视觉交互图形包括刺激图形以及焦点图形，刺激图形以及焦点图形以不同频率进行变换；获取被采集者基于目标视觉交互图形产生的脑电数据，并对脑电数据进行识别，获取识别结果，识别结果包括被采集者注视的目标视觉交互图形；基于识别结果获取对应的交互信息。通过本申请，解决了相关技术中无法诱发足够多种类的SSVEP，来提供足够多种类的脑机交互信号，导致脑机交互效果较差的问题，实现了可以通过诱发足够多种类的SSVEP，提供足够多种类的脑机交互信号，提高了脑机交互的整体效果。

Description

基于SSVEP的脑机交互方法、装置、电子装置和存储介质

技术领域

本申请涉及脑机交互领域，特别是涉及基于SSVEP的脑机交互方法、装置、电子装置和存储介质。

背景技术

脑机接口是一种允许人脑与外部设备实时交互的通讯或控制系统，通过测量携带了用户意愿的大脑特征并将其转化为相应的设备控制信号，从而实现基于计算机的交流或对外部设备的控制。SSVEP(稳态视觉诱发电位)是一种由周期性视觉刺激诱发的脑电信号，因此可以通过SSVEP来进行脑机交互，现有利用SSVEP进行脑机交互的方案大多使用一组固定视觉刺激，即用一组周期闪烁的LED灯或屏幕进行诱发，每个目标频率固定，以此提取特征并进行识别，接着基于识别结果进行脑机交互。

在理想状态下，不同频率的视觉刺激可以诱发不同的SSVEP，因此可以有无限个用来交互的目标，但人体对于视觉刺激响应的频段是有限的，只有在一个狭窄的频段范围才能诱发处明显的SSVEP，而传统基于SSVEP用来进行脑机交互的视觉交互图形在每一时刻仅展示单频刺激，用来诱发SSVEP，因此传统的脑机交互方式无法诱发足够多种类的SSVEP，来提供足够多种类的脑机交互信号，导致脑机交互效果较差。

针对相关技术中存在传统的脑机交互方式无法诱发足够多种类的SSVEP，来提供足够多种类的脑机交互信号，导致脑机交互效果较差的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种基于SSVEP的脑机交互方法、装置、电子装置和存储介质，以解决相关技术中无法诱发足够多种类的SSVEP，来提供足够多种类的脑机交互信号，导致脑机交互效果较差的问题。

第一个方面，在本实施例中提供了一种基于SSVEP的脑机交互方法，包括：获取脑机交互指令；获取脑机交互指令；基于所述脑机交互指令，获取多个视觉交互图形，每个所述视觉交互图形与交互信息相对应，所述视觉交互图形包括刺激图形以及焦点图形，所述刺激图形以及所述焦点图形以不同频率进行变换；获取被采集者基于目标视觉交互图形产生的脑电数据，并对所述脑电数据进行识别，获取识别结果，所述识别结果包括所述被采集者注视的目标视觉交互图形；基于所述识别结果获取对应的交互信息。

在其中一个实施例中，所述对所述脑电数据进行识别包括：对所述脑电数据进行特征值提取，得到所述脑电数据对应的特征值；基于所述特征值，对所述视觉交互图形进行识别。

在另一个实施例中，所述对所述脑电数据进行识别之前还包括：对所述脑电数据进行预处理，所述预处理至少包括去噪、去除无效数据以及分组中其中一种。

对所述脑电数据进行快速傅里叶变换，获取所述脑电数据的功率密度；和/或；对所述脑电数据与预设正弦波进行典型相关性分析，基于典型相关性分析结果获取所述脑电数据与所述预设正弦波的相关系数。

在另一个实施例中，所述对所述脑电数据进行识别包括：将所述脑电数据输入神经网络模型，获取识别结果，所述神经网络模型可以输入所述脑电数据并输出所述被采集者注视的所述目标视觉交互图形。

在其中一个实施例中，所述将所述脑电数据输入神经网络模型，获取识别结果之前包括：获取训练数据以及初始神经网络模型，所述训练数据包括训练脑电数据以及对应的训练视觉交互图形，所述训练脑电数据包括所述被采集者基于多个所述视觉交互图形产生的多个历史脑电数据；基于所述训练数据训练所述初始神经网络模型，得到所述经训练的神经网络模型。

在另一个实施例中，所述刺激图形以第一预设频率进行第一变换，所述第一变换包括颜色变换，所述颜色变换包括亮度变换、饱和度变换或色彩变换；所述焦点图形以第一预设频率进行第一变换，以第二预设频率进行第二变换，所述第二变换包括形状变换，所述刺激图形与所述焦点图形具有相同中心点，且所述焦点图形叠加在所述刺激图形上方。

第二个方面，在本实施例中提供了一种基于SSVEP的脑机交互装置，包括：交互指令获取模块：用于获取脑机交互指令；脑电数据获取模块：用于基于所述脑机交互指令，获取多个视觉交互图形，每个所述视觉交互图形与交互信息相对应，所述视觉交互图形包括刺激图形以及焦点图形，所述刺激图形以及所述焦点图形以不同频率进行变换；识别结果获取模块：用于获取被采集者基于目标视觉交互图形产生的脑电数据，并对所述脑电数据进行识别，获取识别结果，所述识别结果包括所述被采集者注视的目标视觉交互图形；交互信息获取模块：用于基于所述识别结果获取交互信息。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的一种基于SSVEP的脑机交互方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的一种基于SSVEP的脑机交互方法。

与相关技术相比，在本实施例中提供的一种基于SSVEP的脑机交互方法，通过获取脑机交互指令；基于所述脑机交互指令，获取多个视觉交互图形，每个所述视觉交互图形与交互信息相对应，所述视觉交互图形包括刺激图形以及焦点图形，所述刺激图形以及所述焦点图形以不同频率进行变换；获取被采集者基于目标视觉交互图形产生的脑电数据，并对所述脑电数据进行识别，获取识别结果，所述识别结果包括所述被采集者注视的目标视觉交互图形；基于所述识别结果获取对应的交互信息，解决了相关技术中无法诱发足够多种类的SSVEP，来提供足够多种类的脑机交互信号，导致脑机交互效果较差的问题，实现了可以通过诱发足够多种类的SSVEP，提供足够多种类的脑机交互信号，可以提高脑机交互效果，以及提高脑机交互效率。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本实施例的基于SSVEP的脑机交互方法的终端的硬件结构框图。

图2是本实施例的基于SSVEP的脑机交互方法的流程示意图。

图3是本申请一实施例中基于SSVEP的脑机交互方法的视觉交互图形示意图。

图4为本申请一实施例中基于SSVEP的脑机交互方法的采集数据示意图。

图5为本申请一实施例中基于SSVEP的脑机交互方法的功率密度提取示意图。

图6为本申请一实施例中基于SSVEP的脑机交互方法的CCA相关系数提取示意图。

图7为本申请一实施例中基于SSVEP的脑机交互方法中采集训练用特征值示意图。

图8是本实施例的基于SSVEP的脑机交互装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的基于SSVEP的脑机交互方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于SSVEP的脑机交互方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种基于SSVEP的脑机交互方法，图2是本实施例的基于SSVEP的脑机交互方法的流程示意图，如图2所示，该方法包括如下步骤：

步骤S201，获取脑机交互指令。

本实施例是一种基于SSVEP的脑机交互方法，目的是为了基于被采集者产生的稳态视觉诱发电位来识别被采集者的目标交互指令，因此，在进行脑机交互之前，首先需要获取一个脑机交互指令，脑机交互指令可以由工作人员输入，还可以由设备基于某一动作发出，可以理解的，在本步骤中，通过获取脑机交互指令，使目标设备开始进行脑机交互。

步骤S202，基于脑机交互指令，获取多个视觉交互图形，每个视觉交互图形与交互信息相对应，视觉交互图形包括刺激图形以及焦点图形，刺激图形以及焦点图形以不同频率进行变换。

可以理解的，本实施例中脑机交互为基于稳态视觉诱发电位进行的，而稳态视觉诱发电位是一种由周期性视觉刺激诱发的脑电信号，可以理解的，在获取被采集者的稳态视觉诱发电位之前，首先需要给予被采集者周期性视觉刺激，在本实施例中由视觉交互图形来进行视觉刺激，接着通过被采集者基于视觉交互图形产生的SSVEP进行脑机交互。容易理解的，采集者基于不同的视觉交互图形产生的稳态视觉诱发电位并不同，因此，在本实施例中，首先需要确定视觉交互图形与交互信息的对应关系，以及将交互信息的有关描述或指引标记在视觉交互图形附近，或是应用在视觉交互图形中，使得用户可以通过视觉交互图形以及相关标记了解视觉交互图形代表的交互信息，通过为每个视觉交互图形预先配置各自对应的交互信息，再通过视觉交互图形引起SSVEP，识别到用户的触发的目标意愿，即可达到通过识别不同的稳态视觉诱发电位，识别不同的交互信息，以实现脑机交互的目的。另外，在本实施例中，视觉交互图形包括刺激图形以及焦点图形，如图3所示，图3是本申请一实施例中基于SSVEP的脑机交互方法的视觉交互图形示意图。可以理解的，刺激图形主要是可以给予被采集者周期性视觉刺激的图形，焦点图形为吸引被采集者注意，使得更易集中注意力的图形，基于此可以使被采集者更易集中注意力，且更易触发稳态视觉诱发电位，还可以使两个图形通过不同频率不同的变换，另外，在同一个视觉交互图形中，若刺激图形和焦点图形的变换频率不同，当两种图形同时呈现时，会产生幅值调制现象，基于幅值调制现象可以产生具有更多可识别特征的稳态视觉诱发电位，本实施例即通过被采集者的幅值调制现象提供更多用来辨别视觉交互图形的特征，以此，通过不同频率的两种图形使得被采集者在相同时间产生更易被识别的稳态视觉诱发电位，可以提高识别速度以及识别准确率。

步骤S203，获取被采集者基于目标视觉交互图形产生的脑电数据，并对脑电数据进行识别，获取识别结果，识别结果包括被采集者注视的目标视觉交互图形。

可以理解的，被采集者基于相同视觉交互图形产生的稳态视觉诱发电位是具有相同特征的，也就是说，在本实施例中，首先被采集者通过自身意愿注视目标视觉交互图形，被采集者基于目标视觉交互图形产生相应的脑电数据，接着通过采集被采集者产生的脑电数据，对脑电数据进行识别，即可以识别被采集者注视的目标视觉交互图形，基于此，通过事先存储好的被采集者基于每个视觉交互图形产生的稳态视觉诱发电位，与被采集者实时基于视觉交互图形产生的稳态视觉诱发电位对比，即可识别出当前被采集者注视的视觉交互图形，识别的方式可以是将脑电数据输入到训练过的神经网络模型中，由神经网络模型输出判断结果，还可以是其他方法，只需要可以基于脑电数据的特征分辨出被采集者注视的目标视觉交互图形即可，本实施例不做具体限定。

步骤S204，基于识别结果获取对应的交互信息。

可以理解的，每个不视觉交互图形都具有各自对应的交互信息，通过识别被采集者注视的视觉交互图形，可以判断出被采集者的交互目标，也就是被采集者当前的的交互意愿，基于此，通过被采集者产生的脑电信号与目标设备进行脑机交互。

通过上述步骤，首先获取脑机交互指令，接着基于脑机交互指令获取多个视觉交互图形，每个视觉交互图形对应有不同的交互信息，视觉交互图形包括刺激图形以及焦点图形，刺激图形以及焦点图形以不同频率进行变换，然后获取被采集者基于视觉交互图形产生的脑电数据，并对脑电数据进行识别，以及获取识别结果，识别结果可以是识别出被采集者注视的目标视觉交互图形，基于此，可以分辨出被采集者产生脑电数据对应的目标视觉交互图形，并基于识别结果获取对应的交互信息，完成脑机交互，与相关技术相比，通过在视觉交互图形中设定刺激图形以及焦点图形，与单一进行变换刺激的视觉交互图形相比，可以诱发更多种类的SSVEP，以及更易基于SSVEP进行脑机交互，解决了相关技术中无法诱发足够多种类的SSVEP，来提供足够多种类的脑机交互信号，导致脑机交互效果较差的问题，实现了可以通过诱发足够多种类的SSVEP，提供足够多种类的脑机交互信号，可以提高脑机交互效果，以及提高脑机交互效率。

在其中一个实施例中，对脑电数据进行识别包括：对脑电数据进行特征值提取，得到脑电数据对应的特征值；基于特征值，对视觉交互图形进行识别。

在本实施例中，已经获取到被采集者基于视觉交互图形产生的脑电数据，但基于脑电数据识别目标视觉交互图形所需要的计算过程较为复杂，计算时间较长，计算资源占用较多。在本实施例中为了缩短计算时间以及减少计算资源的占用，对采集到的脑电数据进行特征值提取，通过提取到脑电数据的特征值，再基于特征值进行特征比对，可以更简单且更精确的对被采集者的脑电数据进行识别，以达到识别被采集者注视的目标视觉交互图形的目的。因此，在本实施例中，需要对脑电数据进行特征值提取，可以理解的，特征值可以是在各频率峰值的功率密度、相关系数，还可以是其他可以用于识别脑电数据的特征值，本实施例不做特殊限定，只需要保证是从脑电数据中提取相应可以代表脑电数据的特征值即可，通过此方法，可以减少基于脑电数据识别对应视觉交互图形所需的计算资源以及缩短了计算时间。

在另一个实施例中，对脑电数据进行识别之前还包括：对脑电数据进行预处理，预处理至少包括去噪、去除无效数据以及分组中其中一种。

在本实施例中，在基于脑电数据识别被采集者注视的目标视觉交互图形之前还需要对脑电数据进行预处理，可以理解的，预处理即在不破坏脑电数据特征的情况下对脑电数据进行加工完善，在本实施例中，预处理至少包括去噪、去除无效数据以及分组中其中一种，去噪即采用基于线性回归的方法去除眼电、肌电干扰，利用陷波器去除工频干扰，可以使得脑电信号更清晰，更易分辨，去除无效数据可以是去除正在刺激时其余时间采集到的脑电数据，可以理解的，在非刺激期间采集到的脑电数据为无效数据，无法帮助进行脑机交互；还可以是去除刺激刚开始后预设时间的脑电数据，为了避免视觉刺激呈现时诱发的瞬态响应干扰；分组就是将被采集者注视视觉交互图形时采集到的多组脑电数据，基于每个周期进行分组，可以理解的，若是周期过长或过短都可能导致识别错误，另外，由于现实因素影响，每个周期采集到的脑电数据都有可能不同，可能存在其中一个周期的脑电数据识别成功但另一个周期的脑电数据的情况，因此需要对脑电数据进行分组，便于多组比对，对脑电数据进行预处理后可以提高脑机交互的效率以及准确性。

对脑电数据进行快速傅里叶变换，获取脑电数据的功率密度；和/或；对脑电数据与预设正弦波进行典型相关性分析，基于典型相关性分析结果获取脑电数据与预设正弦波的相关系数。

在本实施例中，对脑电数据进行特征提取的方法为快速傅里叶变换，通过快速傅里叶变换得到相应频谱的功率密度信息，接着可以获取预设频率对应的功率密度，可以理解的，每段脑电数据在预设频率对应的功率密度并不同，基于此，脑电数据在预设频率对应的功率密度可以作为特征值，另外，还可以是通过使脑电数据与预设范围频率下的正弦波进行典型相关性分析(CCA)，同样的，基于分析结果，获取在预设频率下的相关系数，获取功率密度与相关系数的预设频率是相同的，容易理解的，每段脑电数据在预设频率对应的相关系数也并不同，因此，在本实施例中，相关系数也可以作为特征值。另外，在本实施例中，对脑电数据进行特征值提取可以是提取其中一种特征值，还可以是将两种特征值都提取，只需要保证可以通过脑电数据提取相应的特征值并可以基于特征值识别出被采集者注视的目标视觉交互图形即可。

在另一个实施例中，对脑电数据进行识别包括：将脑电数据输入经训练的神经网络模型，获取识别结果，神经网络模型可以输入脑电数据并输出被采集者注视的目标视觉交互图形。

在本实施例中，基于脑电数据识别被采集者注视的目标视觉交互图形的方式为将脑电数据输入到经训练的神经网络模型中，接着获取神经网络模型的判断结果，基于判断结果来获取交互信息，进而完成脑机交互。可以理解的，神经网络模型除了可以判断被采集者注视的目标视觉交互图形，还可以判断被采集者是否正确注视视觉交互图形，基于经训练的神经网络模型，可以保证通过脑电数据识别被采集者注视的目标视觉交互图形的准确性。

另外，在其他实施例中，还可以通过将基于脑电数据提取的特征值输入到经训练的神经网络模型中，以获取神经网络模型的判断结果，同样的，基于脑电数据提取的特征值，可以判断被采集者注视的目标视觉交互图形，基于特征值进行识别的方法还可以提高对于目标视觉交互图形的识别效率。

在其中一个实施例中，将脑电数据输入神经网络模型，获取识别结果之前包括：获取训练数据以及初始神经网络模型，训练数据包括训练脑电数据以及对应的训练视觉交互图形，训练脑电数据包括被采集者基于多个不同的视觉交互图形产生的多个不同的历史脑电数据；基于训练数据训练初始神经网络模型，得到神经网络模型。

可以理解的，在获取脑机交互指令前，也就是在开始基于被采集者的脑电数据进行脑机交互之前，需要获取初始神经网络模型，接着基于训练数据以及训练视觉交互图形对该神经网络模型进行训练，以得到一个能够基于脑电数据识别被采集者注视的目标视觉交互图形的神经网络模型，训练数据是通过被采集者基于多个不同的视觉交互图形产生的多个不同的历史脑电数据，即历史产生的，并保存在数据库中的脑电数据；容易理解的，对于每个神经网络模型的训练还可以是基于多组训练数据进行的，也就是每个视觉交互图形都对应有多组脑电数据作为训练数据，基于多组训练数据进行训练，得到的神经网络模型相对于单组训练数据训练的神经网络模型而言，可以提高识别目标视觉交互图形的准确度，通过上述步骤，可以得到经训练的神经网络模型，基于该经训练的神经网络模型可以基于被采集者脑电数据对被采集者注视的视觉交互图形的图像种类进行有效识别。

在其他实施例中，还可以通过被采集者的脑电数据提取出的特征值进行神经网络模型的训练，可以理解的，训练数据为被采集者的脑电数据提取出的特征值，以及训练视觉交互图形，对该神经网络模型进行训练，基于此得到的神经网络模型，可以通过被采集者基于视觉交互图形产生的脑电数据提取出的特征值，判断对应的目标视觉交互图形，可以提高脑机交互的效率以及准确率。

在另一个实施例中，刺激图形以第一预设频率进行第一变换，第一变换包括颜色变换，颜色变换包括亮度变换、饱和度变换或色彩变换；焦点图形以第一预设频率进行第一变换，以第二预设频率进行第二变换，第二变换包括形状变换，刺激图形与焦点图形具有相同中心点，且焦点图形叠加在刺激图形上方。

在本实施例中，需要基于视觉交互图形诱发稳态视觉诱发电位，因此该视觉交互图形的刺激图形以及焦点图形可以有多种周期性变换，可以增加对被采集者的刺激程度、增加特征值的数量以及使被采集者具有更清晰的注视焦点，本实施例的刺激图形与现有技术中用来诱发稳态视觉诱发电位的一些图形相似，均是通过以某一频率周期性变换图形的颜色，以达到诱发稳态视觉诱发电位的目的。可以理解的，颜色可以是以亮度为基准的无彩黑白颜色，还可以为彩色，以及以色彩饱和度为基准的其他颜色，本实施例中不做特殊限定，只需要满足使视觉色差感知较为明显即可；另外，还存在一个以相同频率进行第一变换，且具有其他频率第二变换动态效果的焦点图形，叠加在刺激图形上方，基于此，还可以通过焦点图形达到吸引注视者注意力的目的，另外，还对焦点图形进行第二变换设置了第二预设频率，基于此，注视者将会将视线集中在焦点图形上，且以第二预设频率进行第二变换的焦点图形可以减少视觉疲劳以及眼部不适的发生，以及在本实施例中通过在刺激图形中叠加焦点图形，可以有效的帮助被采集者建立视觉焦点，更易集中注意力，基于此可以通过提高被采集者对于刺激图形的注意力，增大识别目标视觉交互图形时效率；可以理解的，第二变换可以有多种方式，以缩放为例，刺激图形以第一预设频率进行第一变换，焦点图形以第一预设频率进行第一变换的同时以第二预设频率对焦点图形进行缩放，可以理解的，在同一个视觉交互图形中，若刺激图形和焦点图形的变换频率不同，当两种图形同时呈现时，会使得被采集者产生幅值调制现象，幅值调制现象可以使被采集者在相同时间内产生更多可用于采集特征的稳态视觉诱发电位，也就是获得更多可以用来识别目标视觉交互图形的特征，以此，通过不同频率的两种图形使得在相同时间内获取到更多可以用来识别目标视觉交互图形的特征值，可以增加识别效率以及识别准确率。另外，本实施例中是以焦点图形达到吸引注视者注意力且减少视觉疲劳的效果，所以焦点图形需要叠加在刺激图形上方，以达到本申请的目的，在其他实施例中，刺激图形和焦点图形的形状除了圆形，还可以是方形等其他图形，颜色以某一频率周期性的变换波形可以是正弦波，还可以是方波以及其他周期性波形，焦点图形的动态变换除了缩放还可以是旋转、图形移动等动态变换，本实施例不做具体限定，只需要保证可以通过刺激图形和焦点图形组合成的视觉交互图形诱发出被采集者的稳态视觉诱发脑电信号即可。

在另一个实施例中，第一预设频率大于第二预设频率。

可以理解的，本实施例还希望在加强稳态视觉诱发电位诱发的同时还希望不引起视觉疲劳，以及不适，因此焦点图形进行第二变换时，需要使第二预设频率小于第一预设频率，这样可以保证刺激图形和焦点图形以同频进行第一变换，且焦点图形以低频进行第二变换，进而保证稳态视觉诱发电位的稳定诱发，且以频率更低的焦点图形的变换还可以减小视觉疲劳的引发，减少不适。

在本实施例中还提供了一种基于SSVEP的脑机交互方法。图3是本实施例的另一种基于SSVEP的脑机交互方法的流程图，如图3所示，该流程包括如下步骤：

在本实施例中还提供了一种基于SSVEP的脑机交互方法。在本实施例中，用于诱发稳态视觉诱发电位的图形是在原有固定频率视觉刺激的基础上增添一个位于中心的、按一定频率缓慢缩放的焦点图形，该焦点图形进行缩放的同时，其亮度也随刺激图形以相同频率进行变化，焦点图形与刺激图形的亮度调制公式为L＝La(cos(2πfAt)+1)，其中La为亮度的变化幅度，fA为变化频率，t为屏幕刷新的时间，焦点图形缩放的直径调制公式为：D＝Do+Dasin(2πfBt)，其中Do为焦点图形的初始直径，Da为焦点图形的直径变化幅度，fB为焦点图形缩放的频率，可以理解的，刺激图形是一个以fA为变化频率进行亮度变化的圆形，焦点图形为一个以fA为变化频率进行亮度变化，同时以fB为频率缩放的比刺激图形小的圆形。

另一方面，不同频率的视觉刺激在同时呈现时会产生幅值调制现象，即在视觉刺激本身包含诱发频率在fA、fB以及fA+fB、fA-fB处均会诱发出SSVEP，相较于单一特征值来说，更有利于利用脑电进行识别被采集者注视的目标视觉交互图形，特征值相对于单一诱发频率的诱发图形而言不仅是叠加倍数增长。

在识别被采集者注视的目标视觉交互图形前，首先需要采集校准数据训练模型，用来训练可以识别被采集者注视的目标视觉交互图形。校准数据包括采集脑电数据、数据预处理以及提取特征值，先利用脑电采集设备采集被采集者的脑电波形数据，在采集过程中，被采集者注视q个视觉交互图形(图例中称为范式)m次，每次4s，注视的时间窗内的脑电波形被打上标记，如图4，图4为本申请一实施例中基于SSVEP的脑机交互方法的采集数据示意图。可以理解的，每个时间窗(即诱发窗口)内的脑电波型为每个试次(即每个周期的采集数据)。在预处理模块，对连续记录的原始脑电数据进行SSVEP范围的带通滤波，采用基于线性回归的方法去除眼电、肌电干扰，利用陷波器去除工频干扰，并去除每段刺激开始后1s数据，目的是为了避免视觉刺激呈现时诱发的瞬态响应干扰；在特征提取模块，对每段数据进行快速傅里叶变换后得到相应频谱功率密度信息，提取fA、fB以及fA+fB、fA-fB处的功率密度，如图5，图5为本申请一实施例中基于SSVEP的脑机交互方法的功率密度提取示意图，记录为PfA、PfB以及Pf(A+B)、Pf(A-B)；同时使每段数据与预设范围频率下的正弦波进行典型相关性分析(CCA)，提取fA、fB以及fA+fB、fA-fB处的相关系数，如图6，图6为本申请一实施例中基于SSVEP的脑机交互方法的CCA相关系数提取示意图，记录为RfA、RfB以及Rf(A+B)、Rf(A-B)；综上，每段试次都能得到8个特征值(特征数组)，被采集者在采集阶段注视每个范式m次后会得到q种m组含8个特征值的数据，如图7所示，图7为本申请一实施例中基于SSVEP的脑机交互方法中采集训练用特征值示意图。这样的q个不同的视觉交互图形的m组8个特征值的训练数据可以用于训练模型，以通过被采集者基于视觉交互图形产生的脑电视觉诱发电位识别出目标视觉交互图形。在本实施例中，训练的模型可以为二分类支持向量机(SVM)模型、决策树，以及神经网络等机器学习模型。

在进行脑机交互时，正在被试者开始注视视觉交互图形后开始计时，采集足够可以用于识别目标视觉交互图形的脑电数据后，用同样的方法对数据进行预处理和特征提取，得到含八个特征值的特征数组，将特征数组输入到模型后，模型可以输出概率最大的目标视觉交互图形，以判断被采集者注视的目标视觉交互图形，再基于此，识别被采集者注视的视觉交互图形对应的交互信息，以完成脑机交互。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种基于SSVEP的脑机交互装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是本实施例的基于SSVEP的脑机交互装置的结构框图，如图8所示，该装置包括：交互指令获取模块10、脑电数据获取模块20、识别结果获取模块30、交互信息获取模块40、特征值获取模块、预处理模块、神经网络模型训练模块。

交互指令获取模块10：用于获取脑机交互指令。

脑电数据获取模块20：用于基于脑机交互指令，获取多个视觉交互图形，每个视觉交互图形与交互信息相对应，视觉交互图形包括刺激图形以及焦点图形，刺激图形以及焦点图形以不同频率进行变换；

识别结果获取模块30：用于获取被采集者基于目标视觉交互图形产生的脑电数据，并对脑电数据进行识别，获取识别结果，识别结果包括被采集者注视的目标视觉交互图形。

识别结果获取模块30，还用于将脑电数据输入神经网络模型，获取识别结果，神经网络模型可以输入脑电数据并输出被采集者注视的目标视觉交互图形。

交互信息获取模块40：用于基于识别结果获取交互信息。

特征值获取模块：用于对脑电数据进行特征值提取，得到脑电数据对应的特征值；基于特征值，对视觉交互图形进行识别。

特征值获取模块：还用于对脑电数据进行快速傅里叶变换，获取脑电数据的功率密度；和/或；对脑电数据与预设正弦波进行典型相关性分析，基于典型相关性分析结果获取脑电数据与预设正弦波的相关系数。

预处理模块：用于对脑电数据进行预处理，预处理至少包括去噪、去除无效数据以及分组中其中一种。

神经网络模型训练模块：用于获取训练数据以及初始神经网络模型，训练数据包括训练脑电数据以及对应的视觉交互图形信息，训练脑电数据包括被采集者基于多个不同的视觉交互图形产生的多个不同的历史脑电数据；基于训练数据训练初始神经网络模型，得到神经网络模型。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取脑机交互指令。

S2，基于脑机交互指令，获取多个视觉交互图形，每个视觉交互图形与交互信息相对应，视觉交互图形包括刺激图形以及焦点图形，刺激图形以及焦点图形以不同频率进行变换。

S3，获取被采集者基于目标视觉交互图形产生的脑电数据，并对脑电数据进行识别，获取识别结果，识别结果包括被采集者注视的目标视觉交互图形。

S4，基于识别结果获取对应的交互信息。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的基于SSVEP的脑机交互方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于SSVEP的脑机交互方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于SSVEP的脑机交互方法，其特征在于，包括：

获取脑机交互指令；

基于所述脑机交互指令，获取多个视觉交互图形，每个所述视觉交互图形与交互信息相对应，所述视觉交互图形包括刺激图形以及焦点图形，所述刺激图形以及所述焦点图形以不同频率进行变换；

获取被采集者基于目标视觉交互图形产生的脑电数据，并对所述脑电数据进行识别，获取识别结果，所述识别结果包括所述被采集者注视的目标视觉交互图形；

基于所述识别结果获取对应的交互信息。

2.根据权利要求1所述的脑机交互方法，其特征在于，所述对所述脑电数据进行识别包括：

对所述脑电数据进行特征值提取，得到所述脑电数据对应的特征值；

基于所述特征值，对所述视觉交互图形进行识别。

3.根据权利要求1或2所述的脑机交互方法，其特征在于，所述对所述脑电数据进行识别之前还包括：

对所述脑电数据进行预处理，所述预处理至少包括去噪、去除无效数据以及分组中其中一种。

4.根据权利要求2所述的脑机交互方法，其特征在于，所述对所述脑电数据进行特征值提取包括：

对所述脑电数据进行快速傅里叶变换，获取所述脑电数据的功率密度；

和/或；

对所述脑电数据与预设正弦波进行典型相关性分析，基于典型相关性分析结果获取所述脑电数据与所述预设正弦波的相关系数。

5.根据权利要求1所述的脑机交互方法，其特征在于，所述对所述脑电数据进行识别包括：

将所述脑电数据输入经训练的神经网络模型，获取识别结果，所述神经网络模型可以输入所述脑电数据并输出所述被采集者注视的所述目标视觉交互图形。

6.根据权利要求5所述的脑机交互方法，其特征在于，所述将所述脑电数据输入神经网络模型，获取识别结果之前包括：

获取训练数据以及初始神经网络模型，所述训练数据包括训练脑电数据以及对应的训练视觉交互图形，所述训练脑电数据包括所述被采集者基于多个所述视觉交互图形产生的多个历史脑电数据；

基于所述训练数据训练所述初始神经网络模型，得到所述经训练的神经网络模型。

7.根据权利要求1所述的脑机交互方法，其特征在于，所述刺激图形以第一预设频率进行第一变换，所述第一变换包括颜色变换，所述颜色变换包括亮度变换、饱和度变换或色彩变换；

所述焦点图形以第一预设频率进行第一变换，以第二预设频率进行第二变换，所述第二变换包括形状变换，所述刺激图形与所述焦点图形具有相同中心点，且所述焦点图形叠加在所述刺激图形上方。

8.一种基于SSVEP的脑机交互装置，其特征在于，包括：

交互指令获取模块：用于获取脑机交互指令；

脑电数据获取模块：用于基于所述脑机交互指令，获取多个视觉交互图形，每个所述视觉交互图形与交互信息相对应，所述视觉交互图形包括刺激图形以及焦点图形，所述刺激图形以及所述焦点图形以不同频率进行变换；

识别结果获取模块：用于获取被采集者基于目标视觉交互图形产生的脑电数据，并对所述脑电数据进行识别，获取识别结果，所述识别结果包括所述被采集者注视的目标视觉交互图形；

交互信息获取模块：用于基于所述识别结果获取交互信息。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的脑机交互方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的脑机交互方法的步骤。

Images