CN106951064A - 引入对象连续动作的稳态视觉诱发范式设计及辨识方法 - Google Patents

Abstract

本发明公开了一种引入对象连续动作的稳态视觉诱发范式设计及辨识方法，在范式设计中引入对象连续动作，将对象的一个连续动作分解为若干张图片，按时间顺序进行连续黑白闪烁，形成动态图片闪烁单元，在计算机上呈现以刺激使用者产生稳态视觉诱发电位，采集使用者注视某一闪烁单元时的脑电信号，传至计算机处理，采用基于个人特征修正的典型相关分析算法进行目标辨识，结果反馈给使用者，同时控制对象完成相应动作，再进行下一次目标辨识。本发明能根据不同的应用对象设计相应的稳态视觉诱发范式，达到“所见即所得”的控制效果，改善使用者个体间差异性，并提高识别正确率，能广泛应用于各类基于稳态视觉诱发范式的脑‑机接口系统中。

Description

引入对象连续动作的稳态视觉诱发范式设计及辨识方法

技术领域

本发明涉及脑-机接口技术领域，具体涉及一种引入对象连续动作的稳态视觉诱发范 式设计及辨识方法。

背景技术

脑-机接口技术是通过在人或动物的大脑和外部设备之间建立直接的信息交流渠道， 从而实现对外部设备的直接控制。一些因患肌萎缩性侧索硬化等神经退行性疾病而致运动 功能受损的人，或因患闭锁综合症而丧失运动与语言交流能力的人，可以通过脑-机接口 技术获得一种对外控制与交流的途径。随着科学技术的发展，该技术已经扩展到神经康复、 辅助增强、游戏娱乐及航天军事等领域。

稳态视觉诱发电位作为一种重要的脑-机接口范式，是大脑对以一定频率(大于6Hz) 调制的外部视觉刺激的周期性响应。该范式下大脑视觉皮层的脑电信号会在刺激频率及其 谐波频率处出现明显的峰值特征，通过提取和识别该特征信号，即可作为控制信号来控制 外部设备。基于稳态视觉诱发电位的脑-机接口，相比于运动想象、P300等范式，所需电 极少、抗干扰能力强、信息传输率高，具有较好的实用价值和应用前景。然而传统的基于 稳态视觉诱发电位的脑-机接口系统，针对不同的对象，多采用简单的黑白圆闪烁、棋盘格等刺激范式，刺激方式简单，长时间使用容易引起使用者的视觉疲劳，降低识别正确率，用户体验度较差，同时对于不同使用者的实际效果差别较大，个体间差异性明显。

目前国内外学者对稳态视觉诱发脑-机接口的研究，多集中于刺激范式、脑电信号解 码等方面，鲜有研究如何针对不同的对象设计相应的稳态视觉诱发范式。

发明内容

为了克服现有技术的缺点，本发明的目的在于提供一种引入对象连续动作的稳态视觉 诱发范式设计及辨识方法，以控制可手张开、手闭合、手腕内旋、手腕外旋的二自由度假 手为例，在范式设计过程中，引入假手连续动作过程，设计相应的动态图片闪烁单元，吸引使用者的注意力，不易产生视觉疲劳，并达到“所见即所得”的控制效果，改善用户体 验；同时，采用基于个人特征修正的典型相关分析算法进行稳态视觉诱发电位的目标辨识， 以提高识别正确率，并改善个体间差异性过大的问题。

为了达到以上目的，本发明采取的技术方案是：

引入对象连续动作的稳态视觉诱发范式设计及辨识方法，包括以下步骤：

步骤1，为使用者佩戴好脑电采集设备，记录使用者头部视觉枕叶区的脑电信号，采 集的脑电信号经蓝牙无线传输至计算机；其中，脑电采集设备采用16通道的EmotivEPOC 脑电放大器，各通道按照国际10/20标准放置，放大器的采样频率为128Hz；

步骤2，被控对象为二自由度假手，分别拍摄假手手腕内旋、手腕外旋、手张开、手闭合四个连续动作的视频，等时间间隔提取每个动作视频下至少八帧图片，对每帧图片进行灰度处理和二值化处理，每个动作视频下的八帧图片按照时间顺序依次以正弦调制方式进行黑白翻转刺激，构成一个动态图片闪烁单元；其中，每个动态图片闪烁单元中每帧图片的闪烁时间相同，不同动态图片闪烁单元的正弦调制频率不同，图片黑白翻转频率为正弦调制频率的两倍；

步骤3，使用者在四个动态图片闪烁单元中选择一个进行注视，计算机同步采集注视 过程中的脑电信号传至计算机进行处理；

步骤4，对脑电信号进行处理，包括脑电信号预处理和目标辨识，具体包括如下步骤：

步骤4-1，对脑电信号的预处理，提取O1、O2通道的脑电信号，去除趋势项，并利 用巴特沃斯滤波器进行5Hz-45Hz的带通滤波；

步骤4-2，对目标进行SSVEP特征提取及目标辨识，实现方法为基于个人特征修正的 典型相关分析算法；

步骤5，根据目标辨识结果对应的动态图片闪烁单元，控制假手完成相应动作，并将 目标辨识结果输入至计算机屏幕进行显示，实现对使用者的视觉反馈；

步骤6，假手完成相应动作后，返回值步骤3，重复步骤3、4、5，进行下一次的目标目标辨识。

上述方法中，步骤2所述的动态图片闪烁单元的具体实现方式为：

每个动态图片闪烁单元包括八帧图片，八帧图片按照时间顺序，依次闪烁Δt时长，故 总的闪烁时长为8Δt，设置Δt＝0.5s；

第i张图片的刺激调制函数为：

其中，Picture_i是第i张图片的灰度值矩阵；f是正弦调制频率；n是帧数变量；f_s是计算机显示器的屏幕刷新率；N是一张图片闪烁总的帧数；是第i张图片的相位补偿函数；

动态图片闪烁单元通过公式(1)和(2)实现连续性的闪烁刺激，并据此形成四个动态图片闪烁单元，在计算机显示器上呈现进行稳态视觉诱发。

上述方法中，步骤4-2所述的基于个人特征修正的典型相关分析算法具体包括如下步 骤：

(1)特征训练及个人特征提取：在进行在线判别之前，对不同频率下的数据进行训练产生训练样本，每个频率对应2*10组训练样本，训练样本经过步骤4-1预处理后，利 用主成分分析进行数据降维，提取累计贡献率大于75％的主成分作为个人特征信号；

(2)在线分类：利用典型相关分析法，将步骤4-1中经过预处理后的脑电信号分别与不同翻转频率基频、二倍频的正余弦信号以及个人特征信号计算典型相关系数，在四个翻转频率对应的四个最大相关系数值中，将其中的最大值对应的翻转频率判定为使用者所注视的目标单元。

本发明针对传统的稳态视觉诱发范式，不考虑对象的具体特点，范式设计简单，用户 体验度差，长时间使用容易产生疲劳，且对不同受试者识别效果差别较大的问题，提出一 种引入对象连续动作的稳态视觉诱发范式设计及辨识方法，为推广和增强脑-机接口技术 提供了新的思路，显示出如下优越性：

(1)提出一种引入对象连续动作的稳态视觉诱发范式设计方法，通过在范式设计中引入对象连续动作，设计相应的动态图片闪烁单元，利用相位补偿方法实现连续稳定的视觉刺激，达到“所见即所得”的控制效果，吸引使用者的注意力，不易产生疲劳，提高 了用户体验度，且该方法可以方便地扩展至不同的应用对象，适应强；

(2)通过利用基于个人特征修正的典型相关分析算法，提取不同受试者训练样本中的个人特征进行在线目标辨识，有利于提高识别正确率，并改善稳态视觉诱发范式下个体间的差异性。

附图说明

图1是本发明的系统框图。

图2是本发明中脑电采集设备的通道位置示意图。

图3是针对控制对象二自由度假手设计的手张开动作下的动态图片闪烁单元示意图。

图4是翻转频率为9.2Hz的动态图片闪烁单元灰度变化图，其中图4(a)是不进行相位补偿的情况，图4(b)是进行相位补偿的情况。图中，横坐标表示时间，纵坐标表示 在屏幕每帧刷新下闪烁单元灰度值的变化。

图5是使用者在注视四个不同翻转频率动态图片闪烁单元时的脑电信号幅值谱图，图 5(a)中翻转频率为8Hz，图5(b)中翻转频率为9.2Hz，图5(c)中翻转频率为10.9Hz，图5(d)中翻转频率为12Hz。

具体实施方式

下面结合附图对本发明做详细描述。

引入对象连续动作的稳态视觉诱发范式设计及辨识方法，包括以下步骤：

步骤1，参照图1，使用者佩戴好脑电采集设备，坐在计算机前方，头部距离计算机显示器60-100厘米，记录使用者头部视觉枕叶区的脑电信号，采集的脑电信号经蓝牙无 线传输至计算机；其中，脑电采集设备采用16通道的Emotiv EPOC脑电放大器，各通道 按照国际10/20标准放置，放置方式参照图2，放大器的采样频率为128Hz。

步骤2，被控对象为二自由度假手，分别拍摄假手手腕内旋、手腕外旋、手张开、手闭合四个连续动作的视频。等时间间隔提取每个动作视频下至少八帧图片，对每帧图片进行灰度处理和二值化处理，每个动作视频下的八帧图片按照时间顺序依次以正弦调制方式进行黑白翻转刺激，构成一个动态图片闪烁单元，手张开情况下的动态图片闪烁单元示意图如图3所示；其中，每个动态图片闪烁单元中每帧图片的闪烁时间相同，不同动态图片 闪烁单元的正弦调制频率不同，图片黑白翻转频率为正弦调制频率的两倍。

动态图片闪烁单元的具体实现方式为：

每个动态图片闪烁单元包括八帧图片，八帧图片按照时间顺序，依次闪烁Δt时长，故 总的闪烁时长为8Δt。设置Δt＝0.5s。

第i张图片的刺激调制函数为：

其中，Picture_i是第i张图片的灰度值矩阵；f是正弦调制频率；n是帧数变量；f_s是计算机显示器的屏幕刷新率；N是一张图片闪烁总的帧数；是第i张图片的相位补偿函数。

当翻转频率为9.2Hz时动态图片闪烁单元的灰度变化图如图4所示，其中图4(a)为不进行相位补偿时的情况，发现在刺激过程中相位不连续，图4(b)为进行相位补偿时 的情况，刺激过程中相位连续，可以产生稳定频率的视觉刺激。

动态图片闪烁单元通过公式(1)和(2)实现连续性的闪烁刺激，并据此形成四个动态图片闪烁单元，在计算机显示器上呈现进行稳态视觉诱发。

由于可选用的翻转频率受计算机屏幕刷新率限制，实验中用60Hz屏幕刷新率的计算 机，选用的翻转频率及对应的位置和手的动作如表1所示。

表1：动态图片闪烁单元所处位置及对应的翻转频率表

步骤3，使用者在四个动态图片闪烁单元中选择一个进行注视，注视过程中尽量避免 眨眼睛，计算机同步采集注视过程中的脑电信号传至计算机进行处理。

步骤4，对脑电信号进行处理，包括脑电信号预处理和目标辨识，具体包括如下步骤：

步骤4-1，对脑电信号的预处理，提取O1、O2通道的脑电信号，去除趋势项，并利 用巴特沃斯滤波器进行5Hz-45Hz的带通滤波。

步骤4-2，对目标进行辨识，实现方法为基于个人特征修正的典型相关分析，SSVEP特征提取及目标辨识包括以下几个步骤：

步骤4-2-1)特征训练及个人特征提取：在进行在线判别之前，对不同频率下的数据 进行训练产生训练样本，每个频率对应2*10组训练样本，训练样本经过步骤4-1预处理后，利用主成分分析进行数据降维，提取累计贡献率大于75％的主成分作为个人特征信号。

步骤4-2-2)在线分类：利用典型相关分析法，将经过预处理后的脑电信号分别与不 同翻转频率基频、二倍频的正余弦信号以及个人特征信号计算典型相关系数，利用CCA，在四个翻转频率对应的四个最大相关系数值中，将其中的最大值对应的翻转频率判定为使用者所注视的目标单元。

步骤5，根据目标辨识结果对应的动态图片闪烁单元，控制假手完成相应动作，并将 目标辨识结果输入至计算机屏幕进行显示，实现对使用者的视觉反馈。

步骤6，假手完成相应动作后，返回值步骤3，重复步骤3、4、5，进行下一次的目标辨识。

采用本技术对一名使用者进行实验，实验记录使用者在注视不同动态图片闪烁单元时 的脑电信号，实验过程中受试者尽量避免眨眼睛，按照上述步骤进行实验，单轮实验时长 为4s，使用者在注视四个动态图片闪烁单元时的脑电信号幅值谱图如图5所示。从图中 可以看出，针对对象假手设计的稳态视觉诱发范式，能够稳定有效地诱发相应翻转频率的 稳态视觉诱发电位。

上述实例以二自由度假手作为应用对象，只是为了说明本发明的技术构思及特点，根 据本发明的内容，可以扩展至除假手外的其它应用对象，并不能以此来限制本发明的保护 范围。

Claims (3)

1.引入对象连续动作的稳态视觉诱发范式设计及辨识方法，其特征在于，包括以下步骤：

步骤1，为使用者佩戴好脑电采集设备，记录使用者头部视觉枕叶区的脑电信号，采集的脑电信号经蓝牙无线传输至计算机；其中，脑电采集设备采用16通道的Emotiv EPOC脑电放大器，各通道按照国际10/20标准放置，放大器的采样频率为128Hz；

步骤2，被控对象为二自由度假手，分别拍摄假手手腕内旋、手腕外旋、手张开、手闭合四个连续动作的视频，等时间间隔提取每个动作视频下至少八帧图片，对每帧图片进行灰度处理和二值化处理，每个动作视频下的八帧图片按照时间顺序依次以正弦调制方式进行黑白翻转刺激，构成一个动态图片闪烁单元；其中，每个动态图片闪烁单元中每帧图片的闪烁时间相同，不同动态图片闪烁单元的正弦调制频率不同，图片黑白翻转频率为正弦调制频率的两倍；

步骤3，使用者在四个动态图片闪烁单元中选择一个进行注视，计算机同步采集注视过程中的脑电信号传至计算机进行处理；

步骤4，对脑电信号进行处理，包括脑电信号预处理和目标辨识，具体包括如下步骤：

步骤4-1，对脑电信号的预处理，提取O1、O2通道的脑电信号，去除趋势项，并利用巴特沃斯滤波器进行5Hz-45Hz的带通滤波；

步骤4-2，对目标进行SSVEP特征提取及辨识，实现方法为基于个人特征修正的典型相关分析算法；

步骤5，根据目标辨识结果对应的动态图片闪烁单元，控制假手完成相应动作，并将目标辨识结果输入至计算机屏幕进行显示，实现对使用者的视觉反馈；

步骤6，假手完成相应动作后，返回至步骤3，重复步骤3、4、5，进行下一次的目标辨识。

2.根据权利要求1所述的引入对象连续动作的稳态视觉诱发范式设计及辨识方法，其特征在于，步骤2所述的动态图片闪烁单元的具体实现方式为：

每个动态图片闪烁单元包括八帧图片，八帧图片按照时间顺序，依次闪烁Δt时长，故总的闪烁时长为8Δt，设置Δt＝0.5s；

第i张图片的刺激调制函数为：

其中，Picture_i是第i张图片的灰度值矩阵；f是正弦调制频率；n是帧数变量；f_s是计算机显示器的屏幕刷新率；N是一张图片闪烁总的帧数；是第i张图片的相位补偿函数；

动态图片闪烁单元通过公式(1)和(2)实现连续性的闪烁刺激，并据此形成四个动态图片闪烁单元，在计算机显示器上呈现进行稳态视觉诱发。

3.根据权利要求1所述的引入对象连续动作的稳态视觉诱发范式设计及辨识方法，其特征在于，步骤4-2所述的基于个人特征修正的典型相关分析算法具体包括如下步骤：

(1)特征训练及个人特征提取：在进行在线判别之前，对不同频率下的数据进行训练产生训练样本，每个频率对应2*10组训练样本，训练样本经过步骤4-1预处理后，利用主成分分析进行数据降维，提取累计贡献率大于75％的主成分作为个人特征信号；

(2)在线分类：利用典型相关分析法，将步骤4-1中经过预处理后的脑电信号分别与不同翻转频率基频、二倍频的正余弦信号以及个人特征信号计算典型相关系数，在四个翻转频率对应的四个最大相关系数值中，将其中的最大值对应的翻转频率判定为使用者所注视的目标单元。