CN111506193A - 基于现场可编程门阵列局部噪声优化的视觉脑机接口方法 - Google Patents

Abstract

基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，在头部枕区放置采集电极获取视觉脑电信号；生成带局部噪声的棋盘刺激单元，将其保存到现场可编程门阵列内部存储器；通过现场可编程门阵列控制方式，进行带局部噪声的棋盘刺激单元的显示；使用者选择性注视任一带局部噪声的棋盘刺激单元，同时采集使用者的视觉枕区脑电信号进行典型相关分析，获得所有频率对应典型相关系数中最大值对应的视觉刺激单元，并判定为识别的目标；本发明可以提高棋盘视觉刺激单元显示的稳定性，降低稳态视觉诱发电位脑机接口系统对硬件的要求，从而降低脑机接口系统的实现成本，并且可以提高稳态视觉诱发电位脑机接口的识别正确率和稳定性。

Description

基于现场可编程门阵列局部噪声优化的视觉脑机接口方法

技术领域

本发明涉及生物医学工程中脑机接口技术及电子信息工程的数字IC设计技术领域，具体涉及一种基于现场可编程门阵列局部噪声优化的视觉脑机接口方法。

背景技术

脑机接口通过脑电信号的采集和分析，在大脑和外部设备之间建立可靠的通信通道。目前，脑机接口系统大多以实验室条件为基础，设备往往笨重昂贵。为了提高系统的实用性，必须设计出便携、低成本的脑机接口设备。

作为一种常见的脑机接口类型，基于稳态视觉诱发电位的脑机接口因具有稳定性强、抗干扰能力强和信息传输率高等优点，得到了广泛的应用。在稳态视觉诱发电位产生过程中，需要通过稳定频率的光闪烁进行刺激诱发，常见的诱发方式有两种，其一可以通过发光二极管光闪烁的方式实现视觉刺激，通过单片机等控制发光二极管亮灭获得光闪烁信号，主要优点是可以实现任意刺激频率的闪烁光生成，但是长时间的光闪烁容易造成视觉疲劳，不易于脑机接口设备的长期使用；其二可以通过计算机控制特定频率的视觉刺激单元进行运动翻转，该方法可以很容易对视觉刺激单元的各项参数进行更改，如：亮度、颜色、刺激单元大小和个数等，可以在一定程度上减轻视觉疲劳的影响。但是，在显示过程中，需要严格控制每帧刷新的图像和刷新率，计算机在进行多任务调度时，易导致显示的视觉刺激单元频率不准确。再者受到刷新率的限制，常规显示范式的刺激频率有限。

中国专利“一种基于FPGA的稳态视觉诱发电位脑机接口系统设计方法”(申请号为201910669448.5)通过现场可编程门阵列的方式实现了红黑矩形视觉刺激单元的稳定显示，但是仅通过两种颜色矩阵的翻转的视觉刺激形式，容易造成视觉疲劳。

发明内容

为了克服上述现有技术的缺点，本发明提供基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，通过现场可编程门阵列取代计算机对视觉刺激单元的显示控制，可以提高视觉刺激频率的稳定性，在一定程度上降低稳态视觉诱发电位脑机接口系统的实现成本；运用大脑随机共振原理，在视觉刺激单元添加局部噪声，增强大脑响应，提高稳态视觉诱发电位的识别准确率。

为了达到上述目的，本发明采取的技术方案为：

基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，包括以下步骤：

步骤1，在使用者头部视觉枕区安放n个脑电信号测量电极，在前额位置安放地电极，在任一耳垂位置安放参考电极，测得的脑电信号经过采集设备进行放大、模数转换操作后发送到计算机，实现大脑皮层视觉区脑电信号的采集；

步骤2，将m个带有局部噪声、按照不同频率翻转的视觉刺激单元呈现在视觉刺激单元显示器的相应位置上，m大于等于2，视觉刺激单元为由现场可编程门阵列控制板控制显示的带有局部噪声的棋盘范式，使用者注视视觉刺激单元时，其头部距离计算机屏幕50～80cm；

步骤3，产生m个翻转频率不同的视觉刺激单元以后，计算机发送开始指令控制现场可编程门阵列控制板开始呈现视觉刺激单元，同时开始脑电信号采集，一定时间后，计算机发送结束指令控制停止视觉刺激单元的显示，结束脑电信号的采集并采用典型相关分析获得每个视觉刺激单元频率对应的最大典型相关系数；

步骤4，将所有频率对应的最大典型相关系数中最大值对应的视觉刺激单元判定为识别的目标，并反馈到计算机屏幕；返回步骤3进行下一轮任务。

所述的步骤2的具体实现过程为：通过MATLAB生成棋盘范式颜色数据，同时生成视觉噪声显示的颜色数据，将两者进行叠加，进行数据截取后转化为十六进制数；然后将获得的范式数据保存在现场可编程门阵列存储单元以进行显示。

所述的棋盘范式的生成过程为：

环形棋盘刺激单元图案的生成公式表示为：

式(1)中：r(x,y)和ang(x,y)——像素点(x,y)的半径和角度；

——收缩扩张过程中的相位值函数；

sign(v)——符号函数，即当v≥0时函数值为1，否则为-1；

W——圆环的宽度，反映径向空间频率；

A——运动幅度参数，即图案中每个圆环从最内侧运动到最外侧的径向距离；

R_inner和R_outer——内径和外径；

N_C——单个圆环包含的白色和黑色的格子数；

L₀——背景亮度，同时也是整个刺激的平均亮度；

C——黑白格子的亮度之差的一半，图案的对比度定义为c＝C/L₀；

环形棋盘刺激的运动翻转过程通过式(1)中的运动幅度A和相位函数

来控制，运动幅度A表示了环形棋盘中每个圆环从最内侧扩张到最外侧或者从最外侧收缩到最内侧的径向距离，反映了运动翻转的剧烈程度；相位值函数

反映了收缩-扩张的动态特征，采用正弦调制的方式，相位值函数

并不是无限可分的，而与刺激显示器的刷新频率相关，因此相位值函数表达式为：

式(2)中：f_c——运动调制频率，即一个收缩-扩张周期时长的倒数；

f_s——刺激显示器刷新频率；

m_t——刺激运动时刻对应的呈现帧数；

在视觉刺激单元进行呈现的过程中，需要对显示画面按照显示屏刷新率进行离散，记显示的视频信号的刷新率为f_r，对式(2)中的t进行离散得t(n)＝n/f_r,n＝1,2,3,...，其中n为刷新帧数；此时，相位值函数的表达式改写为：

则运动翻转频率f的计算公式如下：

所述的步骤2中视觉噪声的生成公式为：

I＝I₀+NSD*randn (5)

其中，I为刺激亮度，I₀为亮度基准值，NSD为噪声标准差，代表了噪声强度，randn为产生标准正态分布随机噪声的函数；每个噪点大小为a×a像素。

所述的步骤2中带局部噪声的棋盘范式生成过程为：将生成的与棋盘范式大小一致的噪声范式数据与棋盘范式数据进行叠加，将获得的数据转化为十六进制数保存。

所述的步骤2最终范式的显示过程为：通过现场可编程门阵列编程语言VerilogHDL或者VHDL编写计算机控制的电路实现视频信号接口的控制，将上述生成的范式显示在视觉刺激单元显示屏上。

所述的步骤3的具体步骤如下：

步骤3-1，通过约定视觉刺激单元的开始和结束指令，在计算机发送开始指令控制视觉刺激单元开始呈现，使用者注视m个视觉刺激单元中的任意一个，记该视觉刺激单元为刺激目标，其他为非目标；

步骤3-2，步骤3-1控制视觉刺激单元开始呈现后，计算机开始采集脑电信号，同时对脑电信号进行带通滤波和陷波操作，然后按照脑电采集设备寄存器读取方式将脑电信号读取并保存在计算机中；

步骤3-3，等待一定时间后，计算机发送结束指令控制视觉刺激单元结束呈现，同时结束脑电信号的采集，将刺激时间段内的脑电信号进行截取，将单轮实验信号分别与每个翻转频率所代表的正余弦参考信号进行典型相关分析，计算出每个翻转频率对应的最大相关系数值。

本发明的有益结果为：

(1)通过局部噪声的方式，运用大脑随机共振原理，增强大脑对视觉刺激单元的响应，最终达到提高视觉刺激单元识别准确率的目的。

(2)通过现场可编程门阵列实现了棋盘范式的显示，在降低视觉疲劳的同时，还可以提高视觉刺激单元频率呈现的稳定性。同时在一定程度上降低脑机接口的实现成本。

附图说明

图1为本发明总体布局示意图。

图2为实施例脑电信号采集电极安放位置示意图。

图3为实施例带局部噪声的棋盘视觉刺激单元示意图。

图4为实施例视觉刺激单元在显示屏上的分布示意图。

图5为实施例不同噪声标准差对应的平均识别准确率。

图6为实施例识别准确率的标准偏差。

图7为实施例不同噪声标准差的方差分析结果。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细说明。

参照图1，基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，包括以下步骤：

步骤1，如图2所示，按照国际标准导联10-20系统，通过脑电帽将脑电信号测量电极安放到使用者头部视觉枕区的PO3、POz、PO4、O1、Oz和O2位置，在前额的Fpz位置安放地电极，在任一耳垂位置A1或A2安放参考电极，测得的脑电信号经过专业采集设备进行放大、模数转换等操作后传送到计算机端；

步骤2，参照图3和图4，将4个带有局部噪声、按照不同频率翻转的视觉刺激单元呈现在用户界面的相应位置上，使用者注视视觉刺激单元时，头部距离计算机屏幕约60cm；如图3所示的稳态刺激单元为带局部噪声的等亮度棋盘稳态运动视觉诱发刺激单元，简称棋盘刺激单元，棋盘刺激单元外径为100像素，内径为5像素，棋盘刺激单元将圆盘等分为数个扇形和圆环，并在每个小区域内交替填充两种不同的颜色；棋盘刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动；棋盘范式的生成过程为：

环形棋盘刺激单元图案的生成公式以表示为：

式(1)中：r(x,y)和ang(x,y)——像素点(x,y)的半径和角度；

——收缩扩张过程中的相位值函数；

sign(v)——符号函数，即当v≥0时函数值为1，否则为-1；

W——圆环的宽度，反映径向空间频率；

A——运动幅度参数，即图案中每个圆环从最内侧运动到最外侧的径向距离；

R_inner和R_outer——内径和外径；

N_C——单个圆环包含的白色和黑色的格子数；

L₀——背景亮度，同时也是整个刺激的平均亮度；

C——黑白格子的亮度之差的一半，图案的对比度定义为c＝C/L₀；

由上式可知，明亮区域的亮度为L₀+C，暗区域的亮度为L₀-C，刺激单元的平均亮度始终为L₀。

环形棋盘刺激的运动翻转过程通过式中的运动幅度A和相位函数

来控制；运动幅度A表示了环形棋盘中每个圆环从最内侧扩张到最外侧或者从最外侧收缩到最内侧的径向距离，反映了运动翻转的剧烈程度；相位值函数

反映了收缩-扩张的动态特征，为了平滑运动翻转过程，采用正弦调制的方式，由于刺激显示器的物理限制，所以相位值函数

并不是无限可分的，而与刺激显示器的刷新频率相关，因此相位值函数表达式为：

式中：f_c——运动调制频率，即一个收缩-扩张周期时长的倒数；

f_s——刺激显示器刷新频率；

m_t——刺激运动时刻对应的呈现帧数。

的取值范围是[0,π]，通过调制相位

由0至π时，环形棋盘收缩，相位

由π返回至0时，环形棋盘扩张，形成周期性视觉刺激；在一个收缩-扩张周期中，发生两次运动方向的改变；运动方向改变的频率定义为运动翻转频率f，为运动调制频率f_c的2倍。

在视觉刺激单元进行呈现的过程中，需要对显示画面按照显示屏刷新率进行离散；记显示的视频信号的刷新率为f_r，对式(2)中的t进行离散得t(n)＝n/f_r,n＝1,2,3,...，其中n为刷新帧数，此时，相位值函数的表达式改写为：

则运动翻转频率f的计算公式如下：

使用过程中，选用G-STORY的GS173HR型显示器作为视觉刺激器，采用1920×1080像素，60Hz刷新率时，视觉刺激单元的各项参数如表1所示，

表1视觉刺激单元翻转参数

其中，棋盘视觉刺激单元为由黑色-灰色两色数据组成，每个视觉刺激单元包含227×227像素的颜色数据。

噪声的生成公式为：

I＝I₀+NSD*randn (5)

其中，I为刺激亮度，I₀为亮度基准值取128，NSD为噪声标准差取0、24和40进行对比，randn为产生零均值和单位标准差分布随机噪声的函数，在此产生正态分布噪声；每个噪点大小为4×4像素，噪声图案大小也为227×227像素。

带局部噪声的视觉刺激单元由无噪声棋盘刺激数据和局部噪声数据这两部分叠加组成，最后生成的图案如图3所示。

最终视觉刺激单元的显示过程为通过现场可编程门阵列编程语言VerilogHDL或者VHDL编写可计算机控制的电路实现高清多媒体接口的控制，同时实现串口对视觉刺激范式开始和结束的指令控制，将上述生成的视觉刺激范式显示在视觉刺激单元显示屏上，最终效果如图4所示；

步骤3，产生视觉刺激范式后，通过计算机控制范式的开始和结束显示，同时对脑电信号进行采集和分析，具体步骤如下：

步骤3-1，通过约定视觉刺激单元的开始和结束指令，在计算机发送开始指令控制视觉刺激单元开始呈现，使用者注视4个视觉刺激单元中的任意一个，记该视觉刺激单元为刺激目标，其他为非目标；

步骤3-2，步骤3-1控制视觉刺激单元开始呈现后，计算机开始采集脑电信号，同时对脑电信号进行0.5～100Hz的带通滤波和48～52Hz的陷波操作，然后按照脑电采集设备寄存器读取方式将脑电信号读取并保存在计算机中；

步骤3-3，等待4秒后，计算机发送结束指令控制视觉刺激单元结束呈现，同时结束脑电信号的采集，将刺激时间段内的脑电信号进行截取，将单轮实验信号分别与每个翻转频率所代表的正余弦参考信号进行典型相关分析，计算出每个翻转频率对应的最大相关系数值；

步骤4，将所有频率对应的最大相关系数值中最大值对应的视觉刺激单元判定为识别的目标，并反馈到计算机屏幕。返回步骤3进行下一轮任务。

采用本实施例方法对四名使用者(S1～S4)进行了实验，实验过程中同步记录并实时显示脑电信号，以便在实验中检查使用者状态，防止使用者产生眨眼体动等动作，保证脑电信号的数据质量，按照上述步骤1对使用者安放电极，按照上述步骤2将4个视觉刺激单元按上、左、下和右位置同时呈现于计算机屏幕上，其刺激频率分别为7.5Hz、8.57Hz、10Hz和12Hz，使用者头部距离计算机屏幕为60厘米；按照上述步骤3至步骤4识别使用者注视的目标，每名使用者对每个视觉刺激单元均进行30轮实验，两轮实验之间的间隔时间为2秒，单轮实验时长5秒,每10轮实验中间休息1～3分钟。对获得的实验结果进行统计分析，如图5所示为不同噪声强度下的平均识别正确率，实验平均识别正确率曲线表明，在选取的三个噪声标准差0、24和40中，平均识别正确率曲线呈倒“V”型，且噪声标准差为24和40时的平均正确率均高于噪声标准差为0时的正确率，表明局部噪声可以提高识别的正确率。图6所示为识别正确率对应的标准偏差图，标准偏差曲线呈“V”型，且噪声标准差为0时，识别正确率对应的标准偏差最大，表明局部噪声在一定程度上可以提高棋盘刺激单元识别的稳定性。用方差分析法分析三种噪声水平间的显著差异，图7所示为不同噪声标准差的识别精度的分析结果，计算出的p值为0.0231，小于显著性水平0.05，说明不同噪声标准差下的识别精度存在显著差异。

Claims (7)

1.基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，其特征在于，包括以下步骤：

步骤1，在使用者头部视觉枕区安放n个脑电信号测量电极，在前额位置安放地电极，在任一耳垂位置安放参考电极，测得的脑电信号经过采集设备进行放大、模数转换操作后发送到计算机，实现大脑皮层视觉区脑电信号的采集；

步骤2，将m个带有局部噪声、按照不同频率翻转的视觉刺激单元呈现在视觉刺激单元显示器的相应位置上，m大于等于2，视觉刺激单元为由现场可编程门阵列控制板控制显示的带有局部噪声的棋盘范式，使用者注视视觉刺激单元时，其头部距离计算机屏幕50～80cm；

步骤3，产生m个翻转频率不同的视觉刺激单元以后，计算机发送开始指令控制现场可编程门阵列控制板开始呈现视觉刺激单元，同时开始脑电信号采集，一定时间后，计算机发送结束指令控制停止视觉刺激单元的显示，结束脑电信号的采集并采用典型相关分析获得每个视觉刺激单元频率对应的最大典型相关系数；

步骤4，将所有频率对应的最大典型相关系数中最大值对应的视觉刺激单元判定为识别的目标，并反馈到计算机屏幕；返回步骤3进行下一轮任务。

2.根据权利要求1所述的基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，其特征在于：所述的步骤2的具体实现过程为：通过MATLAB生成棋盘范式颜色数据，同时生成视觉噪声显示的颜色数据，将两者进行叠加，进行数据截取后转化为十六进制数；然后将获得的范式数据保存在现场可编程门阵列存储单元以进行显示。

3.根据权利要求2所述的基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，其特征在于：所述的棋盘范式的生成过程为：

环形棋盘刺激单元图案的生成公式表示为：

式(1)中：r(x,y)和ang(x,y)——像素点(x,y)的半径和角度；

——收缩扩张过程中的相位值函数；

sign(v)——符号函数，即当v≥0时函数值为1，否则为-1；

W——圆环的宽度，反映径向空间频率；

A——运动幅度参数，即图案中每个圆环从最内侧运动到最外侧的径向距离；

R_inner和R_outer——内径和外径；

N_C——单个圆环包含的白色和黑色的格子数；

L₀——背景亮度，同时也是整个刺激的平均亮度；

C——黑白格子的亮度之差的一半，图案的对比度定义为c＝C/L₀；

环形棋盘刺激的运动翻转过程通过式(1)中的运动幅度A和相位函数

来控制，运动幅度A表示了环形棋盘中每个圆环从最内侧扩张到最外侧或者从最外侧收缩到最内侧的径向距离，反映了运动翻转的剧烈程度；相位值函数

反映了收缩-扩张的动态特征，采用正弦调制的方式，相位值函数

并不是无限可分的，而与刺激显示器的刷新频率相关，因此相位值函数表达式为：

式(2)中：f_c——运动调制频率，即一个收缩-扩张周期时长的倒数；

f_s——刺激显示器刷新频率；

m_t——刺激运动时刻对应的呈现帧数；

在视觉刺激单元进行呈现的过程中，需要对显示画面按照显示屏刷新率进行离散，记显示的视频信号的刷新率为f_r，对式(2)中的t进行离散得t(n)＝n/f_r,n＝1,2,3,...，其中n为刷新帧数；此时，相位值函数的表达式改写为：

则运动翻转频率f的计算公式如下：

4.根据权利要求2所述的基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，其特征在于：所述的步骤2中视觉噪声的生成公式为：

I＝I₀+NSD*randn (5)

其中，I为刺激亮度，I₀为亮度基准值，NSD为噪声标准差，代表了噪声强度，randn为产生标准正态分布随机噪声的函数；每个噪点大小为a×a像素。

5.根据权利要求2所述的基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，其特征在于：所述的步骤2中带局部噪声的棋盘范式生成过程为：将生成的与棋盘范式大小一致的噪声范式数据与棋盘范式数据进行叠加，将获得的数据转化为十六进制数保存。

6.根据权利要求2所述的基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，其特征在于：所述的步骤2最终范式的显示过程为：通过现场可编程门阵列编程语言Verilog HDL或者VHDL编写计算机控制的电路实现视频信号接口的控制，将上述生成的范式显示在视觉刺激单元显示屏上。

7.根据权利要求1所述的基于现场可编程门阵列局部噪声优化的视觉脑机接口方法，其特征在于：所述的步骤3的具体步骤如下：

步骤3-1，通过约定视觉刺激单元的开始和结束指令，在计算机发送开始指令控制视觉刺激单元开始呈现，使用者注视m个视觉刺激单元中的任意一个，记该视觉刺激单元为刺激目标，其他为非目标；

步骤3-2，步骤3-1控制视觉刺激单元开始呈现后，计算机开始采集脑电信号，同时对脑电信号进行带通滤波和陷波操作，然后按照脑电采集设备寄存器读取方式将脑电信号读取并保存在计算机中；

步骤3-3，等待一定时间后，计算机发送结束指令控制视觉刺激单元结束呈现，同时结束脑电信号的采集，将刺激时间段内的脑电信号进行截取，将单轮实验信号分别与每个翻转频率所代表的正余弦参考信号进行典型相关分析，计算出每个翻转频率对应的最大相关系数值。

Images