CN102722244A - 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法 - Google Patents

Abstract

基于运动翻转视觉感知的稳态诱发电位脑-机接口方法，先在使用者头部安放电极，测得的脑电信号送往计算机，然后将牛顿环运动刺激单元通过计算机屏幕同时呈现在使用者面前，在刺激呈现过程中，牛顿环运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动，形成牛顿环运动刺激单元后，使用者注视牛顿环运动刺激单元中的任意一个，计算机同步采集刺激开始与结束标志位，并通过测试电极采集脑电波信号，计算出相关系数最大的刺激目标，判定并通过屏幕指示出目标，再进行下一次目标识别任务，本发明具有低闪烁，低适应性的特点，不易引起使用者视觉疲劳及大脑响应信号的降低，适宜于长期使用的脑-机交互场合。

Description

基于运动翻转视觉感知的稳态诱发电位脑-机接口方法

技术领域

本发明涉及生物医学工程中神经工程及脑-机接口技术领域，具体涉及一种基于运动翻转视觉感知的稳态诱发电位脑-机接口方法。

背景技术

脑-机接口是人脑-计算机接口的简称，视觉稳态诱发电位信号作为一种重要的脑-机接口信息载体，与P300、事件相关同步/去同步、自发脑电信号等相比，具有抗干扰能力强、信息传输率高及所有使用者无需训练均可诱发较强信号的特点，因而是所有脑-机接口系统中最具实用意义的信号类型。但不足之处在于视觉稳态诱发电位依赖光闪烁产生的视觉刺激进行诱发，需要较强的光强度，容易造成使用者的不适；特别是在较低的刺激频率下，光闪烁周期较长，造成刺激单元在单周期内亮度变化明显，更容易引起使用者的视觉疲劳，造成使用者大脑响应信号的降低，不适宜于长期使用的脑-机交互场合。

运动感知是视觉系统的基本功能之一，是实现人与外部动态环境进行交互的重要保证。视觉运动诱发电位在研究人的运动视觉处理机制中有重要价值，在基础研究和临床诊断中都有着广泛应用。在脑-机交互领域，中国专利“视觉运动相关神经信号为载体的人机交互方法”（200910076207.6）率先采用视觉运动起始对应的瞬态N2电位实现基于运动感知的脑-机接口范式，但其采用的范式为瞬态范式，单轮实验中多刺激单元按时间先后顺序分别作单向运动，刺激呈现时间较长，刺激效率较低；目标判别时需要将多轮实验结果进行相干平均来提高信号信噪比，判别时间较长。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于运动翻转视觉感知的稳态诱发电位脑-机接口方法，结合了稳态诱发电位与运动感知脑-机接口的优点，在采用低闪烁、用户操作不易疲劳的运动刺激范式的同时，通过频域中统计评估的方法短时有效地实现目标识别。

为了达到上述目的，本发明采取的技术方案为：

基于运动翻转视觉感知的稳态诱发电位脑-机接口方法，包括以下步骤：

步骤1，在使用者头部视觉枕区安放测量电极，在其单侧耳垂位置处安放参考电极，在其头部前额处安放地电极，电极测得的脑电信号经放大和模数转换后送往计算机；

步骤2，将2个以上按不同翻转频率进行稳态振荡运动的牛顿环运动刺激单元通过计算机屏幕同时呈现在使用者面前，使用者头部距离计算机屏幕为50～100厘米，牛顿环运动刺激单元为明暗相间同心圆环，明亮区域和暗区域面积相等，在刺激呈现过程中，牛顿环运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动，收缩与扩张运动之间的交替变化频率为正弦调制频率的2倍，定义为牛顿环运动刺激单元的运动翻转频率，

牛顿环运动刺激单元的收缩和扩张运动的具体实现方式为：

牛顿环生成函数：

z=C*cos(x²+y²+phi)                    （1）

其中：C：常数

x,y：牛顿环内的像素点对应的x,y坐标

phi：牛顿环相位值

通过调制牛顿环相位值由0至π时，牛顿环进行收缩运动；调制牛顿环相位值由π至0时，牛顿环进行扩张运动，牛顿环运动刺激单元的收缩和扩张运动采用正弦调制牛顿环相位值的方式实现：

$\mathrm{phi}\left(t\right)=\frac{\mathrm{\π}}{2}+\frac{\mathrm{\π}}{2}*\sin (2*\mathrm{\π}*f*t-\frac{\mathrm{\π}}{2})---\left(2\right)$

相位调制计算公式（2）中参数的变换关系如下：

$f*t=\frac{f_r}{n}*\frac{w}{f_r}=\frac{w}{n}---\left(3\right)$

由以上公式（2）～（3）推导得知牛顿环相位调制的计算公式为

$\mathrm{phi}\left(w\right)=\frac{\mathrm{\π}}{2}+\frac{\mathrm{\π}}{2}*\sin (2*\mathrm{\π}*w/n-\frac{\mathrm{\π}}{2})---\left(4\right)$

其中：f：正弦调制频率值，为运动翻转频率值的

t：时间变量

f_r：屏幕刷新率

n：一个正弦调制周期所需的刷新帧数

w：帧数变量，范围为1~m*f_r的整数，对应于屏幕刷新率f_r下m秒的实验长度，

牛顿环运动刺激单元通过公式（4）实现收缩和扩张运动，并据此形成2个以上牛顿环运动刺激单元，

步骤3，形成2个以上牛顿环运动刺激单元后，按以下步骤进行：

步骤3-1，使用者注视2个以上牛顿环运动刺激单元中的任意一个，使用者注视的牛顿环运动刺激单元称为目标，而其他牛顿环运动刺激单元称为非目标；

步骤3-2，计算机同步采集刺激开始与结束标志位，并通过测试电极采集脑电波信号，使用典型相关分析方法计算出相关系数最大的刺激目标，具体包含以下操作：首先，对脑电信号作滤波和陷波处理；其次，将脑电信号按照刺激开始与结束标志位进行截取得到稳态运动诱发电位；再次，将单轮实验稳态运动诱发电位信号分别与每个翻转频率所代表的正余弦参考信号进行典型相关分析，计算出每个翻转频率对应的最大相关系数值；

步骤3-3，根据计算得到的每个翻转频率对应的最大相关系数值，将其中最大值对应的运动翻转频率所属的牛顿环运动刺激单元判定为使用者所注视的目标；

步骤4，计算机通过屏幕指示出使用者所注视的目标，实现对使用者的视觉反馈；

步骤5，计算机完成目标识别后，返回步骤3，重复步骤3和步骤4，进行下一次目标识别任务。

本发明针对目前基于光闪烁的稳态视觉诱发范式闪烁强，容易引起使用者视觉疲劳等适应性效应及瞬态运动N2电位范式单轮实验刺激呈现时间较长，刺激效率较低，目标判别时需要将多轮实验结果进行相干平均来提高信号信噪比，判别时间较长的问题，提出了基于运动翻转视觉感知的稳态诱发电位脑-机接口范式，为实现构建以高效和无损为最终目标，具有友好交互过程的脑-机接口技术开辟了新的思路，显示了如下优越性：

（1）相比于传统的脑-机交互方式，本发明结合了稳态诱发电位与运动感知脑-机接口的优点，采用低闪烁、用户操作不易疲劳的运动刺激范式，脑-机交互过程更加友好；

（2）通过频域中统计评估的方法进行稳态运动诱发电位的分析，能够短时有效地进行目标识别，保障了脑-机接口信息的高效传输；

（3）通过利用在两个相反方向作周期往复振荡的稳态运动方式，能够避免单一方向运动及单一闪烁方式引发的神经适应性及大脑响应信号的降低，更加适宜于长期使用的脑-机交互场合。

附图说明

图1为脑电电极位置图。

图2为翻转频率为14Hz的牛顿环运动刺激单元范式图，横坐标表示按正弦调制方式实现一次收缩和扩张运动所需的刷新帧数，纵坐标表示在屏幕每帧刷新下牛顿环相位值的变化。

图3为牛顿环运动刺激单元布置示意图。

图4为离线识别正确率图，横坐标代表不同使用者，纵坐标为不同使用者的离线识别正确率。

图5为稳态运动诱发电位的时间演化及其指数衰减拟合图，横坐标代表20轮实验的时间长度，纵坐标表示使用者大脑稳态运动诱发电位信号的幅值变化。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细说明。

基于运动翻转视觉感知的稳态诱发电位脑-机接口方法，包含以下步骤：

步骤1，参照图1，在使用者头部视觉枕区PO7、Oz、PO8位置安放测量电极，在其单侧耳垂位置A1或A2处安放参考电极，在其头部前额处Fpz位置安放地电极，电极测得的脑电信号经放大和模数转换后送往计算机；

步骤2，参照图2和图3，将4个按不同翻转频率进行稳态振荡运动的牛顿环运动刺激单元通过计算机屏幕同时呈现在使用者面前，使用者头部距离计算机屏幕为50～100厘米，4个牛顿环运动刺激单元按左、右、上、下位置呈现于计算机屏幕上，圆形刺激单元直径为300像素，其中心距屏幕中心距离为450像素，牛顿环运动刺激单元为黑白相间同心圆环，黑白区域面积相等，在刺激呈现过程中，牛顿环运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动，收缩与扩张运动之间的交替变化频率为正弦调制频率的2倍，定义为牛顿环运动刺激单元的运动翻转频率，

牛顿环运动刺激单元的收缩和扩张运动的具体实现方式为：

牛顿环生成函数：

z=C*cos(x²+y²+phi)                            （1）

其中：

C：常数

x,y：牛顿环内的像素点对应的x,y坐标

phi：牛顿环相位值

通过调制牛顿环相位值由0至π时，牛顿环进行收缩运动；调制牛顿环相位值由π至0时，牛顿环进行扩张运动，牛顿环运动刺激单元的收缩和扩张运动采用正弦调制牛顿环相位值的方式实现：

$\mathrm{phi}\left(t\right)=\frac{\mathrm{\π}}{2}+\frac{\mathrm{\π}}{2}*\sin (2*\mathrm{\π}*f*t-\frac{\mathrm{\π}}{2})---\left(2\right)$

相位调制计算公式（2）中参数的变换关系如下：

$f*t=\frac{f_r}{n}*\frac{w}{f_r}=\frac{w}{n}---\left(3\right)$

由以上公式（2）～（3）推导得知牛顿环相位调制的计算公式为

$\mathrm{phi}\left(w\right)=\frac{\mathrm{\π}}{2}+\frac{\mathrm{\π}}{2}*\sin (2*\mathrm{\π}*w/n-\frac{\mathrm{\π}}{2})---\left(4\right)$

其中：

f：正弦调制频率值，为运动翻转频率值的

t：时间变量

f_r：屏幕刷新率

n：一个正弦调制周期所需的刷新帧数

w：帧数变量，范围为1~m*f_r的整数，对应于屏幕刷新率f_r下m秒的实验长度，

牛顿环运动刺激单元通过公式（4）实现收缩和扩张运动，并据此形成4个牛顿环运动刺激单元，

由于可选翻转频率受到屏幕刷新率的限制，在实验用98Hz计算机屏幕刷新率的条件下，在7～15Hz高信噪比频段选用的翻转频率如表1所示，

表1：牛顿环运动刺激单元的翻转频率与刷新帧数的对应关系

步骤3，形成4个牛顿环运动刺激单元后，按以下步骤进行：

步骤3-1，使用者注视4个牛顿环运动刺激单元中的任意一个，使用者注视的牛顿环运动刺激单元称为目标，而其他牛顿环运动刺激单元称为非目标，单轮实验时间为4秒；

步骤3-2，计算机同步采集刺激开始与结束标志位，并通过测试电极采集脑电波信号，使用典型相关分析方法计算出相关系数最大的刺激目标，具体包含以下操作：首先，对脑电信号作48～52Hz陷波处理，消除50Hz市电干扰；对脑电信号作3～30Hz带通滤波处理，消除基线漂移及其他噪声干扰；其次，将脑电信号按照刺激开始与结束标志位进行截取得到稳态运动诱发电位；再次，将4秒单轮实验稳态运动诱发电位信号分别与4个翻转频率所代表的正余弦参考信号进行典型相关分析，记3个测量电极采集到的稳态运动诱发电位信号为x=(x₁x₂x₃)，包含翻转频率2f_i(i＝1,...,4)的正余弦参考信号为y_i=(cos2πf_it sin2πf_it cos4πf_it sin4πf_it cos8πf_it sin8πf_it)，通过计算

得出每个翻转频率2f_i(i＝1,...,4)对应的最大相关系数值ρ_i；

其中：W_x，

分别为信号x和y_i(i＝1，...，4)的线性投影向量；

步骤3-3，根据计算得到的所述4个最大相关系数值ρ_i(i＝1，...，4)，将其中最大值对应的运动翻转频率所属的牛顿环运动刺激单元判定为使用者所注视的目标；

步骤4，计算机通过屏幕指示出使用者所注视的目标，实现对使用者的视觉反馈；

步骤5，计算机完成目标识别后，返回步骤3，重复步骤3和步骤4，进行下一次目标识别任务。

下面再结合具体实施例对本发明进行说明。

采用本技术对六名使用者(S1～S6)进行了实验，实验过程中同步记录并实时显示脑电信号，以便在实验中检查使用者状态，防止使用者产生眨眼、体动等动作，保证脑电信号的数据质量，按照上述步骤1对使用者安放电极，按照上述步骤2将4个牛顿环运动刺激单元按左、右、上、下位置同时呈现于计算机屏幕上，其运动翻转频率分别为8.1Hz，9.8Hz，12.25Hz，14Hz，使用者头部距离计算机屏幕为70厘米；按照上述步骤3至步骤5识别使用者注视的目标，每名使用者对每个牛顿环运动刺激单元均进行20轮实验，两轮实验之间的间隔时间为1秒，单轮实验时长4秒条件下的识别正确率参照图4，平均识别正确率为86％。系统测试结果表明最优信息传输率条件下的目标平均识别时间约为3.5秒，平均信息传输率约为16比特/分钟。每名使用者每个牛顿环运动刺激单元20轮实验条件下的使用者大脑稳态运动诱发电位信号的时间演化及其指数衰减拟合参照图5，20轮实验的总时长为100秒，从图中可以看出大部分情况下使用者的大脑响应信号在20轮实验过程中没有明显的下降趋势，指数衰减曲线多为直线形式，表明该技术能够较好地避免单一方向运动及单一闪烁方式引发的神经适应性及大脑响应信号的降低，更加适宜于长期使用的脑-机交互场合。

Claims (1)

1.基于运动翻转视觉感知的稳态诱发电位脑-机接口方法，其特征在于，含有以下步骤：

步骤1，在使用者头部视觉枕区安放测量电极，在其单侧耳垂位置处安放参考电极，在其头部前额处安放地电极，电极测得的脑电信号经放大和模数转换后送往计算机；

步骤2，将2个以上按不同翻转频率进行稳态振荡运动的牛顿环运动刺激单元通过计算机屏幕同时呈现在使用者面前，使用者头部距离计算机屏幕为50～100厘米，牛顿环运动刺激单元为明暗相间同心圆环，明亮区域和暗区域面积相等，在刺激呈现过程中，牛顿环运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动，收缩与扩张运动之间的交替变化频率为正弦调制频率的2倍，定义为牛顿环运动刺激单元的运动翻转频率，

牛顿环运动刺激单元的收缩和扩张运动的具体实现方式为：

牛顿环生成函数：

z=C*cos(x²+y²+phi)                        （1）

其中：C：常数

x,y：牛顿环内的像素点对应的x,y坐标

phi：牛顿环相位值

通过调制牛顿环相位值由0至π时，牛顿环进行收缩运动；调制牛顿环相位值由π至0时，牛顿环进行扩张运动，牛顿环运动刺激单元的收缩和扩张运动采用正弦调制牛顿环相位值的方式实现：

$\mathrm{phi}\left(t\right)=\frac{\mathrm{\π}}{2}+\frac{\mathrm{\π}}{2}*\sin (2*\mathrm{\π}*f*t-\frac{\mathrm{\π}}{2})---\left(2\right)$

相位调制计算公式（2）中参数的变换关系如下：

$f*t=\frac{f_r}{n}*\frac{w}{f_r}=\frac{w}{n}---\left(3\right)$

由以上公式（2）～（3）推导得知牛顿环相位调制的计算公式为

$\mathrm{phi}\left(w\right)=\frac{\mathrm{\π}}{2}+\frac{\mathrm{\π}}{2}*\sin (2*\mathrm{\π}*w/n-\frac{\mathrm{\π}}{2})---\left(4\right)$

其中：f：正弦调制频率值，为运动翻转频率值的

t：时间变量

f_r：屏幕刷新率

n：一个正弦调制周期所需的刷新帧数

w：帧数变量，范围为1~m*f_r的整数，对应于屏幕刷新率f_r下m秒的实验长度，

牛顿环运动刺激单元通过公式（4）实现收缩和扩张运动，并据此形成2个以上牛顿环运动刺激单元，

步骤3，形成2个以上牛顿环运动刺激单元后，按以下步骤进行：

步骤3-1，使用者注视2个以上牛顿环运动刺激单元中的任意一个，使用者注视的牛顿环运动刺激单元称为目标，而其他牛顿环运动刺激单元称为非目标；

步骤3-2，计算机同步采集刺激开始与结束标志位，并通过测试电极采集脑电波信号，使用典型相关分析方法计算出相关系数最大的刺激目标，具体包含以下操作：首先，对脑电信号作滤波和陷波处理；其次，将脑电信号按照刺激开始与结束标志位进行截取得到稳态运动诱发电位；再次，将单轮实验稳态运动诱发电位信号分别与每个翻转频率所代表的正余弦参考信号进行典型相关分析，计算出每个翻转频率对应的最大相关系数值；

步骤3-3，根据计算得到的每个翻转频率对应的最大相关系数值，将其中最大值对应的运动翻转频率所属的牛顿环运动刺激单元判定为使用者所注视的目标；

步骤4，计算机通过屏幕指示出使用者所注视的目标，实现对使用者的视觉反馈；

步骤5，计算机完成目标识别后，返回步骤3，重复步骤3和步骤4，进行下一次目标识别任务。

Images