CN111580645B - 一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法 - Google Patents

Abstract

本发明公开了一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法，包括：根据大脑对视觉刺激响应的空间特异性原理对刺激进行编码，设计刺激范式；根据个人意图注视某一目标点，带有空间方位信息的视觉标定刺激通过视觉通路输入，脑电采集系统实时采集头皮脑电信号，将信号经放大、滤波后输入计算机；计算机对脑电信号进行降采样及有效特征数据段截取，并借助空间滤波提取VEPs特征，基于VEPs特征识别算法解码出“视觉标定刺激”与“视觉中心位置”间的方位信息，并计算“视觉标定刺激位置调整参数”反馈调节视觉标定刺激呈现位置；当连续多次计算视线中心位置一致时，停止调整视觉标定刺激位置，并输出视线中心位置坐标。

Description

一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法

技术领域

本发明涉及视线跟踪领域，尤其涉及一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法。

背景技术

视线追踪技术是利用机械、电子、光学、计算机算法等各种检测手段获取受试者当前视觉注意方向的技术，它广泛应用于人机交互、心理研究、虚拟现实和军事等多个领域。目前，精度较高、应用较多的视线追踪技术为瞳孔-角膜反射技术。瞳孔-角膜反射技术通过近红外光源照射眼睛使其产生明显的反射现象，后通过摄像机记录反射光构成的图像，利用亮瞳孔和暗瞳孔的原理，提取出眼球图像内的瞳孔，用角膜反射法校正摄像机与眼球的相对位置，以角膜反射点作为摄像机和眼球的相对位置的基点，瞳孔中心位置坐标表示视线位置。在实际应用中，光源及摄像机的安装要求显示器具有较高的装配深度。由于近红外光源对眼部的直接照射，为确保安全性，使用者的活动范围和设备的使用时间常常受到限制。此外，视线追踪的精度受使用者的头部影响较大。

脑-机接口(Brain-Computer Interface,BCI)是一个将中枢神经系统活动直接转化为人工输出的系统，它能够替代、修复、增强、补充或者改善中枢神经系统的正常输出，从而改善中枢神经系统与内外环境之间的交互作用。BCI通过采集和分析不同刺激下受试者的脑电信号，再使用一定的工程技术手段建立起人脑与计算机或其它电子设备之间的交流和控制通道。目前，BCI已在医学临床、游戏开发、军事、交通、社会科学及认知科学等领域显露出其应用前景。在各种类型的BCI中，基于VEPs的BCI系统是发展较为成熟的一种类型。VEPs是使用者眼部受到外部光线刺激，在其大脑初级视觉皮层区域检测到的电信号。

根据视网膜映射原理可知，VEPs对不同空间位置处的视觉刺激表现出空间特异性。如图1所示，视觉系统由视神经、视交叉神经、视束、外侧膝状体、视放射、初级视觉皮层构成。光通过左侧或右侧角膜刺激视网膜上的感光杆、视锥细胞、并通过视神经及视交叉神经传导至丘脑处的外侧膝状核，最终视觉信号传递至初级视觉皮层。由于视交叉神经的对侧性质，左侧视野的视觉信息将被传导至视觉皮层的右侧枕叶。视觉纤维在枕叶皮层投射时上半视野投射到距状裂下唇，下半视野投射到距状裂上唇。更具体地，视觉刺激所在视野与相应视觉信号传递至的视觉皮层区域对应关系如图2所示。

发明内容

本发明提供了一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法，本发明基于视网膜映射原理利用VEPs的空间特异性结合特征解码算法实现视线追踪和定位，与传统的视线追踪技术相比，该技术具有抗头部运动干扰性强、安全性好等特点。进一步完善系统的构成，有望实现一种有效的实时视线追踪技术，详见下文描述：

一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法，所述方法包括以下步骤：

根据大脑对视觉刺激响应的空间特异性原理对刺激进行编码，设计刺激范式；

根据个人意图注视某一目标点，带有空间方位信息的视觉标定刺激通过视觉通路输入，脑电采集系统实时采集头皮脑电信号，将信号经放大、滤波后输入计算机；

计算机对脑电信号进行降采样及有效特征数据段截取，并借助空间滤波算法提取VEPs特征，基于VEPs特征识别算法解码出“视觉标定刺激”与“视觉中心位置”间的方位信息，并计算“视觉标定刺激位置调整参数”反馈调节视觉标定刺激呈现位置；

当连续多次计算视线中心位置一致时，停止调整视觉标定刺激位置，并输出视线中心位置坐标。

进一步地，所述根据大脑对视觉刺激响应的空间特异性原理对刺激进行编码，设计刺激范式具体为：

(1)确定“视觉标定刺激”图形的大小及形状，以及该刺激下最大可分面积；

(2)依据最大可分面积及屏幕大小将屏幕分为n个分区；

(3)各个分区以一固定位置为原点建立“XoY分区坐标系”，分区内“视觉标定刺激”初始位置位于分区中心O’₀(x₀,y₀)处，同时设“视觉中心位置”位于所在分区的M(x,y)处，x₀,y₀为“视觉标定刺激”的初始坐标，M(x,y)为“视觉中心位置”的实际所在位置；

(4)在分区内建立视觉标定刺激空间映射模型。

其中，所述在分区内建立视觉标定刺激空间映射模型具体为：

分区内以O’₀(x₀,y₀)为原点，选择M个基方向，训练阶段，采集用户注视各个基方向下不同位置时的VEPs，并采用空间特征提取算法分别提取同一基方向下VEPs的共有特征并构建方位模板T_i(i＝1,2,3,...,M)。

其中，所述基于VEPs特征识别算法解码出“视觉标定刺激”与“视觉中心位置”间的方位信息具体为：

“视觉标定刺激”分时闪烁于各分区中央，仅在t₁～t₂时间段内检测到具有较强空间位置特征的VEPs，解码VEPs特征初步判定“视觉中心位置”的位置，记为

在确定“视觉中心位置”M所在分区及初步判定M在

处后，反复调整“视觉标定刺激”的位置，并解码VEP响应空间特征，直至获取满足精度要求的“视觉中心位置”坐标。

进一步地，所述反复调整“视觉标定刺激”的位置具体为：

“视觉标定刺激”的位置调整参数Δx，Δy是关于当前“视觉标定刺激”位置(x_l,y_l)和该“视觉标定刺激”下M位置计算结果

的函数；

当M’_l+1M’_l、M’_l-1M’_l均小于等于δ时，判定M位于以ΔM’_l+1M’_lM’_l-1重心为圆点，δ为半径的圆内。

本发明提供的技术方案的有益效果是：

1、本发明根据视觉诱发电位的空间特异性对视觉刺激进行空间编码，并借助VEPs特征提取算法对刺激进行解码，为视线追踪提供了一种全新的方式；

2、刺激空间编码时，视觉刺激出现在周围视野而不是中央视野，从而避免长时间使用时的视觉疲劳，且为中央视野保留空闲状态更有利于该方法的实际应用，同时相比于常用的瞳孔-角膜反射技术中红外光照射眼部，该发明具有更好的安全性；

3、通过离线实验验证，微弱视觉刺激呈现在周围视野不同视角不同方位处诱发出的VEPs具有一定可分性，证明利用该方法有望实现高舒适度的交互体验；

4、本发明可以用于认知行为学研究、心理学研究、人机交互等领域，进一步研究可以得到完整的视线追踪系统，有望获得可观的社会效益和经济效益。

附图说明

图1为视觉传输通路示意图；

图2为视野与初级视觉皮层空间映射关系图；

图3为视线追踪系统结构示意图；

图4为划分分区及A分区刺激坐标系示意图；

图5为判定分区及初步位置的刺激序列示意图；

图6为A分区内高精度视线追踪刺激序列示意图；

图7为分区内高精度视线追踪流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

视觉诱发电位(Visual Evoked Potentials,VEPs)是枕区大脑皮质对视觉刺激产生的电反应，反映了视网膜在接受视觉刺激后，经视觉传输通路传导至枕叶皮层而引起的电位变化。根据视网膜映射原理，当刺激呈现于视野中的位置不同时，诱发初级视觉皮层相应特定区域的电活动，头皮电极检测到VEPs呈现空间分布特异性。本方法根据大脑对视觉刺激响应的空间特异性原理对刺激进行编码，并基于模板匹配方法解码VEPs空间特征，设计了一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法。借助该方法，可实现对用户视线的实时追踪。

其技术流程是：设计刺激范式、搭建脑电信号采集装置、采集操作者脑电信号、对脑电信号进行预处理，提取VEPs特征、解码VEPs空间特征，确定“视觉中心”所在位置。

图3为本发明的结构示意图。该设计包括：液晶显示刺激界面、脑电采集、脑电预处理、VEPs特征提取、VEPs特征识别、视线中心位置的判定等部分。使用时，操作者坐在距离刺激界面固定距离的椅子上，操作者根据个人意图注视某一目标点，带有空间方位信息的视觉标定刺激通过视觉通路输入操作者，脑电采集系统实时采集操作者头皮脑电信号，将信号经放大、滤波后输入计算机，计算机对脑电信号进行降采样及有效特征数据段截取等预处理，并借助空间滤波算法提取VEPs特征，后基于VEPs特征识别算法解码出“视觉标定刺激”与“视觉中心位置”间的方位信息，并计算“视觉标定刺激位置调整参数”反馈调节视觉标定刺激呈现位置，当连续多次计算视线中心位置一致时，停止调整视觉标定刺激位置，并输出视线中心位置坐标。

一、周围视野视觉标定刺激空间模型建立

在进行视线追踪过程前需建立周围视野视觉刺激空间模型。该部分主要包括以下几个步骤：

(1)确定“视觉标定刺激”图形的大小及形状等参数，以及该刺激下最大可分面积S₀＝2R_x×2R_y，R_x为该刺激下最大可分横向半径，R_y为该刺激下最大可分纵向半径。

(2)依据S₀及屏幕大小S＝(l_x×l_y)将屏幕分为n个分区。为确保屏幕任意位置均可实现视线追踪，要求n∈N，其中集合N＝{n|S≤nS₀}。

(3)各个分区以一固定位置为原点建立“XoY分区坐标系”，分区内“视觉标定刺激”初始位置位于分区中心O’₀(x₀,y₀)处，同时设“视觉中心位置”位于所在分区的M(x,y)处，x₀,y₀为“视觉标定刺激”的初始坐标，M(x,y)为“视觉中心位置”的实际所在位置。

(4)在分区内建立视觉标定刺激空间映射模型。

图4表示的为以半径为δ的白色圆点为“视觉标定刺激”图形时，划分分区及A分区刺激坐标系示意图。依据该“视觉标定刺激”下最大可分面积为2R_x×2R_y及屏幕大小4R_x×4R_y将屏幕分为A、B、C、D 4个分区。以A分区一点为原点，建立“XoY分区坐标系”。图中所示A分区“视觉标定刺激”位于A分区中心点O’₀(x₀,y₀)处，“视觉中心位置”位于M(x,y)处。分区内以O’₀(x₀,y₀)为原点，选择M个基方向，如上、下、左、右四个方向。训练阶段，采集用户注视各个基方向下不同位置时的VEPs，并采用空间特征提取算法分别提取同一基方向下VEPs的共有特征并构建方位模板T_i(i＝1,2,3,...,M)。

本发明中，为了降低刺激对于使用者注视过程的影响，可将单一“视觉标定刺激”图形转变为“多个散点”，每次刺激各个散点位置在一定范围内随机改变。此外，为了提升使用舒适度，可根据用户调节“视觉标定刺激”的亮度、形状、大小和颜色等物理属性。

二、视线追踪实现过程

建立周围视野视觉刺激的空间模型后，具体实现高精度视线追踪的过程可分为以下两个步骤：

1)确定“视觉中心位置”所在分区及初步判定“视觉标定刺激”的坐标位置；

为确定“视觉中心位置”所在分区及初步判定“视觉标定刺激”的坐标位置，“视觉标定刺激”分时闪烁于各分区中央(即同一时刻屏幕中仅包含一处“视觉标定刺激”)，如图5所示。图5中“视觉中心位置”位于A分区，则仅在t₁～t₂时间段内检测到具有较强空间位置特征的VEPs，解码VEPs特征初步判定“视觉中心位置”的位置，记为

2)反复调整“视觉标定刺激”位置，获得符合精度要求的“视觉中心位置”坐标。

图5为以A分区内高精度视线追踪为例的刺激序列示意图。图6中“十字”、“三角”仅用于标记示意当前刺激下“视觉中心位置”的计算值及真值，实际刺激序列显示图像中并不存在。图7为分区内高精度视线追踪流程图。

结合图6、图7说明，为达到精度为δ的视线追踪，在确定“视觉中心位置”M所在分区及初步判定M在

处后，反复调整“视觉标定刺激”的位置，并解码VEP响应空间特征，直至获取满足精度要求的“视觉中心位置”坐标。“视觉标定刺激”的位置调整参数Δx，Δy是关于当前“视觉标定刺激”位置(x_l,y_l)和该“视觉标定刺激”下M位置计算结果

的函数。最终当M’_l+1M’_l、M’_l-1M’_l均小于等于δ时，可判定M位于以ΔM’_l+1M’_lM’_l-1重心为圆点，δ为半径的圆内。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法，其特征在于，所述方法包括以下步骤：

根据大脑对视觉刺激响应的空间特异性原理对刺激进行编码，设计刺激范式；

根据个人意图注视某一目标点，带有空间方位信息的视觉标定刺激通过视觉通路输入，脑电采集系统实时采集头皮脑电信号，将信号经放大、滤波后输入计算机；

计算机对脑电信号进行降采样及有效特征数据段截取，并借助空间滤波算法提取VEPs特征，基于VEPs特征识别算法解码出“视觉标定刺激”与“视觉中心位置”间的方位信息，并计算“视觉标定刺激位置调整参数”反馈调节视觉标定刺激呈现位置；

当连续多次计算视线中心位置一致时，停止调整视觉标定刺激位置，并输出视线中心位置坐标；

其中，所述根据大脑对视觉刺激响应的空间特异性原理对刺激进行编码，设计刺激范式具体为：

(1)确定“视觉标定刺激”图形的大小及形状，以及该刺激下最大可分面积；

(2)依据最大可分面积及屏幕大小将屏幕分为n个分区；

(3)各个分区以一固定位置为原点建立“XoY分区坐标系”，分区内“视觉标定刺激”初始位置位于分区中心O'₀(x₀,y₀)处，同时设“视觉中心位置”位于所在分区的M(x,y)处，O'₀(x₀,y₀)为“视觉标定刺激”的初始坐标，M(x,y)为“视觉中心位置”的实际所在位置；

(4)在分区内建立视觉标定刺激空间映射模型。

2.根据权利要求1所述的一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法，其特征在于，所述在分区内建立视觉标定刺激空间映射模型具体为：

分区内以O'₀(x₀,y₀)为原点，选择M个基方向，训练阶段，采集用户注视各个基方向下不同位置时的VEPs，并采用空间特征提取算法分别提取同一基方向下VEPs的共有特征并构建方位模板T_i,i＝1,2,3,...,M。

3.根据权利要求1所述的一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法，其特征在于，所述基于VEPs特征识别算法解码出“视觉标定刺激”与“视觉中心位置”间的方位信息具体为：

“视觉标定刺激”分时闪烁于各分区中央，仅在t₁～t₂时间段内检测到具有较强空间位置特征的VEPs，解码VEPs特征初步判定“视觉中心位置”的位置，记为

在确定“视觉中心位置”M所在分区及初步判定M在

处后，反复调整“视觉标定刺激”的位置，并解码VEP响应空间特征，直至获取满足精度要求的“视觉中心位置”坐标。

4.根据权利要求3所述的一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法，其特征在于，所述反复调整“视觉标定刺激”的位置具体为：

“视觉标定刺激”的位置调整参数△x，△y是关于当前“视觉标定刺激”位置(x_l,y_l)和该“视觉标定刺激”下M位置计算结果

的函数；

当M'_l+1M'_l、M'_l-1M'_l均小于等于δ时，判定M位于以△M'_l+1M'_lM'_l-1重心为圆点，δ为半径的圆内。

Images