CN107714331A - 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法 - Google Patents

Abstract

基于视觉诱发脑机接口的智能轮椅控制及路径优化方法，使用者坐在轮椅上，先对使用者呈现牛顿环作为运动刺激单元，采集使用者的脑电信号并进行处理后，计算机识别出当前注视的刺激目标，通过计算机屏幕指示出所注视的目标，并将识别出的目标结果发送至智能轮椅电机控制器来控制电机的运动，实现轮椅的行进；轮椅采取先原地旋转再直线前进的方式，当轮椅直行或无连续同向转弯时，轮椅的旋转角度不作调整，当使用者控制轮椅进行连续同向转弯操作后，轮椅预判为使用者此时需要进一步实施同向转弯，利用曲线拟合方法补偿轮椅旋转角度并同时缩短行进距离；本发明减少了目标刺激的数目，并针对轮椅在连续同向转弯的行进过程进行了优化。

Description

基于视觉诱发脑机接口的智能轮椅控制及路径优化方法

技术领域

本发明涉及视觉诱发脑机接口技术领域，特别涉及基于视觉诱发脑机接口的智能轮椅控制及路径优化方法。

背景技术

全世界有数百万的残疾人由于运动功能障碍而丧失了行动能力，电动轮椅成为他们日常生活中不可或缺的一部分。但是仍有一部分丧失行动能力的人，他们无法通过传统的接口(如轮椅的控制杆等)对电动轮椅进行操控。

脑机接口是人脑-计算机接口的简称，是基于脑电信号实现大脑与电子设备之间直接交流通讯和控制的技术。由于不依赖常规的大脑输出通路，脑机接口为人的大脑开辟了全新的与外界进行信息交流和控制的途径。常用的脑机接口信号类型包括P300、事件相关同步/去同步、自发脑电信号等，其中稳态视觉诱发电位是通过固定频率的视觉信息刺激视网膜感光细胞及神经节细胞，由此产生动作电位发放，并经视神经传导至视觉脑区形成的视觉诱发电位信号。当视觉刺激频率高于6Hz时，瞬态视觉诱发电位的交叠形成类正弦振荡响应，即稳态视觉诱发电位，能够通过提取头部枕区的脑电信号中包含的稳态视觉诱发电位来辨识外界特定的刺激频率以实现对大脑意图的解读。

稳态视觉诱发电位信号的产生和采集比较简便，信号的频谱特征峰值明显，具有抗干扰能力强、信息传输率高及所有使用者无需训练均可诱发较强信号的优点，一般可以通过光刺激、图形翻转或稳态振荡运动(如牛顿环)刺激诱发，因而是所有脑机接口系统中最具实用意义的信号类型。基于稳态视觉诱发电位的脑机接口技术已在智能轮椅控制中得到了应用。

现有基于稳态视觉诱发电位的脑控智能轮椅，一般采用多刺激目标实现多控制指令，每个控制指令执行一个固定操作。虽然这种方式为操控轮椅提供了便利性，但一方面由于多目标刺激的存在造成辨识正确率下降，另一方面没有借助对使用者历史操作记录的学习，即没有对使用者的操作意图进行预判，因而降低了脑控智能轮椅的执行效率。在使用者实际控制中，当轮椅在直线路径运动时，可以直接通过控制电机的驱动力来控制行进的方向，但当轮椅在连续同向转弯行进(如需要掉头)时，直接进行转弯则很难实现预期转向。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于视觉诱发脑机接口的智能轮椅控制及路径优化方法，结合了基于视觉诱发电位的脑机接口系统易于实现的优点，减少了目标刺激的数目，并针对轮椅在连续同向转弯的行进过程进行了优化。

为了达到上述目的，本发明采取的技术方案为：

基于视觉诱发脑机接口的智能轮椅控制及路径优化方法，包含以下步骤：

步骤1，使用者坐在轮椅上，轮椅和计算机屏幕的距离为60～100厘米，按照国际10-20系统电极放置标准，在使用者头部X的枕区n个位置分别安放测量电极A1、A2、…、An，在使用者头部X的单侧耳垂位置安放参考电极D，在使用者头部X的前额Fpz位置安放地电极E，给电极打入导电膏，将地电极接地，确保电极阻抗保持低于5千欧姆；测量电极A1、A2、…、An的输出端接入采集器F的输入端F1、F2、…、Fn，参考电极D的输出端接入采集器F的输入端F(n+1)，地电极E的输出端接入采集器F的输入端F(n+2)，采集器F的输出端与脑电信号放大器G的输入端相连，脑电信号放大器G的输出端与计算机H的输入端相连，计算机H的输出端与计算机屏幕I和设备控制器J的输入端相连，设备控制器J的输出端与轮椅电机的控制端相连；

步骤2，在计算机屏幕上显示2个以上牛顿环作为运动刺激单元，牛顿环运动刺激单元为明暗相间同心圆环，亮区和暗区面积相等；在刺激呈现过程中，牛顿环运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动，分别位于屏幕的不同位置，并且这些牛顿环以不同的刺激频率进行振荡，每个牛顿环的振荡频率高于6Hz，每个振荡频率对应轮椅的一个动作；

步骤3，形成2个以上运动刺激单元后，按以下具体步骤进行：

步骤3-1，使用者注视步骤2中的牛顿环运动刺激单元中的一个，使用者注视的运动刺激单元称为目标，而其他运动刺激单元称为非目标；

步骤3-2，计算机同步采集刺激开始与结束标志位，并通过测量电极采集脑电信号；

步骤3-3，对脑电信号作滤波和陷波处理；

步骤3-4，截取刺激开始与结束标志位的脑电信号得到稳态视觉诱发电位；

步骤3-5，将所得稳态视觉诱发电位信号分别与每个刺激频率所代表的正余弦参考信号进行典型相关分析，计算出每个刺激频率对应的最大相关系数值，将其中最大值对应的刺激频率所属的牛顿环运动刺激单元判定为使用者注视的目标；计算机屏幕将显示状态反馈给使用者，并将目标结果发送至轮椅实现轮椅的行进；

步骤4，轮椅采取先原地旋转再直线前进的方式，轮椅电机采用双轮差速驱动，通过控制两驱动后轮的驱动速度，控制轮椅的行进方式；按以下具体步骤进行：

步骤4-1，设轮椅左后驱动轮速度为v_l，右后驱动轮速度为v_r，则：

(1)当v_l＝v_r＞0时，轮椅沿直线前进距离S，S为1～3米；

(2)当v_l＝v_r＜0时，轮椅沿直线后退距离S；

(3)当先v_l＝-v_r＜0后v_l＝v_r＞0时，轮椅先原地向左旋转角度θ，θ为15～45°，后直线前进距离S，完成轮椅向左前方转弯；

(4)当先v_l＝-v_r＞0后v_l＝v_r＞0时，轮椅先原地向右旋转角度θ，后直线前进距离S，完成轮椅向右前方转弯；

步骤4-2，轮椅从当前位置到目标位置的行进是分步进行的，通过调整每次行进的旋转角度来寻找最佳行进路径；轮椅的行进路径分为两类：

(1)当使用者控制轮椅直行或无2个以上连续同向转弯操作时，单次直线前进距离为S，单次直线后退距离为S，单次轮椅旋转角度为θ；

(2)当使用者控制轮椅进行2个以上连续同向转弯操作后，计算机认定使用者此时需要进一步实施同向转弯，这时采用曲线拟合方法补偿轮椅行进的旋转角度，实现路径优化；具体方式如下：

当使用者控制轮椅进行2个以上连续同向转弯操作后，使用者控制轮椅到达某一位置点，根据之前使用者操作历史中记录的m个连续同向转弯操作的直线行进距离和经过角度，确定包括当前位置点的m+1个位置点的物理坐标，进行样条曲线拟合，找出该拟合曲线在当前位置点的切线；由于到当前位置点时，轮椅的方向为当前位置点与上一位置点连线的延长线，利用基于最小二乘的多项式拟合方法找到切线和延长线，将二者的夹角α作为调整角度，补偿到轮椅正在转向方向的角度中，此时轮椅的旋转角度为θ+α，同时缩短轮椅的直线行进距离至S/2，完成轮椅在大曲率转弯时的路径优化；

步骤5，轮椅经过路径判别后将行进结果反馈给设备控制器，使用者根据轮椅的设备状态反馈和计算机屏幕的显示状态反馈控制轮椅的行进；轮椅完成一次行进后，返回步骤3，重复步骤3和步骤4，进行下一次轮椅行进任务。

本发明与现有技术相比，显示了如下优越性：

(1)本发明结合了基于稳态视觉诱发电位的脑机接口系统易于实现的优点，设备装置操作简单，使用牛顿环作为运动刺激范式，使用者操作不易疲劳，脑机交互过程更加友好；

(2)本发明需要的运动刺激单元数目少，根据使用者操作的轮椅转弯情况自动调整行进路径：当轮椅直行或无连续同向转弯时，轮椅的旋转角度不作调整；当使用者控制轮椅进行连续同向转弯操作后，智能轮椅预判为使用者此时需要进一步实施同向转弯，利用基于最小二乘的多项式拟合方法补偿轮椅的旋转角度，对路径进行优化，降低了使用者对轮椅的操作次数。

附图说明

图1是本发明硬件连接示意图。

图2是本发明实施例中诱发稳态视觉诱发电位的牛顿环运动刺激单元及其在计算机屏幕上的排布示意图。

图3是本发明的方法流程图。

图4是本发明的轮椅路径优化流程图。

图5是本发明的轮椅在大曲率情况下的路径优化示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

基于视觉诱发脑机接口的智能轮椅控制及路径优化方法，包含以下步骤：

步骤1，参照图1，使用者坐在轮椅上，轮椅和计算机屏幕的距离为80厘米；按照国际10-20系统电极放置标准，在使用者头部X的枕区O1、Oz、O2位置分别安放测量电极A1、A2、A3，在使用者头部X的单侧耳垂位置安放参考电极D，在使用者头部X的前额Fpz位置安放地电极E，给电极打入导电膏，将地电极接地，确保电极阻抗保持低于5千欧姆；测量电极A1、A2、A3的输出端接入采集器F的输入端F1、F2、F3，参考电极D的输出端接入采集器F的输入端F4，地电极E的输出端接入采集器F的输入端F5，采集器F的输出端与脑电信号放大器G的输入端相连，脑电信号放大器G的输出端与计算机H的输入端相连，计算机H的输出端与计算机屏幕I和设备控制器J的输入端相连，设备控制器J的输出端与轮椅电机的控制端相连；

步骤2，参照图2，在计算机屏幕上显示4个牛顿环作为运动刺激单元，牛顿环运动刺激单元为明暗相间同心圆环，亮区和暗区面积相等；在刺激呈现过程中，牛顿环运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动，分别位于屏幕的上、下、左、右四个位置，并且这四个牛顿环以不同的刺激频率进行振荡，每个牛顿环的振荡频率高于6Hz，每个振荡频率对应轮椅的一个动作；

步骤3，参照图3，形成4个运动刺激单元后，按以下具体步骤进行：

步骤3-1，使用者注视步骤2中的牛顿环运动刺激单元中的一个，使用者注视的运动刺激单元称为目标，而其他运动刺激单元称为非目标；

步骤3-2，计算机同步采集刺激开始与结束标志位，并通过测量电极采集脑电信号；

步骤3-3，对脑电信号作滤波和陷波处理；

步骤3-4，截取刺激开始与结束标志位的脑电信号得到稳态视觉诱发电位；

步骤3-5，将所得稳态视觉诱发电位信号分别与每个刺激频率所代表的正余弦参考信号进行典型相关分析，计算出每个刺激频率对应的最大相关系数值，将其中最大值对应的刺激频率所属的牛顿环运动刺激单元判定为使用者注视的目标；计算机屏幕将显示状态反馈给使用者，并将目标结果发送至轮椅实现轮椅的行进；

步骤4，将步骤3识别出的目标结果发送至轮椅电机控制器来控制电机的运动，实现轮椅的行进；相对于传统轮椅控制中转弯和前进动作相互耦合的方式，本方法轮椅采取了先原地旋转再直线前进的方式，提高了控制精度；轮椅电机采用双轮差速驱动，通过控制两驱动后轮的驱动速度，可以控制轮椅的行进方式；按以下具体步骤进行：

步骤4-1，设轮椅左后驱动轮速度为v_l，右后驱动轮速度为v_r，则：

(1)当v_l＝v_r＞0时，轮椅沿直线前进距离S为2米；

(2)当v_l＝v_r＜0时，轮椅沿直线后退距离S为2米；

(3)当先v_l＝-v_r＜0后v_l＝v_r＞0时，轮椅先原地向左旋转角度θ为30°，后直线前进距离S为2米，完成轮椅向左前方转弯；

(4)当先v_l＝-v_r＞0后v_l＝v_r＞0时，轮椅先原地向右旋转角度θ为30°，后直线前进距离S为2米，完成轮椅向右前方转弯；

步骤4-2，参照图4，轮椅从当前位置到目标位置的行进是分步进行的，通过调整每次行进的旋转角度来寻找最佳行进路径；轮椅的行进路径可以分为两类：

(1)当使用者控制轮椅直行或无3个连续同向转弯操作时，单次直线前进距离S为2米，单次直线后退距离S为2米，单次轮椅旋转角度θ为30°；

(2)当使用者控制轮椅进行第3个连续同向转弯操作时，计算机认定使用者此时需要进一步实施同向转弯，这时采用曲线拟合方法补偿轮椅行进的旋转角度，实现路径优化；具体方式如下：

参照图5，当使用者控制轮椅进行第3个连续同向转弯操作时，使用者控制轮椅到达某一位置点，根据之前使用者操作历史中记录的2个连续同向转弯操作的直线行进距离和经过角度，确定该3个位置点(包括当前位置点)的物理坐标，进行样条曲线拟合，找出该拟合曲线在当前位置点的切线；由于到当前位置点时，轮椅的方向为当前位置点与上一位置点连线的延长线，利用基于最小二乘的多项式拟合方法找到切线和延长线，将二者的夹角α为15°作为调整角度，补偿到轮椅第3次转向的角度中，此时轮椅的旋转角度为30°+15°＝45°，同时缩短轮椅的直线行进距离至S/2，即1米，完成轮椅在大曲率转弯时的路径优化；

步骤5，轮椅经过路径判别后将行进结果反馈给设备控制器J，使用者根据轮椅的设备状态反馈和计算机屏幕的显示状态反馈控制轮椅的行进；轮椅完成一次行进后，返回步骤3，重复步骤3和步骤4，进行下一次轮椅行进任务。

Claims (1)

1.基于视觉诱发脑机接口的智能轮椅控制及路径优化方法，其特征在于，包含以下步骤：

步骤1，使用者坐在轮椅上，轮椅和计算机屏幕的距离为60～100厘米，按照国际10-20系统电极放置标准，在使用者头部X的枕区n个位置分别安放测量电极A1、A2、…、An，在使用者头部X的单侧耳垂位置安放参考电极D，在使用者头部X的前额Fpz位置安放地电极E，给电极打入导电膏，将地电极接地，确保电极阻抗保持低于5千欧姆；测量电极A1、A2、…、An的输出端接入采集器F的输入端F1、F2、…、Fn，参考电极D的输出端接入采集器F的输入端F(n+1)，地电极E的输出端接入采集器F的输入端F(n+2)，采集器F的输出端与脑电信号放大器G的输入端相连，脑电信号放大器G的输出端与计算机H的输入端相连，计算机H的输出端与计算机屏幕I和设备控制器J的输入端相连，设备控制器J的输出端与轮椅电机的控制端相连；

步骤2，在计算机屏幕上显示2个以上牛顿环作为运动刺激单元，牛顿环运动刺激单元为明暗相间同心圆环，亮区和暗区面积相等；在刺激呈现过程中，牛顿环运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动，分别位于屏幕的不同位置，并且这些牛顿环以不同的刺激频率进行振荡，每个牛顿环的振荡频率高于6Hz，每个振荡频率对应轮椅的一个动作；

步骤3，形成2个以上运动刺激单元后，按以下具体步骤进行：

步骤3-1，使用者注视步骤2中的牛顿环运动刺激单元中的一个，使用者注视的运动刺激单元称为目标，而其他运动刺激单元称为非目标；

步骤3-2，计算机同步采集刺激开始与结束标志位，并通过测量电极采集脑电信号；

步骤3-3，对脑电信号作滤波和陷波处理；

步骤3-4，截取刺激开始与结束标志位的脑电信号得到稳态视觉诱发电位；

步骤3-5，将所得稳态视觉诱发电位信号分别与每个刺激频率所代表的正余弦参考信号进行典型相关分析，计算出每个刺激频率对应的最大相关系数值，将其中最大值对应的刺激频率所属的牛顿环运动刺激单元判定为使用者注视的目标；计算机屏幕将显示状态反馈给使用者，并将目标结果发送至轮椅实现轮椅的行进；

步骤4，轮椅采取先原地旋转再直线前进的方式，轮椅电机采用双轮差速驱动，通过控制两驱动后轮的驱动速度，控制轮椅的行进方式；按以下具体步骤进行：

步骤4-1，设轮椅左后驱动轮速度为v_l，右后驱动轮速度为v_r，则：

(1)当v_l＝v_r＞0时，轮椅沿直线前进距离S，S为1～3米；

(2)当v_l＝v_r＜0时，轮椅沿直线后退距离S；

(3)当先v_l＝-v_r＜0后v_l＝v_r＞0时，轮椅先原地向左旋转角度θ，θ为15～45°，后直线前进距离S，完成轮椅向左前方转弯；

(4)当先v_l＝-v_r＞0后v_l＝v_r＞0时，轮椅先原地向右旋转角度θ，后直线前进距离S，完成轮椅向右前方转弯；

步骤4-2，轮椅从当前位置到目标位置的行进是分步进行的，通过调整每次行进的旋转角度来寻找最佳行进路径；轮椅的行进路径分为两类：

(1)当使用者控制轮椅直行或无2个以上连续同向转弯操作时，单次直线前进距离为S，单次直线后退距离为S，单次轮椅旋转角度为θ；

(2)当使用者控制轮椅进行2个以上连续同向转弯操作后，计算机认定使用者此时需要进一步实施同向转弯，这时采用曲线拟合方法补偿轮椅行进的旋转角度，实现路径优化；具体方式如下：

当使用者控制轮椅进行2个以上连续同向转弯操作后，使用者控制轮椅到达某一位置点，根据之前使用者操作历史中记录的m个连续同向转弯操作的直线行进距离和经过角度，确定包括当前位置点的m+1个位置点的物理坐标，进行样条曲线拟合，找出该拟合曲线在当前位置点的切线；由于到当前位置点时，轮椅的方向为当前位置点与上一位置点连线的延长线，利用基于最小二乘的多项式拟合方法找到切线和延长线，将二者的夹角α作为调整角度，补偿到轮椅正在转向方向的角度中，此时轮椅的旋转角度为θ+α，同时缩短轮椅的直线行进距离至S/2，完成轮椅在大曲率转弯时的路径优化；

步骤5，轮椅经过路径判别后将行进结果反馈给设备控制器，使用者根据轮椅的设备状态反馈和计算机屏幕的显示状态反馈控制轮椅的行进；轮椅完成一次行进后，返回步骤3，重复步骤3和步骤4，进行下一次轮椅行进任务。