CN108646915A - 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统 - Google Patents

Abstract

本发明公开了一种结合三维视线跟踪和脑机接口技术控制机械臂抓取物体的方法和系统，其过程为：眼动仪采集用户视线信号，并将数据发送到控制器，控制器解算出凝视点三维坐标，并发送到机械臂；同时脑电头盔采集人脑脑电信号变化并发送至控制器，控制器解码用户运动想象与放松状态，从而触发机械臂对凝视物体的抓取与释放动作。本发明发挥了人视线和意念控制的双优势，同时克服现有2D视线跟踪技术必须依赖显示器的不足，能在真实场景下进行直观的人‑机器人交互，应用本发明的系统可以为截瘫偏瘫患者、行动不便的老年人等提供辅助或康复的机器臂，在日常生活中提高其自主能力或帮助康复。

Description

结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和 系统

技术领域

本发明属于三维真实场景中人机交互技术领域，具体涉及一种联合三维视线跟踪和脑机接口技术控制机械臂抓取物体的方法和系统。

背景技术

据有关统计资料显示，全国至少有800万人口存在不同程度的肢体瘫痪，且高龄老人人口数超过2000万，他们生活不能自理，因此为截瘫偏瘫患者、行动不便的老年人等提供辅助或康复的机器臂，以在日常生活中提高其自主能力或进行康复，具有重大的社会意义。

现有的一些实现方法包括脑机接口技术和视线跟踪交互技术。其中基于脑机接口技术可提取患者主动运动意图而无需肢体实际运动，从而为肢体无法运动的患者控制机器人提供了可能，但是目前基于脑机接口技术进行机器人手臂位置控制的方式极不直观，且所需的指令数较多时意图识别率也较低。而基于视线跟踪的交互方式能提供直观准确的位置控制，然而该方式缺乏提取患者主动意图的手段，极易在患者长时间凝视但并无意运动情形下误触发机器人手臂的下一步动作。

因此，亟待结合脑机接口和视线跟踪技术，为患者在日常现实生活中开发服从患者意图的人-机器人交互系统，近年来有研究人员开发结合脑机接口和2D视线跟踪技术的人-机器人交互系统，但基于2D的视线跟踪方法只能获取屏幕上的二维坐标，因此用户必须依赖于显示器，不可实现真实三维空间自然的交互过程。

发明内容

发明目的：为了克服现有技术的不足，本发明提出一种联合三维视线跟踪和脑机接口技术控制机械臂抓取物体的方法及系统，结合两种技术的优势，能够实现真实三维空间的自然交互。

技术方案：为实现上述目的，本发明采用以下技术方案：

一种结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法，包括以下步骤：

S1、眼动仪采集使用者瞳孔相对眼动仪的位置、视线与眼动仪所在竖直平面的交点位置，并将采集的数据发送至控制器；

S2、脑电头盔采集使用者的脑电信号，并将脑电信号发送至控制器；

S3、控制器对眼动仪采集的数据进行分析解算得到当前凝视点的三维空间坐标，对脑电头盔采集的脑电信号进行解码，得到使用者的运动想象或放松状态；

S4、控制器向机械臂发送凝视点三维坐标，并根据不同的脑电信号处理结果向机械臂发送相应的控制指令；

S5、机械臂根据接收到的位置坐标和控制指令自动完成对凝视物体的抓取和释放。

其中，步骤S3中，控制器对眼动仪采集的数据进行分析解算得到当前凝视点的三维空间坐标包括以下步骤：

S31、计算视线空间矢量：以眼动仪为空间坐标系，使用者左右眼瞳孔位置分别为I_L0＝(X_L′,Y_L′,Z_L′)和I_R0＝(X_R′,Y_R′,Z_R′)，左右眼视线与眼动仪所在竖直平面的交点位置分别为(X_L,Y_L)和(X_R,Y_R)，通过以下公式计算视线空间矢量和

S312、计算凝视点位置：取两个视线空间矢量上相距最近的两个点I_L和I_R，关系式如下：

式中S_L和S_R是待确定的标量；

定义是由I_R指向I_L的空间矢量，因为I_L和I_R是两个视线空间矢量相距最近的两点，所以矢量分别垂直于视线空间矢量和关系式如下：

联立上述方程可求解得到S_L和S_R，从而确定两个视线空间向量上相距最近的两点I_L和I_R，取最终的凝视点坐标为I_L和I_R的中点，公式如下：

步骤S3中控制器对脑电头盔采集的脑电信号进行解码，得到使用者的运动想象或放松状态包括以下步骤：

S3a、使用共空间算法对使用者脑电信号进行降噪与特征提取；

S3b、使用线性判别分析算法对经过降噪和特征提取的脑电信号进行分类，当脑电信号分类结果值高于预设的运动想象和放松状态二元开关状态识别阈值时，认定为运动想象状态，否则为放松状态。

一种结合三维视线跟踪和脑机接口控制机械臂抓取物体的系统，包括眼动仪、脑电头盔、控制器以及机械臂，眼动仪、脑电头盔、机械臂均与控制器连接，其中，眼动仪用于采集瞳孔相对眼动仪的位置及视线与眼动仪所在竖直平面的交点位置，并将采集的数据发送至控制器；脑电头盔用于采集人脑脑电信号，并将脑电信号发送至控制器；控制器用于接收脑电头盔与眼动仪采集的信号，解算出使用者当前凝视点的三维坐标并将位置坐标发送给机械臂，同时解码出使用者当前的运动想象或放松状态，根据脑电信号处理结果向机械臂发送相应的控制指令；机械臂用于接收控制器发送的位置坐标和控制指令，完成凝视物体的抓取与释放动作。

上述控制器根据不同的脑电信号处理结果向机械臂发送相应的控制指令包括：当控制器解算出凝视点的三维坐标且解码出运动想象状态时，向机械臂发送抓取动作控制指令；当控制器解算出凝视点的三维坐标且解码出放松状态时，向机械臂释放动作控制指令；当控制器未得到凝视点三维坐标时，不向机械臂发送指令。

控制器包括存储器和处理器，存储器存有计算机程序，所述程序被处理器执行时能够实现上述S31-S32以及S3a-S3b的步骤。

有益效果：与现有技术相比，本发明具有如下的有益效果：

本发明结合脑机接口和3D视线跟踪技术，通过视线跟踪技术实现直观的机器人手臂位置控制，利用脑机接口技术提取用户的主动意图以触发机器人的下一步动作，可充分发挥视觉和意念控制两种人机交互方式的双优势，有效地弥补单独使用脑机接口技术或视线跟踪技术的不足。同时该方法和系统无需显示器，克服了现有2D视线跟踪技术必须依赖显示器的不足，实现了用户在真实三维空间中通过视线确定待抓取物体，结合大脑意图控制机械臂对凝视物体的抓取与释放动作，交互方式更加方便、自然、直观。

附图说明

图1是联合三维视线跟踪和脑机接口技术控制机械臂抓取物体的系统结构图；

图2是根据本发明的3D视线跟踪技术原理图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参照图1，本发明提出一种联合三维视线跟踪和脑机接口技术控制机械臂抓取物体的系统，该系统包括脑电头盔、眼动仪、控制器和机械臂，使用者需佩戴脑电头盔和眼动仪。在一个实施例中，脑电头盔采用Emotiv Systems公司的Emotive EPOC+。该脑电头盔包含14个神经信号记录电极，用于采集人脑脑电信号变化，其采样频率为128HZ，采集的信号通过蓝牙发送到控制器。眼动仪采用Tobii公司的Eye Tracker 4C，其通过USB3.0接口与控制器进行通信，通讯速率为60Hz。眼动仪用于采集瞳孔相对眼动仪的位置及视线与眼动仪所在竖直平面的交点位置，并将数据发送到控制器。机械臂采用深圳越疆科技有限公司的DOBOT机械臂，其包括5个自由度，通过串口与电脑进行通讯，用来执行物体的抓取与放置任务。

控制器是整个人-机器人交互系统的主要部分，用于接收脑电头盔与眼动仪采集的信号，解算出使用者当前凝视点的三维坐标并将位置坐标发送给机械臂，同时解码出使用者当前的运动想象和放松状态，根据脑电信号处理结果向机械臂发送相应的控制指令。

在一个实施例中，使用上述系统抓取物体包括以下步骤：

步骤一、确定Emotive EPOC+脑电头盔、Eye Tracker 4C眼动仪、DOBOT机械臂与控制器的通信是否正常；

步骤二、采集使用者脑电数据进行训练，校准Eye Tracker 4C眼动仪，校准DOBOT机械臂，包括：

采集使用者脑电数据进行训练，即用使用者运动想象和放松状态的脑电数据训练共空间算法(Common Spatial Pattern,CSP)空间滤波器，使两者区别最大化，实现降噪与特征提取，并使用脑电数据训练线性判别分析(Linear Discriminant Analysis,LDA)分类器，根据训练结果设置运动想象和放松状态二元开关状态识别的阈值，实施例中设置为0.6，当实际应用时控制器将脑电信号解码后，若分类结果取值高于该阈值，则认定为运动想象状态，否则为放松状态。

校准Eye Tracker 4C眼动仪，即使用者坐在眼动仪正前方，通过Tobii EyeTracking软件对使用者的双目瞳孔信息进行记录，完成Eye Tracker 4C眼动仪的校准。

步骤三、Eye Tracker 4C眼动仪采集使用者瞳孔相对眼动仪的位置及视线与眼动仪所在竖直平面的交点位置，并将数据发送到控制器。

步骤四、Emotive EPOC+脑电头盔通过EEG电极采集使用者的脑电信号变化，并将信号通过蓝牙发送到控制器。

步骤五、控制器对眼动仪采集到的数据进行处理，先解算出视线空间矢量，再根据视线空间矢量解算当前凝视点的三维空间坐标：

计算视线空间矢量，参照图2，以眼动仪为空间直角坐标系，控制器接收到的数据包括使用者左右眼瞳孔位置I_L0＝(X_L′,Y_L′,Z_L′)和I_RO＝(X_R′,Y_R′,Z_R′)，以及左右眼视线与眼动仪所在竖直平面的交点位置(X_L,Y_L)和(X_R,Y_R)，通过以下公式可计算视线空间矢量和

计算凝视点位置，如图2所示，凝视点位置即两个视线空间矢量的交点，因此可通过视线空间矢量计算凝视点位置。但两个视线空间矢量精确相交是不太可能的，因此取两个视线空间矢量上相距最近的两个点I_L和I_R，关系式如下：

式中S_L和S_R是待确定的标量。

定义是由I_R指向I_L的空间矢量，因为I_L和I_R是两个视线空间矢量相距最近的两点，所以矢量分别垂直于视线空间矢量和关系式如下：

联立上述方程可求解得到S_L和S_R，从而确定两个视线空间向量上相距最近的两点I_L和I_R，取最终的凝视点坐标为I_L和I_R的中点，公式如下：

步骤六、控制器通过CSP算法和LDA处理方法对采集的脑电信号进行滤波、特征提取与分类，实现对使用者当前的运动想象与放松状态的解码。

步骤七、控制器向机械臂发送凝视点三维坐标并根据不同的信号处理结果向机械臂发送相应的控制指令：

若控制器解算出凝视点的三维坐标且解码出运动想象状态，则向机械臂发送抓取动作控制指令；

若控制器解算出凝视点的三维坐标且解码出放松状态，则向机械臂发送释放动作控制指令；

若控制器因使用者无凝视物体未得到凝视点三维坐标，则不向机械臂发送指令。

步骤八、机械臂根据接收到的位置坐标和控制指令完成对凝视物体的抓取与释放动作。具体地，机械臂根据控制器发送的控制指令和凝视物体的三维空间坐标信息，通过API(Application Programming Interface)对机械臂的末端位置进行直接控制，实现对凝视物体的抓取与释放动作。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法，其特征在于，包括以下步骤：

S1、眼动仪采集使用者瞳孔相对眼动仪的位置、视线与眼动仪所在竖直平面的交点位置，并将采集的数据发送至控制器；

S2、脑电头盔采集使用者的脑电信号，并将脑电信号发送至控制器；

S3、控制器对眼动仪采集的数据进行分析解算得到当前凝视点的三维空间坐标，对脑电头盔采集的脑电信号进行解码，得到使用者的运动想象或放松状态；

S4、控制器向机械臂发送凝视点三维坐标，并根据不同的脑电信号处理结果向机械臂发送相应的控制指令；

S5、机械臂根据接收到的位置坐标和控制指令自动完成对凝视物体的抓取和释放。

2.根据权利要求1所述的结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法，其特征在于，所述步骤S3中，控制器对眼动仪采集的数据进行分析解算得到当前凝视点的三维空间坐标包括以下步骤：

S31、计算视线空间矢量：以眼动仪为空间坐标系，使用者左右眼瞳孔位置分别为I_L0＝(X_L′,Y_L′,Z_L′)和I_R0＝(X_R′,Y_R′,Z_R′)，左右眼视线与眼动仪所在竖直平面的交点位置分别为(X_L,Y_L)和(X_R,Y_R)，通过以下公式计算视线空间矢量和

S32、计算凝视点位置：取两个视线空间矢量上相距最近的两个点I_L和I_R，关系式如下：

式中S_L和S_R是待确定的标量；

定义是由I_R指向I_L的空间矢量，因为I_L和I_R是两个视线空间矢量相距最近的两点，所以矢量分别垂直于视线空间矢量和关系式如下：

联立上述方程求解得到S_L和S_R，从而确定两个视线空间向量上相距最近的两点I_L和I_R，取最终的凝视点坐标为I_L和I_R的中点，公式如下：

3.根据权利要求1所述的结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法，其特征在于，所述步骤S3中控制器对脑电头盔采集的脑电信号进行解码，得到使用者的运动想象或放松状态包括以下步骤：

S3a、使用共空间算法对使用者脑电信号进行降噪与特征提取；

S3b、使用线性判别分析算法对经过降噪和特征提取的脑电信号进行分类，当脑电信号分类结果值高于预设的运动想象和放松状态二元开关状态识别阈值时，认定为运动想象状态，否则为放松状态。

4.根据权利要求1所述的结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法，其特征在于，所述步骤S4中控制器根据不同的脑电信号处理结果向机械臂发送相应的控制指令包括：

当控制器解算出凝视点的三维坐标且解码出运动想象状态时，向机械臂发送抓取动作控制指令；

当控制器解算出凝视点的三维坐标且解码出放松状态时，向机械臂释放动作控制指令；

当控制器未得到凝视点三维坐标时，不向机械臂发送指令。

5.一种结合三维视线跟踪和脑机接口控制机械臂抓取物体的系统，其特征在于，包括眼动仪、脑电头盔、控制器以及机械臂，眼动仪、脑电头盔、机械臂均与控制器连接，其中，

所述眼动仪用于采集瞳孔相对眼动仪的位置及视线与眼动仪所在竖直平面的交点位置，并将采集的数据发送至控制器；

所述脑电头盔用于采集人脑脑电信号，并将脑电信号发送至控制器；

所述控制器用于接收脑电头盔与眼动仪采集的信号，解算出使用者当前凝视点的三维坐标并将坐标发送给机械臂，同时解码出使用者当前的运动想象或放松状态，根据脑电信号处理结果向机械臂发送相应的控制指令；

所述机械臂用于接收控制器发送的位置坐标和控制指令，完成凝视物体的抓取与释放动作。

6.根据权利要求5所述的结合三维视线跟踪和脑机接口控制机械臂抓取物体的系统，其特征在于，所述控制器根据脑电信号处理结果向机械臂发送相应的控制指令包括：

当控制器解算出凝视点的三维坐标且解码出运动想象状态时，向机械臂发送抓取动作控制指令；

当控制器解算出凝视点的三维坐标且解码出放松状态时，向机械臂释放动作控制指令；

当控制器未得到凝视点三维坐标时，不向机械臂发送指令。

7.根据权利要求5或6所述的结合三维视线跟踪和脑机接口控制机械臂抓取物体的系统，其特征在于，所述控制器包括存储器和处理器，存储器存有计算机程序，所述程序被处理器执行时能够实现以下步骤：

S10、按照以下公式计算视线空间矢量和

其中，I_L0＝(X_L′,Y_L′,Z_L′)和I_R0＝(X_R′,Y_R′,Z_R′)分别为以眼动仪为空间坐标系使用者的左右眼瞳孔位置，(X_L,Y_L)和(X_R,Y_R)分别为左右眼视线与眼动仪所在竖直平面的交点位置；

S20、计算计算凝视点位置：取两个视线空间矢量上相距最近的两个点I_L和I_R，关系式如下：

式中S_L和S_R是待确定的标量；

定义是由I_R指向I_L的空间矢量，因为I_L和I_R是两个视线空间矢量相距最近的两点，所以矢量分别垂直于视线空间矢量和关系式如下：

联立上述方程求解得到S_L和S_R，从而确定两个视线空间向量上相距最近的两点I_L和I_R，取最终的凝视点坐标为I_L和I_R的中点，公式如下：

8.根据权利要求7所述的结合三维视线跟踪和脑机接口控制机械臂抓取物体的系统，其特征在于，所述程序被处理器执行时还能够实现以下步骤：

S30、使用共空间算法对使用者脑电信号进行降噪与特征提取；

S40、使用线性判别分析算法对经过降噪和特征提取的脑电信号进行分类，当脑电信号分类结果值高于预设的运动想象和放松状态二元开关状态识别阈值时，认定为运动想象状态，否则为放松状态。