CN106530926A - 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法 - Google Patents

Abstract

本发明公开了一种基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法，包括Myo臂带、Unity虚拟环境、视线追踪单元和震动臂带；Unity虚拟环境包括虚拟假手以及可抓物体的适配场景；Myo臂带上包括若干干电极和九轴惯性模块，干电极采集人体手臂微电流，并解算出当前手势信息，九轴惯性模块采集并解算出当前手臂姿态信息；当前手势信息和手臂姿态信息传输至Unity虚拟环境并控制虚拟假手做出对应的动作；视线追踪单元，分析瞳孔相对眼睛的位置，并映射到虚拟适配场景中，实现通过人眼选择物体；震动臂带将Unity虚拟环境的物体被抓取信息反馈至手臂肌肉。本发明可以减轻患者心理压力和经济压力，同时该平台也能够评估新的假手控制算法效果，促进肌电假手的开发。

Description

基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法

技术领域

本发明涉及帮助腕离断患者练习真实肌电假手而开发的一种低成本的虚拟假手训练平台，特别是包含一种基于可消费级Myo臂带以及包含震动臂带的触觉反馈的训练平台。

背景技术

由于真实肌电假手设备复杂，维护成本高，动作演示示范性差，数据统计不方便，构建虚拟假手训练平台能够极大提高假手开发的效率，且成本相对更低些。

目前国内外有大量学者在研究虚拟假手训练平台这方面的内容，在这方面，业界学者已经提出了多种识别人的手势的方法，这些方法有基于摄像机图像处理识别出人的手部动作，有采用NI-DAQ等精密仪器设备直接读取人体皮肤表面的肌电信号，放大解码后分析出人的手势，也有通过脑电信号来分析的。

这些精密仪器能够识别更多更精细的手势与动作，但是其开发，维护费用以及训练成本相当高昂，一般患者难以承受，而且其缺乏更加有效的输入手段和反馈方式，交互体验不佳，患者难以沉浸于训练过程中。

本发明利用了加拿大创业公司ThalmicLabs开发的可消费级Myo臂带，该臂带利用8个干电极采集皮肤表面的微电流，由此解析出使用者的手势。本发明通过解析出的手势控制虚拟假手抓握物体，辅以视线跟踪选择物体，完成特定的抓握训练任务，并辅以接近真实体感的震动反馈。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法，搭建一个成本低，训练效率高，轻松方便的虚拟假手训练平台，以减轻患者心理压力和经济压力，同时该平台也能够评估新的假手控制算法效果，促进肌电假手的开发。

技术方案：为实现上述目的，本发明的技术方案如下：

基于Myo臂带及视线追踪的虚拟假手训练平台，包括Myo臂带、Unity虚拟环境、视线追踪单元和震动臂带；所述Unity虚拟环境包括虚拟假手以及不同的可抓物体的适配场景；所述Myo臂带上包括若干干电极和九轴惯性模块，若干所述干电极采集人体手臂微电流，并解算出当前手势信息，所述九轴惯性模块采集并解算出当前手臂姿态信息；所述当前手势信息和当前手臂姿态信息传输至Unity虚拟环境并控制虚拟假手做出对应的动作；所述视线追踪单元，用于分析瞳孔相对眼睛的位置，并映射到虚拟的适配场景中，实现通过人眼选择物体；所述震动臂带将Unity虚拟环境的物体被抓取的反馈信息通过振幅的震动压迫反馈至手臂肌肉。

进一步的，所述视线追踪单元为带摄像头的视线追踪眼镜，所述视线追踪眼镜上设置有用于捕捉瞳孔的红外摄像头，所述红外摄像头用于分析瞳孔相对眼睛的位置。

基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法首先使用者佩戴Myo臂带至小臂近肘处，将LED灯一侧朝向手掌，将干电极紧贴皮肤，连接Myo臂带与Unity虚拟环境；戴上视线追踪眼镜，确定红外摄像头对准眼睛；佩戴震动臂带，并通过蓝牙模块与Unity虚拟环境连接。

包括以下具体步骤：

第一步：确定Myo臂带、震动臂带、视线追踪眼镜与Unity虚拟环境的通信是否正常；

第二步：校准Myo臂带与Unity虚拟环境中的虚拟假手的姿态；

第三步：读取视线追踪眼镜得到的瞳孔坐标，映射到Unity虚拟环境的虚拟的适配场景中去，并选择需要抓握的物体；

第四步：解析Myo臂带的数据，解算出手势；

第五步：判断手势，如果是抓握的手势，进行虚拟假手与被选物体的碰撞检测，如果是非抓握的手势，则不进行碰撞检测；

第六步：震动反馈，如果检测的结果是在碰撞，就将所抓物体信息和碰撞信号发送至震动臂带，进行相应强度的震动，如果没有碰撞，则重复第三步继续循环。

进一步的，第二步中，所述Myo臂带手臂姿态通过Myo臂带的九轴惯性模块来确定，所述九轴惯性模块包括三轴加速度计，三轴陀螺仪，三轴磁力计；

校准所述Myo臂带，即将虚拟假手的初始姿态在虚拟场景中处于初始位置，固定目前虚拟假手的姿态角，作为虚拟假手初始姿态角A1，以及将手臂处于一个初始位置，固定目前手臂的姿态角，作为手臂初始姿态角A2；同时Myo臂带的旋转的动作和虚拟假手的旋转动作保持一致，即A2作为A1的世界坐标系，A1随着A2运动。

进一步的，第三步中，在红外摄像头中加入850nmIRLED，红外摄像头镜头部分增加红外滤光片，对红外摄像头获得的图像进行预处理操作，为瞳孔的定位提供基础：

预处理包括：

(1)首先确定图像中的感兴趣区域，即瞳孔所在区域；

(2)接下来对该区域做灰度变换得到灰度图；

(3)进一步对图像做二值化处理，基本确定瞳孔区域；

(4)下一步对图像进行形态学变换，通过膨胀腐蚀操作去除噪声和反射光斑的干扰，得到完整的连通区域；

(5)瞳孔区域确定后采用外接椭圆与外接矩形对该联通区域进行拟合，进而获得瞳孔的中心位置坐标x_p、y_p。

瞳孔的位置坐标通过转换矩阵T(a₁₁～a₆₂)映射为屏幕上的坐标，即注视点，可以选择二阶非线性多项式即公式(1)，对两者之间的映射关系进行表达，其中，X_s、Y_s表示注视点在屏幕上的坐标；

为覆盖注视点的范围，采用9个不同的注视点对系统进行标定，获取一组瞳孔与注视点数据，然后通过最小二乘法拟合出T的最优解；

最后，瞳孔与屏幕上点的关系确定后，采用数据拟合的方式构建头部转动与瞳孔位置变化的关系，以减小因头部转动而产生的注视点估计误差；

对头部坐标系进行定义，头部左右转动与上下转动分别影响YAW与PITCH的数值大小；保持注视点位置不变，分别上下左右转动头部获得一组数据，左右转动(YAW)的角度范围为在±15°，上下转动(PITCH)的角度范围为±8°；以头部角度变化量(DYAW、DPITCH)为横坐标，瞳孔位置变化量(DELTAPX、DELTAPY)为纵坐标，作图并进行拟合，并通过一阶多项式进行表达，如公式(2)，其中，ΔP表示瞳孔位置变化量，Δθ为头部角度变化量，a、b为多项式系数。

由此可以弥补头部转动产生的注视点估计误差，最终确定瞳孔注视点，去选择需要抓握的物体；

即将红外摄像头连接至Unity虚拟环境，启动校准上位机，将8个点陆续分布在屏幕的四角和四边中点，瞳孔相对眼眶的位置映射到屏幕上就是中心圆点相对屏幕的位置；通过转动瞳孔，使屏幕上的圆点和用于校准的8个特殊点重合，即表示标定成功，得出瞳孔映射到屏幕上的坐标(X_s、Y_s)。

在虚拟环境中，将瞳孔所对应的二维坐标(X_s、Y_s)绑定在一个三维的透明圆柱体上，该圆柱体用于碰撞检测，如果有物体与该圆柱体发生了碰撞，就将该物体以高亮的方式显示，让使用者知道自己看到了这个物体，方便使用者去抓取。

进一步的，第五步包括以下具体步骤：

所述Unity虚拟环境画面更新的同时循环检测使用者手势，若使用者未做出抓握的手势，则不进行Unity碰撞检测；若使用者做出抓握手势，开始进行碰撞检测；

当抓握到物体时，虚拟假手和虚拟物体会处在碰撞的过程中，此时，将虚拟物体的坐标以适宜的偏差赋给虚拟假手，使虚拟物体的坐标跟随虚拟假手的坐标运动，使虚拟物体被虚拟假手抓握起来，同时将已经抓握的信号和被抓物体的物理属性反馈至震动臂带；

当检测到非抓握的手势，即使用者松开手，不进行碰撞检测，虚拟物体的坐标就不再跟随虚拟假手运动，虚拟物体受重力自由掉落在虚拟场景的桌面上；

画面更迭，重复以上循环。

进一步的，所述震动臂带包括8块震动马达，震动马达以250HZ的频率进行震动，震动的幅度随着被抓物体的重量进行改变，即通过PWM波来控制8个马达的震动；

当接收到Unity虚拟环境传来的抓握信号，震动臂带震动，发出8路PWM波，根据传来的虚拟物体的重量的不同，震动的幅度变化，虚拟物体较轻，幅度较小，PWM占空比较小，虚拟物体较重，则幅度会加大，PWM占空比加大；

所述震动臂带的8个震动马达分布在人体小臂的各块肌肉处，通过挤压肌肉构成一种运动幻觉，让使用者能接近真实的感受到物体被抓住了。

有益效果：本发明提供一种基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法，搭建一个成本低，训练效率高，轻松方便的虚拟假手训练平台，以减轻患者心理压力和经济压力，同时该平台也能够评估新的假手控制算法效果，促进肌电假手的开发。

附图说明

附图1是本发明基于Myo臂带及视线追踪的虚拟假手训练平台整体框架图。

附图2是本发明的系统结构图。

附图3是本发明的算法设计流程图。

具体实施方式

本发明的目的是搭建一个成本低，训练效率高，轻松方便的虚拟假手训练平台，以减轻患者心理压力和经济压力，同时该平台也能够评估新的假手控制算法效果，促进肌电假手的开发。本发明使用设备包含Myo臂带，视线追踪眼镜，反馈震动臂带和电脑unity虚拟环境。其中：

Myo臂带，Myo臂带是加拿大ThalmicLabs公司于2013年初推出的一款控制终端设备。其基本原理是：臂带上的感应器可以捕捉到用户手臂肌肉运动时产生的生物电变化，从而判断佩戴者的意图，再将电脑处理的结果通过蓝牙发送至受控设备。

视线追踪眼镜，是将摄像头挂载在眼镜架上用于捕捉瞳孔相对运动的眼镜，通过USB与电脑相连接，与unity虚拟环境进行交互。

反馈震动臂带，是由STM32单片机控制的一组8个震动马达，8个马达分布在人的小臂上，通过震动压迫肌肉，产生运动错觉，让人感觉到接近真实的抓握感。

Unity虚拟环境是搭建在电脑上的，是整个虚拟假手训练平台的主要部分，依次按照以下步骤进行虚拟假手的训练：

步骤1：确定Myo臂带、震动臂带、眼镜与电脑的通信是否正常：

步骤2：校准Myo臂带与虚拟假手的姿态，校准视线追踪眼镜瞳孔的坐标：

Myo臂带手臂姿态通过Myo臂带的九轴惯性模块来确定，包括三轴加速度计，三轴陀螺仪，三轴磁力计。

由于三轴加速度计噪声比较大，而且在运行过程中，受手臂振动影响比陀螺仪明显，短时间内的可靠性不高。三轴陀螺仪噪声小，但是由于积分是离散的，长时间的积分会出现漂移的情况，因此用加速度计求得的姿态来矫正陀螺仪积分姿态的漂移，同时通过三轴磁力计来弥补偏航角收敛的慢的问题。根据上述特点通过四元数融合算法解算出手臂的pitch俯仰角，yaw航向角，roll横滚角。

校准Myo臂带，即将虚拟假手的初始姿态在虚拟环境中处于一个合适的初始位置，以及手臂的处于一个舒适的初始位置，同时臂带的旋转的动作和虚拟假手的旋转动作保持一致。

首先，在确定Myo臂带与Unity虚拟环境连接之后，手臂和虚拟假手位置都是不确定的，只能旋转手臂以改变虚拟假手的旋转。所以须先通过旋转手臂将虚拟假手调整到虚拟环境中一个合适的位置，固定目前虚拟假手的姿态角，作为虚拟假手初始姿态角A1；然后，将手臂摆放到自己舒服的初始位置，固定目前手臂的姿态角，作为手臂初始姿态角A2，此时将A2作为A1的世界坐标系，A1随着A2运动。就完成了真实手臂和虚拟假手的标定，使虚拟假手处于虚拟环境中一个合适的初始位置，手臂也可以轻松的进行控制虚拟假手，解决了初始姿态角不确定的问题。

校准视线追踪眼镜，在摄像头模块加入IRLED(850nm)，摄像头镜头部分增加红外滤光片，由于角膜和虹膜对红外光的反射率不同，摄像头红外光下可以获得清晰的瞳孔图像。接着，对摄像头获得的图像进行一系列预处理操作，为瞳孔的定位提供基础：

(1)首先确定图像中的感兴趣区域即瞳孔所在区域；

(2)接下来对该区域做灰度变换得到灰度图；

(3)进一步对图像做二值化处理，基本确定瞳孔区域；

(4)下一步对图像进行形态学变换，通过膨胀腐蚀操作去除噪声及反射光斑的干扰得到完整的连通区域；

(5)瞳孔区域确定后采用外接椭圆与外接矩形对该联通区域进行拟合，进而获得瞳孔的中心位置坐标x_p、y_p。

瞳孔的位置坐标通过转换矩阵T(a₁₁～a₂₎映射为屏幕上的坐标即注视点，可以选择二阶非线性多项式即公式1对两者之间的映射关系进行表达，其中，X_s、Y_s表示注视点在屏幕上的坐标。

为尽可能覆盖注视点的范围，采用9个不同的注视点对系统进行标定，获取一组瞳孔与注视点数据，然后通过最小二乘法拟合出T的最优解。

最后，瞳孔与屏幕上点的关系确定后，采用数据拟合的方式构建头部转动与瞳孔位置变化的关系，以减小因头部转动而产生的注视点估计误差。

对头部坐标系进行定义，头部左右转动与上下转动分别影响YAW与PITCH的数值大小。保持注视点位置不变，分别上下左右转动头部获得一组数据，左右转动(YAW)的角度范围为在±15°，上下转动(PITCH)的角度范围为±8°；以头部角度变化量(DYAW、DPITCH)为横坐标，瞳孔位置变化量(DELTAPX、DELTAPY)为纵坐标，作图并进行拟合，发现两者的关系可以通过一阶多项式进行表达，如公式2，其中，ΔP表示瞳孔位置变化量，Δθ为头部角度变化量，a、b为多项式系数。

由此可以弥补头部转动产生的注视点估计误差，最终确定瞳孔注视点，去选择需要抓握的物体。

即将摄像头连接至电脑，启动校准上位机，将8个点陆续分布在屏幕的四角和四边中点，瞳孔相对眼眶的位置映射到屏幕上就是中心圆点相对屏幕的位置。通过转动瞳孔，使屏幕上的圆点和用于校准的8个特殊点重合，即表示标定成功，得出瞳孔映射到屏幕上的坐标(X_s、Y_s)。

在虚拟环境中，将瞳孔所对应的二维坐标(X_s、Y_s)绑定在一个三维的透明圆柱体上，该圆柱体用于碰撞检测，如果有物体与该圆柱体发生了碰撞，就将该物体以高亮的方式显示，让使用者知道自己看到了这个物体，方便使用者更加集中的去抓取。

步骤3，读取Myo臂带的数据，解算出手势：

此过程使用了加拿大创业公司Thalmic Labs开发的Myo臂带来解析手势，当使用者执行不同的手势时，前臂上的肌肉会发射出各不相同的电子信号。

Myo臂带通过8个干电极采集这些微电流信号，通过内置的传感器解析这些信号，并通过嵌入式算法进行处理并手势识别的结果会通过蓝牙4.0LE传输到相连的电脑虚拟环境当中。

电脑虚拟环境接受这些识别好的手势识别结果，进行下一步的处理。

步骤4，读取视线追踪眼镜得到的瞳孔坐标，映射到虚拟环境中去，选择需要抓握的物体：

将瞳孔所对应的二维坐标绑定在一个三维的透明圆柱体上，该圆柱体用于碰撞检测，如果有物体与该圆柱体发生了碰撞，就将该物体以高亮的方式显示，让使用者更加集中的去抓取。

步骤5，判断手势，如果是抓握的手势，进行虚拟假手与被选物体的碰撞检测，如果是非抓握的手势，则不进行碰撞检测：

画面更新的同时循环检测使用者手势，若使用者未做出抓握的手势，则不进行Unity碰撞检测；若使用者想去抓握物体，做出了抓握手势，在识别到使用者手势是抓握手势时，开始进行碰撞检测。

当抓握到物体时，虚拟假手和虚拟物体会处在碰撞的过程中，此时，将虚拟物体的坐标以某个适宜的偏差赋给虚拟假手，使物体的坐标跟随虚拟假手的坐标运动，使物体被虚拟假手抓握起来，同时将已经抓握的信号和被抓物体的物理属性通过蓝牙串口的方式反馈给单片机。

当检测到非抓握的手势，即使用者松开手，不进行碰撞检测，物体的坐标就不在跟随虚拟假手运动，受重力自由掉落在桌面上。

画面更迭，重复以上循环。

步骤6，震动反馈，如果检测的结果是在碰撞，就将所抓物体信息和碰撞信号发送给单片机，进行相应强度的震动，如果没有碰撞，则重复第三步继续循环。从而实现虚拟假手的训练：

震动模块包含8块震动马达，震动马达以250HZ的频率进行震动，震动的幅度随着被抓物体的重量进行改变，即通过PWM波来控制8个马达的震动。

当接收到电脑Unity虚拟环境传来的抓握信号，则会启动震动臂带，发出8路PWM波，根据传来的虚拟物体的重量的不同，震动的幅度会有变化，虚拟物体较轻，幅度较小，PWM占空比较小，虚拟物体较重，则幅度会加大，PWM占空比加大。

震动马达分布在人体小臂的各块肌肉处，通过挤压肌肉构成一种运动幻觉，让使用者能接近真实的感受到物体被抓住了。

实施例：

本发明采用震动反馈模块，虚拟平台，手势识别模块，视线选物模块四大模块组成成本低廉的虚拟假手训练平台。基于myo臂带及视线追踪的虚拟假手训练平台的整体框架图如附图1。其包括四部分构成，震动反馈模块，虚拟平台，手势识别模块，视线选物模块。该系统的结构图，见附图2，使用者佩戴Myo臂带，臂带以LED灯朝向手腕的方向佩戴在小臂上侧，通过8个干电极采集皮肤的肌电信号，并通过Myo内置算法转化为手势信号发送至电脑unity的虚拟平台上，使用者还需佩戴震动臂带和视线追踪眼镜，震动臂带上的8个震动马达用来挤压肌肉给使用者以接近真实的抓握感，视线追踪眼镜捕捉瞳孔的相对运动来选择虚拟环境的物体，unity虚拟环境实时分析使用者手势，以控制虚拟假手抓握物体，并将抓握结果用震动方式反馈给使用者。

本发明的运作流程图，见附图3。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.基于Myo臂带及视线追踪的虚拟假手训练平台，其特征在于：包括Myo臂带、Unity虚拟环境、视线追踪单元和震动臂带；所述Unity虚拟环境包括虚拟假手以及不同的可抓物体的适配场景；所述Myo臂带上包括若干干电极和九轴惯性模块，若干所述干电极采集人体手臂微电流，并解算出当前手势信息，所述九轴惯性模块采集并解算出当前手臂姿态信息；所述当前手势信息和当前手臂姿态信息传输至Unibty虚拟环境并控制虚拟假手做出对应的动作；所述视线追踪单元，用于分析瞳孔相对眼睛的位置，并映射到虚拟的适配场景中，实现通过人眼选择物体；所述震动臂带将Unity虚拟环境的物体被抓取的反馈信息通过振幅的震动压迫反馈至手臂肌肉。

2.根据权利要求1所述的基于Myo臂带及视线追踪的虚拟假手训练平台，其特征在于：所述视线追踪单元为带摄像头的视线追踪眼镜，所述视线追踪眼镜上设置有用于捕捉瞳孔的红外摄像头，所述红外摄像头用于分析瞳孔相对眼睛的位置。

3.根据权利要求1所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：首先使用者佩戴Myo臂带至小臂近肘处，将LED灯一侧朝向手掌，将干电极紧贴皮肤，连接Myo臂带与Unity虚拟环境；戴上视线追踪眼镜，确定红外摄像头对准眼睛；佩戴震动臂带，并通过蓝牙模块与Unity虚拟环境连接。

4.根据权利要求3所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于，包括以下具体步骤：

第一步：确定Myo臂带、震动臂带、视线追踪眼镜与Unity虚拟环境的通信是否正常；

第二步：校准Myo臂带与Unity虚拟环境中的虚拟假手的姿态；

第三步：读取视线追踪眼镜得到的瞳孔坐标，映射到Unity虚拟环境的虚拟的适配场景中去，并选择需要抓握的物体；

第四步：解析Myo臂带的数据，解算出手势；

第五步：判断手势，如果是抓握的手势，进行虚拟假手与被选物体的碰撞检测，如果是非抓握的手势，则不进行碰撞检测；

第六步：震动反馈，如果检测的结果是在碰撞，就将所抓物体信息和碰撞信号发送至震动臂带，进行相应强度的震动，如果没有碰撞，则重复第三步继续循环。

5.根据权利要求4所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：

第二步中，所述Myo臂带手臂姿态通过Myo臂带的九轴惯性模块来确定，所述九轴惯性模块包括三轴加速度计，三轴陀螺仪，三轴磁力计；

校准所述Myo臂带，即将虚拟假手的初始姿态在虚拟场景中处于初始位置，固定目前虚拟假手的姿态角，作为虚拟假手初始姿态角A1，以及将手臂处于一个初始位置，固定目前手臂的姿态角，作为手臂初始姿态角A2；同时Myo臂带的旋转的动作和虚拟假手的旋转动作保持一致，即A2作为A1的世界坐标系，A1随着A2运动。

6.根据权利要求4所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：

第三步中，在红外摄像头中加入850nmIRLED，红外摄像头镜头部分增加红外滤光片，对红外摄像头获得的图像进行预处理操作，为瞳孔的定位提供基础：

预处理包括：

(1)首先确定图像中的感兴趣区域，即瞳孔所在区域；

(2)接下来对该区域做灰度变换得到灰度图；

(3)进一步对图像做二值化处理，基本确定瞳孔区域；

(4)下一步对图像进行形态学变换，通过膨胀腐蚀操作去除噪声和反射光斑的干扰，得到完整的连通区域；

(5)瞳孔区域确定后采用外接椭圆与外接矩形对该联通区域进行拟合，进而获得瞳孔的中心位置坐标x_p、y_p。

瞳孔的位置坐标通过转换矩阵T(a₁₁～a₆₂)映射为屏幕上的坐标，即注视点，可以选择二阶非线性多项式即公式(1)，对两者之间的映射关系进行表达，其中，X_s、Y_s表示注视点在屏幕上的坐标；

$\left(\begin{array}{cc}{X}_S& Y_S\end{array}\right)=\left(\begin{array}{cccccc}1& x_p& y_p& x_p{y}_p& {x_p}^2& {y_p}^2\end{array}\right)\×\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\\ a_{41}& a_{42}\\ a_{51}& a_{52}\\ a_{61}& a_{62}\end{array}\right)---\left(1\right)$

为覆盖注视点的范围，采用9个不同的注视点对系统进行标定，获取一组瞳孔与注视点数据，然后通过最小二乘法拟合出T的最优解；

最后，瞳孔与屏幕上点的关系确定后，采用数据拟合的方式构建头部转动与瞳孔位置变化的关系，以减小因头部转动而产生的注视点估计误差；

对头部坐标系进行定义，头部左右转动与上下转动分别影响YAW与PITCH的数值大小；保持注视点位置不变，分别上下左右转动头部获得一组数据，左右转动(YAW)的角度范围为在±15°，上下转动(PITCH)的角度范围为±8°；以头部角度变化量(DYAW、DPITCH)为横坐标，瞳孔位置变化量(DELTAPX、DELTAPY)为纵坐标，作图并进行拟合，并通过一阶多项式进行表达，如公式(2)，其中，ΔP表示瞳孔位置变化量，Δθ为头部角度变化量，a、b为多项式系数。

$\left(\mathrm{\Δ}P\right)=\left(\begin{array}{cc}\mathrm{\Δ}\mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)---\left(2\right)$

由此可以弥补头部转动产生的注视点估计误差，最终确定瞳孔注视点，去选择需要抓握的物体；

即将红外摄像头连接至Unity虚拟环境，启动校准上位机，将8个点陆续分布在屏幕的四角和四边中点，瞳孔相对眼眶的位置映射到屏幕上就是中心圆点相对屏幕的位置；通过转动瞳孔，使屏幕上的圆点和用于校准的8个特殊点重合，即表示标定成功，得出瞳孔映射到屏幕上的坐标(X_s、Y_s)。

在虚拟环境中，将瞳孔所对应的二维坐标(X_s、Y_s)绑定在一个三维的透明圆柱体上，该圆柱体用于碰撞检测，如果有物体与该圆柱体发生了碰撞，就将该物体以高亮的方式显示，让使用者知道自己看到了这个物体，方便使用者去抓取。

7.根据权利要求4所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：

第五步包括以下具体步骤：

所述Unity虚拟环境画面更新的同时循环检测使用者手势，若使用者未做出抓握的手势，则不进行Unity碰撞检测；若使用者做出抓握手势，开始进行碰撞检测；

当抓握到物体时，虚拟假手和虚拟物体会处在碰撞的过程中，此时，将虚拟物体的坐标以适宜的偏差赋给虚拟假手，使虚拟物体的坐标跟随虚拟假手的坐标运动，使虚拟物体被虚拟假手抓握起来，同时将已经抓握的信号和被抓物体的物理属性反馈至震动臂带；

当检测到非抓握的手势，即使用者松开手，不进行碰撞检测，虚拟物体的坐标就不再跟随虚拟假手运动，虚拟物体受重力自由掉落在虚拟场景的桌面上；

画面更迭，重复以上循环。

8.根据权利要求7所述的基于Myo臂带及视线追踪的虚拟假手训练平台的训练方法，其特征在于：

所述震动臂带包括8块震动马达，震动马达以250HZ的频率进行震动，震动的幅度随着被抓物体的重量进行改变，即通过PWM波来控制8个马达的震动；

当接收到Unity虚拟环境传来的抓握信号，震动臂带震动，发出8路PWM波，根据传来的虚拟物体的重量的不同，震动的幅度变化，虚拟物体较轻，幅度较小，PWM占空比较小，虚拟物体较重，则幅度会加大，PWM占空比加大；

所述震动臂带的8个震动马达分布在人体小臂的各块肌肉处，通过挤压肌肉构成一种运动幻觉，让使用者能接近真实的感受到物体被抓住了。