CN109453509A - 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法 - Google Patents

Abstract

本发明公开了一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法，包括肌电设备、运动捕捉设备、虚拟游戏开发环境和虚拟/增强现实设备，虚拟游戏开发环境包括虚拟上肢模型和虚拟游戏场景，肌电设备用于检测不同手势的肌电信号及其手势信息并发送给虚拟上肢模型；运动捕捉设备用于获取上肢的关节坐标和空间姿态信息并发送给虚拟上肢模型；虚拟游戏场景接收虚拟上肢模型发送的数据并发送给虚拟/增强现实设备，虚拟/增强现实设备以视听觉刺激反馈给使用者，将虚拟物体放在对应真实环境中进行操作。本发明具有低成本、高精度、具有舒适性且实时性强、交互性好、场景丰富的优点，具有上肢一体化的游戏模式，可提高使用者的游戏积极性。

Description

一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法

技术领域

本发明属于虚拟环境控制技术领域，具体涉及一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法。

背景技术

传统的上肢训练游戏过程单调枯燥，参与度低，易使使用者对游戏失去兴趣和信心，难以达到好的训练效果。主动参与游戏可以提高使用者积极性，促进大脑神经通道重塑，因此可以提取使用者的自主意图来解码运动。对于有一定运动能力的使用者来说，可以通过运动捕捉采集使用者的运动信息；而对部分肌张力过高的使用者来说，虽然有一定的运动能力，但过高的肌张力阻碍了运动，导致其只有肌电信号的变化而运动的变化很小，这类使用者可以通过肌电特征来解码运动意图，从而控制外部设备或虚拟物体来帮助使用者进行游戏训练。

用于运动捕捉的设备中，Kinect和OptiTrack等设备的交互范围基本都是针对肩部、肘部和腕部等粗大关节或人体骨骼，而对于手指的精细运动的研究却很少能涉及到，而数据手套捕捉运动时穿戴较麻烦，手套会影响本体的皮肤触觉感知，捕捉到的自由度也较少，而图像式手部图像运动捕捉设备的出现解决了这个问题；用于采集肌电的设备中，一般质量好的肌电传感器价格较贵，成本较低的肌电电极佩戴不方便且采集的信号干扰比较大，因此使用佩戴方便且价格低的便携式肌电臂环，臂环也可以通过陀螺仪采集运动信息。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法，搭建一个低成本、高精度、具有舒适性且实时性强、交互性好、场景丰富的上肢一体化游戏平台，提高手势动作的识别率。

本发明采用以下技术方案：

一种基于肌电和运动捕捉的虚拟上肢控制系统，包括肌电设备、运动捕捉设备、虚拟游戏开发环境和虚拟/增强现实设备，虚拟游戏开发环境包括虚拟上肢模型和虚拟游戏场景，肌电设备用于检测不同手势的肌电信号及其手势信息并发送给虚拟上肢模型；运动捕捉设备用于获取上肢的关节坐标和空间姿态信息并发送给虚拟上肢模型；虚拟游戏场景接收虚拟上肢模型发送的数据并发送给虚拟/增强现实设备，虚拟/增强现实设备以视听觉刺激反馈给使用者，将虚拟物体放在对应真实环境中进行操作。

其中，肌电设备采用表面肌电传感器或肌电电极，用于检测不同手势的肌电信号及其手势信息，而便携式肌电臂环还可以采集位移信号，分别佩戴在使用者的小臂和上臂，能够采集小臂肌肉产生的生物电信号和上臂运动产生的运动加速度和位移信号。

其中，虚拟游戏开发环境用于提供搭建虚拟上肢模型和游戏场景的平台，在电脑上用虚拟游戏开发软件搭建虚拟游戏环境，包括上肢模型的映射以及针对上肢中肩、肘和手指关节的游戏训练场景设计，可穿戴式肌电设备中的陀螺仪控制虚拟上臂的运动，运动捕捉设备控制虚拟手指和虚拟小臂的运动。

其中，虚拟/增强现实设备用于将虚拟游戏开发软件搭建的虚拟游戏训练场景以视觉和听觉刺激反馈给使用者其上肢动作状态，使其产生身临其境的感觉，并将虚拟游戏场景中的虚拟物体在对应的真实环境中进行操作，给使用者提供一个感官真实的环境，增强环境沉浸感和人机交互。

本发明的另一技术方案是：一种基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，包括以下步骤：

S1、将真实上肢映射为虚拟环境中的虚拟上肢，将肌电设备和运动捕捉设备采集到的真实上肢的运动信息映射至虚拟游戏环境的上肢模型中；

S2、通过肌电设备或肌电电极和运动捕捉设备来采集上肢的肌电信号和姿态信息；

S3、对肌电信号、手势信息特征以及对上肢的姿态信息进行特征提取,并按照特征强弱进行阶梯化分类；

S4、将肌电特征和手势的角度特征进行融合后输入分类器中模式识别；

S5、建立虚拟游戏开发平台与数学软件如MATLAB之间的通讯，在线识别上肢的手势和动作，并控制虚拟物体执行对应的运动，完成上肢虚拟场景任务，并将虚拟场景结果可视化反馈给使用者，实现与虚拟环境的交互。

其中，步骤S1中，虚拟上肢的映射包括将运动捕捉设备捕捉到的手和小臂、上臂的运动信息映射到虚拟环境的虚拟手和小臂、上臂中，将便携式肌电臂环的预设件赋给虚拟上肢模型中的上臂，同步上臂的运动信息，将手部图像运动捕捉设备捕捉到的手指各关节和腕关节等姿态位置信息赋给虚拟上肢模型中的手指和小臂，同步手指和小臂的运动信息，校准上臂和小臂在虚拟游戏环境中的初始方向，调整虚拟上肢模型同步真实上肢。

其中，步骤S2中，信号采集包括通过肌电设备或肌电电极的接口接收肌电信号，并在虚拟游戏开发平台中采集不同手势动作的肌电信号，通过运动捕捉设备采集手势信息和小臂、上臂的姿态信息，便携式肌电臂环通过蓝牙接收器与虚拟游戏开发环境实现通信，在虚拟游戏开发环境中设置采集肌电的方式来采集执行不同手势时的小臂肌电信息，建立手势库的多种手势动作，采集方式包括准备手势动作倒计时-执行手势动作-重复动作的过程，将手部图像运动捕捉设备捕捉到的手指和小臂的姿态位置信息通过计算得到手指弯曲角度、肘关节活动度等角度信息，将便携式肌电臂环采集到的上臂运动信息通过计算得到肩关节活动度。

其中，步骤S3中，特征提取包括对肌电信号的时域特征进行提取，包括平均绝对值，过零点数和自回归模型的系数，对手势信息特征进行提取如关节活动度，以及对上肢的姿态信息进行提取如位置信息，并设置空间运动轨迹，计算轨迹偏离程度；将正常人的肌电特征和姿态信息作为模板，并按照特征强弱进行阶梯化分类，并将使用者的肌电特征和姿态信息按照对应的阶梯化类别获取对应得分。

其中，步骤S4中，模式识别包括将肌电特征和手势的角度特征进行融合，然后输入BP神经网络等分类器进行模式分类，保存游戏模型的参数和阈值，并将位置信息等姿态信息作为条件判断运动的方向。

其中，步骤S5中，在线识别具体为：在虚拟游戏开发平台中调用MATLAB的函数或建立虚拟游戏开发平台与MATLAB之间的通讯，然后将使用者的动作在虚拟游戏开发环境中进行识别分类，作为控制虚拟模型或物体运动的指令完成针对性的上肢虚拟场景任务，游戏中包含日常生活场景以增强真实感受，并将虚拟训练结果可视化反馈给使用者。

与现有技术相比，本发明至少具有以下有益效果：

本发明提供一种基于肌电和运动捕捉的虚拟上肢控制系统，将便携式肌电臂环和手部图像运动捕捉设备相结合具有价格低、干扰小、动作捕捉精细等优点，从而实现上肢一体化的游戏模式促进使用者的上肢训练，利用肌电设备和运动捕捉设备搭建一个上肢一体化的系统，并将其映射到虚拟游戏开发环境中，搭建针对性的虚拟游戏场景，利用肌电信息和运动姿态信息编写控制算法，完成特定的动作从而实现与虚拟场景中物体的交互，并在GUI界面实时显示肌电与运动信息，提高使用者的积极性。

进一步的，肌电设备包括表面肌电传感器或肌电电极，可以用来检测不同手势的肌电信号及其手势信息，而便携式肌电臂环还可以采集运动加速度和位移信号，一个佩戴在使用者小臂，采集小臂肌肉产生的生物电信号；另一个佩戴在上臂，采集上臂运动产生的位移信号。

进一步的，虚拟游戏开发环境用于提供搭建虚拟上肢模型和游戏场景的平台，在电脑上用虚拟游戏开发软件搭建虚拟游戏环境，包括上肢模型的映射以及针对上肢中肩、肘和手指关节的游戏训练场景的设计，便携式肌电臂环中的陀螺仪控制虚拟上臂的运动，运动捕捉设备控制虚拟手指和虚拟小臂的运动。

进一步的，虚拟/增强现实设备用于将虚拟游戏开发软件搭建的虚拟游戏训练场景以视觉和听觉刺激反馈给使用者其上肢动作状态，使其产生身临其境的感觉，也可以将虚拟游戏场景中的虚拟物体在对应的真实环境中进行操作，给使用者提供一个感官真实的环境，增强环境沉浸感和人机交互。

本发明一种基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，通过提取最佳的特征和选择最佳的分类器来提高动作识别的精度，虚拟游戏开发环境可以提供丰富的游戏场景，针对性的游戏场景促进关节在分离运动和复合运动时的恢复，并在游戏场景中通过可视化反馈如虚拟现实设备或增强现实设备来增强人机交互和游戏的趣味性及场景的真实性，提高使用者参与游戏的主动积极性。

进一步的，步骤S1中，虚拟上肢的映射包括将运动捕捉设备捕捉到的手和小臂、上臂的运动信息映射到虚拟环境的虚拟手和小臂、上臂中，将便携式肌电臂环的预设件赋给虚拟上肢模型中的上臂可以同步上臂的运动信息，将手部图像运动捕捉设备捕捉到的手指各关节和腕关节等姿态位置信息赋给虚拟上肢模型中的手指和小臂可以同步手指和小臂的运动信息，从而使上肢的同步更准确，上肢的训练环境更真实。

进一步的，步骤S2中，信号采集包括通过运动捕捉设备采集手势信息和小臂、上臂的姿态信息，便携式肌电臂环通过蓝牙接收器与虚拟游戏开发环境实现通信，在虚拟游戏开发环境中设置采集肌电的方式来采集执行不同手势时的小臂肌电信息，采集方式包括准备手势动作倒计时-执行手势动作-重复动作的过程，将手部图像运动捕捉设备捕捉到的手指和小臂的姿态位置信息通过计算得到手指弯曲角度、肘关节活动度等角度信息，将便携式肌电臂环采集到的上臂运动信息通过计算得到肩关节活动度，其中便携式肌电设备采集的肌电更稳定且干扰小，手部图像运动捕捉设备采集的运动姿态更精细，适合做进一步的信号处理。

进一步的，步骤S3中，特征提取包括对肌电信号的时域特征进行提取，从常用的特征中选择区分度高的特征，包括平均绝对值，过零点数和自回归模型的系数，对手势信息特征进行提取如关节活动度，以及对上肢的姿态信息进行提取如位置信息，并设置空间运动轨迹，计算轨迹偏离程度；将正常人的肌电特征和姿态信息作为模板，并按照特征强弱进行阶梯化分类，并将使用者的肌电特征和姿态信息按照对应的阶梯化类别获取对应得分，从而判断动作与模板动作的贴合程度，作为动作识别的指标之一。

进一步的，步骤S4中，模式识别包括将肌电特征和手势的角度特征进行融合，从常用的分类器中选择识别率高的分类器，如输入BP神经网络等分类器进行模式分类，输出识别出的对应动作，保存游戏模型的参数和阈值，并将位置信息等姿态信息作为条件判断运动的方向。

进一步的，步骤S5中，在线识别具体为：在虚拟游戏开发平台中调用数学软件如MATLAB的函数或建立虚拟游戏开发平台与数学软件如MATLAB之间的通讯，可以提高识别的实时率，然后将使用者的动作在虚拟游戏开发环境中进行识别分类，作为控制虚拟模型或物体运动的指令，在线识别可以将上肢的动作实时识别出来，完成针对性的上肢虚拟场景任务，其中游戏中包含日常生活场景可以增强参与者的真实感受，以促进使用者更好地沉浸于游戏中，并将虚拟训练结果可视化反馈给使用者，实现与虚拟环境的交互，以帮助使用者更积极地参与训练，增强趣味性和真实性。

综上所述，本发明具有低成本、高精度、具有舒适性且实时性强、交互性好、场景丰富的优点，具有上肢一体化的游戏模式，可提高使用者的游戏积极性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明基于肌电和运动捕捉的虚拟上肢控制系统总体框图；

图2为本发明的游戏方法流程图；

图3为本发明的在线训练场景平台。

具体实施方式

请参阅图1，本发明一种基于肌电和运动捕捉的虚拟上肢控制系统，包括肌电设备、运动捕捉设备、虚拟游戏开发环境和虚拟/增强现实设备，肌电设备用于检测不同手势的肌电信号及其手势信息；运动捕捉设备用于获取上肢的关节坐标和空间姿态信息；虚拟游戏开发环境，包括虚拟上肢模型和游戏场景，以及游戏成绩的反馈；虚拟/增强现实设备用于将虚拟游戏场景以视听觉刺激反馈给使用者，将虚拟物体放在对应的真实环境中进行操作，使其产生身临其境的感觉。

其中，肌电设备采用便携式肌电臂环如MYO臂环，运动捕捉设备采用手部图像运动捕捉设备如Leap Motion控制器。

肌电设备包括表面肌电传感器或肌电电极，可以用来检测不同手势的肌电信号及其手势信息，如MYO臂环是由加拿大公司Thalmic Labs生产的创新性设备，其中包含八个通道的阵列电极和九轴惯性传感器，除了可以采集肌电信号外，还可以采集运动加速度和位移信号。采集到的信号通过蓝牙接收器无线传输到电脑上，信号干扰小、价格低廉且佩戴方便舒适，在两个MYO臂环中，其中一个佩戴在使用者患侧小臂相应位置，可用来采集小臂肌肉产生的生物电信号，命名为MYO1；另一个佩戴在患侧上臂对应的位置，可用来采集上臂运动产生的位移信号，命名为MYO2。

运动捕捉设备可以用来获取上肢的关节坐标和空间姿态信息，如Leap Motion控制器是由美国一家体感操控设备公司Leap发布的体感控制器，它使用光学传感器和红外线，抗干扰能力强，工作范围从25毫米到600毫米，可以在有效的控制范围内高精度检测和追踪手掌、手指和手腕，提供更新的一组数据或者一帧数据模型，并记录离散的手势点和动作。将Leap Motion控制器固定在桌面上，通过Leap Motion的右手笛卡尔坐标系，可采集使用者的手部姿态特征信息如手指关节位置和手腕位置等信息。

虚拟游戏开发环境可以提供搭建虚拟上肢模型和游戏训练场景的平台，通常指虚拟游戏开发软件如Unity3D虚拟引擎以及C#编程软件，在电脑上用Unity3D软件搭建的虚拟游戏环境，上肢训练游戏系统主要依托这个环境进行搭建，其中包括上肢模型的映射，MYO2控制虚拟上臂的运动，Leap Motion控制虚拟手指和虚拟小臂的运动，以及针对上肢中肩、肘和手指关节的游戏训练场景的设计，游戏速度、准确度的实时显示，肌电信息和运动学信息的GUI界面显示，以及游戏训练结果反馈的显示等。

虚拟现实设备一般需要像头盔一样罩在头上，并且与面部接触部位有橡胶或海绵制品使脸部与设备紧密贴合以防漏光，其眼部镜片通常为圆形凸透镜如VR头盔，可以将Unity3D软件搭建的虚拟游戏训练场景以视觉和听觉刺激反馈给使用者其上肢动作状态，使其产生身临其境的感觉，而增强现实设备是通过摄像头把现实世界和虚拟世界融合在一起，多数是基于摄像头的软件来实现如AR眼镜，可以将虚拟游戏场景中的虚拟物体在对应的真实环境中进行操作，给使用者提供一个感官真实的环境，增强环境沉浸感和人机交互。

请参阅图2和图3，一种基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，使用者在上臂和小臂上佩戴肌电设备如MYO臂环，头上佩戴虚拟/增强现实设备如VR头盔或AR眼镜，在桌面放置运动捕捉设备如Leap Motion控制器，首先将真实上肢映射为虚拟游戏开发环境如Unity3D虚拟环境中的虚拟上肢，通过采集小臂的肌电信号、手指和上臂的姿态信息，在数学软件如MATLAB中进行离线特征提取，并输入BP神经网络分类器中模式识别，然后在Unity3D虚拟环境中在线识别上肢的手势和动作，并将识别到的手势或动作转化为控制虚拟环境中模型或物体运动的指令，完成针对性的场景游戏任务，并将游戏结果和肌电信息和运动学信息等可视化反馈给使用者，实现使用者与虚拟环境的主动交互；具体步骤如下：

S1、将真实上肢映射为虚拟环境中的虚拟上肢，将Leap Motion和MYO采集到的真实上肢的运动信息映射至虚拟游戏环境的上肢模型中；

将MYO2的预设件赋给虚拟上肢模型中的上臂，使其同步上臂的运动信息，将LeapMotion捕捉到的手指各关节和腕关节等姿态位置信息赋给虚拟上肢模型中的手指和小臂，使其同步手指和小臂的运动信息，校准上臂和小臂在虚拟游戏环境中的初始方向，调整虚拟上肢模型使其同步真实上肢更准确。

在Unity3D虚拟环境的C#脚本中，编写同步虚拟上肢模型与真实上肢运动的代码。定义手模型、肘关节、腕关节、大拇指的腕掌关节、近端指间关节和远端指间关节及四指手指的掌指关节、近指关节和远指关节等游戏对象，定义初始肘关节、初始腕关节、初始大拇指腕掌关节位置、初始四指手指关节位置等四元数。

在初始化函数中，将肘关节游戏对象的旋转角度赋给初始肘关节的四元数，将腕关节游戏对象的旋转角度赋给初始腕关节的四元数，将四指手指关节的旋转角度赋给初始四指手指关节位置的四元数；由于Leap Motion在Unity3D虚拟环境中附带的手模型中手掌是基于固定位置旋转的，相当于正常上肢中的腕关节，而Leap Motion手模型中腕旋转的基点是随小臂运动的，相当于正常上肢中的肘关节，将Leap Motion手模型中手掌和大拇指近端指间关节相对位置的四元数与腕关节游戏对象的旋转角度相乘即得到初始大拇指腕掌关节位置的四元数，初始大拇指其他关节位置同理可获得。

在更新的函数中，首先将能检测到的手和未激活的游戏对象设置为激活状态，即确定显示的手为左手或右手，然后将Leap Motion手模型中腕旋转的方向中绕z旋转的欧拉角设为0后与初始肘关节的四元数相乘即得到肘关节每一帧的旋转角度，将Leap Motion手模型中手掌的旋转角度与初始腕关节的四元数相乘即得到腕关节每一帧的旋转角度，将Leap Motion手模型中各手指关节的旋转角度与初始手指关节的四元数相乘即得到手指关节每一帧的旋转角度。

最后将虚拟上肢模型中的左肢绑定脚本中对应的手模型游戏对象，将虚拟上肢模型中的小臂最高节点绑定肘关节游戏对象，将虚拟上肢模型中的手即各手指的父关节绑定腕关节游戏对象，将虚拟上肢模型中的手指指节部位绑定掌指关节、近指关节和远指关节等游戏对象。

为了使虚拟上肢与真实上肢的同步更准确，在肘关节与腕关节之间进行四元数插值，在虚拟上肢模型的小臂第二节点上将Leap Motion手模型中腕关节与肘关节的旋转角度之间按0.7的比例进行插值，在虚拟上肢模型的小臂第三节点上将Leap Motion手模型中腕关节与肘关节的旋转角度之间按0.3的比例进行插值；而虚拟上肢模型的上臂则利用MYO2同步姿态位置信息，首先初始化上臂的旋转角度，然后当获得按键“r”时标记为真并将MYO2的旋转角度设为参考myo，而当判断标记为真时将参考myo的四元数取逆后与MYO2的旋转角度相乘即得到校准myo，否则校准myo即为MYO2的旋转角度，最后将校准myo的四元数与初始上臂的四元数相乘即可同步虚拟上臂的姿态位置信息。

S2、通过MYO臂环的蓝牙接口和Leap Motion控制器来采集上肢的肌电信号和姿态信息；

MYO1通过蓝牙接收器与虚拟游戏开发环境实现通信，将MYO1的预设件赋给虚拟上肢模型中的小臂，在虚拟游戏开发环境中设置采集肌电的方式来采集执行不同手势时的小臂肌电信息，建立手势库包括握拳、张开、OK、竖大拇指和剪刀手的手势动作，采集方式包括准备手势动作倒计时5秒-执行手势动作5秒-重复20次动作，将Leap Motion捕捉到的手指和小臂的姿态位置信息通过计算得到手指弯曲角度、肘关节活动度等角度信息，将MYO2采集到的上臂运动信息通过计算得到肩关节活动度。

在Unity3D虚拟环境的C#脚本中，编写显示实时肌电曲线和采集肌电数据的代码。首先获取MYO1的各组件、设置初始时间和不同动作的肌电数据保存位置，然后在每1秒更新50帧动作的固定更新函数中，执行采集肌电数据的显示方式，MYO在Unity3D虚拟环境中调用肌电的字典结构为肌电数据，如果肌电数据不为空，则按8个肌电通道调用整型的肌电数据数组并保存数据，时间长度为当前时间减去初始时间，肌电的采样频率为50Hz。

实时肌电曲线的显示代码首先初始化肌电向量及曲线列表，设置横坐标为时间，纵坐标为肌电值，然后将肌电数组的数据按照8个肌电通道从起点至终点分别连成8条曲线，当曲线的长度超出时间窗的长度时清除之前的数据并重置时间，然后将8条曲线分别赋予不同的颜色材料以区分开，最后调整曲线显示的窗口宽度和高度。

采集肌电数据的显示方式首先在UI设计界面显示提示文本，当组数大于设置的总组数时，显示文本为“完成某手势动作的所有组数”并保存数据，当时间长度小于5时，显示文本为“准备采集某手势动作的肌电数据5秒”，当时间长度小于6时，显示文本为“准备倒计时5秒”，当时间长度小于7时，显示文本为“准备倒计时4秒”，当时间长度小于8时，显示文本为“准备倒计时3秒”，当时间长度小于9时，显示文本为“准备倒计时2秒”，当时间长度小于10时，显示文本为“准备倒计时1秒”，当时间长度小于15时，显示文本为“执行第几组某手势动作”，否则显示文本为“完成第几组某手势动作”，并增加组数，进行循环直至采集完设置组数的手势动作。

S3、对肌电信号、手势信息特征以及对上肢的姿态信息进行特征提取，并按照特征强弱进行阶梯化分类；

将Unity3D虚拟环境的C#脚本中保存的肌电数据文本导入MATLAB中，按采集组数提取出每一组的肌电数据合为一个三维数组，五种手势动作对应保存为五个三维数组。对肌电信号的时域特征进行提取，采用平均绝对值(MAV)，过零点数(ZC)和自回归模型的前三项系数(a2,a3,a4)构成一个五维特征向量，平均绝对值是先对数据进行全波整流后使用固定长度的移动窗口进行计算肌电的时域特性，过零点数是通过计算信号波形经过零点的次数来简单估计肌电的频域特性，自回归模型系数可以对肌电数据进行预测，对每个手势动作对应的八个通道采集的肌电信号均提取五维特征向量，故一个手势动作对应的特征向量共40维。

对手势信息特征进行提取如关节活动度，即手指各指节之间的角度及各手指指尖之间的距离，对上肢的姿态信息提取如肘关节和肩关节的关节活动度，即小臂相对于虚拟游戏开发环境中校准后上臂的角度和上臂相对于虚拟游戏开发环境中世界坐标系-Y方向的角度，以及对上肢的姿态信息进行提取如手腕的位置信息，并设置空间运动轨迹，使上肢末端沿着轨迹进行运动，计算轨迹偏离程度。将正常人的肌电特征和姿态信息作为参考模板，并从肌电特征为0和无动作的姿态信息开始，划分为1至5级不同的梯度级别，并将使用者的肌电特征和姿态信息划分至正常人对应的梯度级别，并获取对应得分1至5分。

S4、将肌电特征和手势的角度特征进行融合后输入分类器中模式识别；

将肌电特征和手势的角度特征进行融合，在五种手势动作的100个样本中提取75个样本为游戏样本，25个为预测样本，然后将游戏样本输入BP神经网络分类器进行游戏，输入层即为输入的特征向量为40层，设置BP神经网络的隐含层为8层，输出层为5层，迭代次数为3000次，学习率为0.08，目标误差为0.0003，保存游戏模型的参数和阈值，然后进行模式分类输出识别到的五种手势之一，并用位置信息等姿态信息来判断运动的方向。

S5、建立Unity3D虚拟环境与数学软件如MATLAB之间的通讯，在线识别上肢的手势和动作，将识别结果转化为控制虚拟环境中模型或物体运动的指令，完成上肢虚拟场景任务，并将虚拟场景结果可视化反馈给使用者，实现与虚拟环境的交互。

在Unity3D虚拟环境中调用MATLAB的函数或者建立Unity3D虚拟环境与数学软件如MATLAB之间的通讯，将MATLAB中的数据传输至虚拟游戏开发环境中，然后将使用者的手势或肩肘动作在虚拟游戏开发环境中进行识别分类，输出识别出的手势或放大虚拟上肢的肩肘动作，作为控制虚拟模型或物体运动的指令。

上肢虚拟场景训练任务包括针对肩关节、肘关节和手的单独游戏训练和上肢一体化的训练。训练难度通过运动学信息进行调节，设定“肩关节屈曲角度”、“肘关节屈曲角度”和“手指弯曲角度”为训练需达到的预定值，预定值越大则训练难度越大。肩关节屈曲角度是指从肩关节冠状轴前方跨过的角度，肘关节屈曲角度是指从肘关节冠状轴前方跨过的角度。

针对上臂的训练，主要是训练肩关节的前屈和后伸，设计射击游戏，场景中包含一把枪和一个靶，用虚拟上臂控制枪的瞄准；针对小臂的训练，主要是训练小臂的平移运动，设计接木球的游戏，场景中包含一个移动小筐和随机下落的木球，通过虚拟小臂控制小筐的移动；针对手的训练，主要是训练手指关节的弯曲运动，设计弹钢琴的游戏，控制虚拟手指按下虚拟钢琴键。

针对整个上肢复合关节的训练，设计摘苹果的游戏，场景中包含一棵树和一个篮筐，其中在苹果树不同的高度设置一定的苹果数目，在最底层，移动虚拟小臂到达不同的位置后，用虚拟手抓取树上的苹果，并放在旁边的篮筐里，加1分；在中层，需要抬起虚拟小臂后并移动到苹果的位置，然后抓取放到篮子了，加2分；在最高层，抬起虚拟上臂和虚拟小臂后并移动抓取苹果，然后放到篮子了，加3分；以同样的原理设置在虚拟场景中，设计面向日常生活活动(ADL)的游戏任务，如在厨房中的不同层橱柜中摆放不同的餐具，当拿取不同层的餐具时对应不同的加分，对日常生活的熟悉度可以增强参与者的真实感受，以促进更好地沉浸游戏中专心训练。

然后在虚拟/增强现实设备如VR头盔或AR眼镜中反馈虚拟游戏场景中的训练得分、训练等级、训练速度、训练准确率和完成度等指标，并将原始肌电信号及肩、肘和手指关节的活动度实时地展现给使用者，以帮助使用者更积极地参与训练，增强趣味性和真实性。

本发明利用便携式肌电臂环和手部图像运动捕捉设备搭建一个上肢一体化的系统，并将其映射到虚拟游戏开发环境中，搭建针对性的虚拟游戏场景，利用肌电信息和运动姿态信息编写控制算法，完成特定的动作从而实现与虚拟场景中物体的交互，并在GUI界面实时显示肌电与运动信息，提高使用者的积极性。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于肌电和运动捕捉的虚拟上肢控制系统，其特征在于，包括肌电设备、运动捕捉设备、虚拟游戏开发环境和虚拟/增强现实设备，虚拟游戏开发环境包括虚拟上肢模型和虚拟游戏场景，肌电设备用于检测不同手势的肌电信号及其手势信息并发送给虚拟上肢模型；运动捕捉设备用于获取上肢的关节坐标和空间姿态信息并发送给虚拟上肢模型；虚拟游戏场景接收虚拟上肢模型发送的数据并发送给虚拟/增强现实设备，虚拟/增强现实设备以视听觉刺激反馈给使用者，将虚拟物体放在对应真实环境中进行操作。

2.根据权利要求1所述的基于肌电和运动捕捉的虚拟上肢控制系统，其特征在于，肌电设备采用表面肌电传感器或肌电电极，用于检测不同手势的肌电信号及其手势信息，而便携式肌电臂环还可以采集位移信号，分别佩戴在使用者的小臂和上臂，能够采集小臂肌肉产生的生物电信号和上臂运动产生的运动加速度和位移信号。

3.根据权利要求1所述的基于肌电和运动捕捉的虚拟上肢控制系统，其特征在于，虚拟游戏开发环境用于提供搭建虚拟上肢模型和游戏场景的平台，在电脑上用虚拟游戏开发软件搭建虚拟游戏环境，包括上肢模型的映射以及针对上肢中肩、肘和手指关节的游戏训练场景设计，可穿戴式肌电设备中的陀螺仪控制虚拟上臂的运动，运动捕捉设备控制虚拟手指和虚拟小臂的运动。

4.根据权利要求1所述的基于肌电和运动捕捉的虚拟上肢控制系统，其特征在于，虚拟/增强现实设备用于将虚拟游戏开发软件搭建的虚拟游戏训练场景以视觉和听觉刺激反馈给使用者其上肢动作状态，使其产生身临其境的感觉，并将虚拟游戏场景中的虚拟物体在对应的真实环境中进行操作，给使用者提供一个感官真实的环境，增强环境沉浸感和人机交互。

5.一种根据权利要求1至4中任一项所述基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，其特征在于，包括以下步骤：

S1、将真实上肢映射为虚拟环境中的虚拟上肢，将肌电设备和运动捕捉设备采集到的真实上肢的运动信息映射至虚拟游戏环境的上肢模型中；

S2、通过肌电设备或肌电电极和运动捕捉设备来采集上肢的肌电信号和姿态信息；

S3、对肌电信号、手势信息特征以及对上肢的姿态信息进行特征提取,并按照特征强弱进行阶梯化分类；

S4、将肌电特征和手势的角度特征进行融合后输入分类器中模式识别；

S5、建立虚拟游戏开发平台与数学软件如MATLAB之间的通讯，在线识别上肢的手势和动作，并控制虚拟物体执行对应的运动，完成上肢虚拟场景任务，并将虚拟场景结果可视化反馈给使用者，实现与虚拟环境的交互。

6.根据权利要求5所述的基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，其特征在于，步骤S1中，虚拟上肢的映射包括将运动捕捉设备捕捉到的手和小臂、上臂的运动信息映射到虚拟环境的虚拟手和小臂、上臂中，将便携式肌电臂环的预设件赋给虚拟上肢模型中的上臂，同步上臂的运动信息，将手部图像运动捕捉设备捕捉到的手指各关节和腕关节等姿态位置信息赋给虚拟上肢模型中的手指和小臂，同步手指和小臂的运动信息，校准上臂和小臂在虚拟游戏环境中的初始方向，调整虚拟上肢模型同步真实上肢。

7.根据权利要求5所述的基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，其特征在于，步骤S2中，信号采集包括通过肌电设备或肌电电极的接口接收肌电信号，并在虚拟游戏开发平台中采集不同手势动作的肌电信号，通过运动捕捉设备采集手势信息和小臂、上臂的姿态信息，便携式肌电臂环通过蓝牙接收器与虚拟游戏开发环境实现通信，在虚拟游戏开发环境中设置采集肌电的方式来采集执行不同手势时的小臂肌电信息，建立手势库的多种手势动作，采集方式包括准备手势动作倒计时-执行手势动作-重复动作的过程，将手部图像运动捕捉设备捕捉到的手指和小臂的姿态位置信息通过计算得到手指弯曲角度、肘关节活动度等角度信息，将便携式肌电臂环采集到的上臂运动信息通过计算得到肩关节活动度。

8.根据权利要求5所述的基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，其特征在于，步骤S3中，特征提取包括对肌电信号的时域特征进行提取，包括平均绝对值，过零点数和自回归模型的系数，对手势信息特征进行提取如关节活动度，以及对上肢的姿态信息进行提取如位置信息，并设置空间运动轨迹，计算轨迹偏离程度；将正常人的肌电特征和姿态信息作为模板，并按照特征强弱进行阶梯化分类，并将使用者的肌电特征和姿态信息按照对应的阶梯化类别获取对应得分。

9.根据权利要求5所述的基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，其特征在于，步骤S4中，模式识别包括将肌电特征和手势的角度特征进行融合，然后输入BP神经网络等分类器进行模式分类，保存游戏模型的参数和阈值，并将位置信息等姿态信息作为条件判断运动的方向。

10.根据权利要求5所述的基于肌电和运动捕捉的虚拟上肢控制系统的控制方法，其特征在于，步骤S5中，在线识别具体为：在虚拟游戏开发平台中调用MATLAB的函数或建立虚拟游戏开发平台与MATLAB之间的通讯，然后将使用者的动作在虚拟游戏开发环境中进行识别分类，作为控制虚拟模型或物体运动的指令完成针对性的上肢虚拟场景任务，游戏中包含日常生活场景以增强真实感受，并将虚拟训练结果可视化反馈给使用者。