CN110298286B

CN110298286B - 基于表面肌电与深度图像的虚拟现实康复训练方法及系统

Info

Publication number: CN110298286B
Application number: CN201910548545.9A
Authority: CN
Inventors: 薛金伟; 姜乃夫; 李光林
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2019-06-24
Filing date: 2019-06-24
Publication date: 2021-04-30
Anticipated expiration: 2039-06-24
Also published as: CN110298286A

Abstract

本发明面向前臂截肢患者，提供一种基于表面肌电信息与深度图像信息的虚拟现实康复训练方法和系统。该方法包括：采集截肢患者的残肢肌电信息，利用经训练的手势识别模型获得肌电信息对应的手掌动作类别；同时，通过深度摄像头获取截肢患者的残肢位姿信息，并基于该位姿信息识别跟随手掌动作的手臂动作类别；最后，基于所述手掌动作类别和所述手臂动作类别生成在虚拟环境中控制虚拟手部动作的控制指令，以辅助康复训练。本发明的方法和对应的系统能够融合表面肌电信息和深度图像信息，提高了前臂截肢患者的康复训练效果与效率，能够帮助患者尽快适应假肢使用。

Description

基于表面肌电与深度图像的虚拟现实康复训练方法及系统

技术领域

本发明涉及康复工程技术领域，尤其涉及一种基于表面肌电信息与深度图像信息的虚拟现实康复训练方法和系统。

背景技术

据统计，现在中国大陆的残疾人群的数量已达6000多万，这其中上肢残疾患者大约有1800万到2400万人，前臂截肢患者大约400多万人。安装假肢可以在一定程度上弥补患者的心理创伤并改善患者的生活质量。肌电信号控制假肢是一种安全的、非侵入式的控制方式，针对安装肌电假肢患者进行截肢处肌肉特定的训练，能达到活化截肢部位肌肉的目的，促进该处的血液循环，提高肌力，防止肌肉萎缩，减轻幻肢痛、神经瘤痛等疼痛症状，为后续装配假肢等一系列康复工作做准备。因此，为了更好的适应肌电假肢，患者进行安装使用假肢前的相关康复训练是很有必要的。

虚拟现实技术利用计算机创建出一种虚拟环境，融合了仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术，为用户提供了一种完全不一样的人机交互方式，实现视听触一体化的虚拟环境，产生身临其境的交互体验。这种全新的技术已经广泛的被应用于康复治疗的各个领域，其中包括认知康复、情绪障碍和精神疾患的康复、运动障碍康复等。

燕山大学的谢平等设计的基于肌电反馈与Kinect交互的虚拟康复系统及训练方法(申请公布号CN109331453A)，通过肌电信号采集模块和Kinect体感设备搭建了一套基于肌电反馈和虚拟现实的脑卒中康复系统。所述系统包括数据采集部分和虚拟现实人机交互部分；所述数据采集部分包括肌电信号数据采集模块和Kinect肢体动作识别模块；所述虚拟现实人机交互部分包括康复训练方式选择模块和虚拟现实人机交互模块；所述系统的康复训练方式包括肌电反馈方式、Kinect交互方式和肌电+Kinect结合方式，从而可以满足患者不同关节康复训练的需求；所述肌电+Kinect结合方式为一种全新的康复训练方法，通过Kinect进行肢体动作识别，由肌电信号进行肌力大小评估，实现对虚拟康复训练场景难度系数的自适应调整，从而可以满足患者的个性化康复需求。

国家康复辅具研究中心的基于虚拟现实的截肢上肢康复康复训练系统(公开号CN101667346A)包括肌电信号检测与处理、截肢手部建模和虚拟现实场景交互几部分。所述的肌电信号检测与处理部分利用肌电测试仪对残肢表面肌电信号进行提取、放大、滤波、A/D转换和多路采集，提取其鲁棒特征并结合在线学习方法实现快速和有效的手部动作识别；所述的截肢手建模部分利用健康上肢的照片，采用三维参数化网络模型对截肢手进行三维重建，将识别得到的手部动作参数作为模型驱动数据，实现虚拟手的手部动作模拟；所述的虚拟现实场景交互部分进行真实三维交互场景的实时交互。该仪器主要用来辅助上肢截肢患者在假肢安装前，进行必要的适应性训练，以帮助患者尽快适应假肢使用。

现有技术方案存在两方面问题：其一，利用摄像头图像进行肢体识别的上肢康复训练方案主要是面向具有完整上肢(包括手部)的康复患者(如脑卒中患者)来设计的，而前臂截肢患者由于缺乏手部信息，导致其手部特征不明显，无法通过摄像头的图像准确识别残肢手部动作意图；其二，部分面向截肢患者的虚拟现实康复训练方案仅使用了肌电信号作为控制源，只能识别残肢的手部动作意图，电脑端的虚拟手只能实现张开闭合等简单手部动作，而不能实时跟随残肢实现空间运动(如平移与旋转等)，无法完成复杂的康复训练任务，限制了康复训练应用与效果。

总之，在现有的面向前臂截肢患者的虚拟现实康复训练方案中，由于缺乏对残肢的动作意图、空间位置以及运动姿态的准确识别，造成患者无法在虚拟现实环境中进行复杂且有效的康复训练。

因此，需要对现有技术进行改进，为前臂截肢患者提供更有效的康复训练方法。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种基于表面肌电信息与深度图像信息的康复训练方法和系统，尤其适用于前臂截肢患者的虚拟现实康复训练。

根据本发明的第一方面，提供了一种基于表面肌电信息与深度图像信息的康复训练方法，该方法包括以下步骤：

步骤S1：采集截肢患者的残肢肌电信息，利用经训练的手势识别模型获得肌电信息对应的手掌动作类别；

步骤S2：获取截肢患者的残肢位姿信息并基于该位姿信息识别跟随手掌动作的手臂动作类别；

步骤S3：基于所述手掌动作类别和所述手臂动作类别生成在虚拟环境中控制虚拟手部动作的控制指令，以辅助康复训练。

在一个实施例中，通过以下步骤获得所述手势识别模型：

根据截肢处表面肌电信号特征和手掌动作类别的关联关系构建训练样本集；

基于所构建的训练样本集，以表面肌电信号特征为输入，以对应的手掌动作类别为输出，训练分类器，进而获得所述手势识别模型。

在一个实施例中，通过以下步骤获得所述截肢患者的位姿信息：

深度摄像头采集残肢的深度图像数据与彩色图像数据，利用深度图像数据提取摄像头视觉范围小于阈值内的物体并利用彩色图像数据进行肤色分割；

在分割出肤色之后，利用经训练的人脸识别分类器进行人脸检测，去除面部干扰，获取残肢部位的平面位置信息以及该位置的深度信息；

基于所述平面位置信息和相应的深度信息计算得到残肢的三维信息，作为位姿信息。

在一个实施例中，步骤S3包括：

采用Unity 3D游戏引擎搭建虚拟现实环境并对虚拟手臂建模；

以采集的肌电信息作为手掌动作的控制源，驱动虚拟手手掌的动作，以获得的位姿信息作为手臂的控制源，驱动虚拟手手臂实时跟随手掌动作，以实现在虚拟环境中控制虚拟手的训练动作。

在一个实施例中，所述训练动作包括：握拳与放松动作训练，手腕内屈与外旋动作训练，手腕内旋与外旋动作训练。

在一个实施例中，所述分类器是线性判别分析分类器。

根据本发明的第二方面，提供了一种基于表面肌电信息与深度图像信息的康复训练系统，该系统包括：

手势识别模块：采集截肢患者的残肢肌电信息，利用经训练的手势识别模型获得肌电信息对应的手掌动作类别；

手臂动作识别模块：获取截肢患者的残肢位姿信息并基于该位姿信息识别跟随手掌动作的手臂动作类别；

控制指令生成模块：用于基于所述手掌动作类别和所述手臂动作类别生成在虚拟环境中控制虚拟手部动作的控制指令，以辅助康复训练。

在一个实施例中，所述手臂动作识别模块通过以下过程获得所述截肢患者的位姿信息：深度摄像头采集残肢的深度图像数据与彩色图像数据，利用深度图像数据提取摄像头视觉范围小于阈值内的物体并利用彩色图像数据进行肤色分割；在分割出肤色之后，利用经训练的人脸识别分类器进行人脸检测，去除面部干扰，获取残肢部位的平面位置信息以及该位置的深度信息，其中人脸识别分类器是通过OpenCV训练的XML格式的分类器；基于所述平面位置信息和相应的深度信息计算得到残肢的三维信息，作为位姿信息。

本发明的优点在于：相对于未充分提取残肢活动信息的现有技术，本发明融合截肢者残肢的肌电信息与图像信息，能够同时识别残肢的动作意图信息和位姿信息，实现虚拟手与患者残肢动作的实时跟随，增强训练时的互动性与趣味性，能够提高康复效果与效率。此外，使用摄像头这种非接触方式来获取患者残肢的位姿信息，更轻便快捷，可以减轻患者的训练负担。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了根据本发明一个实施例的基于表面肌电信息与深度图像信息的虚拟现实康复训练方法的流程图；

图2示出了根据本发明一个实施例的肌电信息控制虚拟手的流程图；

图3示出了根据本发明一个实施例的获取位姿信息的流程图；

图4示出了根据本发明一个实施例的基于表面肌电信息与深度图像信息的虚拟现实康复训练系统的过程示意图；

图5示出了根据本发明一个实施例的基于表面肌电信息与深度图像信息的虚拟现实康复训练系统的演示图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

在本文示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

根据本发明的一个实施例，提供了一种基于表面肌电信息与深度图像信息的康复训练方法。简言之，该方法包括：通过深度摄像头，获取前臂截肢患者残肢的位姿信息；采集肌电信息进行处理，依靠残肢表面肌电信号准确快速的识别出患者的手部动作意图；进行人体上肢模型建模，创建虚拟现实的训练场景。本发明实施例最终实现截肢患者与虚拟场景的充分互动，通过摄像头的图像识别，使电脑端的虚拟手臂跟随截肢患者的残肢进行空间移动与旋转，并且通过分析残肢处的肌电信息，可以控制虚拟手实现手腕旋转屈伸、手指开合、手部抓握并移动物体等康复训练动作。

具体地，参见图1所示，本发明实施例的康复训练方法包括以下步骤：

步骤S110，采集截肢患者的残肢肌电信息，利用经训练的手势识别模型获得肌电信息对应的手掌动作类别。

肌电信号是人体自主运动时神经、肌肉兴奋释放生物电的结果，其反应了人体肌肉和神经的功能状态。表面肌电信号作为一种无痛苦无创伤的肌电检测方式，被应用于残疾人的假肢控制中。截肢患者的残肢会保留一些肌肉，从残肢表面采集肌电信号，对这些肌电信号进行识别分类，进而识别人的动作意图。由于表面肌电信号是一种微弱的人体电信号，所以很容易受到皮肤组织的低通滤波效应干扰影响。因此，在采集表面肌电信号的时候要进行放大，滤波去噪，然后再对采集到的信号进行特征提取、分类识别。

参见图2所示，在一个实施例中，利用肌电信息控制虚拟手工作的过程包括：

肌电训练数据采集，可采取多通道的方式进行残肢处表面肌电信号的采集，首先，截肢患者用残肢做一些训练动作，每个动作代表虚拟手的不同动作类别(或称手势)，例如握拳，张开手等，同时采集残肢处的表面肌电信号；

信号处理和特征提取，将采集到的表面肌电信号进行一系列的放大、滤波等信号处理，再进行特征提取，从而获得不同动作类别对应的肌电信号特征；

分类器训练和测试，构建训练样本集，该训练样本集反映截肢处肌电信号特征和手掌动作类别的对应关系，以肌电信号特征为输入，以手掌动作类别为输出训练分类器，训练好的分类器即为手势识别模型，可用于基于肌电信号进行手势识别与分类，并对手势识别模型进行准确率测试，其中可采用线性判别分析(LDA)分类器，LDA分类器相对简单，并能够取得较好的分类准确率；

实时动作分类识别，实时采集患者截肢处的肌电信号并提取特征，将肌电信号特征输入到训练好的分类器，即可以实现实时手势识别分类；

生成虚拟手运动指令，根据识别出的手势类别可获得患者的运动意图，并转变成虚拟手的手掌部分的动作指令，例如控制握拳，挥手的指令。

需说明是，本发明考虑到截肢患者上肢不完整，在采集肌电数据过程中有无手部信息并不影响最终识别效果，所以也可以应用在脑中卒患者等上肢完整但是肌肉萎缩的情况。此外，也可采用其他类型的分类器进行手势识别，例如，最近邻分类器等，并且分类训练过程可在云端或服务器离线进行。

步骤S120，获取截肢患者的残肢位姿信息并识别位姿信息对应的手臂动作类别。

在此步骤中，对前臂截肢患者残肢的动作进行捕捉与跟踪，以识别手臂动作类别。

动作捕捉是通过捕捉真实人物的动作，然后虚拟出的动画模型将这些动作的数据作为变化依据，为降低使用者的负担，可利用深度摄像头进行人体动作捕捉，通过这种方式能够快捷地识别人体动作，让使用者更轻松方便，并且还能够降低康复训练成本。

参见图3所示，在一个实施例中，获取残肢位姿信息的过程包括：获取深度数据和彩色数据、进行背景分割和前景提取、进行肤色提取、去除面部干扰以及残肢区域提取、综合信息计算、残肢三维定位等。

具体地，使用基于英特尔公司的Real Sense435i摄像头，该款深度摄像头检测范围从0.1m到8m，具有左右红外摄像头、红外点阵投射器和彩色摄像头，用于测量深度信息以及采集彩色图片，适用于动态场景下的三维物体识别。深度摄像头采集残肢的深度图像数据与彩色图像数据，首先进行背景分割，利用深度图像提取摄像头视觉范围0.8米内的物体，再使用彩色图像进行肤色分割，这里彩色图像先转换成YCbCr颜色空间，其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量，因为肤色在该空间受亮度信息影响较小。分割出人体肤色之后，再通过OpenCV(Open Source Computer Vision Library开源计算机视觉库)中已经训练好的XML格式的分类器进行人脸检测，然后去除面部干扰，获取残肢部位的平面位置信息以及该位置的深度信息。最后，通过综合信息计算得到残肢的三维信息，实现残肢的三维定位。

根据残肢的三维定位可识别手臂动作类别，例如，向内旋转、向外旋转等。

步骤S130，搭建虚拟现实环境并建模虚拟手臂，以肌电信息作为手掌动作的控制源，以位姿信息作为手臂动作的控制源，实现虚拟手在虚拟环境中的多种动作。

在医学方面，虚拟现实可与严肃游戏相结合，让患者在虚拟现实环境下扮演角色，完成规定的动作训练和任务。

在一个实施例中，采用Unity 3D游戏引擎搭建虚拟现实环境和虚拟手臂的建模。Unity 3D是一款用于创建三维视频游戏、实时三维动画等互动内容的综合性开发工具。通过该软件进行虚拟手臂建模，然后以肌电信号作为手掌动作的控制源实现虚拟手手掌的翻转、抓握等，使用残肢的位姿信息作为手臂的控制源，实现手臂的实时跟随。最终达到虚拟手在虚拟环境中抓握、移动物体的效果。

在实际生活中，用于前臂截肢患者的假肢一般是二自由度肌电假肢，可完成手指开合和手腕旋转等动作，实现拿放、移动物体的功能。因此，在虚拟环境中针对性的训练动作包括但不限于：1)握拳与放松动作训练；2)手腕内屈与外旋动作训练；3)手腕内旋与外旋动作训练等。同时为了保证训练的趣味性与实际应用，本发明实施例设计多种应用场景：拿起水杯倒水、使用钥匙开门等训练动作，每一个动作的完成都需要主动肌、拮抗肌、协同肌相互配合，这些训练利用前臂残肢的伸肌、屈肌、旋前肌和旋后肌等肌群，每日有意识的进行分组训练，每组100-150次练习，以增强残存肌肉肌力，改善残肢功能，防止肌肉萎缩。

本发明实施例融合肌电信息和深度信息等多源数据，不仅能够识别手势的状态(例如挥手)，并能感知手势的持续变化(即追踪手势的运动)，并且通过结合深度图像信息实现了更准确的三维手势识别。

综上，本发明的康复训练方法，融合并分析残肢的表面肌电信息与深度图像信息，提高了对残肢动作意图、空间位置和运动姿态的识别精准度和稳定性，尤其适用于前臂截肢患者的康复训练。本发明提供的虚拟现实康复训练方案，完成基于虚拟手的抓握、物体移动等康复训练，促进残肢部位的血液循环，提高肌力，防止肌肉萎缩，减轻幻肢痛、神经瘤痛等疼痛症状，可以为装配假肢等一系列康复工作做准备。

相应地，本发明还提供一种康复训练系统，用于实现上述的基于表面肌电信息与深度图像信息的康复训练方法的一个或多个方面，例如，该系统包括：手势识别模块，其用于采集截肢患者的残肢肌电信息，利用经训练的手势识别模型获得肌电信息对应的手掌动作类别；手臂动作识别模块，其用于获取截肢患者的残肢位姿信息并基于该位姿信息识别跟随手掌动作的手臂动作类别；控制指令生成模块，其用于基于所述手掌动作类别和所述手臂动作类别生成在虚拟环境中控制虚拟手部动作的控制指令，以辅助康复训练。

具体地，参见图4和图5所示，本发明实施例提供的康复训练系统包括：当患者产生运动意图并做出相应的肢体动作时，进行多源信息处理，包括：利用肌电采集模块采集肌电信息，进行预处理和特征提取，并进而识别运动意图(例如利用训练好的模型识别手势类别)；同时，利用深度摄像头采集肢体动作的图像信息，进行图像处理，并利用机器视觉技术获得残肢的姿态位置信息。然后，在虚拟现实环境中，基于运动意图的识别生成手掌动作指令，基于残肢姿态位置信息产生动作指令，从而控制虚拟手完成相应的动作。

本发明的康复训练系统面向对象是前臂截肢患者，利用摄像头和肌电采集模块获取患者残肢的位姿以及运动意图，最终实现在虚拟现实环境中控制虚拟手进行一系列训练。此外，能够使患者体验不同场景，不同强度的训练，同时虚拟手可以实时跟随患者的残肢运动(平移、旋转等)，增强其人机互动性，并可在长期且重复的训练过程中增加趣味性，有利于提高其康复训练效果。因此，本发明具有重要的现实意义，并拥有一定的市场前景。

综上，本发明设计的基于表面肌电信息与深度图像信息的虚拟现实康复训练系统和方法，使用前臂截肢者残肢的表面肌电信号为控制源，控制电脑端的虚拟手实现手腕旋转屈伸、手指开合、手部抓握等动作；使用深度摄像头获取前臂截肢患者残肢的位姿信息，利用位姿信息实现电脑端的虚拟手实时跟随患者残肢运动；通过融合多源信息，创建人体前臂模型建模以及虚拟现实的训练场景，截肢患者能够在虚拟场景进行虚拟手的旋转、张合、抓握并移动物体等动作训练。

进一步地，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明实施例的基于表面肌电信息与深度图像信息的康复训练方法的一个或多个方面。

由于本发明描述的电子设备是实施本发明实施例中一种基于表面肌电信息与深度图像信息的康复训练方法所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种基于表面肌电与深度图像的虚拟现实康复训练方法，包括以下步骤：

步骤S2：通过深度摄像头获取截肢患者的残肢位姿信息并基于该位姿信息识别跟随手掌动作的手臂动作类别；

步骤S3：基于所述手掌动作类别和所述手臂动作类别生成在虚拟环境中控制虚拟手部动作的控制指令，以辅助康复训练；

其中，通过以下步骤获得所述截肢患者的位姿信息：

2.根据权利要求1所述的方法，其特征在于，通过以下步骤获得所述手势识别模型：

3.根据权利要求1所述的方法，其特征在于，步骤S3包括：

采用Unity 3D游戏引擎搭建虚拟现实环境并对虚拟手臂建模；

4.根据权利要求3所述的方法，其特征在于，所述训练动作包括：握拳与放松动作训练，手腕内屈与外旋动作训练，手腕内旋与外旋动作训练。

5.根据权利要求2所述的方法，其特征在于，所述分类器是线性判别分析分类器。

6.一种基于表面肌电与深度图像的虚拟现实康复训练系统，包括：

控制指令生成模块：用于基于所述手掌动作类别和所述手臂动作类别生成在虚拟环境中控制虚拟手臂动作的控制指令，以辅助康复训练；

其中，所述手臂动作识别模块通过以下过程获得所述截肢患者的位姿信息：

7.根据权利要求6所述的系统，其特征在于，所述人脸识别分类器是通过OpenCV训练的XML格式的分类器。

8.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至5中任一项所述方法的步骤。

9.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5中任一项所述的方法的步骤。