CN101667346A - 基于虚拟现实的截肢上肢康复训练系统 - Google Patents

Abstract

本发明是一种基于虚拟现实的截肢上肢康复训练系统，包括肌电信号检测与处理、截肢上肢建模和虚拟现实场景交互几部分。所述的肌电信号检测与处理部分利用肌电测试仪对残肢表面肌电信号进行提取、放大、滤波、A/D转换和多路采集，提取其鲁棒特征并结合在线学习方法实现快速和有效的上肢运动动作识别；所述的截肢上肢建模部分利用健康上肢的照片，采用三维参数化网格模型对截肢上肢进行三维重建，将跟踪得到的上肢运动参数作为模型驱动数据，实现虚拟手的动作模拟；所述的虚拟现实场景交互部分进行真实三维交互场景建模，并通过肌电实现残肢肌肉动作与三维场景的实时交互。该仪器主要用来辅助上肢截肢患者在假肢安装前，进行必要的适应性训练，以帮助患者尽快适应假肢使用。

Description

基于虚拟现实的截肢上肢康复训练系统

技术领域

本发明涉及肌电信号处理与图像处理技术领域，特别涉及肌电信号特征提取和识别及人机交互技术方法。

背景技术

截肢上肢通过肌电信号控制肌电假手。肌电信号中包含了截肢上肢的运动特征，通过对运动特征的分析可以进一步精确获取患者的动作信息。患者灵活控制假肢之前，首先需要掌握截肢上肢肌电信号的控制，需要有很长一段时间的训练和适应过程，才能逐渐适应和控制。以肌电信号为输入数据，构建虚拟康复环境，在这个虚拟环境中，系统根据患者的具体截肢部位和生理状况给出科学指导，实现患者自主康复训练，有效提高肌电手的训练效率，缩短训练过程，对恢复患者生理机能、树立康复信心具有重要意义。要利用肌电信号所提供的信息，研究出鲁棒、准确、快速且智能的肌电信号交互式训练系统是非常重要的。

虚拟手的建模和动画在计算机图形和动画界已有较深入的研究，这些研究关注于模型和动画在视觉上的逼真性，通常通过反向动力学模型或者具有运动采集的动画数据来模拟人手的动作，可以做到非常逼真的效果。在虚拟康复中，要求虚拟的人手及动作模型要实现视觉上的逼真，同时，能够通过截肢上肢的肌电信号控制虚拟手的复杂真实感动作模拟。不同人肌电信号的强弱程度并不一样，因而需要针对不同的患者，将特定的肌电信号信息映射到人手的动力学模型中。

在实用性方面，现有技术对于肌电信号识别、真实手部三维模型创建、沉浸式人机交互训练系统这三者的结合，缺少完整有效的解决方案。本发明针对这些问题，平衡各方面性能的需求，同时考虑到实际应用中患者的需求，给出了有效的解决方法。

发明内容

本发明的目的是提供一种基于虚拟现实的截肢上肢康复训练系统，为此，本发明采用以下方案：

一种基于虚拟现实的截肢上肢康复训练系统，包括肌电信号检测与处理部分、截肢上肢建模部分、虚拟现实场景交互部分，其中：所述的肌电信号检测与处理部分对患者的残肢表面肌电信号进行提取、放大、滤波、A/D转换和多路采集，从而获得患者的手的肌电信号；所述的截肢上肢建模部分利用健康上肢的照片，采用三维参数化网格模型对截肢上肢进行三维重建，将患者的手的肌电信号作为模型驱动数据，实现虚拟手的动作模拟；所述的虚拟现实场景交互部分进行真实三维交互场景建模，并通过肌电信号实现残肢肌肉动作与三维场景的实时交互。

进一步地：

所述肌电信号检测与处理部分包括表面肌电信号调理电路、表面肌电信号采集电路、计算机接口、数据存储单元、电源模块，其中：

表面肌电信号调理电路将表面电极放置在被测肌肉的肌腹上，提取残肢表面肌电信号，通过增益放大和滤波电路对微弱信号进行处理，去除噪声干扰，得到可用于控制训练系统的信号；

表面肌电信号采集电路利用微处理器对放大滤波后的多路肌电信号进行A/D转换和采集，使其满足系统采样精度和速度的要求，并通过计算机接口将采集结果实时传送到计算机上用于后续的分析和处理；

数据存储单元，利用CF/SD卡作为数据存储设备，使肌电仪在不需要计算机干预的情况下可独立实现肌电信号采集和存储等功能；

电源模块，包括电压转换和稳压电路，为肌电信号放大滤波电路和微处理器提供可靠的电源。

所述截肢上肢建模部分主要包括照片采集模块、光照均衡单元、形状及灰度调整模块、边缘特征参数提取模块、生理学模型映射模块、三维手部模型数据存储输出模块、肌电信号与手部动作映射模块，其中：

照片采集模块使用照相机拍摄患者的健康手照片，将照片传入光照均衡单元对其进行光照均衡补偿处理；

形状及灰度调整模块对手部形状和灰度进行归一化处理；

边缘特征参数提取模块在归一化的图形上提取手部轮廓，将参数传入生理学映射模块，生理学映射模块输出三维手部模型参数，经过三维手部模型数据存储输出模块进行存储，并将数据传入肌电信号与手部动作映射模块，结合人手运动参数分析模块，准确实现运动模拟。

所述虚拟现实场景交互部分包括沉浸式虚拟现实场景模块、精灵生成模块、训练等级设置模块、三维手部互动模块、训练评估模块，其中：

沉浸式虚拟现实场景模块实现生活场景建模，并在模块中调用精灵生成模块和训练等级设置模块，实现不同场景切换；

三维手部互动模块接收截肢上肢建模部分的输出信号，在场景中生成交互式三维手部动画，交互的结果传入训练评估模块生成训练成绩。

本发明首先实时地、鲁棒地检测残肢肌电信号，然后对肌电信号进行实时动作识别，并将跟踪得到的动作参数直接用于三维交互训练场景中的手部运动驱动。肌电信号动作识别和沉浸式交互在虚拟现实系统中直观显示，患者在训练时能够获得进度实时评估。

本发明的有益效果是：实现了残肢表面肌电信号的处理、采集、存储和传输，采样通道数量、采样频率可根据需要自由设定。实现了肌电信号放大倍数可根据截肢患者康复训练过程中不同阶段肌肉力的变化进行相应调整。可以自由设定工作模式，在不需要计算机干预的情况下可独立实现肌电信号采集和存储，方便对测试数据进行离线分析。

本发明实现肌电信号到三维手部模型动作映射、三维手部动作模型创建、实时训练场景交互，并可根据患者的具体训练体征，调整训练场景和等级难度，包含初级、中级、高级多种训练模式，患者可以自由在不同等级和场景环境之间进行切换，每次训练的数据可以及时反馈并在系统中存储。对训练过程进行全程的可视化的显示和引导。

附图说明

图1是本发明的系统组成图；

图2是本发明的表面肌电测试仪整体结构图；

图3是本发明的表面肌电信号调理电路原理图；

图4是本发明的手部三维模型创建及动作映射原理图；

图5是本发明的交互式训练环境原理图。

具体实施方式

本发明为一种基于虚拟现实的截肢上肢康复训练系统，如图1所示，该系统包括肌电信号检测与处理部分、截肢上肢建模部分、虚拟现实场景交互部分，其中：

肌电信号检测与处理部分对患者的残肢表面肌电信号进行提取、放大、滤波、A/D转换和多路采集，从而获得患者的手的肌电信号；

截肢上肢建模部分利用健康上肢的照片，采用三维参数化网格模型对截肢上肢进行三维重建，将患者的手的肌电信号作为模型驱动数据，实现虚拟手的动作模拟；

虚拟现实场景交互部分进行真实三维交互场景建模，并通过肌电信号实现残肢肌肉动作与三维场景的实时交互。

下面对系统的各组成部分作详细介绍。

一肌电信号的提取和处理部分

该部分主要包括表面肌电信号调理电路、表面肌电信号采集电路、计算机接口、数据存储单元、电源模块等组成部分。其中：表面肌电信号调理电路，将表面电极放置在被测肌肉的肌腹上，提取残肢表面肌电信号，通过增益放大和滤波电路对微弱信号进行处理，去除工频、心电等噪声干扰，得到可用于控制训练系统的信号。表面肌电信号采集电路，利用微处理器对放大滤波后的多路肌电信号进行A/D转换和采集，使其满足系统采样精度和速度的要求，并通过计算机接口将采集结果实时传送到计算机上用于后续的分析和处理。数据存储单元，利用CF/SD卡作为数据存储设备，使肌电仪在不需要计算机干预的情况下可独立实现肌电信号采集和存储等功能。电源模块，包括电压转换和稳压电路，为肌电信号放大滤波电路和微处理器提供可靠的电源。

如图2所示，肌电信号检测与处理部分包括表面肌电信号调理电路1a、微处理器1b、计算机接口模块1c、数据存储设备1d和电源管理模块1e几部分。

表面肌电信号经过肌电信号调理电路1a处理后得到比较纯净的肌电信号，将其输出到微处理器1b进行A/D转换1f和数据采集1g。采集到的信号一方面可以利用计算机接口模块1c传输到计算机进行后续分析和处理，另一方面可以通过数据存储设备1d进行存储，方便以后进行测试数据的离线分析。同时，计算机可以通过计算机接口模块1c向微处理器发送命令信息，调节微处理器的采样通道数量、采样频率、工作模式等。通过设定表面肌电测试仪的工作模式，选择肌电信号测试数据的输出方式。在需要在线训练的情况下，选择计算机连接模式；当需要数据离线分析的情况下，选择数据存储模式。电源管理模块1e为肌电信号调理电路1a和微处理器1b提供稳定的电源电压。

图3详细的描述了表面肌电信号调理电路的原理。将表面电极2a放置在被测肌肉的肌腹上，提取残肢表面肌电信号。采用仪表放大器2b对微弱信号进行差分放大，先后经过高通滤波2c和低通滤波2d滤除表面肌电信号频率范围外的噪声信号，利用工频陷波器2e去除50HZ工频信号的干扰，得到相对纯净的肌电信号，再经过后级可变增益放大电路2f对肌电信号进行二次放大，使信号幅值范围满足控制残肢训练系统的要求。

微处理器将调理后的肌电信号经过A/D转换1f使模拟信号转换为数字信号，然后对多路数字信号进行采集1g。

计算机接口模块1c利用USB/串口作为数据接口，通过一定的通信协议实现微处理器和计算机之间的数据传输和命令发送。

数据存储模块利用CF/SD卡作为数据存储设备1d，使肌电测试仪在不需要计算机干预的情况下可独立实现肌电信号采集和存储等功能，便于数据的离线分析与处理。

二截肢上肢建模部分

该部分主要包括照片采集模块、光照均衡单元、形状及灰度调整模块、边缘特征参数提取模块、生理学模型映射模块、三维手部模型数据存储输出模块、肌电信号与手部动作映射模块，其中：照片采集模块使用照相机拍摄患者的健康手照片，将照片传入光照均衡单元对其进行光照均衡补偿处理；形状及灰度调整模块对手部形状和灰度进行归一化处理；边缘特征参数提取模块在归一化的图形上提取手部轮廓，将参数传入生理学映射模块，生理学映射模块输出三维手部模型参数，经过三维手部模型数据存储输出模块进行存储，并将数据传入肌电信号与手部动作映射模块，结合人手运动参数分析模块，准确实现运动模拟。

图4显示了本部分的各模块关系。照片采集模块(3a)利用摄像机实时采集手部照片，经过预处理模块(3b，3c)进行光照补偿(3b)去除光照影响，以对不同光照实现鲁棒处理，以及灰度形状归一化处理(3c)，将待处理图像的尺度和灰度变换到预设模板上。将补偿后的图像做轮廓提取(3d)，采用样条曲线对轮廓进一步拟合以平滑误差(3e)，获取手部边缘轮廓。轮廓参数输入到基本手部模型(3f)，对基本手部模型做模型变形(3f1)和纹理映射(3f2)，以生成真实感的三维手部模型(3g)。在多通道肌电信号识别模块(3h)识别出动作(3j)后，再将动作参数映射到三维网格模型上(3g)，驱动网格模型运动，做出相应的手部动作(3k)。

三虚拟现实场景交互部分

该部分包括沉浸式的虚拟现实场景模块、精灵生成模块、训练等级设置模块、三维手部互动模块、训练评估模块。沉浸式的虚拟现实场景模块实现生活场景建模，并在模块中调用精灵生成模块可等级设置模块，实现不同场景切换。三维手部互动模块接收手部建模模块的输出信号，在场景中生成交互式三维手部动画，交互的结果传入训练评估模块生成训练成绩。

参见图5。三维场景建模模块(4a)创建训练场景的虚拟现实模型，该虚拟现实模型实现多个交互接口，包括等级选择(4a1)、场景选择(4a2)、精灵选择(4a3)、交互方式选择(4a4)。初始场景由预设画面、等级选择控制面板构成。当选择选择训练等级后，系统首先根据手部三维模型(3f)数据在场景中生成虚拟手(4b、3f、3g)，初始手部动作为静止。然后读取USB接口获取的肌电信号中的动作数据，并将此数据驱动三维手部模型动作(4b)。同时系统中的交互精灵模块(4c)构造精灵画面和交互动作(4d)，在场景中检测三维手与精灵的互动结果，当精灵与三维手发生碰撞，则精灵判断此次碰撞是否合理，并依此改变精灵的方向和状态(4e)，记录此次动作得分，并产生下一个精灵。当系统训练结束，则将训练数据存入系统(4f)，并显示本次训练的成绩和评估(4g)。

下面描述本发明的工作过程

提取肌电信号：

(1)表面肌电信号调理电路将表面电极放置在被测肌肉的肌腹上，提取残肢表面肌电信号，通过增益放大和滤波电路对微弱信号进行处理，去除工频、心电等噪声干扰，得到可用于控制训练系统的信号。

(2)表面肌电信号采集电路利用微处理器对放大滤波后的多路肌电信号进行A/D转换和采集，使其满足系统采样精度和速度的要求，并通过计算机接口将采集结果实时传送到计算机上用于后续的分析和处理。

(3)数据存储单元利用CF/SD卡作为数据存储设备，使肌电仪在不需要计算机干预的情况下可独立实现肌电信号采集和存储等功能。

截肢上肢建模：

(1)照片采集模块利用摄像机实时获取健康手部照片，经过光照均衡单元、形状及灰度调整模块后去除光照影响，并将形状归一化，使其轮廓特征明显；

(2)边缘特征参数提取模块提取手部边缘轮廓特征，经平滑处理后，将边缘轮廓进行生理学模型映射，获得三维手部模型数据；

(3)三维模型数据存储输出模块使用模型数据库，为各训练者建立专门的数据库；

(4)肌电信号与手部动作映射模块为基点信号和手部运动动作之间建立数量关系，实现肌电信号与手部动作结合。

虚拟现实场景交互：

(1)沉浸式的虚拟现实场景模块利用虚拟现实技术，创建三维训练场景，该场景预留多个接口，以实现精灵与三维手部模型的交互；

(2)精灵生成模块根据不同等级，系统调用精灵生成模块，生成交互精灵；

(3)过关等级设置模块，由系统预设多个等级，并可在训练过程中根据具体的训练进度进行调用；

(4)三维手部互动模块实现肌电信号参数映射驱动三维手部模型，三维手部运动参数由场景保存，并由肌电信号映射提取；

(5)训练评估模块记录精灵与三维手部交互的效果，记载成功与失败的次数和频率，结合系统的等级参数，对本次训练的结果进行评估，生成评估表，存入系统。并可经打印机端口输出。

应指出的是，上述所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

Claims (4)

1.一种基于虚拟现实的截肢上肢康复训练系统，其特征在于包括肌电信号检测与处理部分、截肢上肢建模部分、虚拟现实场景交互部分，其中：

所述的肌电信号检测与处理部分对患者的残肢表面肌电信号进行提取、放大、滤波、A/D转换和多路采集，从而获得患者的手的肌电信号；

所述的截肢上肢建模部分利用健康上肢的照片，采用三维参数化网格模型对截肢上肢进行三维重建，将患者的手的肌电信号作为模型驱动数据，实现虚拟手的动作模拟；

所述的虚拟现实场景交互部分进行真实三维交互场景建模，并通过肌电信号实现残肢肌肉动作与三维场景的实时交互。

2.如权利要求1所述的基于虚拟现实的截肢上肢康复训练系统，其特征在于：

所述肌电信号检测与处理部分包括表面肌电信号调理电路、表面肌电信号采集电路、计算机接口、数据存储单元、电源模块，其中：

表面肌电信号调理电路将表面电极放置在被测肌肉的肌腹上，提取残肢表面肌电信号，通过增益放大和滤波电路对微弱信号进行处理，去除噪声干扰，得到可用于控制训练系统的信号；

表面肌电信号采集电路利用微处理器对放大滤波后的多路肌电信号进行A/D转换和采集，使其满足系统采样精度和速度的要求，并通过计算机接口将采集结果实时传送到计算机上用于后续的分析和处理；

数据存储单元，利用CF/SD卡作为数据存储设备，使肌电仪在不需要计算机干预的情况下可独立实现肌电信号采集和存储等功能；

电源模块，包括电压转换和稳压电路，为肌电信号放大滤波电路和微处理器提供可靠的电源。

3.如权利要求1所述的基于虚拟现实的截肢上肢康复训练系统，其特征在于：

所述截肢上肢建模部分主要包括照片采集模块、光照均衡单元、形状及灰度调整模块、边缘特征参数提取模块、生理学模型映射模块、三维手部模型数据存储输出模块、肌电信号与手部动作映射模块，其中：

照片采集模块使用照相机拍摄患者的健康手照片，将照片传入光照均衡单元对其进行光照均衡补偿处理；

形状及灰度调整模块对手部形状和灰度进行归一化处理；

边缘特征参数提取模块在归一化的图形上提取手部轮廓，将参数传入生理学映射模块，生理学映射模块输出三维手部模型参数，经过三维手部模型数据存储输出模块进行存储，并将数据传入肌电信号与手部动作映射模块，结合人手运动参数分析模块，准确实现运动模拟。

4.如权利要求1所述的基于虚拟现实的截肢上肢康复训练系统，其特征在于：

所述虚拟现实场景交互部分包括沉浸式虚拟现实场景模块、精灵生成模块、训练等级设置模块、三维手部互动模块、训练评估模块，其中：

沉浸式虚拟现实场景模块实现生活场景建模，并在模块中调用精灵生成模块和训练等级设置模块，实现不同场景切换；

三维手部互动模块接收截肢上肢建模部分的输出信号，在场景中生成交互式三维手部动画，交互的结果传入训练评估模块生成训练成绩。

Images