CN114366557A - 用于下肢康复机器人的人机交互系统及方法 - Google Patents

Abstract

本发明公开了用于下肢康复机器人的人机交互系统及方法，包括运动捕捉模块、足部信息采集模块、生理信息采集模块、数据处理与监测模块、运动控制模块和人机交互模块，从数据的采集、数据处理、数据监测、运动控制、训练反馈和游戏互动方面为患者提供康复训练过程的整体交互系统。本发明可以减少康复治疗师的劳动强度和操作复杂度，通过康复游戏和视觉反馈提高患者训练过程的趣味性和参与度，提高患者行走和运动能力。

Description

用于下肢康复机器人的人机交互系统及方法

技术领域

本发明涉及康复机器人技术领域，具体涉及用于下肢康复机器人的人机交互系统及方法。

背景技术

我国的脑卒中患者人数达上千万，脑卒中导致的偏瘫极大地影响了患者的正常活动，偏瘫患者需要进行康复训练以重获运动能力。随着医疗技术的发展，越来越多的下肢康复机器人进入市场，为患者提供下肢康复训练，其中人机交互的友好程度成为医护人员和患者关心的一个问题。传统的下肢康复机器人对人机交互的关注不够，交互性差，导致患者在康复训练的过程中参与度低。此外，康复训练的过程缺乏趣味性，患者在训练过程中通常会感到无聊甚至痛苦。

专利CN201310562513提出了一种基于Kinect视觉步态分析的情景交互康复训练方法，该方法主要通过Kinect摄像头来提取臀部关节、膝关节和踝关节的三维空间坐标位置，实现步态的测量，通过虚拟的情景，模拟虚拟场景中的动作，实现与虚拟场景中的人物进行交互，达到康复训练的目的；专利CN208823336U提出了一种下肢康复治疗机器人的人机交互系统，基于Kinect摄像头采集患者面部信息和患者手势信息，利用这些信息实现人机交互，达到康复训练的目的，但采集的只有人体的运动信息；专利CN110013648A提出了一种下肢康复训练机器人的人机交互系统，利用腰部数据检测设备获取患者腰部左右横移量、腰部转动角度、腰部侧倾角度，用于下肢康复训练游戏对患者进行下肢康复训练，并评估患者的康复训练结果。以上现有技术采集的信息单一。

综上，目前大部分方法所采用的传感器类型单一，获取的数据相对有限，而且未能利用好患者的生理信息。

发明内容

本发明的目的是提供用于下肢康复机器人的人机交互系统及方法，提高人机界面的交互性，并且采集运动信息、生理信息和足部信息等多种信息，使得医护人员能够方便地控制下肢康复机器人，并提高患者在下肢康复训练中的参与度和康复治疗效果。

为实现上述目的，本发明提供的安装在下肢康复机器人上的用于下肢康复机器人的人机交互系统，包括运动捕捉模块、足部信息采集模块、生理信息采集模块、数据处理与监测模块、运动控制模块和人机交互模块；

所述运动捕捉模块，用于采集患者在下肢康复训练过程中全身的运动信息，包括身体各关节中心的位置、各个关节的转角；

所述生理信息采集模块，用于采集患者在下肢康复训练过程中产生的各种生理信号，包括心率、血氧含量、脑电信号和脑电信号。

所述数据处理与监测模块，与所述运动捕捉模块、所述足部信息采集模块、所述生理信息采集模块以及所述人机交互模块连接，所述数据处理与监测模块实时获取经过预处理后的运动信息、足底信息、生理信息以及人机交互模块发送的指令，并对这些信息和指令进行汇总处理，根据汇总后的信息向运动控制模块输出对应的控制指令；所述控制指令包括但不限于所述下肢康复机器人的运行指令、所述下肢康复机器人的停止指令以及改变所述下肢康复机器人运行状态的指令。

所述运动控制模块，与所述数据处理与监测模块相连，根据所述数据处理与监测模块发出的控制指令，计算执行机构中各电机的转动速度，从而控制所述下肢康复机器人的运动；

所述人机交互模块，与所述数据处理与监测模块相连，用于实时监控整个下肢康复训练过程，通过人机交互界面显示处理后的运动数据、足部的压力信息以及生理信号，并从操作人员处接受指令，所述人机交互模块向数据处理与监测模块发送指令，改变康复机器人的运行状态。

进一步地，所述运动捕捉模块包括深度相机、角度传感器、惯性传感器和力矩传感器，

所述深度相机布置在所述下肢康复机器人的前方，所述角度传感器安装在所述下肢康复机器人的外骨骼关节旋转处，在患者的小腿和足部均安装有所述惯性传感器，所述力矩传感器安装在所述下肢康复机器人的外骨骼关节旋转处。

进一步地，述足部信息采集模块包括鞋垫、微控制器安装在鞋垫内的多个压力传感器，多个所述压力传感器用于采集安装位置处的压力大小，微控制器用于将各压力传感器采集到的数据进行处理并传输至数据处理与监测模块。

进一步地，所述生理信息采集模块包括用于采集患者训练过程中的心率信号的心率传感器、用于采集患者训练过程中的的肌电信号的肌电信号传感器和用于采集患者训练过程中的脑电信号的脑电信号传感器。

进一步地，所述运动控制模块中设置有紧急停止单元，用于控制所有电机停止工作。

进一步地，所述人机交互模块包括患者信息管理单元、训练设置管理单元、步态预设单元、游戏训练单元和训练总结单元；

所述患者信息管理单元，用于录入、保存以及调取患者的身份信息、病情信息、身体尺寸参数、康复治疗方案以及以往的训练数据；

所述训练设置管理单元，用于调整患者在进行下肢康复训练的过程中下肢康复机器人的运行参数；

所述训练步态预设单元，用于以患者的身体参数以及训练所需的步态参数为依据，预先设定患者在康复训练过程中的指导步态轨迹；

所述游戏训练单元，与所述运动捕捉模块连接，用于实时获取处理后的人体运动信息，并反映在患者进行的下肢康复游戏中，并用于管理游戏的模式、游戏的难度等级、游戏语音的播放、游戏的进度、训练过程中患者与游戏内容的互动以及控制游戏的显示与隐藏；

所述训练总结单元，用于在下肢康复训练结束后，总结康复训练的结果。包括但不限于患者的步态与预设步态的吻合程度、关节力矩、步态参数、步态对称性等。

进一步地，所述身体参数包括但不限于身高、体重、年龄、性别、大腿长、小腿长、膝宽、足长。

进一步地，所述预设的步态轨迹包括但不限于盆骨位移、髋关节旋转角度、膝关节旋转角度、踝关节旋转角度。

本发明还提供采用前述系统进行的用于下肢康复机器人的人机交互方法，包括：

通过人机交互模块录入或者从数据库中调取患者信息，并根据患者信息确定训练参数和游戏设置；

通过人机交互模块控制下肢康复机器人辅助患者进行康复训练，运动控制模块根据人机交互模块和数据处理与监测模块发送的指令控制下肢康复机器人的运动；

在患者进行康复训练的同时，运动捕捉模块实时采集患者下肢的运动信息，足部信息采集模块实时采集足部的压力信息，并发送至数据处理与监测模块；

在患者进行康复训练的同时，数据处理与监测模块实时收集来自运动捕捉模块的运动信息、足部信息采集模块的压力信息以及生理信息采集模块的生理信息，并对这些信息预处理和计算，将汇总后的训练信息发送至人机交互模块，并生成控制指令发送至运动控制模块，人机交互模块实时显示患者在进行康复训练过程中的训练信息；

人机交互模块对康复训练疗程进行总结，显示患者康复训练的结果，并将训练的结果通过训练设置管理单元保存在数据库中。

与现有技术相比，本发明的有益效果至少如下：

从患者的运动信息、足底压力信息、生理信息三个方面全面地监控患者的康复训练过程，能让治疗师全方面地了解患者的训练状态；减少治疗师的操作，增加患者在下肢康复训练过程中的趣味性和参与度，提高交互性，最终提高下肢康复训练的训练效果。

附图说明

图1是本发明实施例提供的用于下肢康复机器人的人机交互系统的结构示意图。

图2是本发明实施例的用于下肢康复机器人的人机交互系统的各模块的构成示意图。

图3是本发明实施例的流程示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不限于下述实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的用于下肢康复机器人的人机交互系统，所述人机交互系统安装在下肢康复机器人上，请参阅图2，所述人机交互系统包括运动捕捉模块、足部信息采集模块、生理信息采集模块、数据处理与监测模块、运动控制模块和人机交互模块。其中，运动捕捉模块、生理信息采集模块通过TCP协议与数据处理与监测模块连接，足部信息采集模块通过蓝牙协议与数据处理与监测模块连接，数据处理与监测模块与人机交互模块连接，运动控制模块与数据处理与监测模块连接。且数据处理与监测模块与人机交互模块内置于计算机内。

本发明中，运动捕捉模块用于采集患者在下肢康复训练过程中全身的运动信息，包括身体各关节中心的位置、各个关节的转角和人机作用力。

在本发明的其中一些实施例中，运动捕捉模块包括Kinect深度相机、角度传感器、惯性传感器和力矩传感器。Kinect深度相机安装在下肢康复机器人的前方和侧方，角度传感器和力矩传感器安装在康复机器人下肢外骨骼的旋转处，患者的鞋子上和小腿处均安装有惯性传感器。

本发明中，足部信息采集模块，用于患者训练过程中足底压力信息的采集。

在本发明的其中一些实施例中，所述足部信息采集模块包括由鞋垫、微控制器和安装在鞋垫内的数个压力传感器。压力传感器用于测量其安装位置处的压力大小，微控制器将各压力传感器采集到的数据进行滤波处理，然后通过蓝牙协议发送至数据处理与监测模块。

本发明中，所述生理信息采集模块，用于采集患者在下肢康复训练过程中的生理信号，所述生理信号包括患者训练过程中的心率、血氧浓度、表面肌电信号、脑电信号。

在本发明其中一些实施例中，所述生理信息采集模块包括用于采集患者训练过程中的心率信号的心率传感器、用于采集患者训练过程中的的肌电信号的肌电信号传感器和用于采集患者训练过程中的脑电信号的脑电信号传感器。

本发明中，数据处理与监测模块与运动捕捉模块、足部信息采集模块、生理信息采集模块、运动控制模块以及人机交互模块均连接。数据处理与监测模块接收到运动捕捉模块、足部信息采集模块、生理信息采集模块发送的数据后，首先进行数据预处理，采用低通滤波算法对每个模块发送来的原始数据进行滤波；然后进行数据计算，包括足底压力分布、步态周期时间长度、关节活动范围、步态对称性、步幅计算；然后进行数据分析，通过计算得到的数据分析患者的步态是否正常，如果出现异常，属于哪一类异常。数据处理完成后将数据发送至人机交互模块。

所述运动控制模块与数据处理与监测模块连接，根据数据处理与监测模块发送的控制指令计算运动轨迹、进行运动的各电机的转速，并控制各电机按计算好的转速运转，从而控制所述下肢康复机器人的运动。

在本发明的其中一些实施例中，所述运动控制模块内置紧急停止单元，当紧急停止按钮按下时，控制所有电机停止运动。数据处理与监测模块对患者在训练过程中的运动数据进行实时的监测，例如当患者的重心位置出现突然的下降时，患者可能出现了摔倒情况，需要暂定训练，这时数据处理与监测模块会对运动控制模块发出紧急停止的指令，运动控制模块即控制所有电机停止运动。

本发明中，所述人机交互模块与所述数据处理与监测模块相连，所述人机交互模块用于实时监控整个下肢康复训练过程，并通过人机交互界面显示处理后的运动数据。所述人机交互模块还用于向数据处理与监测模块发送指令，改变康复机器人的运行状态。

在本发明的其中一些实施例中，人机交互模块包括触控显示器和游戏互动显示器，人机交互模块通过这些显示器分别向医护人员和患者显示信息。

在本发明的其中一些实施例中，人机交互模块内置患者信息管理单元、训练设置管理单元、步态预设单元、游戏训练单元和训练总结单元。康复治疗师通过所述触控显示器向所述人机交互模块发送指令、输入数据，游戏互动显示器显示所述数据处理与监测模块发送的数据。游戏互动显示器还用于显示游戏场景、播放互动音频。

其中，所述患者信息管理单元，用于录入、保存以及调取患者的身份信息、病情信息、身体尺寸参数、康复治疗方案以及以往的训练数据。

所述训练设置管理单元，用于调整患者在进行下肢康复训练的过程中，下肢康复机器人的运行参数，所述运行参数包括训练模式、训练时间、步行速度、减重比例、助力比例等。

训练步态预设单元，用于以患者的身体参数以及训练所需的步态参数为依据，预先设定患者在康复训练过程中的指导步态轨迹。在本发明的其中一些实施例中，所述身体参数包括单不限于身高、体重、年龄、性别、大腿长、小腿长、膝宽、足长、髂宽，所述步态参数包括步行速度和步长。身体参数和步态参数作为一个经过预训练的循环式神经网络的输入，这个循环式神经网络即可给出预设的步态轨迹。预设的步态轨迹包括盆骨位移、髋关节旋转角度、膝关节旋转角度、踝关节旋转角度。

所述游戏训练单元，与运动捕捉模块连接，实时获取处理后的人体运动信息，并控制游戏中的人物形象仿照现实人体姿态来运动，并用于管理游戏的模式、游戏的难度等级、游戏语音的播放、游戏的进度、训练过程中患者与游戏内容的互动以及控制游戏的显示与隐藏。

所述训练总结单元，用于在下肢康复训练结束后，总结康复训练的结果，包括但不限于患者的实际步态与预设步态的吻合程度、关节力矩、步态参数、步态对称性。

在本发明的其中一些实施例中，游戏训练单元由Unity游戏引擎开发。本实施例中，在电脑主机中运行着一个行走游戏，游戏由游戏互动显示器展示。行走游戏的具体内容是：患者通过下肢康复机器人的协助进行行走，由运动捕捉模块将患者下肢的运动投影到游戏内人物模型。游戏内会出现随机任务来考验玩家对行走速度的控制能力，玩家的控制能力越强，则在游戏中获得的分数越高。游戏的考验难度可以被调整以满足不同病情患者的需要。

如图所示，本发明提供了下肢康复机器人的人机交互系统的使用方法，该使用方法包括以下步骤：

步骤101：通过人机交互模块录入或者从数据库中调取患者信息，并根据患者信息确定训练参数和游戏设置；具体包括：医护人员帮助患者穿戴下肢康复机器人的外骨骼部分。然后医护人员通过人机交互模块录入或调取患者信息，并查询以往的康复训练记录。根据患者的康复记录和效果，确定当前康复训练的训练参数和游戏设置；

步骤102：医护人员通过人机交互模块控制下肢康复机器人辅助患者进行康复训练。运动控制模块根据人机交互模块和数据处理与监测模块发送的指令控制下肢康复机器人的运动。

步骤103：在患者进行康复训练的同时，运动捕捉模块实时采集患者下肢的运动信息，足部信息采集模块实时采集足部的压力信息，生理信息采集模块实时采集心率、血氧含量信息、表面肌电信号以及脑电信号，以上采集的信息都被发送至数据处理与监测模块。

步骤104：在患者进行康复训练的同时，数据处理与监测模块实时收集来自运动捕捉模块、足部信息采集模块、生理信息采集模块的信息，对这些信息预处理和计算，并将汇总后的训练信息发送至人机交互模块，并生成控制指令发送至运动控制模块。人机交互模块实时显示患者在进行康复训练过程中的训练信息，如实时步速、力矩、关节转角、心率、血氧含量等。医护人员可以通过这些信息对患者的训练状态有一个全面的了解；

步骤105：人机交互模块对康复训练疗程进行总结，显示患者康复训练的结果，并将训练的结果通过训练设置管理单元保存在数据库中，方便医护人员之后查询。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.用于下肢康复机器人的人机交互系统，其特征在于，所述人机交互系统包括运动捕捉模块、足部信息采集模块、生理信息采集模块、数据处理与监测模块、运动控制模块和人机交互模块；

所述运动捕捉模块，用于采集患者在下肢康复训练过程中全身的运动信息；

所述足部信息采集模块，用于采集患者在下肢康复训练过程中足部的压力信息；

所述生理信息采集模块，用于采集患者在下肢康复过程中的生理信号；

所述数据处理与监测模块，与所述运动捕捉模块、足底信息采集模块、生理信息采集模块、运动控制模块以及所述人机交互模块均连接，所述数据处理与监测模块实时获取处理后的运动信息、足部的压力信息、生理信号以及人机交互模块发送的指令，并根据这些信息向运动控制模块输出对应的控制指令，所述控制指令包括但不限于所述下肢康复机器人的运行指令、所述下肢康复机器人的停止指令以及改变所述下肢康复机器人运行状态的指令；

所述运动控制模块，与所述数据处理与监测模块相连，根据所述数据处理与监测模块发出的指令计算执行机构中各电机的转动速度，控制所述下肢康复机器人的运动；

所述人机交互模块，与所述数据处理与监测模块相连，用于实时监控整个下肢康复训练过程，通过人机交互界面显示处理后的运动数据、足部的压力信息以及生理信号，并从操作人员处接受指令，所述人机交互模块向数据处理与监测模块发送指令，改变康复机器人的运行状态。

2.根据权利要求1所述的用于下肢康复机器人的人机交互系统，其特征在于，所述生理信号包括但不限于心率、血氧、肌电和脑电信号。

3.根据权利要求1所述的用于下肢康复机器人的人机交互系统，其特征在于，所述运动捕捉模块包括深度相机、角度传感器、惯性传感器和力矩传感器，

所述深度相机布置在所述下肢康复机器人的前方，所述角度传感器安装在所述下肢康复机器人的外骨骼关节旋转处，在患者的小腿和足部均安装有所述惯性传感器，所述力矩传感器安装在所述下肢康复机器人的外骨骼关节旋转处。

4.根据权利要求1所述的用于下肢康复机器人的人机交互系统，其特征在于，所述足部信息采集模块包括鞋垫、微控制器和安装在鞋垫内的多个压力传感器，多个所述压力传感器用于采集安装位置处的压力大小，微控制器用于将各压力传感器采集到的数据进行处理并传输至数据处理与监测模块。

5.根据权利要求1所述的用于下肢康复机器人的人机交互系统，其特征在于，所述生理信息采集模块包括用于采集患者训练过程中的心率信号的心率传感器、用于采集患者训练过程中的的肌电信号的肌电信号传感器和用于采集患者训练过程中的脑电信号的脑电信号传感器。

6.根据权利要求1所述的用于下肢康复机器人的人机交互系统，其特征在于，所述运动控制模块中设置有紧急停止单元，用于控制所有电机停止工作。

7.根据权利要求1-6任一所述的用于下肢康复机器人的人机交互系统，其特征在于，所述人机交互模块包括患者信息管理单元、训练设置管理单元、步态预设单元、游戏训练单元和训练总结单元；

所述患者信息管理单元，用于录入、保存以及调取患者的身份信息、病情信息、身体尺寸参数、康复治疗方案以及以往的训练数据；

所述训练设置管理单元，用于调整患者在进行下肢康复训练的过程中下肢康复机器人的运行参数；

所述训练步态预设单元，用于以患者的身体参数以及训练所需的步态参数为依据，预先设定患者在康复训练过程中的指导步态轨迹；

所述游戏训练单元，与所述运动捕捉模块连接，用于实时获取处理后的人体运动信息，并反映在患者进行的下肢康复游戏中，并用于管理游戏的模式、游戏的难度等级、游戏语音的播放、游戏的进度、训练过程中患者与游戏内容的互动以及控制游戏的显示与隐藏；

所述训练总结单元，用于在下肢康复训练结束后，总结康复训练的结果。

8.根据权利要求7所述的用于下肢康复机器人的人机交互系统，其特征在于，所述身体参数包括但不限于身高、体重、年龄、性别、大腿长、小腿长、膝宽、足长。

9.根据权利要求8所述的用于下肢康复机器人的人机交互系统，其特征在于，所述预设的步态轨迹包括但不限于盆骨位移、髋关节旋转角度、膝关节旋转角度、踝关节旋转角度。

10.用于下肢康复机器人的人机交互方法，其特征在于，采用权利要求1-9任一所述的系统，所述交互方法包括：

通过人机交互模块录入或者从数据库中调取患者信息，并根据患者信息确定训练参数和游戏设置；

通过人机交互模块控制下肢康复机器人辅助患者进行康复训练，运动控制模块根据人机交互模块和数据处理与监测模块发送的指令控制下肢康复机器人的运动；

在患者进行康复训练的同时，运动捕捉模块实时采集患者下肢的运动信息，足部信息采集模块实时采集足部的压力信息，并发送至数据处理与监测模块；

在患者进行康复训练的同时，数据处理与监测模块实时收集来自运动捕捉模块的运动信息、足部信息采集模块的压力信息以及生理信息采集模块的生理信息，并对这些信息预处理和计算，将汇总后的训练信息发送至人机交互模块，并生成控制指令发送至运动控制模块，人机交互模块实时显示患者在进行康复训练过程中的训练信息；

人机交互模块对康复训练疗程进行总结，显示患者康复训练的结果，并将训练的结果通过训练设置管理单元保存在数据库中。

Images