CN111631726B - 上肢功能评估装置与方法及上肢康复训练系统与方法 - Google Patents

Abstract

本发明提供一种上肢功能评估装置与其使用方法及上肢康复训练系统与其使用方法，其中上肢功能评估装置包括显示器、深度摄像机和中央处理器，深度摄像机用于捕捉用户的动作，所述显示器用于显示示范动作和用户的动作，中央处理器分别与显示器和深度摄像机连接。本发明通过深度摄像机对用户的动作进行精确捕捉，使得获得数据更加精准客观，也便于记录和存储。中央处理器通过判断动作的完成情况是否达到评估量表里的要求，使得用户可以在不需要医生大量辅助配合的情况下，自行得出评估报告结果。

Description

上肢功能评估装置与方法及上肢康复训练系统与方法

技术领域

本发明涉及力学康复理疗设备技术领域，尤其是涉及一种上肢功能评估装置与其使用方法及上肢康复训练系统与其使用方法。

背景技术

目前老龄化现象严重，中风用户数量增多，大都伴随上肢功能障碍，因此需要一种上肢康复训练系统对用户上肢功能障碍等级的评定和对上肢功能的康复训练。目前国际上有几种用于上肢功能残障评估的标准，但是都是基于医生对用户一对一的评估，通过口述指令以及动作感知，并对用户对动作指令的执行情况和肌肉力量的感测进行记录，填表评估。当对用户上肢残障程度的有了基础的判断，从而制定诊断方案。

由此可知，现有技术采用医生一对一针对性的评估，而且用户不同时期的动作幅度不一样，很难通过目测来进行判断和记录，会存在一定的误差，不具备客观性。而且评估时间较长，占用医生大量时间，导致每天能够诊治的用户有限。

发明内容

本发明的目的在于提供了一种上肢功能评估装置与方法及上肢康复训练系统与方法，以解决现有技术中存在的上述技术问题。

本发明提供了一种上肢功能评估装置，所述上肢功能评估装置包括：

显示器、深度摄像机和中央处理器，所述深度摄像机用于捕捉用户的动作，所述显示器用于显示示范动作和用户的动作，所述中央处理器分别与所述显示器和所述深度摄像机连接。

进一步地，所述深度摄像机包括RGB摄像头和深度摄像头，所述RGB摄像头用于获取用户关节点的二维坐标，所述深度摄像头用于获取用户关节点的深度坐标。

本发明还提供一种上肢康复训练系统，包括根据本发明所述的上肢功能评估装置。

进一步地，所述上肢康复训练系统还包括外骨骼机械臂和运动控制单元，所述运动控制单元与所述中央处理器连接，用于控制所述外骨骼机械臂的动作。

进一步地，所述用户的动作包括用户健侧手臂的运动姿态，所述深度摄像机用于实时捕捉用户健侧手臂的运动姿态；

所述中央处理器根据所述用户健侧手臂的运动姿态来控制所述外骨骼机械臂的运动，从而带动所述外骨骼机械臂上的用户患侧手臂做出相应运动。

进一步地，所述运动控制单元控制三个驱动单元，分别用于实现外骨骼机械臂的大臂的外展/内收、大臂的上抬/下降以及小臂的弯曲。

进一步地，所述外骨骼机械臂的所述肩关节和所述肘关节采用包围式滑轨结构。

进一步地，所述中央处理器中储存有多种动作场景和/或互动场景，所述显示器用于显示所述多种动作场景和/或互动场景，其中，多种动作场景用于用户模仿或者观看，所述互动场景用于与用户互动。

本发明还提供一种上肢功能评估装置的使用方法，所述方法包括如下步骤：

显示器显示示范动作；

用户根据显示器上要求的示范动作进行模仿；

深度摄像机捕捉用户的动作，获取用户的关节点的三维坐标；

中央处理器根据示范动作与用户模仿的动作来判断用户动作的完成情况。

进一步地，所述方法还包括：

所述中央处理器根据所述用户动作的完成情况，调取预先存储的与所述不同完成情况对应的方案；并通过所述显示器显示。

本发明还提供一种上肢康复训练系统的使用方法，所述方法包括如下步骤：

通过深度摄像机捕捉用户健侧手臂的运动姿态，得出健侧手臂的坐标数据；

坐标数据经过滤波处理后，建立用户运动模型；

通过镜像坐标变换将用户健侧手臂的运动坐标转换为患侧手臂的运动坐标；

通过运动学反解，计算出外骨骼机械臂各关节的动作角度；

通过机械臂伺服控制系统的执行，实现外骨骼机械臂带动用户患侧手臂做出与健侧手臂对称的动作。

进一步地，所述用户健侧手臂的运动姿态具体包括以下一种或任意多种：健侧手臂的肩关节、肘关节、腕关节。

进一步地，所述外骨骼机械臂采用被动辅助使用模式时，实时检测用户受力大小和方向，当用户受力大小超出预设值时，控制外骨骼机械臂对用户加所述方向的助力。

进一步地，所述外骨骼机械臂采用主动训练使用模式时，用户手臂拖拽机械臂可驱动所述外骨骼机械臂运动。

本发明通过深度摄像机对用户的动作进行精确捕捉，使得获得数据更加精准客观，也便于记录和存储。中央处理器通过判断动作的完成情况是否达到评估量表里的要求，用户可以在不需要医生大量辅助配合的情况下自行完成，可得出临床上常用评估量表的评估报告结果。评估时间短，效率高，大大减少医生的时间。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的上肢康复训练系统的结构示意图，其中显示了本发明的上肢功能评估装置；

图2为图1的局部放大图，图中示出了本发明的上肢康复训练系统；

图3为图2中的外骨骼机械臂的结构示意图；

图4为本发明实施例的上肢功能评估装置的使用方法流程图；

图5为本发明实施例的上肢康复训练系统的控制原理图；

图6为本发明实施例的上肢康复训练系统的使用方法流程图；

图7为本发明实施例的上肢康复训练系统采用被动康复训练使用模式的控制原理图；

图8为本发明实施例的上肢康复训练系统采用被动辅助康复训练训练使用模式的控制原理图。

附图标记：

1.医用脚轮；2.机身；3.急停开关；4.推把手；5.垂直升降模组；6.水平移动模组；71.肩关节第一关节；72.肩关节第二关节；73.肘关节第一关节；8.肩关节第三被动关节；9.肘关节第二被动关节；10.显示器；11.深度摄像机；12.显示器支架；13.握力手柄；14.手柄拉杆；15.大臂拉杆；16.小臂拉杆；17.阻尼式腕关节；20.柱塞；101.大臂绑带；102.小臂绑带。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，外骨骼机械臂有时简称机械臂，本领域技术人员应当理解为同一含义。

根据本发明的一个方面，提供一种上肢功能评估装置，如图1所示，上肢功能评估装置包括显示器10、深度摄像机11和中央处理器，深度摄像机11用于捕捉用户的动作，显示器10用于显示示范动作和用户的动作，中央处理器分别与所示显示器10和深度摄像机11连接。优选地，深度摄像机11用于捕捉用户关节的角度和位置信息。

如图1所示，本实施例中，上肢功能评估装置显示器10包括显示器支架12，显示器10和深度摄像机11均安装在显示器支架12上，显示器支架12的底部设有滚轮。

其中，深度摄像机11对用户各关节参数进行精确捕捉，测量关节的角度和位置等信息来识别与判定用户手臂可执行范围，使得获得数据更加精准客观，也便于记录和存储。中央处理器通过判断动作的完成情况是否达到评估量表里的要求，用户可以在不需要医生大量辅助配合的情况下自行完成，可得出临床上常用评估量表的评估报告结果。评估时间短，效率高，大大减少医生的时间。

本发明中的上肢功能评估装置，可以用于中风等疾病导致的上肢功能障碍的评估诊断。一方面解决医生的体力投入，另一方面能够更客观精准的对上肢残障用户进行上肢康复等级评估。

本实施例中，中央处理器中设有存储模块，存储模块中存储有多种康复方案，不同的评估结果对应不同的康复方案，并且多种评估结果与多种康复方案进行一一对应的匹配设置。中央处理器还用于根据上述的评估结果，调取对应的康复方案，并通过显示屏显示给用户和/或医生。本实施例还能够生成有针对性的评估报告，便于医生和用户参考，评估效率高。

本发明还提供一种使用本发明所述上肢功能评估装置的方法，如图4所示，该方法包括如下步骤：显示器10显示示范动作，用户根据显示器10上要求的示范动作进行模仿；深度摄像机11捕捉用户的动作，系统获取用户的关节点的三维坐标；中央处理器根据示范动作与用户的动作来判断用户动作的完成情况(例如是否全部完成、部分完成或者完全不能完成)，形成评估报告(可得出临床上常用评估量表的评估报告结果)，再由系统和医师提供诊断方案以及针对性的运动处方。

进一步地，上述使用方法还包括：中央处理器根据所述用户动作的完成情况，调取预先存储的与所述不同完成情况对应的方案；并通过所述显示器显示。

进一步地，深度摄像机11包括RGB摄像头(redgreenblue摄像头)和深度摄像头，RGB摄像头用于获取用户关节点的二维坐标，深度摄像头用于获取用户关节点的深度坐标。

优选地，本发明采用深度摄像机11，不需要佩戴其余装置即可捕捉到手臂的3D姿态，简单便捷。

具体地，由深度摄像机11捕捉用户动作，系统获取用户的关节点的三维坐标。首先，采用基于深度神经网络的深度学习方法通过深度摄像机11的RGB摄像头所捕捉的彩色图像对用户关节点的二维坐标进行获取，再利用深度摄像机11的深度摄像头所捕捉的深度图像对用户关节点的深度坐标进行获取，最后将获取的用户关节点的二维坐标和深度坐标映射为用户关节点的三维坐标。其中，在基于深度神经网络的深度学习方法中，增加了自遮挡图片以及旋前旋后等特殊的难以检测的动作的图片作为训练集，训练深度神经网络模型。自遮挡是指深度摄像机11所捕捉的用户的某一关节点被用户自身的其他关节点遮挡了，例如正对深度摄像机11时，前伸手臂处于水平位置时，深度摄像机11、手腕关节点和肩膀关节点三点成一条直线，使得处于后方的肩膀关节点被手腕关节点遮挡导致关节点坐标检测不准确。使用该方法的好处是可以避免由于自遮挡等原因造成的关节点坐标检测不准确的问题，准确地检测用户的关节点的三维坐标。

接下来判断用户动作的完成情况。系统结合临床上常用评估量表来进行评估，将量表里的动作全部量化后进行自动评估。本发明采用基于长短期记忆人工神经网络(LongShort-TermMemory)的深度学习方法来判断动作的完成情况，例如是否全部完成、部分完成或者完全不能完成。其中，在训练模型时由人工标记不同动作序列的关键帧和关键节点，这样就实现了标准动作的静态匹配，接着再自动采样得到更多的相邻帧，实现动态匹配，将关键帧、关键节点和相邻帧结合进行编码，形成标准动作模板序列的模型。最后，采用最长公共子序列算法来识别用户所做动作是否符合标准动作，首先实时检测用户当前动作，形成动作序列，再通过与标准动作模板序列模型进行对比，求取最长公共子序列，从而反馈用户当前动作的不规范程度，进行动作完成情况的判断和具体评分。其中，关键帧、关键节点、相邻帧以及当前动作帧包含用户各个关节点的三维坐标。所有评估动作完成后，形成评估报告，再由系统和医师提供诊断方案以及针对性的运动处方。

此外，在对用户进行针对式的上肢康复训练，早期的治疗方案就是由医师掰动用户的手臂进行重复性的康复训练，先逐渐改善用户的肌力功能，康复到一定程度后再配合一些简单的辅具进行强化训练。因为需要大量的医生体力投入，而中国的病患越来越多，医生配比严重不足，很难让用户充分得到训练。

为此，本发明提供一种上肢康复训练系统，如图1-图3所示，该上肢康复训练系统包括本发明上述的上肢功能评估装置，还包括上肢康复机器人，上肢康复机器人包括外骨骼机械臂和运动控制单元，运动控制单元与中央处理器连接，用于控制外骨骼机械臂的动作。

具体地，外骨骼机械臂包括肩关节和肘关节，肩关节包括肩关节第一关节和肩关节第二关节和肩关节第三被动关节，肘关节包括肘关节第一关节和肘关节第二被动关节。运动控制单元控制三个驱动单元，分别用于实现外骨骼机械臂的大臂的外展/内收、大臂的上抬/下降以及小臂的弯曲。具体地，三个驱动单元包括对应于肩关节第一关节的第一驱动单元71、对应于肩关节第二关节的第二驱动单元72和对应于肘关节的第三驱动单元73，第一驱动单元71、第二驱动单元72和第三驱动单元73分别用于实现大臂的外展/内收，大臂的上抬/下降以及小臂的弯曲。肘关节包括肘关节第一关节73和肘关节第二被动关节9，肘关节第一关节73用于实现小臂的弯曲。优选地，外骨骼机械臂的肩关节第三个自由度(实现小臂的弯曲)为被动式控制。

本实施例提供的上肢康复训练系统采用外骨骼机械臂，使用时，将手臂放置于外骨骼机械臂内，运动范围大，可实现各大关节的动作，能够有效的进行关节训练和康复。本实施例中的外骨骼机械臂针对三大主要关节的康复动作，成本低，设计简单，安全系数高。此外，本实施例能够通过运动控制单元控制机械臂带动用户的上肢运动，可以解决早期用户的肌力恢复训练问题，对于早期较为严重的用户起到训练作用。降低医生的体力投入，提升康复训练效率。

如图3所示，第一驱动单元71、第二驱动单元72和第三驱动单元73的中轴正交，两两相互垂直。各个驱动单元均包括伺服电机、减速箱、编码器、驱动器、抱闸等，系一体化驱动单元。具体地，驱动采用中空式一体化驱动关节，包括伺服电机、谐波减速器、增量式编码器、绝对式编码器、驱动控制器、抱闸、扭矩传感器，功能全、空间紧凑、方便布线。

优选地，外骨骼机械臂的肩关节第三被动关节8和肘关节第二被动关节9采用包围式滑轨结构。外骨骼机械臂可实现左右手互换，在外骨骼机械臂互换的过程中，可实现快速定位、切换和固定，只需拔出柱塞20，切换后自动定位固定。

如图3所示，外骨骼机械臂还包括大臂拉杆15和小臂拉杆16，大臂拉杆15和小臂拉杆16可通过手动或者电动来调节长短，来适应不同长短手臂的用户。用户的肩关节、肘关节分别和外骨骼机械臂的肩关节、肘关节位置对应。本实施例采用手动调节机构用于调节肩关节第三被动关节8、肘关节第二被动关节9和阻尼式腕关节17的间距。

优选地，如图3所示，大臂拉杆15上设有大臂绑带101，小臂拉杆16上设置有小臂绑带102，用于捆绑用户的大臂和小臂。

如图1和图2所示，本实施例中的上肢康复机器人还包括机身2、座椅，用户在评估和训练时，可坐在座椅上。外骨骼机械臂固定在机身2上，机身2上设有医用脚轮1、急停开关3、推把手4、垂直升降模组5、水平移动模组6。垂直升降模组5、水平移动模组6，分别用于驱动外骨骼机械臂进行升降、平移等运动。

如图3所示，本实施例包括外骨骼机械臂末端设有阻尼式腕关节17和握力手柄13，可实现用户手腕和握力的测量和康复训练。握力手柄13与阻尼式腕关节17通过手柄拉杆14连接。

本发明中的上肢康复训练系统中设置有电源、主机等硬件设备。在评估的过程中，主机与显示器10通过动画、图像、声音等方式提示用户完成各种评估动作，并通过深度摄像机11对用户肢体动作识别和捕捉，并存储记录，判断动作的完成情况，并给出量化的评分结果，形成评估报告，提供给医生，再由医生选择或者制定诊断方案以及针对性的运动处方。

优选地，上肢康复训练系统包括太阳能发电装置，太阳能发电装置吸收太阳能，将太阳能通过光电效应或者光化学效应直接或间接转换成电能，用于给上肢康复训练系统供电。采用太阳能发电装置，可以在不具备供电条件或电能不足的地方，使用本发明的康复训练系统进行康复训练，使得本装置的适用范围和场合得以扩展，摆脱室内约束，同时也有利于新能源的利用，实现节能环保。

在本发明的一个实施例中，太阳能发电装置包括太阳能电池板、太阳能电池板可以设置在显示器10的背面。在本发明的另一个实施例中，太阳能发电装置包括太阳能薄膜电池，该太阳能薄膜电池贴合在上肢康复训练系统的外表面。

尤其是，在天气较好时，用户常常去户外进行康复训练，一方面可以有效缓解心情，利于康复，另一方面，能够充分利用太阳能发电，节能环保。

进一步地，用户的动作包括用户健侧手臂的运动姿态，深度摄像机11用于实时捕捉用户健侧手臂的运动姿态；中央处理器根据用户健侧手臂的运动姿态来控制外骨骼机械臂的运动，从而带动外骨骼机械臂上的患侧手臂做出相应运动。

具体地，如图5所示，深度摄像机、显示器和运动控制单元均与中央处理器连接，运动控制单元与外骨骼机械臂连接。使用时，用户的患侧手臂位于外骨骼机械臂内，深度摄像机用于捕捉用户健侧手臂的运动姿态，深度摄像机捕捉用户健侧手臂的运动姿态并发送给中央处理器，中央处理器接收用户健侧手臂的运动姿态，并给运动控制单元发送指令，运动控制单元根据指令控制外骨骼机械臂进行相应动作，从而带动用户患侧手臂动作。显示器与中央处理器双向交互，可以显示中央处理器发出的处理信息和/或处理结果。其中，运动控制单元包括机械臂伺服控制系统，机械臂伺服控制系统用于根据中央处理器的指令来控制上述运动控制单元。

本发明还提供一种基于上述所述上肢康复训练系统的使用方法，如图6所示，通过深度摄像机11捕捉用户健侧手臂的关节点(包括肩关节、肘关节、腕关节等)，得出健侧手臂的坐标数据；坐标数据经过滤波处理后，建立用户运动模型；通过镜像坐标变换将用户健侧手臂的运动坐标转换为患侧手臂的运动坐标；通过运动学反解，计算出外骨骼机械臂各关节的动作角度；通过机械臂伺服控制系统的执行，实现外骨骼机械臂带动用户患侧手臂做出与健侧手臂对称的动作。

进一步地，用户健侧手臂的运动姿态具体包括以下一种或任意多种：健侧手臂的肩关节、肘关节、腕关节。根据需要深度摄像机11可以捕捉用户的颈部、腹部、患侧肩关节的坐标。

具体的实现步骤如图6所示：首先通过深度摄像机11捕捉用户的动作，能够获取到人体各个关节的位置信息(例如健侧手的肩关节、肘关节、腕关节以及颈部、腹部、患侧肩关节的关节点坐标)，也就是空间坐标系中的各个关节所在的位置点的坐标数据，由于这些数据多且有一定的跳变，因此需要对这些数据进行滤波处理，挑出合理有效的数据。坐标数据经过滤波处理后，建立用户运动模型，并生成人体的模型图，再通过对这些数据进行镜像坐标变化处理，形成镜像的坐标数据，即通过镜像坐标变换将健侧手臂的运动坐标转换为患侧手臂的运动坐标。然后通过运动学反解计算出外骨骼机械臂各关节之间的角度和位置关系，发送给机械臂伺服控制系统，通过机械臂伺服控制系统控制机械臂执行对应的动作，实现外骨骼机械臂带动患侧手臂做出与健侧手臂对称的动作。优选地，本实施例中的上至康复训练系统还包括绝对编码器，绝对编码器与机械臂伺服控制系统连接，用于闭环反馈，判断机械臂各个关节是否有效执行到准确的位置，形成控制闭环。

上述所述上肢康复训练系统的使用方法可实现患侧手臂和健侧手臂对称的协调性动作。基于相似的原理和步骤，可以实现非镜像对称的协调性动作。非镜像对称的协调性动作与镜像对称的协调性动作在坐标变换处理上算法不同，其他处理步骤和原理相同。具体不同为：上述步骤“再通过对这些数据进行镜像坐标变化处理，形成镜像的坐标数据，即通过镜像坐标变换将健侧手臂的运动坐标转换为患侧手臂的运动坐标”在进行非镜像对称协调性动作时，需调整为“再通过对这些数据进行协调性动作坐标变化处理，形成协调性动作的坐标数据，即通过协调性坐标变化处理将健侧手臂的运动坐标转换为患侧手臂的应与健侧手臂进行协调性配合动作的运动坐标”。因此，可实现患侧手臂和健侧手臂协调性动作，比如双手抓取、操控方向盘等非镜像配合类动作。

用户可通过健侧手臂带动自己的患侧手臂进行康复训练，通过深度摄像机11进行健侧手臂的姿态采集，采用实时控制的方式，外骨骼机械臂伺服控制系统控制外骨骼机械臂带动患侧手臂执行镜像的对称性的康复动作以及双手协同式的康复动作(比如用户左侧手臂是健侧，右侧手臂是患侧。去左侧高空取物，健侧手臂向左上方抬，外骨骼机械臂控制手臂同步向左上方抬；控制方向盘，模拟方向盘旋转的动作；以及一些其他的协同类动作)。本发明执行的实时同步镜像动作，捕捉用户健侧手臂的同时，实时计算出患侧手臂的动作轨迹，并由外骨骼机械臂执行，实时性好；能够让用户进行主动式的康复训练，用自己的健侧手臂自主地运动，系统控制外骨骼机械臂带动患侧手臂做出对称的动作，这种使用方法可以帮助用户更好的康复。

运动控制单元具有速度控制功能。当外骨骼机械臂的当前运动速度大于设定值时，运动控制单元控制外骨骼机械臂降低运动速度。由于康复过程不能过快，为了安全，在镜像康复的过程中，健侧手臂过快的话，相应的，患侧手臂应采取限速的控制策略进行降速平滑处理。

中央处理器中储存有多种动作场景(例如，摘苹果、踢球、吃饭等)和/或互动场景，具体地，中央处理器的存储模块中存储有多种动作场景，显示器10用于显示多种动作场景和/或互动场景。其中，多种动作场景用于用户模仿或者观看，所述互动场景用于与用户互动。本实施例通过增加视觉和脑神经刺激等多元因素，有助于上肢康复训练。优选地，动作场景包括互动模拟场景。本实施例提供多种互动模拟场景，增加互动类视觉刺激，解决枯燥的康复训练动作，康复训练效果好。

在本发明的一个实施例中，采用上述具有视觉刺激功能的中央处理器并配合使用镜像康复训练使用模式，用户可以通过自己的健侧手臂带动患侧手臂，在康复的过程中，加入用户的主观意识元素，并配合一定的视觉刺激，借助视觉刺激用户的主动动作意识，可执行更好的康复训练。本实施例中的上肢康复训练系统是一种机体功能训练系统，在康复的过程中加入视觉刺激，进行一定程度的行为和心理的干预。另外，可以在康复过程中加入趣味性、认知思考等视觉刺激训练，避免传统的干预方式枯燥无味无效果。本发明中的上肢康复机器人内置多种康复方案，并配合对应的视觉康复场景，可以在康复训练的过程中，提供更好的视觉刺激。

本发明中的上肢康复机器人有多种不同的使用方法，根据外骨骼机械臂是否提供助力及提供助力的大小分为如下三种使用方法：

第一种使用方法为外骨骼机械臂提供全部助力，外骨骼机械臂带动手臂运动，可实现用户的被动康复训练使用模式；第二种使用方法为外骨骼机械臂部分助力，用户手臂和外骨骼机械臂共同施力，可以实现被动辅助康复训练使用模式；第三种使用方法为机械臂不对用户施助力，而是接收用户的施力，在用户的拖动下进行相应运动，可实现主动康复训练使用模式。

第一种使用方法，即被动康复训练使用模式，主要针对早期严重的上肢残障用户，更好的恢复肌力训练，实现单关节和多关节的康复运动，并且配合吃饭、抓取物品、擦桌子等视觉应用场景。

具体地，在被动康复训练使用模式中，由三个驱动单元7带动大臂拉杆15和小臂拉杆16运动，来带动手臂进行对应动作。可分为单关节康复训练和多关节联动康复训练。动作的同时，显示器10可显示丰富的动作场景，如配合吃饭、抓取、擦玻璃等动作场景，来对用户进行视觉刺激。

更具体地，本实施例中被动康复训练使用模式采用视觉同步的方式，通过医生进行3D示教(通过鼠标拖动3D人物模型的手臂来设定外骨骼机械臂康复运动范围)或者参数化设定(手动输入各个关节的康复运动角度)，来对用户进行针对性康复训练。在执行过程中同步播放与外骨骼机械臂呈相同运动姿态的3D人物模型动作模拟，或者设定主动视角，播放与外骨骼机械臂呈相同运动姿态的手臂动作场景模拟(比如根据动作匹配吃饭，擦桌子、高空取物等场景)，或者游戏训练。具体地，被动康复训练使用模式中，一体化关节采用位置环的控制模式，控制各关节执行绝对角度。如图7所示，中央处理器获得由医生输入的关节位置指令，将关节运动角度信息发送给机械臂伺服控制系统，机械臂伺服控制系统计算执行该动作的时间，并规划路线，并将时间参数反馈给中央处理器，中央处理器执行同步的3D模型的动作匹配，从而达到外骨骼机械臂和视频模型动作同步的效果。绝对编码器与机械臂伺服控制系统连接，用于闭环反馈，判断机械臂各个关节是否有效执行到准确的位置，形成控制闭环。

第二种使用方法，被动辅助训练使用模式，如图8所示，被动辅助训练使用模式适用于进行一定康复训练，肌力恢复一定程度或者是轻度残障用户，由用户手臂带动外骨骼机械臂运动，外骨骼机械臂判断手臂的动作意图，并配合给与助力，从而给与一定的补偿运动。也可以同样配合一定的视觉刺激，达到更好的康复效果。驱动单元7为力矩模式控制，由用户手臂带动外骨骼机械臂运动，外骨骼机械臂判断手臂的动作意图，并配合给与助力。本发明设计的一体化驱动关节内置一维的扭矩传感器，通过单独的传感器信号来判断三个主要关节的动作意图。

其中，判断意图是通过力传感器判断当前的受力发生改变，有向上的力就是判断手臂要上抬，外骨骼机械臂就辅助上抬到对应的一个角度，有向下的压力就是判断手臂要下沉，外骨骼机械臂就辅助下降到对应的一个角度。判断手臂的意图有两种方式，一种是通过一体化关节中的扭矩传感器，测量各个关节当前扭矩值的变化，来判断手臂的动作意图；另一种是通过对比计算一体化关节中的绝对式编码器和增量式编码器的差值变化来换算成扭力值。通过对扭力的增减判断，计算出关节的运动方向和距离。扭矩传感器采集到的信号用于对外骨骼机械臂进行力/位置混合控制，该力矩信息经过运动学解耦并转化为各自由度给定的运动量偏差信号，控制外骨骼机械臂的运动，从而将用户对外骨骼机械臂的作用力矩融合到外骨骼机械臂控制闭环中。

也就是说，所述外骨骼机械臂采用被动辅助使用模式时，机械臂各关节上设有检测传感器，可实时检测用户受力大小和方向，当用户受力大小超出预设值时，控制外骨骼机械臂对用户加所述方向的助力。

第三种使用方法，主动康复训练模式，通过设定机械臂各关节的阻力模式，可以让用户自行拖拽机械臂，恢复力量训练。主动康复训练使用模式面向康复效果较好的用户，用户可以实现大幅度快捷的动作，通过设定一系列不同难度的游戏，用户通过摆动手臂完成游戏动作。主动康复训练使用模式可以配合外骨骼机械臂，也可脱离外骨骼机械臂，只使用深度摄像机11(即视觉系统独立完成)。通过设定多种动画场景，用户可进行互动类的康复训练游戏，用户的动作由深度摄像机11进行捕捉，来对动作进行判定。

更具体地，主动康复训练使用模式分为两种方式，一种是手臂拖动机械臂运动，通过对各个关节设定不同的阻力模式，实现不同等级、不同力度的康复训练。例如可以是采用电流环控制模式的阻力模式，可以设定不同的阻力模式，用户可以轻松的或者用力的拖动外骨骼机械臂，可以通过该方式进行一些游戏训练。在本实施例中，本发明中的上肢康复训练系统为可以调整阻尼力度的康复器，是一种力学康复理疗设备，通过对各个关节设定不同的阻力模式，实现不同等级、不同力度的康复训练，帮助用户恢复肢体的力量。

另一种是用户可以脱离外骨骼机械臂，通过深度视觉捕捉手臂运动姿态的方式，进行游戏康复训练。通过游戏场景的设定，将游戏中的空间坐标和手臂末端位置的坐标进行匹配标定，可以实现2D/3D的游戏互动。

其中，运动控制单元与中央处理器连接，用于控制外骨骼机械臂的动作。具体地，当适用于被动康复训练使用模式时，驱动装置带动大臂拉杆15、小臂拉杆16运动，从而带动用户手臂进行对应动作；当适用于助力式被动辅助训练时，驱动装置为力矩控制模式，由用户手臂带动外骨骼机械臂运动，外骨骼机械臂判断手臂的动作意图，并配合给与助力。

综上，本发明提供的上肢康复训练系统能够实现被动、被动辅助、主动、镜像及协同的康复训练使用模式，适应范围广。本发明提供的上肢康复训练上肢康复也是可以服务于社区康复理疗中心和社区康复训练中心。

在本实施例中，上肢康复训练系统包括功能性电刺激器，功能性电刺激器包括电刺激脉冲发生器、电极片和微电脑单片机，微电脑单片机上连接所述电刺激脉冲发生器，电刺激脉冲发生器上连接有多个电极片，电极片用于贴合在用户的上肢处。本实施例采用功能性电刺激，利用三角波或者方波的微型电流对用户肌肉进行电刺激，增强肌肉的强度和耐力，提高用户活动能力，有助于提高康复效果。

功能性电刺激可以通过表皮电极和植入式电极，刺激用户肌肉的运动神经，电极间的电场在神经上产生出触发电势，这一电势以化学方法经由神经元的触处传送到肌肉细胞并引起肌肉收缩，从而使肌体产生动作，可以通过改变电压和频率来对刺激进行控制。

本发明还具有对行为、心理、认识进行干预的康复训练和测评系统。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种上肢康复训练系统，其特征在于，包括：

上肢功能评估装置，所述上肢功能评估装置包括：显示器、深度摄像机和中央处理器，所述深度摄像机用于捕捉用户的动作，所述显示器用于显示示范动作和用户的动作，所述中央处理器分别与所述显示器和所述深度摄像机连接，所述深度摄像机包括RGB摄像头和深度摄像头，所述RGB摄像头用于获取用户关节点的二维坐标，所述深度摄像头用于获取用户关节点的深度坐标，包括：首先，采用基于深度神经网络的深度学习方法通过深度摄像机的RGB摄像头所捕捉的彩色图像对用户关节点的二维坐标进行获取，再利用深度摄像机的深度摄像头所捕捉的深度图像对用户关节点的深度坐标进行获取，最后将获取的用户关节点的二维坐标和深度坐标映射为用户关节点的三维坐标；其中，在基于深度神经网络的深度学习方法中，增加了自遮挡图片以及旋前旋后难以检测的动作的图片作为训练集，训练深度神经网络模型；所述自遮挡是指深度摄像机所捕捉的用户的某一关节点被用户自身的其他关节点遮挡，从而避免由于自遮挡造成的关节点坐标检测不准确的问题，准确地检测用户的关节点的三维坐标；

外骨骼机械臂和运动控制单元，所述运动控制单元与所述中央处理器连接，用于控制所述外骨骼机械臂的动作，外骨骼机械臂还包括大臂拉杆和小臂拉杆，大臂拉杆和小臂拉杆可通过手动或者电动来调节长短，来适应不同长短手臂的用户，用户的肩关节、肘关节分别和外骨骼机械臂的肩关节、肘关节位置对应；所述用户的动作包括用户健侧手臂的运动姿态，所述深度摄像机用于实时捕捉用户健侧手臂的运动姿态；

所述中央处理器根据所述用户健侧手臂的运动姿态来控制所述外骨骼机械臂的运动，从而带动所述外骨骼机械臂上的用户患侧手臂做出相应运动；所述运动控制单元控制三个驱动单元，分别用于实现外骨骼机械臂的大臂的外展/内收、大臂的上抬/下降以及小臂的弯曲，其中所述三个驱动单元包括对应于肩关节第一关节的第一驱动单元、对应于肩关节第二关节的第二驱动单元和对应于肘关节的第三驱动单元，第一驱动单元、第二驱动单元和第三驱动单元分别用于实现大臂的外展/内收，大臂的上抬/下降以及小臂的弯曲，所述外骨骼机械臂包括肩关节和肘关节，肩关节包括肩关节第一关节、肩关节第二关节和肩关节第三被动关节，所述肘关节包括肘关节第一关节和肘关节第二被动关节，肘关节第一关节用于实现小臂的弯曲，所述外骨骼机械臂的肩关节第三个自由度用于实现小臂的弯曲，为被动式控制；

外骨骼机械臂的所述肩关节和所述肘关节采用包围式滑轨结构；

并且所述中央处理器结合临床上常用评估量表来进行评估，将量表里的动作全部量化后进行自动评估，包括采用基于长短期记忆人工神经网络的深度学习方法来判断动作的完成情况，包括是否全部完成、部分完成或者完全不能完成；其中，在训练模型时由人工标记不同动作序列的关键帧和关键节点，从而实现标准动作的静态匹配，接着再自动采样得到更多的相邻帧，实现动态匹配，将关键帧、关键节点和相邻帧结合进行编码，形成标准动作模板序列模型；最后，采用最长公共子序列算法来识别用户所做动作是否符合标准动作，首先实时检测用户当前动作，形成动作序列，再通过与标准动作模板序列模型进行对比，求取最长公共子序列，从而反馈用户当前动作的不规范程度，进行动作完成情况的判断和具体评分；其中，关键帧、关键节点、相邻帧以及当前动作帧包含用户各个关节点的三维坐标，所有评估动作完成后，形成评估报告，再由系统和医师提供诊断方案以及针对性的运动处方。

2.根据权利要求1所述的上肢康复训练系统，其特征在于，所述中央处理器中储存有多种动作场景和/或互动场景，所述显示器用于显示所述多种动作场景和/或互动场景，其中，多种动作场景用于用户模仿或者观看，所述互动场景用于与用户互动。

Images