CN113520683A - 基于模仿学习的下肢假肢控制系统及方法 - Google Patents

Abstract

本发明提供了一种基于模仿学习的下肢假肢控制系统及方法，涉及下肢假肢的控制策略技术领域，系统包括膝关节控制电机、踝关节控制电机、连杆和外壳。方法包括：采集数据步骤：健康人体配戴IMU传感器，采集不同步态下健康人体步态信息，形成训练数据集；仿真训练模型步骤：搭建卷积神经网络模型，并在仿真环境中利用采集到的数据对模型进行训练；实体验证步骤：将卷积神经网络模型移植到下肢假肢实体控制器中，当下肢假肢控制器接收到IMU传感器的信号输入时，利用训练的卷积神经网络模型输出下肢假肢关节的动作指令，实现对下肢假肢的控制。本发明能够实现端到端的控制，控制流程更加平滑，同时减去了标注训练数据集的繁琐程序。

Description

基于模仿学习的下肢假肢控制系统及方法

技术领域

本发明涉及下肢假肢的控制策略技术领域，具体地，涉及一种基于模仿学习的下肢假肢控制系统及方法。

背景技术

随着社会生活水平的提高，下肢假肢在近年来得到越来越广泛的应用。但是对下肢假肢的控制方式还有进一步改进的空间。模仿学习算法现也广泛应用于社会众多领域，如示教机器人、自动驾驶等。

公开号为CN103750927B的发明专利，公开了一种人体下肢假肢膝关节运动控制方法，特别涉及二刚体二自由度下肢假肢平地行走时的自适应迭代学习控制方法。本发明首先分析人体正常步态特征及下肢假肢控制要求；然后通过牛顿-欧拉算法对其进行动力学分析，建立二刚体二自由度下肢假肢运动系统模型；最后将自适应迭代学习控制算法应用于此运动系统模型，其控制算法流程包括：问题描述、收敛性分析、求取的有界性、求取的递增性、求取的递增性。

针对上述现有技术，现有的下肢假肢控制方案，不能实现良好的端到端的控制，且在标注训练数据集的过程中程序繁琐。

发明内容

针对现有技术中的缺陷，本发明提供一种基于模仿学习的下肢假肢控制系统及方法。

根据本发明提供的一种基于模仿学习的下肢假肢控制系统及方法，所述方案如下：

第一方面，提供了一种基于模仿学习的下肢假肢控制系统，所述系统包括下肢假肢实体，所述下肢假肢实体包括：膝关节控制电机、踝关节控制电机、连杆和外壳；所述连杆的两端分别连接于膝关节控制电机和踝关节控制电机，所述外壳设置在所述连杆的圆周像侧壁上。

优选的，所述下肢假肢实体上安装有多个IMU传感器。

第二方面，提供了一种基于模仿学习的下肢假肢控制方法，所述方法包括：

采集数据步骤：健康人体配戴IMU传感器，在不同场景下进行标准步态演示，采集不同步态下健康人体步态信息，形成训练数据集；

仿真训练模型步骤：搭建卷积神经网络模型，并在仿真环境中利用采集到的数据对模型进行训练；

实体验证步骤：将卷积神经网络模型移植到下肢假肢实体控制器中，当下肢假肢控制器接收到IMU传感器的信号输入时，利用训练的卷积神经网络模型输出下肢假肢关节的动作指令，实现对下肢假肢的控制。

优选的，所述采集数据步骤中的训练数据为健康人体在不同步态下的髋关节、膝关节、踝关节的角度和角速度信息。

优选的，所述训练数据采集过程为：

在下肢假肢实体的脚背、小腿和大腿处均分别固定一个IMU传感器；

踝关节的角度和角速度由脚背位置IMU传感器读数减去小腿位置IMU传感器读数得到；

膝关节的角度和角速度由小腿位置IMU传感器读数减去大腿位置IMU传感器读数得到；

髋关节的角度和角速度由大腿位置IMU传感器读数得到。

优选的，所述角度和角速度信息通过维度拉伸为256*256的矩阵输入卷积神经网络模型，卷积神经网络模型有3个卷积层，每个卷积层后面跟一个最大池化层，在卷积层和最大池化层后接两个全连接层，全连接层后接输出层，卷积神经网络中使用的激活函数为线性整流函数ReLU；

卷积神经网络模型的输出的为膝关节控制电机和踝关节控制电机的电流值。

优选的，所述卷积网络模型的训练是在仿真环境中完成的，角度和角速度信息在输入卷积神经网络前进行了数据标准化和数据增强处理。

优选的，所述数据标准化方式为用即时测量数据减去人体静止站立不动时得到的角度和角速度数据；数据增强则通过加入噪音数据以及仿真数据完成。

优选的，建立卷积神经网络模型对健康人体步态数据进行观察，数学描述表示为：

其中，d(θ)表示健康人体步态的特征分布，p(θ)表示预测动作的特征分布，π′为模仿学习寻找的最优策略，S(d(θ),p(θ))为两者之间的相似性比较。

优选的，所述卷积神经网络模型训练过程中的损失函数设置如下：

其中，A_h1表示健康人体下肢踝关节角度，A_p1表示下肢假肢踝关节角度，K_h1表示健康人体下肢膝关节角度，K_p1表示下肢假肢膝关节角度，H_h1表示健康人体下肢髋关节角度，H_p1表示下肢假肢髋关节角度，A_h2表示健康人体下肢踝关节角速度，A_p2表示下肢假肢踝关节角速度，K_h2表示健康人体下肢膝关节角速度，K_p2表示下肢假肢膝关节角速度，H_h2表示健康人体下肢髋关节角速度，H_p2表示下肢假肢髋关节角速度。

与现有技术相比，本发明具有如下的有益效果：

1、本发明的控制策略实现了端到端的控制，免去中间繁琐的建模过程，对下肢假肢的控制流程更加平滑简洁，同时减去了标注训练数据集的繁琐程序；

2、本发明中所采集的健康人体步态数据不是直接放入网络模型中进行训练，而是通过标准化和数据增强来增加模型的鲁棒性和泛化性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为下肢假肢模型主体结构图；

图2为IMU传感器固定位置示意图；

图3为下肢假肢控制方法的整体流程示意图；

图4为行为克隆模仿学习的算法框架示意图；

图5为卷积神经网络模型训练流程示意图。

附图标记：1、膝关节控制电机；2、踝关节控制电机；3、连杆；4、外壳；5、IMU传感器。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种基于模仿学习的下肢假肢控制系统，参照图1和图2所示，包括下肢假肢实体，所述下肢假肢实体包括：膝关节控制电机1、踝关节控制电机2、连杆3和外壳4；连杆3的两端分别连接于膝关节控制电机1和踝关节控制电机2，外壳4包裹设置在连杆3的圆周像侧壁上，一条下肢假肢实体上安装有三个IMU传感器5，两条腿共固定六个IMU传感器5。

本实施例还提供一种基于模仿学习的下肢假肢控制方法，参照图3和图4所示，本发明通过采集健康人体步态数据，建立卷积神经网络模型对健康人体步态数据进行观察，寻找出一个策略，实现对健康人体步态尽可能地重现，其数学描述可以表示为：

其中，d(θ)表示健康人体步态的特征分布，p(θ)表示预测动作的特征分布，π′为模仿学习寻找的最优策略，S(d(θ),p(θ))为两者之间的相似性比较。

更具体的，本实施例采用的模仿学习方式主要为行为克隆方式，行为克隆实质上就是采用健康人体步态数据进行有监督学习。本实施例中健康人体步态数据分为左腿数据和右腿数据，在训练过程中，左腿数据为状态数据Si,右腿数据为拟合目标数据。

在本实施例中，卷积神经网络模型并不是直接通过输出右腿步态信息实现模仿学习，而是输出下肢假肢膝关节控制电机1和踝关节控制电机2的电流值，通过膝关节控制电机1和踝关节控制电机2驱动下肢假肢膝关节和踝关节进行动作，得到动作后的下肢假肢上的IMU传感器5(Inertial Measurement Unit惯性传感器)读数，根据下肢假肢上的IMU传感器5读数和健康人体右腿传感器读数的拟合程度进行策略选择。

具体地，健康人体步态数据包括健康人体不同步态下左腿的髋关节、膝关节、踝关节的角度和角速度信息和右腿的髋关节、膝关节、踝关节的角度和角速度信息，具体采集过程为：脚背、小腿和大腿各固定一个IMU传感器5，两条腿共固定六个IMU传感器5。其中，踝关节的角度和角速度由脚背位置IMU传感器5读数减去小腿位置IMU传感器5读数得到，膝关节的角度和角速度由小腿位置IMU传感器5读数减去大腿位置IMU传感器5读数得到，髋关节的角度和角速度由大腿位置IMU传感器5读数得到。

得到的健康人体步态数据不是直接放入网络模型中进行训练，而是通过标准化和数据增强来增加模型的鲁棒性和泛化性，具体的标准化方式为用即时测量数据减去人体静止站立不动时得到的角度和角速度数据，数据增强则通过加入少量噪音数据以及少量仿真数据完成。

经过预处理后的数据通过维度拉伸为256*256的矩阵输入卷积神经网络，卷积神经网络有3个卷积层，每个卷积层后面跟一个最大池化层，在卷积层和最大池化层后接两个全连接层，全连接层后接输出层，卷积神经网络中使用的激活函数为线性整流函数ReLU(Rectified Linear Unit)。

具体地，卷积神经网络模型训练过程中的损失函数设置如下：

其中，A_h1表示健康人体下肢踝关节角度，A_p1表示下肢假肢踝关节角度，K_h1表示健康人体下肢膝关节角度，K_p1表示下肢假肢膝关节角度，H_h1表示健康人体下肢髋关节角度，H_p1表示下肢假肢髋关节角度，A_h2表示健康人体下肢踝关节角速度，A_p2表示下肢假肢踝关节角速度，K_h2表示健康人体下肢膝关节角速度，K_p2表示下肢假肢膝关节角速度，H_h2表示健康人体下肢髋关节角速度，H_p2表示下肢假肢髋关节角速度。

参照图5所示，考虑到安全性和训练效率，卷积神经网络模型首先在仿真环境中进行训练，训练收敛以后进行实体移植，之后根据实体控制效果再对卷积神经网络模型进行进一步有针对性训练。实体与仿真之间进行互相迭代，网络模型达到预期控制效果后则停止迭代。举例说明如下，将仿真环境中训练收敛的卷积神经网络模型移植到实体，发现卷积神经网络模型控制下肢假肢实体上下楼梯时会出现滑步情况，此时则对健康人体上下楼梯的步态数据进行专门采集，然后用采集到的健康人体上下楼梯的步态数据对卷积神经网络模型在仿真环境中进行针对性训练，待训练结果达到预期效果后，再次将模型移植到下肢假肢实体进行验证，若再次在下肢假肢实体验证中发现卷积神经网络模型的控制缺陷，则再次专门采集相应数据对卷积神经网络模型进行针对性训练，如此迭代，直到卷积神经网络模型达到令人满意的控制效果。

残疾人穿戴采用本发明策略控制的下肢假肢后，只需在假肢的脚背位置、大腿位置、小腿位置和健康腿的脚背位置、大腿位置、小腿位置各固定三个IMU传感器5，具体固定位置如图2所示，当健康腿动作时，下肢假肢也将随之进行动作。与传统的下肢假肢控制策略相比，本发明的控制策略实现了端到端的控制，免去了中间繁琐的建模过程，对下肢假肢的控制流程更加平滑简洁，同时减去了标注训练数据集的繁琐程序。

需要说明的是，本发明的卷积神经网络模型可以不局限于说明书中特定的输入，如，为增加卷积神经网络模型对下肢假肢穿戴者的意图识别率，可将周围环境图像信息加入训练数据集中对卷积神经网络模型进行训练，训练完成后进行下肢假肢实体控制时也应同时加入周围环境图像信息。根据需要，肌电信号、脑电信号等信息亦可作为卷积神经网络模型的输入。本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。

本发明实施例提供了一种基于模仿学习的下肢假肢控制系统及方法，本发明的控制策略实现了端到端的控制，免去中间繁琐的建模过程，对下肢假肢的控制流程更加平滑简洁，同时减去了标注训练数据集的繁琐程序。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于模仿学习的下肢假肢控制系统，其特征在于，包括：下肢假肢实体，所述下肢假肢实体包括：膝关节控制电机(1)、踝关节控制电机(2)、连杆(3)和外壳(4)；所述连杆(3)的两端分别连接于膝关节控制电机(1)和踝关节控制电机(2)，所述外壳(4)设置在所述连杆(3)的圆周像侧壁上。

2.根据权利要求1所述的基于模仿学习的下肢假肢控制系统，其特征在于，所述下肢假肢实体上安装有多个IMU传感器(5)。

3.一种基于模仿学习的下肢假肢控制方法，其特征在于，基于如权利要求1-2中任意一项所述的基于模仿学习的下肢假肢控制系统，包括：

采集数据步骤：健康人体配戴IMU传感器(5)，在不同场景下进行标准步态演示，采集不同步态下健康人体步态信息，形成训练数据集；

仿真训练模型步骤：搭建卷积神经网络模型，并在仿真环境中利用采集到的数据对模型进行训练；

实体验证步骤：将卷积神经网络模型移植到下肢假肢实体控制器中，当下肢假肢控制器接收到IMU传感器(5)的信号输入时，利用训练的卷积神经网络模型输出下肢假肢关节的动作指令，实现对下肢假肢的控制。

4.根据权利要求3所述的基于模仿学习的下肢假肢控制方法，其特征在于，所述采集数据步骤中的训练数据为健康人体在不同步态下的髋关节、膝关节、踝关节的角度和角速度信息。

5.根据权利要求4所述的基于模仿学习的下肢假肢控制方法，其特征在于，所述训练数据采集过程为：

在下肢假肢实体的脚背、小腿和大腿处均分别固定一个IMU传感器(5)；

踝关节的角度和角速度由脚背位置IMU传感器(5)读数减去小腿位置IMU传感器(5)读数得到；

膝关节的角度和角速度由小腿位置IMU传感器(5)读数减去大腿位置IMU传感器(5)读数得到；

髋关节的角度和角速度由大腿位置IMU传感器(5)读数得到。

6.根据权利要求4所述的基于模仿学习的下肢假肢控制方法，其特征在于，所述角度和角速度信息通过维度拉伸为256*256的矩阵输入卷积神经网络模型，卷积神经网络模型有3个卷积层，每个卷积层后面跟一个最大池化层，在卷积层和最大池化层后接两个全连接层，全连接层后接输出层，卷积神经网络中使用的激活函数为线性整流函数ReLU；

卷积神经网络模型的输出的为膝关节控制电机(1)和踝关节控制电机(2)的电流值。

7.根据权利要求6所述的基于模仿学习的下肢假肢控制方法，其特征在于，所述卷积网络模型的训练是在仿真环境中完成的，角度和角速度信息在输入卷积神经网络前进行了数据标准化和数据增强处理。

8.根据权利要求7所述的基于模仿学习的下肢假肢控制方法，其特征在于，所述数据标准化方式为用即时测量数据减去人体静止站立不动时得到的角度和角速度数据；数据增强则通过加入噪音数据以及仿真数据完成。

9.根据权利要求3所述的基于模仿学习的下肢假肢控制方法，其特征在于，建立卷积神经网络模型对健康人体步态数据进行观察，数学描述表示为：

其中，d(θ)表示健康人体步态的特征分布，p(θ)表示预测动作的特征分布，π′为模仿学习寻找的最优策略，S(d(θ)，p(θ))为两者之间的相似性比较。

10.根据权利要求3所述的基于模仿学习的下肢假肢控制方法，其特征在于，所述卷积神经网络模型训练过程中的损失函数设置如下：

其中，A_h1表示健康人体下肢踝关节角度，A_p1表示下肢假肢踝关节角度，K_h1表示健康人体下肢膝关节角度，K_p1表示下肢假肢膝关节角度，H_h1表示健康人体下肢髋关节角度，H_p1表示下肢假肢髋关节角度，A_h2表示健康人体下肢踝关节角速度，A_p2表示下肢假肢踝关节角速度，K_h2表示健康人体下肢膝关节角速度，K_p2表示下肢假肢膝关节角速度，H_h2表示健康人体下肢髋关节角速度，H_p2表示下肢假肢髋关节角速度。

Images