CN113829339B - 基于长短时记忆网络的外骨骼运动协同方法 - Google Patents

基于长短时记忆网络的外骨骼运动协同方法 Download PDF

Info

Publication number
CN113829339B
CN113829339B CN202110881435.1A CN202110881435A CN113829339B CN 113829339 B CN113829339 B CN 113829339B CN 202110881435 A CN202110881435 A CN 202110881435A CN 113829339 B CN113829339 B CN 113829339B
Authority
CN
China
Prior art keywords
joint
exoskeleton
gait
sensor
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110881435.1A
Other languages
English (en)
Other versions
CN113829339A (zh
Inventor
任彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110881435.1A priority Critical patent/CN113829339B/zh
Publication of CN113829339A publication Critical patent/CN113829339A/zh
Application granted granted Critical
Publication of CN113829339B publication Critical patent/CN113829339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Rehabilitation Tools (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于长短时记忆网络模型的外骨骼运动协同方法。本方法操作步骤为a构建动力外骨骼硬件系统，b构建分离式关节传感系统，c关节角度协同运动，d长短时记忆网络步态轨迹预测，e步态运动协同预测。本发明基于LSTM模型方法，利用关节协同运动过程中动力外骨骼的实时数据对运动轨迹进行预测，可用于下肢外骨骼机器人的人机协同运动步态轨迹规划，能够解决使用机械式传感器的协同控制带来的运动滞后问题。

Description

基于长短时记忆网络的外骨骼运动协同方法
技术领域
本发明涉及一种基于长短时记忆网络的外骨骼运动协同方法，应用于动力外骨骼步态协同运动控制的研究领域。
背景技术
动力外骨骼穿戴于人体外侧，由传感系统实时检测外骨骼本身的位姿与人体的运动意图，并通过驱动系统实现与人体的协同运动，对人体的运动进行助力，达成增强人体力量或辅助人体运动的目标。许多研究将步态轨迹看作关节角度随时间变化的时间序列形式，这样一来，步态轨迹的预测本质上就是时序的预测，也即未来的数值是基于之前的观测值进行预测的结果。基于机器学习的步态轨迹预测方法已经逐渐变成可行的方法，因为这些方法基于大量的数据，而且可以摆脱复杂的生物力学模型和能量损耗方程。另一方面，当前步态轨迹预测方法中取得的进展，主要集中在基于人体运动轨迹的预测而非基于动力外骨骼运动轨迹的预测，虽然这是在动力外骨骼样机前期开发过程中探索人体运动特征的一个必要阶段，但是缺少真正的动力外骨骼运动信息的步态轨迹预测从现实意义上来说还仅仅停留在仿真阶段，如果步态轨迹能够被预测并加入控制算法中，这对控制响应时间由于加入前馈项进行补偿或者系统自身的数据运算而带来的延迟问题有所帮助。
发明内容
为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于长短时记忆网络模型的外骨骼运动协同方法，采用步态轨迹预测方法建立在动力外骨骼随人体协同运动的步态轨迹数据基础上的，利用基于实时观测值更新的LSTM网络对动力外骨骼系统的步态轨迹进行预测。
为达到上述发明创造目的，本发明采用如下技术方案：
一种基于长短时记忆网络模型的外骨骼运动协同方法，操作步骤如下：
a.构建动力外骨骼硬件系统；
b.构建分离式关节传感系统；
c.关节角度协同运动；
d.长短时记忆网络步态轨迹预测；
e.步态运动协同预测。
(1)所述步骤a构建动力外骨骼硬件系统：
定义左右侧髋关节处的展收自由度是无电机驱动的被动自由度。动力外骨骼硬件系统架构除了左右侧髋关节处的展收自由度是无电机驱动的被动自由度以外，左右侧髋关节屈伸自由度，膝关节屈伸自由度，踝关节屈伸自由度均配备有相应的电机驱动，即共有六个主动动力关节；硬件系统主要包括：中央控制器Arduino Mega 2560、电机驱动器、霍尔传感器、支流无刷电机、谐波减速器、轻型铝合金加工的连杆零件和附加的绑带用于和穿戴者人体进行连接与承载背包；为能够保证关节可提供足够的扭矩用于整个外骨骼以及辅助穿戴者运动，所选用的电机模块减速比为101：1，功率240瓦，输出平均扭矩可达30N·m；电机驱动器基于STM32微处理器，具备高速数据处理能力，提供单路带霍尔/编码器传感直流无刷电机的位置、速度、电流闭环控制，其通讯方式满足RS485通讯规范的Modbus RTU协议以及Modbus TCP/IP协议；通过串口RS-485物理层建立主从机串联网组，在外骨骼控制系统中，中央控制器作为主机，电机驱动器作为从机；由于人体下肢胜利关节的极限位置与机械关节的极限位置存在差异，为了避免程序设计漏洞以及其他失效形式对穿戴者产生损伤，特增设正反转极限限位开关传感器，保证在无论什么控制信号作用下，失能处于异常状态的系统，以保证穿戴者人身安全。
(2)所述步骤b分离式关节传感系统：
一套与动力外骨骼具有相同自由度的分离式关节传感系统，进行初步的关节角度协同跟踪控制试验，以达到人体与动力外骨骼分离的情况下进行测试工作的目的；关节传感系统主要部件包括：髋关节测量单元，膝关节测量单元，踝关节测量单元，可调整长度的大腿连杆和小腿连杆，鞋子；辅助部件有各测角度单元与连杆和鞋子之间固定的连接件，尼龙卡口绑带，信号导线以及必要的连接端子；螺旋形的柔性部件将其安装在传感器的转动输出端，这一部件能够在承受一定的弯矩的同时，保证传感器能够发生转动来传递生理关节的转动角度，不妨碍其他的运动自由度或降低对其他自由度的阻碍；测量单元使用传感器为旋转式电位计，旋转范围为0-210°，在不同旋转角度下其内部电阻会相应的发生变化0-10k欧姆，传感器本身具有自带分压电路，从外部提供5V电源信号可检测传感器在某一特定转角下的电压信号，经过模数转换器ADC被转化成响应的数字信号，不同穿戴者需要调整相应的连杆长度以保证关节对齐，为准确地获取传感系统各传感器信号与实际生理关节角度之间的映射关系，每一次穿戴传感系统时都需要重新进行校准工作；经过ADC得到数字信号后，以特定姿势状态下的各关节角度为参考，进而求解计算出实际的生理关节角度。
(3)所述步骤c关节角度协同运动：
经过微处理器的信号映射后，电机驱动控制指令按照Modbus RTU通讯协议，经过RS485差分信号总线传输到动力外骨骼系统的各关节电机驱动器从机，同时微控制器向各电机驱动器下发关节角度反馈指令；在接收到来自微控制器的驱动控制指令和关节角度反馈指令后，动力外骨骼系统中的电机驱动器相应地址被修改为对应的指令参数，各关节电机的运动控制模式被设置成位置控制模式，并根据电机驱动器指定的关节转动角度执行动作，同时将霍尔传感感知到的电机关节角度信息以RS485报文反馈给中央控制微处理器，过程重复循环执行；为对可穿戴外骨骼传感系统和动力外骨骼的关节运动轨迹进行分析，两者的数据在每一个控制循环周期内，被微处理器记录在SD存储卡中，以供离线数据分析。
(4)所述步骤d长短时记忆网络步态轨迹预测：
长短时记忆网络(Long Short Term Memory，LSTM)是一种被广泛使用在时序信号预测与分类的机器学习算法，LSTM是循环神经网络(Recurrent Neural Network,RNN)的一种特殊类型，可学习长期依赖信息；基础结构同RNN一样，是重复神经网络模块的链式形式，LSTM拥有四个特殊层进行输入与输出之间的交互。
(5)所述步骤e步态运动协同预测：
LSTM模型在MATLAB环境下搭建；LSTM网络架构定义如下，输入特征的数量和输出响应的数量均为6，网络中的隐藏单元数量设置为200个；训练模型的求解器设为‘Adam’并进行250轮训练；为防止梯度爆炸，梯度阈值设为1，初始学习率为0.005，在每经过50轮训练后通过乘以降低系数0.5来降低学习率；数据集是来自关节角度协同运动实验中动力外骨骼的关节角度轨迹采样数据，包括右髋关节RH，右膝关节RK，右踝关节RA，左髋关节LH，左膝关节LK，左踝关节LA，为了防止训练发散，首先需要将训练数据标准化为具有零平均值和单位方差的数据集；数据集被按照6：4的比例划分为训练数据集和测试数据集；目标是用过往的历史关节轨迹来预测接下来一个时间步长的关节轨迹，定义预测时间步长为1个采样点；来自外骨骼的历史关节角度轨迹向量作为LSTM网络的输入向量，被预测的关节步态轨迹是LSTM的输出向量。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1.本发明下肢外骨骼关节角度协同运动所需要的硬件系统，包括基于滑动变阻器的关节传感系统和动力外骨骼硬件系统；传感系统和动力执行系统的分离式方案使得测试阶段可以在人体与动力外骨骼不直接接触的情况下对下肢外骨骼人机系统进行关节角度的协同运动研究；
2.本发明依靠特殊设计的关节传感系统，下肢三个主要关节(髋关节、膝关节、踝关节)在不受限制的条件下，能够被滑动变阻器采集到相应的传感信息，通过指定的站立和半蹲动作来标定传感器与人体关节转动角度之间的映射关系，实现了人体下肢关节角度的准确感知；
3.本发明在所搭建的协同运动框架下，动力外骨骼可以随同人体做出动作，但动力外骨骼与人体动作之间存在一定的时间延迟；因此，本发明提出基于LSTM模型的方法，利用关节协同运动过程中的动力外骨骼的实时数据对运动轨迹进行预测；可用于下肢外骨骼机器人的人机协同运动步态轨迹规划，能够解决使用机械式传感器的协同控制带来的运动滞后问题；4.本发明方法简单易行，成本低，适合推广使用。
附图说明
图1为本发明的长短时记忆网络的外骨骼运动协同方法框图。
图2为动力外骨骼硬件系统架构组成图。
图3为分离式传感系统以及关节角度映射流程图。
图4为步态跟踪协同运动实验步骤图。
图5为多个不同静态动作下的动力外骨骼与受试者协同运动图。
图6为人体下肢运动轨迹以及动力外骨骼执行关节运动轨迹图。其中，插图(a)为右髋关节的运动轨迹，插图(b)为右膝关节的运动轨迹，插图(c)为右踝关节的运动轨迹，插图(d)为左髋关节的运动轨迹，插图(e)为左膝关节的运动轨迹，插图(f)为左踝关节的运动轨迹。
图7为展示先后三个时刻的LSTM网络结构图。
图8为LSTM网络结构详细流图。
图9为使用常规参数的LSTM模型对步态轨迹进行预测的结果图。其中，插图(a)为右髋关节的运动轨迹，插图(b)为右膝关节的运动轨迹，插图(c)为右踝关节的运动轨迹，插图(d)为左髋关节的运动轨迹，插图(e)为左膝关节的运动轨迹，插图(f)为左踝关节的运动轨迹。
图10为使用观测值更新的LSTM模型对步态轨迹进行预测的结果图。其中，插图(a)为右髋关节的运动轨迹，插图(b)为右膝关节的运动轨迹，插图(c)为右踝关节的运动轨迹，插图(d)为左髋关节的运动轨迹，插图(e)为左膝关节的运动轨迹，插图(f)为左踝关节的运动轨迹。
具体实施方式
以下结合具体的实施例对上述方案做进一步说明，本发明的优选实施例详述如下：
实施例一：
在本实施例中，参见图1，一种基于长短时记忆网络的外骨骼运动协同方法，操作步骤如下：
a.构建动力外骨骼硬件系统，
b.构建分离式关节传感系统，
c.关节角度协同运动，
d.长短时记忆网络步态轨迹预测，
e.步态运动协同预测。
本实施例采用步态轨迹预测方法，建立动力外骨骼随人体协同运动的步态轨迹数据，并在此基础上，利用基于实时观测值更新的LSTM网络，对动力外骨骼系统的步态轨迹进行预测。
实施例二：
本实施例二与实施例一基本相同，特别之处在于：
(1)在本实施例中，所述步骤a构建动力外骨骼硬件系统。
动力外骨骼硬件系统架构除了左右侧髋关节处的展收自由度是无电机驱动的被动自由度以外，左右侧髋关节屈伸自由度，膝关节屈伸自由度，踝关节屈伸自由度均配备有相应的电机驱动，即共有六个主动动力关节；硬件系统主要包括：中央控制器Arduino Mega2560、电机驱动器、霍尔传感器、支流无刷电机、谐波减速器、轻型铝合金加工的连杆零件和附加的绑带用于和穿戴者人体进行耦合连接与承载背包；为能够保证关节可提供足够的扭矩用于整个外骨骼以及辅助穿戴者运动，所选用的电机模块减速比为101：1，功率240瓦，输出平均扭矩可达30N·m；电机驱动器基于STM32微处理器，具备高速数据处理能力，提供单路带霍尔/编码器传感直流无刷电机的位置、速度、电流闭环控制，其通讯方式满足RS485通讯规范的Modbus RTU协议以及Modbus TCP/IP协议；通过串口RS-485物理层建立主-从机串联网组，在外骨骼控制系统中，中央控制器作为主机，电机驱动器作为从机；由于人体下肢胜利关节的极限位置与机械关节的极限位置存在差异，为了避免程序设计漏洞以及其他失效形式对穿戴者产生损伤，特增设正反转极限限位开关传感器，保证在无论什么控制信号作用下，失能处于异常状态的系统，以保证穿戴者人身安全。
(2)所述步骤b分离式关节传感系统。
一套与动力外骨骼具有相同自由度的分离式关节传感系统，进行初步的关节角度协同跟踪控制试验，以达到人体与动力外骨骼分离的情况下进行测试工作的目的；关节传感系统主要部件包括：髋关节测量单元，膝关节测量单元，踝关节测量单元，可调整长度的大腿连杆和小腿连杆，鞋子；辅助部件有各测角度单元与连杆和鞋子之间固定的连接件，尼龙卡口绑带，信号导线以及必要的连接端子；螺旋形的柔性部件将其安装在传感器的转动输出端，这一部件能够在承受一定的弯矩的同时，保证传感器能够发生转动来传递生理关节的转动角度，不妨碍其他的运动自由度或降低对其他自由度的阻碍；测量单元使用传感器为旋转式电位计，旋转范围为0-210°，在不同旋转角度下其内部电阻会相应的发生变化0-10k欧姆，传感器本身具有自带分压电路，从外部提供5V电源信号可检测传感器在某一特定转角下的电压信号，经过模数转换器ADC被转化成响应的数字信号，不同穿戴者需要调整相应的连杆长度以保证关节对齐，为准确地获取传感系统各传感器信号与实际生理关节角度之间的映射关系，每一次穿戴传感系统时都需要重新进行校准工作；经过ADC得到数字信号后，以特定姿势状态下的各关节角度为参考，进而求解计算出实际的生理关节角度。
(3)所述步骤c关节角度协同运动。
经过微处理器的信号映射后，电机驱动控制指令按照Modbus RTU通讯协议，经过RS485差分信号总线传输到动力外骨骼系统的各关节电机驱动器从机，同时微控制器向各电机驱动器下发关节角度反馈指令；在接收到来自微控制器的驱动控制指令和关节角度反馈指令后，动力外骨骼系统中的电机驱动器相应地址被修改为对应的指令参数，各关节电机的运动控制模式被设置成位置控制模式，并根据电机驱动器指定的关节转动角度执行动作，同时将霍尔传感感知到的电机关节角度信息以RS485报文反馈给中央控制微处理器，过程重复循环执行；为对可穿戴外骨骼传感系统和动力外骨骼的关节运动轨迹进行分析，两者的数据在每一个控制循环周期内，被微处理器记录在SD存储卡中，以供离线数据分析。
(4)所述步骤d长短时记忆网络步态轨迹预测。
长短时记忆网络LSTM是一种被广泛使用在时序信号预测与分类的机器学习算法，LSTM是RNN的一种特殊类型，可学习长期依赖信息；基础结构同RNN一样，是重复神经网络模块的链式形式,LSTM拥有四个特殊层进行输入与输出之间的交互。
(5)所述步骤e步态运动协同预测。
LSTM模型在MATLAB环境下搭建；LSTM网络架构定义如下，输入特征的数量和输出响应的数量均为6，网络中的隐藏单元数量设置为200个；训练模型的求解器设为‘Adam’并进行250轮训练；为防止梯度爆炸，梯度阈值设为1，初始学习率为0.005，在每经过50轮训练后通过乘以降低系数0.5来降低学习率；数据集是来自关节角度协同运动实验中动力外骨骼的关节角度轨迹采样数据，包括右髋关节RH，右膝关节RK，右踝关节RA，左髋关节LH，左膝关节LK，左踝关节LA，为了防止训练发散，首先需要将训练数据标准化为具有零平均值和单位方差的数据集；数据集被按照6：4的比例划分为训练数据集和测试数据集；目标是用过往的历史关节轨迹来预测接下来一个时间步长的关节轨迹，定义预测时间步长为1个采样点；来自外骨骼的历史关节角度轨迹向量作为LSTM网络的输入向量，被预测的关节步态轨迹是LSTM的输出向量。
本实施例下肢外骨骼关节角度协同运动所需要的硬件系统，包括基于滑动变阻器的关节传感系统和动力外骨骼硬件系统；传感系统和动力执行系统的分离式方案使得测试阶段可以在人体与动力外骨骼不直接接触的情况下对下肢外骨骼人机系统进行关节角度的协同运动研究；本实施例依靠特殊设计的关节传感系统，下肢三个主要关节(髋关节、膝关节、踝关节)在不受限制的条件下，能够被滑动变阻器采集到相应的传感信息，通过指定的站立和半蹲动作来标定传感器与人体关节转动角度之间的映射关系，实现了人体下肢关节角度的准确感知；本实施例在所搭建的协同运动框架下，动力外骨骼可以随同人体做出动作，但动力外骨骼与人体动作之间存在一定的时间延迟；因此，本实施例提出基于LSTM模型的方法，利用关节协同运动过程中的动力外骨骼的实时数据对运动轨迹进行预测；可用于下肢外骨骼机器人的人机协同运动步态轨迹规划，能够解决使用机械式传感器的协同控制带来的运动滞后问题。
实施例三：
(1)在本实施例中，所述步骤a.动力外骨骼硬件系统：
本实施例建立在已有的动力外骨骼基础上进行相应的研究，其硬件系统总体架构可参考附图2。其中除了左右侧髋关节处的展收自由度是无电机驱动的被动自由度以外，左右侧髋关节屈伸自由度，膝关节屈伸自由度，踝关节屈伸自由度均配备有相应的电机驱动，即共有六个主动动力关节。硬件系统主要包括：中央控制器Arduino Mega 2560，电机驱动器，霍尔传感器，支流无刷电机，谐波减速器，轻型铝合金加工的连杆零件和附加的绑带用于和穿戴者人体进行耦合连接与承载背包。为能够保证关节可以提供足够的扭矩用于整个外骨骼以及辅助穿戴者运动，所选用的电机模块减速比为101：1，功率240瓦，输出平均扭矩可达30N·m。电机驱动器基于STM32微处理器，具备高速数据处理能力，提供单路带霍尔/编码器传感直流无刷电机的位置、速度、电流闭环控制，其通讯方式满足RS485通讯规范的Modbus RTU协议以及Modbus TCP/IP协议。通过串口RS-485物理层建立主从机串联网组，在外骨骼控制系统中，中央控制器作为主机，电机驱动器作为从机。由于人体下肢胜利关节的极限位置与机械关节的极限位置存在差异，为了避免程序设计漏洞以及其他失效形式对穿戴者产生损伤，特增设正反转极限限位开关传感器，保证在无论什么控制信号作用下，失能处于异常状态的系统，以保证穿戴者人身安全。
(2)所述步骤b.分离式关节传感系统：
在外骨骼样机的研发测试阶段，将外骨骼直接穿戴在人体上是一件非常危险的事情，尽管可以从机械结构上对驱动关节角度进行位置限制，但是这样的操作依然充斥着危险。本发明搭建一套与动力外骨骼具有相同自由度的分离式关节传感系统，进行初步的关节角度协同跟踪控制试验，以达到人体与动力外骨骼分离的情况下进行测试工作的目的。关节传感系统参看附图3，其主要部件包括：髋关节测量单元，膝关节测量单元，踝关节测量单元，可调整长度的大腿连杆和小腿连杆，鞋子。辅助部件有各测角度单元与连杆和鞋子之间固定的连接件，尼龙卡口绑带，信号导线以及必要的连接端子。虽然人体行走过程中的主要运动发生在髋关节、膝关节、踝关节的屈伸自由度上，但各个关节的其余自由度同样存在少量活动，仅考虑主要自由度而将传感系统设计成刚性的系统会带来妨碍正常行走步态的问题，本发明设计了螺旋形的柔性部件将其安装在传感器的转动输出端，这一部件能够在承受一定的弯矩的同时，保证传感器能够发生转动来传递生理关节的转动角度，不妨碍其他的运动自由度或降低对其他自由度的阻碍。
测量单元所使用的传感器为旋转式电位计(旋转范围为0-210°)，在不同旋转角度下其内部电阻会相应的发生变化(0-10k欧姆)，传感器本身具有自带分压电路，从外部提供5V电源信号可检测传感器在某一特定转角下的电压信号，经过模数转换器(analogue-digital converter,ADC)按照如下公式被转化成响应的数字信号，
其中，digit表示转化之后的数值信号，R表示电阻器的阻值，且与角度传感器的角度θ正相关，R0代表电位器全量程时的电阻阻值，VREF表示传感器参考电压，bit表示模数转换单元的分辨率位数，在此传感系统中模数转换单元使用的是单片机(Arduino Mega2560)内置的十位ADC，所以VREF＝5，bit＝10，R0＝10k。
另外，不同穿戴者需要调整相应的连杆长度以保证关节对齐，为了准确地获取传感系统各传感器信号与实际生理关节角度之间的映射关系，每一次穿戴传感系统时都需要重新进行校准工作。经过ADC得到数字信号后，以特定姿势状态下的各关节角度为参考，进而求解计算出实际的生理关节角度。
(3)所述步骤c.关节角度协同运动。
分离式传感系统负责为中央控制微处理器提供穿戴者实时步态轨迹数据，包括两侧下肢共6个关节(包括右髋关节(RH)，右膝关节(RK)，右踝关节(RA)，左髋关节(LH)，左膝关节(LK)，左踝关节(LA))在矢状面上的角度信息。经过微处理器的信号映射后，电机驱动控制指令按照Modbus RTU通讯协议，经过RS485差分信号总线传输到动力外骨骼系统的各关节电机驱动器从机上，同时微控制器向各电机驱动器下发关节角度反馈指令。在接收到来自微控制器的驱动控制指令和关节角度反馈指令后，动力外骨骼系统中的电机驱动器相应地址被修改为对应的指令参数，各关节电机的运动控制模式被设置成位置控制模式，并根据电机驱动器指定的关节转动角度执行动作，同时将霍尔传感感知到的电机关节角度信息以RS485报文反馈给中央控制微处理器，过程重复循环执行。为了对可穿戴外骨骼传感系统和动力外骨骼的关节运动轨迹进行分析，两者的数据在每一个控制循环周期内，被微处理器记录在SD存储卡中，以供离线数据分析。流程图可参照附图3。
(4)所述步骤d.长短时记忆网络步态轨迹预测。
长短时记忆网络(long-short term memory，LSTM)是一种被广泛使用在时序信号预测与分类的机器学习算法，LSTM是RNN的一种特殊类型，可以学习长期依赖信息。基础结构同RNN一样，是重复神经网络模块的链式形式，LSTM拥有四个特殊层进行输入与输出之间的交互。附图7和附图8展示的是LSTM模型的概念图，LSTM网络就像是不断在更新的细胞，其关键概念是细胞状态。LSTM有通过精心设计的被称作为“门”的结构来去除或者增加信息到细胞状态的能力。门让信息选择性通过的方法，0代表不允许任何量通过，1代表任意量通过。LSTM拥有三个门更新细胞状态，依次是遗忘门(Forget gate)，输入门(Input gate)，和输出门(Output gate)。其中遗忘门和输入门是长短时记忆网络中的能够保持网络活性的主要部分，随着网络的不断迭代更新决定网络中需要丢弃和保留的信息。
第一步，决定细胞状态丢弃的信息。通过“遗忘门”的sigmoid层完成，遗忘门读取上一时刻的输出信息ht-1和当前时刻的输入信息xt，输出一个0到1之间的数值ft给每一个在细胞状态中的数字，1表示完全保留，0表示完全舍弃。
ft＝σ(Wf·[ht-1，xt]+bf) (2)
第二步，确定细胞状态存放的新信息。第一，通过“输入门”的sigmoid层决定将要更新的值it。第二，通过tanh层创建新的细胞状态候选值向量
it＝σ(Wf·[ht-1，xt]+bi) (3)
把旧的细胞状态Ct-1与“遗忘门”得到的ft相乘，丢弃确定需要丢弃的信息，再加上“输入门”得到的更新值it与新的细胞候选值向量的乘积，得到新的细胞状态Ct，
第三步，需要确定输出的结果(预测结果)。输出结果将基于细胞当前状态Ct。当前时刻的输入信息xt会经过一个sigmoid层确定等待输出的结果ot。接着，将待输出结果ot与经过tanh层处理的细胞状态相乘Ct，得到当前时刻确定的输出ht。
ot＝σ(Wo·[ht-1，xt]+bo) (6)
ht＝ot*tanh(Ct) (7)
对于步态轨迹预测模型而言，LSTM网络的输入是来自动力外骨骼的关节角度轨迹采样数据，定义为Xt＝[xt RH，xt RK，xt RA，xt LH，xt LK，xt LA]，输出则是对下一时刻的各关节角度轨迹的预测值Yt+1＝[yt+1 RH，yt+1 RK，yt+1 RA，yt+1 LH，yt+1 LK，yt+1 LA]。
为了对LSTM网络进行步态轨迹预测的性能评估，使用均方根误差RMSE(ERMS)来量化步态轨迹的预测值和实际观测值之间的差异性。
(5)所述步骤e.步态运动协同预测。
LSTM模型在MATLAB(版本号：R2020B)环境下搭建。LSTM网络架构定义如下，输入特征的数量和输出响应的数量均为6，网络中的隐藏单元数量设置为200个。训练模型的求解器设为‘Adam’并进行250轮训练。为防止梯度爆炸，梯度阈值设为1，初始学习率为0.005，在每经过50轮训练后通过乘以降低系数0.5来降低学习率。数据集是来自关节角度协同运动实验中动力外骨骼的关节角度轨迹采样数据，包括右髋关节(RH)，右膝关节(RK)，右踝关节(RA)，左髋关节(LH)，左膝关节(LK)，左踝关节(LA)，为了防止训练发散，首先需要将训练数据标准化为具有零平均值和单位方差的数据集。数据集被按照6：4的比例划分为训练数据集和测试数据集。目标是用过往的历史关节轨迹来预测接下来一个时间步长的关节轨迹，定义预测时间步长为1个采样点。来自外骨骼的历史关节角度轨迹向量作为LSTM网络的输入向量，被预测的关节步态轨迹是LSTM的输出向量。
本发明对两种LSTM网络进行研究分析：
(1)使用常规参数的LSTM模型
(2)使用观测值更新网络的LSTM模型。
本实施例基于LSTM模型方法，利用关节协同运动过程中动力外骨骼的实时数据对运动轨迹进行预测，可用于下肢外骨骼机器人的人机协同运动步态轨迹规划，能够解决使用机械式传感器的协同控制带来的运动滞后问题。
实施例四：
本实施例与上述实施例基本相同，特别之处在于，在本实施例中，一种基于长短时记忆网络模型的外骨骼运动协同方法，操作步骤如下：
a.动力外骨骼硬件系统
硬件系统搭建按照发明方法a中的介绍进行。
b.分离式关节传感系统
分离式关节传感系统的制造方法按照发明方法b中的介绍进行。
c.关节角度协同运动
首先，关节传感套装按照受试对象的大腿和小腿尺寸调整到合适的长度以保证旋转式电位器的旋转主轴与生理关节的转动中心轴对齐。关节传感套装的转动关节几乎可以忽略阻尼并且不带有驱动电机，穿戴者可以轻松的按照平时的活动习惯进行穿戴实验。其次，选择两种最容易复现的静态姿势，即站立姿势和半蹲姿势。按照人体生物学的定义，在站立姿势下的下肢各关节角度可以被视为“原点”位置，即各关节角度为“0”的位置。然后，以各关节的惯用转动方向定义为正方向，即髋关节倾向于使大腿向腹部收拢的转动方向，膝关节倾向于收拢至大腿后侧的转动方向，踝关节则倾向于脚背收拢至小腿的转动方向，左右两侧关节互为镜像对称，转动正方向相反。定义在站立姿势下的关节标定角度分别为：髋关节0度，膝关节0度，踝关节0度。在半蹲姿势下，定义关节标定角度为：髋关节45度，膝关节90度，踝关节-45度。附图5为多个不同静态动作下的动力外骨骼与受试者协同运动图，动力外骨骼机器人能够完整地复现人体的下肢动作，其中包括单腿前伸，左右膝关节弯曲，下蹲动作等，这些动作能够充分的对下肢六个关节的运动协同进行探索。
d.长短时记忆网络步态轨迹预测
按照发明方法d和e，分别得到如附图9附图10所示的步态轨迹预测结果。其中附图8表示使用常规参数的LSTM模型所取得的步态轨迹预测效果，下肢两侧左右腿在髋关节、膝关节和踝关节处的不太轨迹预测效果差距比较明现，左右腿关节步态轨迹和实际运动轨迹有明显的相似性但不完全重合，存在预测超前的现象；膝关节处的预测轨迹较为准确，但随时间推移，预测准确度也有所降低；踝关节预测轨迹则存在一定超前两，趋势相同但整体预测结果偏差较大。
附图9表示使用观测值更新网络的LSTM模型所取得的步态轨迹预测效果，下肢两侧在髋关节、膝关节和踝关节处的步态轨迹预测效果较优异，相比于常规参数的LSTM模型，使用实时观测值更新的LSTM模型对步态轨迹的预测准确度更高。为了对比两者之间的效果差异，对两组实验进行预测轨迹与实际轨迹的差异最大值、差异最小值和均方根误差计算，结果如表1所示。
表1两种LSTM网络步态轨迹预测的效果
从总体结果分析，基于实时观测结果更新网络的LSTM网络对于动态过程中的动力外骨骼系统而言具有更准确的预测效果。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (3)

1.一种基于长短时记忆网络的外骨骼运动协同方法，其特征在于，操作步骤如下：
a.构建动力外骨骼硬件系统；
b.构建分离式关节传感系统；
c.关节角度协同运动；
d.长短时记忆网络步态轨迹预测；
e.步态运动协同预测；
所述步骤b分离式关节传感系统：
是一套与动力外骨骼具有相同自由度的分离式关节传感系统，进行初步的关节角度协同跟踪控制试验，以达到人体与动力外骨骼分离的情况下进行测试工作的目的；关节传感系统主要部件包括：
髋关节测量单元，膝关节测量单元，踝关节测量单元，可调整长度的大腿连杆和小腿连杆，鞋子；辅助部件有各测角度单元与连杆和鞋子之间固定的连接件，尼龙卡口绑带，信号导线以及必要的连接端子；螺旋形的柔性部件将其安装在传感器的转动输出端，这一部件能够在承受一定的弯矩的同时，保证传感器能够发生转动来传递生理关节的转动角度，不妨碍其他的运动自由度或降低对其他自由度的阻碍；测量单元使用传感器为旋转式电位计，旋转范围为0-210°，在不同旋转角度下其内部电阻会相应的发生变化0-10k欧姆，传感器本身具有自带分压电路，从外部提供5V电源信号可检测传感器在某一特定转角下的电压信号，经过模数转换器ADC被转化成响应的数字信号，不同穿戴者需要调整相应的连杆长度以保证关节对齐，为准确地获取传感系统各传感器信号与实际生理关节角度之间的映射关系，每一次穿戴传感系统时都需要重新进行校准工作；经过ADC得到数字信号后，以特定姿势状态下的各关节角度为参考，进而求解计算出实际的生理关节角度；
所述步骤c关节角度协同运动：
经过微处理器的信号映射后，电机驱动控制指令按照Modbus RTU通讯协议，经过RS485差分信号总线传输到动力外骨骼系统的各关节电机驱动器从机，同时微控制器向各电机驱动器下发关节角度反馈指令；在接收到来自微控制器的驱动控制指令和关节角度反馈指令后，动力外骨骼系统中的电机驱动器相应地址被修改为对应的指令参数，各关节电机的运动控制模式被设置成位置控制模式，并根据电机驱动器指定的关节转动角度执行动作，同时将霍尔传感感知到的电机关节角度信息以RS485报文反馈给中央控制微处理器，过程重复循环执行；为对可穿戴外骨骼传感系统和动力外骨骼的关节运动轨迹进行分析，两者的数据在每一个控制循环周期内，被微处理器记录在SD存储卡中，以供离线数据分析；
所述步骤d长短时记忆网络步态轨迹预测：
LSTM是RNN循环神经网络的一种特殊类型，可学习长期依赖信息；基础结构同RNN一样，是重复神经网络模块的链式形式，LSTM拥有四个特殊层进行输入与输出之间的交互；
对于步态轨迹预测模型而言，LSTM网络的输入是来自动力外骨骼的关节角度轨迹采样数据，定义为Xt＝[xt RH,xt RK,xt RA,xt LH,xt LK,xt LA]，输出则是对下一时刻的各关节角度轨迹的预测值Yt+1＝[yt+1 RH,yt+1 RK,yt+1 RA,yt+1 LH,yt+1 LK,yt+1 LA]；
为了对LSTM网络进行步态轨迹预测的性能评估，使用均方根误差RMSE(ERMS)来量化步态轨迹的预测值和实际观测值之间的差异性；
2.根据权利要求1所述的基于长短时记忆网络的外骨骼运动协同方法，其特征在于：所述步骤a构建动力外骨骼硬件系统：
定义左右侧髋关节处的展收自由度是无电机驱动的被动自由度；动力外骨骼硬件系统架构包括：左右侧髋关节屈伸自由度，膝关节屈伸自由度，踝关节屈伸自由度均配备有相应的电机驱动，即共有六个主动动力关节；硬件系统主要包括：中央控制器Arduino Mega2560、电机驱动器、霍尔传感器、支流无刷电机、谐波减速器、轻型铝合金加工的连杆零件和附加的绑带用于和穿戴者人体进行连接与承载背包；为能够保证关节可提供足够的扭矩用于整个外骨骼以及辅助穿戴者运动，所选用的电机模块减速比为101：1，功率240瓦，输出平均扭矩可达30N·m；电机驱动器基于STM32微处理器，具备高速数据处理能力，提供单路带霍尔/编码器传感直流无刷电机的位置、速度、电流闭环控制，其通讯方式满足RS485通讯规范的Modbus RTU协议以及Modbus TCP/IP协议；通过串口RS-485物理层建立主从机串联网组，在外骨骼控制系统中，中央控制器作为主机，电机驱动器作为从机；由于人体下肢关节的极限位置与机械关节的极限位置存在差异，为了避免程序设计漏洞以及其他失效形式对穿戴者产生损伤，特增设正反转极限限位开关传感器，保证在无论什么控制信号作用下，失能处于异常状态的系统，以保证穿戴者人身安全。
3.根据权利要求1所述的基于长短时记忆网络的外骨骼运动协同方法，其特征在于：所述步骤e步态运动协同预测：
LSTM模型在MATLAB软件环境下搭建；LSTM网络架构定义如下，输入特征的数量和输出响应的数量均为6，网络中的隐藏单元数量设置为200个；训练模型的求解器设为‘Adam’并进行250轮训练；为防止梯度爆炸，梯度阈值设为1，初始学习率为0.005，在每经过50轮训练后通过乘以降低系数0.5来降低学习率；数据集是来自关节角度协同运动实验中动力外骨骼的关节角度轨迹采样数据，包括右髋关节RH，右膝关节RK，右踝关节RA，左髋关节LH，左膝关节LK，左踝关节LA，为了防止训练发散，首先需要将训练数据标准化为具有零平均值和单位方差的数据集；数据集被按照6：4的比例划分为训练数据集和测试数据集；
目标是用过往的历史关节轨迹来预测接下来一个时间步长的关节轨迹，定义预测时间步长为1个采样点；来自外骨骼的历史关节角度轨迹向量作为LSTM网络的输入向量，被预测的关节步态轨迹是LSTM的输出向量。
CN202110881435.1A 2021-08-02 2021-08-02 基于长短时记忆网络的外骨骼运动协同方法 Active CN113829339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881435.1A CN113829339B (zh) 2021-08-02 2021-08-02 基于长短时记忆网络的外骨骼运动协同方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881435.1A CN113829339B (zh) 2021-08-02 2021-08-02 基于长短时记忆网络的外骨骼运动协同方法

Publications (2)

Publication Number Publication Date
CN113829339A CN113829339A (zh) 2021-12-24
CN113829339B true CN113829339B (zh) 2023-09-15

Family

ID=78963175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881435.1A Active CN113829339B (zh) 2021-08-02 2021-08-02 基于长短时记忆网络的外骨骼运动协同方法

Country Status (1)

Country Link
CN (1) CN113829339B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103040586A (zh) * 2012-12-20 2013-04-17 上海大学 用于下肢运动训练的外骨骼机器人及其运动控制方法
CN110193830A (zh) * 2019-05-24 2019-09-03 上海大学 基于rbf神经网络的踝关节步态预测方法
CN110412866A (zh) * 2019-05-14 2019-11-05 上海大学 基于自适应迭代学习的外骨骼单腿协同控制方法
CN111096830A (zh) * 2019-12-28 2020-05-05 杭州电子科技大学 一种基于LightGBM的外骨骼步态预测方法
CN112336590A (zh) * 2020-11-30 2021-02-09 北京精密机电控制设备研究所 基于多传感信息的助力外骨骼运动意图与步态规划方法
FR3101463A1 (fr) * 2019-09-26 2021-04-02 Wandercraft Procédés d’apprentissage de paramètres d’un réseau de neurones, de génération d’une trajectoire d’un exosquelette et de mise en mouvement de l’exosquelette
CN112859868A (zh) * 2021-01-19 2021-05-28 武汉大学 基于kmp的下肢外骨骼康复机器人及运动轨迹规划算法
CN113001540A (zh) * 2021-02-19 2021-06-22 华南理工大学 负载机动型外骨骼的人机交互智能控制方法及外骨骼系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110053039B (zh) * 2018-01-17 2021-10-29 深圳市优必选科技有限公司 一种机器人行走中重力补偿的方法、装置及机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103040586A (zh) * 2012-12-20 2013-04-17 上海大学 用于下肢运动训练的外骨骼机器人及其运动控制方法
CN110412866A (zh) * 2019-05-14 2019-11-05 上海大学 基于自适应迭代学习的外骨骼单腿协同控制方法
CN110193830A (zh) * 2019-05-24 2019-09-03 上海大学 基于rbf神经网络的踝关节步态预测方法
FR3101463A1 (fr) * 2019-09-26 2021-04-02 Wandercraft Procédés d’apprentissage de paramètres d’un réseau de neurones, de génération d’une trajectoire d’un exosquelette et de mise en mouvement de l’exosquelette
CN111096830A (zh) * 2019-12-28 2020-05-05 杭州电子科技大学 一种基于LightGBM的外骨骼步态预测方法
CN112336590A (zh) * 2020-11-30 2021-02-09 北京精密机电控制设备研究所 基于多传感信息的助力外骨骼运动意图与步态规划方法
CN112859868A (zh) * 2021-01-19 2021-05-28 武汉大学 基于kmp的下肢外骨骼康复机器人及运动轨迹规划算法
CN113001540A (zh) * 2021-02-19 2021-06-22 华南理工大学 负载机动型外骨骼的人机交互智能控制方法及外骨骼系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Simulating human-machine coupled model for gait trajectory optimization of the lower limb exoskeleton system based on genetic algorithm;Ren, Bin等;《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》;第16卷(第6期);全文 *
基于长短期记忆模型的外骨骼实时步态分类;郭子铭，宋春宁，王灿;《广西大学学报》;第45卷(第5期);全文 *

Also Published As

Publication number Publication date
CN113829339A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
Huang et al. Real-time intended knee joint motion prediction by deep-recurrent neural networks
CN110755070B (zh) 基于多传感器融合的下肢运动位姿快速预测系统及方法
Zhang et al. Ankle joint torque estimation using an EMG-driven neuromusculoskeletal model and an artificial neural network model
Cheng et al. Design and control of a wearable hand rehabilitation robot
Liu et al. Deep spatial-temporal model for rehabilitation gait: Optimal trajectory generation for knee joint of lower-limb exoskeleton
Liu et al. Deep rehabilitation gait learning for modeling knee joints of lower-limb exoskeleton
Hua et al. A novel weight-bearing lower limb exoskeleton based on motion intention prediction and locomotion state identification
Huo et al. Control of upper-limb power-assist exoskeleton based on motion intention recognition
Sun et al. A novel adaptive iterative learning control approach and human-in-the-loop control pattern for lower limb rehabilitation robot in disturbances environment
Li et al. Muscle-synergy-based planning and neural-adaptive control for a prosthetic arm
Huang et al. Fuzzy enhanced adaptive admittance control of a wearable walking exoskeleton with step trajectory shaping
Asl et al. Neural network-based bounded control of robotic exoskeletons without velocity measurements
Liang et al. Synergy-based knee angle estimation using kinematics of thigh
Li et al. Active human-following control of an exoskeleton robot with body weight support
Zhang et al. A learning control scheme for upper-limb exoskeleton via adaptive sliding mode technique
Huang et al. Cross-modal integration and transfer learning using fuzzy logic techniques for intelligent upper limb prosthesis
Du et al. EMG-based continuous motion decoding of upper limb with spiking neural network
CN113829339B (zh) 基于长短时记忆网络的外骨骼运动协同方法
CN114392137A (zh) 一种穿戴式柔性下肢助力外骨骼控制系统
Guo et al. A real-time stable-control gait switching strategy for lower-limb rehabilitation exoskeleton
CN115252369A (zh) 一种基于下肢外骨骼机器人的按需辅助控制方法
Risteiu et al. Study on ANN based upper limb exoskeleton
Ling et al. A domain adaptive convolutional neural network for sEMG-based gait phase recognition against to speed changes
CN111772638A (zh) 步态控制方法、装置、电子设备及存储介质
Liu et al. Continuous prediction of lower-limb joint torque based on IPSO-LSTM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant