CN113910206A - 结合多传感器外骨骼助力系统及其检测助力方法 - Google Patents

结合多传感器外骨骼助力系统及其检测助力方法 Download PDF

Info

Publication number
CN113910206A
CN113910206A CN202111527419.9A CN202111527419A CN113910206A CN 113910206 A CN113910206 A CN 113910206A CN 202111527419 A CN202111527419 A CN 202111527419A CN 113910206 A CN113910206 A CN 113910206A
Authority
CN
China
Prior art keywords
human
exoskeleton
sensor
controller
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111527419.9A
Other languages
English (en)
Other versions
CN113910206B (zh
Inventor
叶晶
陈功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Milebot Robotics Co ltd
Original Assignee
Shenzhen Milebot Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Milebot Robotics Co ltd filed Critical Shenzhen Milebot Robotics Co ltd
Priority to CN202111527419.9A priority Critical patent/CN113910206B/zh
Publication of CN113910206A publication Critical patent/CN113910206A/zh
Application granted granted Critical
Publication of CN113910206B publication Critical patent/CN113910206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明涉及机器人外骨骼技术领域，尤其涉及结合多传感器外骨骼助力系统，包括，上层人机交互力控制器，人机作用力输入至上层人机交互力控制器，再由上层人机交互力控制器输出转化为外骨骼关节的位移转动量，作为底层控制器的参考输入，进行运动的闭环跟踪；底层控制器，人体的运动意图和趋势通过传感器映射到外骨骼的进行跟随运动，上层人机交互力控制器的输出端接入底层控制器的输入端；下肢骨骼上的传感器用于检测运动信息且下肢骨骼执行运动指令；协同控制目标是使人－机间的作用力趋近为零，从而使外骨骼协同穿戴者完成相应的工作时，使得穿戴者感受到的来自外骨骼的阻力最小。

Description

结合多传感器外骨骼助力系统及其检测助力方法
技术领域
本发明涉及机器人外骨骼技术领域，尤其涉及结合多传感器外骨骼助力系统及其检测助力方法。
背景技术
机器人外骨骼助力目前已经运动在多个领域上，但是如何准确的识别人体的步态，并根据步态将人－机间的作用力趋近为零，使得穿戴者感受到的来自外骨骼的阻力最小，这是当下急需解决的问题，为此我们提出结合多传感器外骨骼助力系统及其检测助力方法。
发明内容
本发明的目的是提供结合多传感器外骨骼助力系统及其检测助力方法。
为了实现上述目的，本发明采用了如下技术方案：
结合多传感器外骨骼助力系统，包括，
上层人机交互力控制器，人机作用力输入至上层人机交互力控制器，再由上层人机交互力控制器输出转化为外骨骼关节的位移转动量，作为底层控制器的参考输入，进行运动的闭环跟踪；
底层控制器，人体的运动意图和趋势通过传感器映射到外骨骼的底层控制器进行跟随运动，上层人机交互力控制器的输出端接入底层控制器的输入端；
下肢骨骼，包括了惯性测量单元、角度传感器、压力传感器、柔性驱动器、力矩传感器SEA、DSP处理器以及模糊控制器，惯性测量单元用于检测肢体的角度、角速度和加速度信息，角度传感器用于测量下肢关节的角度，压力传感器用于采集足底压力分布，柔性驱动器用于检测肢体的力矩，配合算法实现对操控力的柔顺控制，力矩传感器SEA用于识别人体行走的四种步态；
优选的，力矩传感器SEA检测人与外骨骼在接触点处的作用力或力矩，利用非线性滑膜控制方法实现外骨骼跟随人运动，使人施加的力小，实现外骨骼随动及助力功能，人机之间相互作用力与穿戴者的运动速度
Figure 100002_DEST_PATH_IMAGE001
之间的关系表示为：
Figure 100002_DEST_PATH_IMAGE002
计算得出使人机系统稳定且能降低人机之间的作用力的极点数值，其中
Figure 777863DEST_PATH_IMAGE003
为人机之间相互作用力；
Figure 100002_DEST_PATH_IMAGE004
为隐式马可夫模型的状态向量；
Figure 871852DEST_PATH_IMAGE005
为人与外骨骼接触点处的力矩；
Figure 100002_DEST_PATH_IMAGE006
为人与外骨骼在接触点处的作用力；
Figure DEST_PATH_IMAGE007
为外骨骼当前速度；
Figure 100002_DEST_PATH_IMAGE008
为运动速度。
优选的，惯性测量单元、角度传感器、压力传感器检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型，包括，
将七个步态周期定义为隐式马可夫模型的状态向量，即：
Figure DEST_PATH_IMAGE009
Figure 100002_DEST_PATH_IMAGE010
为七个步态周期，其中
Figure DEST_PATH_IMAGE011
为负荷反应期，为
Figure 100002_DEST_PATH_IMAGE012
为站立中间期，
Figure DEST_PATH_IMAGE013
为支撑相末期，
Figure 100002_DEST_PATH_IMAGE014
为摆动前期，
Figure 100002_DEST_PATH_IMAGE015
为摆动相早期，
Figure 100002_DEST_PATH_IMAGE016
为摆动相中期，
Figure DEST_PATH_IMAGE017
为摆动相末期；
定义观测向量，包括双脚的角速度和角加速度、右腿膝盖和小腿的角度，即
Figure 100002_DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE019
为六维向量，表示隐马尔可夫模型在t时刻的观测特征，其中
Figure 100002_DEST_PATH_IMAGE020
为右脚的角速度，
Figure DEST_PATH_IMAGE021
为右脚的角加速度，
Figure 100002_DEST_PATH_IMAGE022
为左脚的角速度，
Figure DEST_PATH_IMAGE023
为左脚的角加速度，
Figure 100002_DEST_PATH_IMAGE024
为右腿膝盖的角度，
Figure DEST_PATH_IMAGE025
为右小腿的角度；
这些选定的特征能够代表步态阶段，建立了一个具有7个状态，对应7个步态阶段的隐马尔可夫模型；
包括以上状态向量和观察向量，隐式马可夫模型还包括初始状态概率向量
Figure DEST_PATH_IMAGE027
：
Figure 100002_DEST_PATH_IMAGE028
状态转移概率矩阵
Figure 100002_DEST_PATH_IMAGE030
：
Figure 100002_DEST_PATH_IMAGE031
观测状态转移概率矩阵
Figure DEST_PATH_IMAGE033
：
Figure 100002_DEST_PATH_IMAGE034
其中，
Figure DEST_PATH_IMAGE035
是时刻
Figure 100002_DEST_PATH_IMAGE036
处于状态
Figure DEST_PATH_IMAGE037
的概率；
Figure 100002_DEST_PATH_IMAGE038
和
Figure DEST_PATH_IMAGE039
是不同步态阶段的状态向量；
Figure 100002_DEST_PATH_IMAGE040
是在时刻
Figure 100002_DEST_PATH_IMAGE041
处于状态
Figure 100002_DEST_PATH_IMAGE042
条件下在时刻
Figure DEST_PATH_IMAGE043
转移到状态
Figure 100002_DEST_PATH_IMAGE044
的概率；
Figure 100002_DEST_PATH_IMAGE045
是在时刻
Figure 321376DEST_PATH_IMAGE041
处于状态
Figure 659953DEST_PATH_IMAGE042
的条件下生成观测特征
Figure 100002_DEST_PATH_IMAGE046
的概率；
Figure 100002_DEST_PATH_IMAGE047
为隐式马可夫链的状态；
Figure 100002_DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE049
为不同步态阶段，均为自然数；
Figure 100002_DEST_PATH_IMAGE050
为解码的步态阶段；
模型建立完毕之后，以上参数采用 Baum–Welch 算法进行训练，训练之后的模型则具备了通过观测向量来检测步态相位的功能。
优选的，将穿戴者的运动速度至人－机间的传递函数简化为一阶环节，该传递函数的极点为
Figure 100002_DEST_PATH_IMAGE051
由于
Figure DEST_PATH_IMAGE052
、
Figure 100002_DEST_PATH_IMAGE053
因此
Figure DEST_PATH_IMAGE054
中的极点
Figure 100002_DEST_PATH_IMAGE055
位于函数左半平面，此时整个人机系统是稳定的，并且在合理范围内增大
Figure DEST_PATH_IMAGE056
，有助于降低人机之间的作用力，提升系统的带宽，当
Figure 100002_DEST_PATH_IMAGE057
过大时，导致系统失稳，其中
Figure 100002_DEST_PATH_IMAGE058
为第
Figure DEST_PATH_IMAGE059
个关节的极点，
Figure DEST_PATH_IMAGE060
为处于时刻
Figure DEST_PATH_IMAGE061
时人与外骨骼在接触点处的虚拟刚度，
Figure DEST_PATH_IMAGE062
为第
Figure 206339DEST_PATH_IMAGE059
个关节的控制器的虚拟刚度。
优选的，底层控制器包括髋关节编码器、主控板、电池以及髋关节编码器；
其中，电池分别与髋关节编码器、主控板、电机电性连接，主控板用于信息的处理，电池用于驱动柔性驱动器。
优选的，上层人机交互力控制器通过惯性测量单元和髋关节编码器实现外骨骼状态的切换。
优选的，惯性测量单元、角度传感器、压力传感器、柔性驱动器以及力矩传感器SEA检测的信息均作为人机作用力输入至上层人机交互力控制器。
优选的，电池为惯性测量单元、角度传感器、压力传感器、柔性驱动器以及力矩传感器SEA提供电源。
优选的，步态模糊的情况下，模糊控制器给出有效的自动控制方法，且DSP处理器用于大量信息的收发。
优选的，结合多传感器外骨骼助力系统检测助力方法，包括如下步骤：
A.惯性测量单元、角度传感器、压力传感器检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型；
B.训练之后的模型则具备了通过观测向量来检测步态相位的功能；
C.无法获得被控对象清晰数学模型的时候，模糊控制器给出有效的自动控制方法，用于检测肢体的力矩的柔性驱动器和DSP处理器，需要对传感器反馈回来的多个数据信息做出快速、及时、准确的分析与判断，配合算法实现对操控力的柔顺控制；
D.力矩传感器SEA识别人体行走的四种步态。
本发明至少具备以下有益效果：
本方案采用基于SEA的人－机交互方式进行识别步态，且在模糊步态的情况下可以给出较为有效的自动控制方法。下肢外骨骼助力系统的信号分析处理单元需要对传感器感知系统反馈回来的多个数据信息做出快速、及时、准确的分析与判断，协同控制目标是使人－机间的作用力趋近为零，从而使外骨骼协同穿戴者完成相应的工作时，使得穿戴者感受到的来自外骨骼的阻力最小。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统控制框图；
图2为力矩传感器SEA状态识别切换原理图；
图3为RNN循环神经网络的示意图；
图4为外骨骼随动助力SAT人机交互系统控制图；
图5为本发明定义的神经网络结构图；
图6为一个步态周期各关节角度值的示意图；
图7为步行运动示意图；
图8为TensorFlow核心组件示意图；
图9为本发明的结构框图。
图中：100、上层人机交互力控制器；200、底层控制器；201、髋关节编码器；202、主控板；203、电池；204、电机；300、下肢骨骼；301、惯性测量单元；302、角度传感器；303、压力传感器；304、柔性驱动器；305、力矩传感器SEA；306、DSP处理器；307、模糊控制器。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1-9，结合多传感器外骨骼助力系统，包括，
上层人机交互力控制器100，惯性测量单元301、角度传感器302、压力传感器303、柔性驱动器304以及力矩传感器SEA305检测的信息均作为人机作用力输入至100，人机作用力输入至上层人机交互力控制器100，再由上层人机交互力控制器100输出转化为外骨骼关节的位移转动量，作为底层控制器的参考输入，进行运动的闭环跟踪；
底层控制器200，人体的运动意图和趋势通过传感器映射到外骨骼的底层控制器200进行跟随运动，上层人机交互力控制器100的输出端接入底层控制器200的输入端，底层控制器200包括髋关节编码器201、主控板202、电池203以及髋关节编码器201；
其中，电池203分别与髋关节编码器201、主控板202、电机204电性连接，主控板202用于信息的处理，电池203用于驱动柔性驱动器304；
下肢骨骼300，包括了惯性测量单元301、角度传感器302、压力传感器303、柔性驱动器304、力矩传感器SEA305、DSP处理器以及模糊控制器307，惯性测量单元301用于检测肢体的角度、角速度和加速度信息，角度传感器302用于测量下肢关节的角度，压力传感器303用于采集足底压力分布，
其中，惯性测量单元301、角度传感器302、压力传感器303检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型，如图4所示，包括，
将七个步态周期定义为隐式马可夫模型的状态向量，即：
Figure DEST_PATH_IMAGE063
Figure DEST_PATH_IMAGE064
为七个步态周期，其中
Figure 895947DEST_PATH_IMAGE011
为负荷反应期，为
Figure 935447DEST_PATH_IMAGE012
为站立中间期，
Figure 629996DEST_PATH_IMAGE013
为支撑相末期，
Figure 831170DEST_PATH_IMAGE014
为摆动前期，
Figure 476915DEST_PATH_IMAGE015
为摆动相早期，
Figure 54527DEST_PATH_IMAGE016
为摆动相中期，
Figure 243063DEST_PATH_IMAGE017
为摆动相末期；
定义观测向量，包括双脚的角速度和角加速度、右腿膝盖和小腿的角度，即
Figure DEST_PATH_IMAGE065
其中，
Figure 178920DEST_PATH_IMAGE019
为六维向量，表示隐马尔可夫模型在t时刻的观测特征，其中
Figure 171016DEST_PATH_IMAGE020
为右脚的角速度，
Figure 427685DEST_PATH_IMAGE021
为右脚的角加速度，
Figure 831246DEST_PATH_IMAGE022
为左脚的角速度，
Figure 639802DEST_PATH_IMAGE023
为左脚的角加速度，
Figure 260140DEST_PATH_IMAGE024
为右腿膝盖的角度，
Figure 179554DEST_PATH_IMAGE025
为右小腿的角度；
这些选定的特征能够代表步态阶段，建立了一个具有7个状态，对应7个步态阶段的隐马尔可夫模型；
包括以上状态向量和观察向量，隐式马可夫模型还包括初始状态概率向量
Figure DEST_PATH_IMAGE067
：
Figure DEST_PATH_IMAGE068
状态转移概率矩阵
Figure DEST_PATH_IMAGE070
：
Figure DEST_PATH_IMAGE071
观测状态转移概率矩阵
Figure DEST_PATH_IMAGE073
：
Figure DEST_PATH_IMAGE074
其中，
Figure 985092DEST_PATH_IMAGE035
是时刻
Figure 698970DEST_PATH_IMAGE036
处于状态
Figure 541025DEST_PATH_IMAGE037
的概率；
Figure 500015DEST_PATH_IMAGE038
和
Figure 111125DEST_PATH_IMAGE039
是不同步态阶段的状态向量；
Figure 120539DEST_PATH_IMAGE040
是在时刻
Figure 590834DEST_PATH_IMAGE041
处于状态
Figure 353516DEST_PATH_IMAGE042
条件下在时刻
Figure 819133DEST_PATH_IMAGE043
转移到状态
Figure 405972DEST_PATH_IMAGE044
的概率；
Figure 488197DEST_PATH_IMAGE045
是在时刻
Figure 777272DEST_PATH_IMAGE041
处于状态
Figure 628553DEST_PATH_IMAGE042
的条件下生成观测特征
Figure 120715DEST_PATH_IMAGE046
的概率；
Figure 159078DEST_PATH_IMAGE047
为隐式马可夫链的状态；
Figure 263562DEST_PATH_IMAGE048
和
Figure 110295DEST_PATH_IMAGE049
为不同步态阶段，均为自然数；
Figure 507779DEST_PATH_IMAGE050
为解码的步态阶段；
模型建立完毕之后，以上参数采用 Baum–Welch 算法进行训练，训练之后的模型则具备了通过观测向量来检测步态相位的功能；
柔性驱动器304用于检测肢体的力矩，配合算法实现对操控力的柔顺控制，力矩传感器SEA305用于识别人体行走的四种步态；
步态模糊的情况下，模糊控制器307给出有效的自动控制方法，且DSP处理器306用于大量信息的收发
其中，力矩传感器SEA305检测人与外骨骼在接触点处的作用力或力矩，利用非线性滑膜控制方法实现外骨骼跟随人运动，使人施加的力小，实现外骨骼随动及助力功能，如图4所示，人机之间相互作用力与穿戴者的运动速度
Figure DEST_PATH_IMAGE075
之间的关系表示为：
Figure DEST_PATH_IMAGE076
其中
Figure 190695DEST_PATH_IMAGE003
为人机之间相互作用力；
Figure 925302DEST_PATH_IMAGE004
为隐式马可夫模型的状态向量；
Figure 485596DEST_PATH_IMAGE005
为人与外骨骼接触点处的力矩；
Figure 555446DEST_PATH_IMAGE006
为人与外骨骼在接触点处的作用力；
Figure 974926DEST_PATH_IMAGE007
为外骨骼当前速度；
Figure 919748DEST_PATH_IMAGE008
为运动速度。
将穿戴者的运动速度至人－机间的传递函数简化为一阶环节，该传递函数的极点为
Figure DEST_PATH_IMAGE077
由于
Figure DEST_PATH_IMAGE078
、
Figure DEST_PATH_IMAGE079
因此
Figure DEST_PATH_IMAGE080
中的极点
Figure DEST_PATH_IMAGE081
位于函数左半平面，此时整个人机系统是稳定的，并且在合理范围内增大
Figure DEST_PATH_IMAGE082
，有助于降低人机之间的作用力，提升系统的带宽，当
Figure DEST_PATH_IMAGE083
过大时，导致系统失稳，其中
Figure 570434DEST_PATH_IMAGE058
为第
Figure 575299DEST_PATH_IMAGE059
个关节的极点，
Figure 216496DEST_PATH_IMAGE060
为处于时刻
Figure 699430DEST_PATH_IMAGE061
时人与外骨骼在接触点处的虚拟刚度，
Figure 594836DEST_PATH_IMAGE062
为第
Figure 645969DEST_PATH_IMAGE059
个关节的控制器的虚拟刚度。
上层人机交互力控制器100获得了步态相位后，底层控制算法可以用经典先进的各种算法来实现精确稳定快速力控；
步行周期指行走过程中一侧足跟着地至该侧足跟再次着地时所经过的时间，或者定义为一次运动重复事件中两次相同动作连续出现之间的时间间隔。每一侧下肢有其各自的步行周期，每一个步行周期分为支撑相和摆动相两个阶段。从脚跟开始着地到该脚的脚趾离地为支撑相，从脚趾离地到脚跟再次着地的阶段为摆动相。
支撑相约占步态周期的60％，摆动相约占40％。在一个步行周期中，有两个双腿支撑阶段，即负荷反应期和摆动前期，约各占12％。在一个行走步态周期中，在双腿支撑阶段，身体的重量将从一条腿转移到另一条腿；
一个步态周期内各个关节角度的变化曲线如图6所示，其中横轴表示一个步态周期的百分比，纵轴表示躯干、髋关节、膝关节、踝关节在矢状面运动是变化的角度；
考虑到与测角器或足底压力开关相比，本实施例尝试利用力矩传感器SEA305来识别人体行走的四种步态，分清步态，可以使随动助力控制系统调用不同状态下的动力学模型，更好地控制外骨骼机器人；
状态机切换原理图如图2所示，由状态1（双腿随动）、状态2（左腿助力）和状态3（右腿助力）三个状态组成。状态机通过躯干IMU信息及髋关节编码器信息，来实现各个状态之间的切换。
（一）起始位状态1，当前状态为状态1，且同时满足如下四个条件时，状态机切换为状态2，即从双腿随动模式切换为左腿助力，右腿随动模式：
1）左右髋关节角度差绝对值大于阈值1；
2）躯干角度小于阈值2；
3）左髋关节角度小于阈值3；
4）左髋关节角度出现极小值时。
（二）当前状态为状态1，且同时满足如下四个条件时，状态机切换为状态3，即从双腿随动模式切换为右腿助力，左腿随动模式：
1）左右髋关节角度差绝对值大于阈值1；
2）躯干角度小于阈值2；
3）右髋关节角度小于阈值3；
4）右髋关节角度出现极小值时。
（三）当前状态为状态2，且同时满足如下两个条件时，状态机切换为状态1，即从左腿助力，右腿随动模式切换为双腿随动模式：
1）左髋关节角度大于阈值4；
2）左髋关节角度出现极大值。
（四）当前状态为状态3，且同时满足如下两个条件时，状态机切换为状态1，即从右腿助力，左腿随动模式切换为双腿随动模式：
1）右髋关节角度大于阈值4；
2）右髋关节角度出现极大值。
为了使随动助力技术具有预测人体步态下一个状态的位置从而施加控制力的能力，利用RNN循环神经网络预测人体运动步态，如图3所示，x是一个向量，它表示输入层的值；s是一个向量，它表示隐藏层的值；U是输入层到隐藏层的权重矩阵；o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。将模型简图展开，循环神经网络原理在于其隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵W就是隐藏层上一次的值作为这一次的输入的权重。也因此RNN具有一定的memory能力
数据来源：本次训练用CGA人体运动步态数据中的脚踝、膝盖、髋部三个部位关节的角度
数据总数：源数据共106帧数据，每帧之间间隔约0.14秒，为了更好的训练，使用样条插值得到1502帧数据，每帧之间间隔约为0.001s
数据划分：训练集：测试集＝8.5:1.5
设ｔ时刻的脚踩角度为
Figure DEST_PATH_IMAGE084
输入
Figure DEST_PATH_IMAGE085
输出
Figure DEST_PATH_IMAGE086
其中，bd（backdelay）为预设的输入
Figure DEST_PATH_IMAGE087
的维度，因为初始时候需要一定数量的数据基础才好进行预测，因此设置bd以使时间序列数据以入栈出栈的形式形成输入
Figure 915407DEST_PATH_IMAGE087
，在RNN中，单次喂入数据组数为预设的BatchSize，因此实际过程中需要t时刻之前bd*BatchSize帕的累计，以推测预设的t时刻之后fd（forward delay）帕输出
Figure DEST_PATH_IMAGE088
。本次设置BatchSize=10，加入bd=5，fd=10，则本次RNN+LSTM的学习任务为：利用t时刻前5*10=50帧数据预测，t+10时刻的角度值。
定义神经网络结构如图5，
第一层输入全连接层，提取时间序列输入的特征，此处神经元节点数与输入
Figure DEST_PATH_IMAGE089
维度相同，为bd个神经元节点。
第二层基于LSTM的RNN循环网络层，即隐藏层，此处设置神经元节点数为200。
第三层为输出全连接层，将特征拟合到
Figure DEST_PATH_IMAGE090
维度，此处设置神经元节点数为50，为了防止过拟合，设置随机丢弃神经元节点的概率dropout probability为0.5。
迭代次数为200，初始学习率为0.0008。
步态识别系统是基于TensorFlow开放源代码软件库，用Python语言开发。TensorFlow是一个基于数据流编程（dataflow programming）的符号张量数学系统，被广泛应用于各类机器学习（machine learing）算法的编程现，可以轻松地将计算工作部署到多种平台（CPU、GPU、TPU）和设备（桌面设备、服务器集群、移动设备、边缘设备等），如图8，分布式TensorFlow的核心组件包括：分发主机（distributedmaster）、数据流执行器（dataflowexecutor/worker service）、内核应用（kernel implemenatation）和设备层（devicelayer）/网络层（networking layer）；
系统主要模块如下：
（一）原始图像标注：data/get_img.py
功能：读取原始图像进行标注，人工标注图像上关节点坐标，生成label.txt文件记录文件及各个标注的关节点的坐标。
（二）数据预处理：image_precheatment.py
功能：根据label.txt文件读取原始图像进行标准化、缩放图像等操作，再根据记录的关节坐标，生成置信图，最后将训练数据整理保存在tfrecord文件中，便于之后读取训练。
（三）训练参数设置：config.py
功能：记录和调整图像大小、学习率等参数。
（四）模型训练：train.py
功能：读取tfrecord文件中训练数据进行训练。
目前正在用不同背景的行走步态图像学习训练建模，期望增加实验样本数量达到99.9%以上理论估计值，目前实验调试正在进行中。
上层人机交互力控制器100通过惯性测量单元301和髋关节编码器201实现外骨骼状态的切换。
电池203为惯性测量单元301、角度传感器302、压力传感器303、柔性驱动器304以及力矩传感器SEA305提供电源。
本实施例中，还提供一种结合多传感器外骨骼助力检测助力方法，包括如下步骤：
A.惯性测量单元301、角度传感器302、压力传感器303检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型；
B.训练之后的模型则具备了通过观测向量来检测步态相位的功能；
C.无法获得被控对象清晰数学模型的时候，模糊控制器307给出有效的自动控制方法，用于检测肢体的力矩的柔性驱动器304和DSP处理器306，需要对传感器反馈回来的多个数据信息做出快速、及时、准确的分析与判断，配合算法实现对操控力的柔顺控制；
D.力矩传感器SEA305识别人体行走的四种步态，分清步态，可以使SAT随动助力控制系统调用不同状态下的动力学模型，更好地控制外骨骼机器人。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.结合多传感器外骨骼助力系统，其特征在于，包括，
上层人机交互力控制器（100），人机作用力输入至上层人机交互力控制器（100），再由上层人机交互力控制器（100）输出转化为外骨骼关节的位移转动量，作为底层控制器的参考输入，进行运动的闭环跟踪；
底层控制器（200），人体的运动意图和趋势通过传感器映射到外骨骼的底层控制器（200）进行跟随运动，上层人机交互力控制器（100）的输出端接入底层控制器（200）的输入端；
下肢骨骼（300），包括了惯性测量单元（301）、角度传感器（302）、压力传感器（303）、柔性驱动器（304）、力矩传感器SEA（305）、DSP处理器以及模糊控制器（307），惯性测量单元（301）用于检测肢体的角度、角速度和加速度信息，角度传感器（302）用于测量下肢关节的角度，压力传感器（303）用于采集足底压力分布，柔性驱动器（304）用于检测肢体的力矩，配合算法实现对操控力的柔顺控制，力矩传感器SEA（305）用于识别人体行走的四种步态并配合循环神经网络，进行准确的步态识别。
2.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，力矩传感器SEA（305）检测人与外骨骼在接触点处的作用力或力矩，利用非线性滑膜控制方法实现外骨骼跟随人运动，使人施加的力小，实现外骨骼随动及助力功能，人机之间相互作用力与穿戴者的运动速度
Figure DEST_PATH_IMAGE001
之间的关系表示为：
Figure DEST_PATH_IMAGE002
计算得出使人机系统稳定且能降低人机之间的作用力的极点数值，其中
Figure 24822DEST_PATH_IMAGE003
为人机之间相互作用力；
Figure DEST_PATH_IMAGE004
为隐式马可夫模型的状态向量；
Figure 879646DEST_PATH_IMAGE005
为人与外骨骼接触点处的力矩；
Figure DEST_PATH_IMAGE006
为人与外骨骼在接触点处的作用力；
Figure 128225DEST_PATH_IMAGE007
为外骨骼当前速度；
Figure DEST_PATH_IMAGE008
为运动速度。
3.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，惯性测量单元（301）、角度传感器（302）、压力传感器（303）检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型，包括，
将七个步态周期定义为隐式马可夫模型的状态向量，即：
Figure 631756DEST_PATH_IMAGE009
Figure DEST_PATH_IMAGE010
为七个步态周期，其中
Figure 118232DEST_PATH_IMAGE011
为负荷反应期，
Figure DEST_PATH_IMAGE012
为站立中间期，
Figure 878378DEST_PATH_IMAGE013
为支撑相末期，
Figure DEST_PATH_IMAGE014
为摆动前期，
Figure DEST_PATH_IMAGE015
为摆动相早期，
Figure DEST_PATH_IMAGE016
为摆动相中期，
Figure 50471DEST_PATH_IMAGE017
为摆动相末期；
定义观测向量，包括双脚的角速度和角加速度、右腿膝盖和小腿的角度，即
Figure DEST_PATH_IMAGE018
其中，
Figure 187054DEST_PATH_IMAGE019
为六维向量，表示隐马尔可夫模型在t时刻的观测特征，其中
Figure DEST_PATH_IMAGE020
为右脚的角速度，
Figure 465720DEST_PATH_IMAGE021
为右脚的角加速度，
Figure DEST_PATH_IMAGE022
为左脚的角速度，
Figure 895302DEST_PATH_IMAGE023
为左脚的角加速度，
Figure DEST_PATH_IMAGE024
为右腿膝盖的角度，
Figure 321735DEST_PATH_IMAGE025
为右小腿的角度；
这些选定的特征能够代表步态阶段，建立了一个具有7个状态，对应7个步态阶段的隐马尔可夫模型；
包括以上状态向量和观察向量，隐式马可夫模型还包括初始状态概率向量
Figure DEST_PATH_IMAGE026
：
Figure 793168DEST_PATH_IMAGE027
状态转移概率矩阵
Figure DEST_PATH_IMAGE028
：
Figure 988657DEST_PATH_IMAGE029
观测状态转移概率矩阵
Figure DEST_PATH_IMAGE030
：
Figure DEST_PATH_IMAGE031
其中，
Figure DEST_PATH_IMAGE032
是时刻
Figure 464507DEST_PATH_IMAGE033
处于状态
Figure DEST_PATH_IMAGE034
的概率；
Figure 643815DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
是不同步态阶段的状态向量；
Figure 89578DEST_PATH_IMAGE037
是在时刻
Figure DEST_PATH_IMAGE038
处于状态
Figure 467469DEST_PATH_IMAGE039
条件下在时刻
Figure DEST_PATH_IMAGE040
转移到状态
Figure DEST_PATH_IMAGE041
的概率；
Figure DEST_PATH_IMAGE042
是在时刻
Figure 412423DEST_PATH_IMAGE038
处于状态
Figure 843142DEST_PATH_IMAGE039
的条件下生成观测特征
Figure 328481DEST_PATH_IMAGE043
的概率；
Figure DEST_PATH_IMAGE044
为隐式马可夫链的状态；
Figure DEST_PATH_IMAGE045
和
Figure DEST_PATH_IMAGE046
为不同步态阶段，均为自然数；
Figure DEST_PATH_IMAGE047
为解码的步态阶段；
模型建立完毕之后，以上参数采用 Baum–Welch 算法进行训练，训练之后的模型则具备了通过观测向量来检测步态相位的功能。
4.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，将穿戴者的运动速度至人－机间的传递函数简化为一阶环节，该传递函数的极点为
Figure DEST_PATH_IMAGE048
由于
Figure 403622DEST_PATH_IMAGE049
、
Figure DEST_PATH_IMAGE050
因此
Figure DEST_PATH_IMAGE051
中的极点
Figure 316214DEST_PATH_IMAGE052
位于函数左半平面，此时整个人机系统是稳定的，并且在合理范围内增大
Figure DEST_PATH_IMAGE053
，有助于降低人机之间的作用力，提升系统的带宽，当
Figure 204536DEST_PATH_IMAGE053
过大时，导致系统失稳，其中
Figure 726522DEST_PATH_IMAGE054
为第
Figure DEST_PATH_IMAGE055
个关节的极点，
Figure 16689DEST_PATH_IMAGE056
为处于时刻
Figure DEST_PATH_IMAGE057
时人与外骨骼在接触点处的虚拟刚度，
Figure DEST_PATH_IMAGE058
为第
Figure 631341DEST_PATH_IMAGE055
个关节的控制器的虚拟刚度。
5.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，底层控制器（200）包括髋关节编码器（201）、主控板（202）、电池（203）以及髋关节编码器（201）；
其中，电池（203）分别与髋关节编码器（201）、主控板（202）、电机（204）电性连接，主控板（202）用于信息的处理，电池（203）用于驱动柔性驱动器（304）。
6.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，上层人机交互力控制器（100）通过惯性测量单元（301）和髋关节编码器（201）实现外骨骼状态的切换。
7.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，惯性测量单元（301）、角度传感器（302）、压力传感器（303）、柔性驱动器（304）以及力矩传感器SEA（305）检测的信息均作为人机作用力输入至上层人机交互力控制器（100）。
8.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，电池（203）为惯性测量单元（301）、角度传感器（302）、压力传感器（303）、柔性驱动器（304）以及力矩传感器SEA（305）提供电源。
9.根据权利要求1所述的结合多传感器外骨骼助力系统，其特征在于，步态模糊的情况下，模糊控制器（307）给出有效的自动控制方法，且DSP处理器（306）用于大量信息的收发。
10.结合多传感器外骨骼助力系统检测助力方法，其特征在于，包括如下步骤：
A.惯性测量单元（301）、角度传感器（302）、压力传感器（303）检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型；
B.训练之后的模型则具备了通过观测向量来检测步态相位的功能；
C.无法获得被控对象清晰数学模型的时候，模糊控制器（307）给出有效的自动控制方法，用于检测肢体的力矩的柔性驱动器（304）和DSP处理器（306），需要对传感器反馈回来的多个数据信息做出快速、及时、准确的分析与判断，配合算法实现对操控力的柔顺控制；
D.力矩传感器SEA（305）识别人体行走的四种步态。
CN202111527419.9A 2021-12-15 2021-12-15 结合多传感器外骨骼助力系统 Active CN113910206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111527419.9A CN113910206B (zh) 2021-12-15 2021-12-15 结合多传感器外骨骼助力系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111527419.9A CN113910206B (zh) 2021-12-15 2021-12-15 结合多传感器外骨骼助力系统

Publications (2)

Publication Number Publication Date
CN113910206A true CN113910206A (zh) 2022-01-11
CN113910206B CN113910206B (zh) 2022-04-01

Family

ID=79249083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527419.9A Active CN113910206B (zh) 2021-12-15 2021-12-15 结合多传感器外骨骼助力系统

Country Status (1)

Country Link
CN (1) CN113910206B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115256340A (zh) * 2022-06-09 2022-11-01 天津理工大学 一种双助力柔性下肢外骨骼系统及控制方法
CN115337009A (zh) * 2022-08-23 2022-11-15 电子科技大学 一种基于全连接和循环神经网络的步态识别和预测方法
CN116115217A (zh) * 2023-01-13 2023-05-16 电子科技大学 一种基于深度网络的人体下肢步态相位估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109015649A (zh) * 2018-08-23 2018-12-18 中国船舶重工集团公司第七0七研究所 实现节律柔顺运动的液压外骨骼机器人控制系统及方法
CN109940584A (zh) * 2019-03-25 2019-06-28 杭州程天科技发展有限公司 一种外骨骼机器人及其检测人体运动意图的检测方法
US20190365287A1 (en) * 2018-05-30 2019-12-05 Industry-Academic Cooperation Foundation, Dankook University Apparatus and method for gait type classification using pressure sensor of smart insole

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190365287A1 (en) * 2018-05-30 2019-12-05 Industry-Academic Cooperation Foundation, Dankook University Apparatus and method for gait type classification using pressure sensor of smart insole
CN109015649A (zh) * 2018-08-23 2018-12-18 中国船舶重工集团公司第七0七研究所 实现节律柔顺运动的液压外骨骼机器人控制系统及方法
CN109940584A (zh) * 2019-03-25 2019-06-28 杭州程天科技发展有限公司 一种外骨骼机器人及其检测人体运动意图的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张向刚 等: "一种基于隐马尔科夫模型的步态识别算法", 《计算机科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115256340A (zh) * 2022-06-09 2022-11-01 天津理工大学 一种双助力柔性下肢外骨骼系统及控制方法
CN115337009A (zh) * 2022-08-23 2022-11-15 电子科技大学 一种基于全连接和循环神经网络的步态识别和预测方法
CN116115217A (zh) * 2023-01-13 2023-05-16 电子科技大学 一种基于深度网络的人体下肢步态相位估计方法
CN116115217B (zh) * 2023-01-13 2024-09-13 电子科技大学 一种基于深度网络的人体下肢步态相位估计方法

Also Published As

Publication number Publication date
CN113910206B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN113910206B (zh) 结合多传感器外骨骼助力系统
KR102292683B1 (ko) 보행 환경 인식 방법 및 장치
Kang et al. Real-time gait phase estimation for robotic hip exoskeleton control during multimodal locomotion
Chen et al. A novel gait pattern recognition method based on LSTM-CNN for lower limb exoskeleton
KR100941209B1 (ko) 로봇 장치, 얼굴 인식 방법 및 얼굴 인식 장치
CN109447128B (zh) 基于微惯性技术的行走和原地踏步运动分类方法和系统
CN113043248B (zh) 基于多源传感器的搬运装配全身外骨骼系统及控制方法
CN113143256B (zh) 步态特征提取方法、下肢评估、控制方法、设备及介质
Wu et al. Gait phase prediction for lower limb exoskeleton robots
CN110977961A (zh) 一种自适应助力外骨骼机器人运动信息采集系统
Zell et al. Weakly-supervised learning of human dynamics
Gao et al. Recurrent neural network control of a hybrid dynamical transfemoral prosthesis with EdgeDRNN accelerator
Ma et al. Real-time foot-ground contact detection for inertial motion capture based on an adaptive weighted naive bayes model
CN116766197A (zh) 一种髋关节外骨骼助力控制方法
Crowley Integration and control of reactive visual processes
Hollinger et al. The influence of gait phase on predicting lower-limb joint angles
CN110327054A (zh) 一种基于加速度和角速度传感器的步态分析方法及装置
CN111515930B (zh) 髋部动力外骨骼主动助力行走控制方法、装置、终端及计算机可读存储介质
CN112560594A (zh) 一种柔性外骨骼系统的人体步态识别方法
CN115281657A (zh) 一种柔性外骨骼系统的人体步态识别方法
Kumar et al. A review of computational model for bipedal robot walking using gait analysis
Su Human motion prediction using wearable sensors and machine Learning
CN113962247B (zh) 一种基于标准库匹配的步态预测方法及系统
CN112959365B (zh) 机器人的状态检测方法及装置
Vennela et al. Human Gaiting Analysis for Machine Interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant