CN115157247A - 一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法 - Google Patents
一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法 Download PDFInfo
- Publication number
- CN115157247A CN115157247A CN202210802825.XA CN202210802825A CN115157247A CN 115157247 A CN115157247 A CN 115157247A CN 202210802825 A CN202210802825 A CN 202210802825A CN 115157247 A CN115157247 A CN 115157247A
- Authority
- CN
- China
- Prior art keywords
- model
- balance
- robot
- gait
- exoskeleton rehabilitation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003141 lower extremity Anatomy 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000005021 gait Effects 0.000 claims abstract description 65
- 230000009471 action Effects 0.000 claims abstract description 60
- 230000006870 function Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000004088 simulation Methods 0.000 claims abstract description 33
- 230000002787 reinforcement Effects 0.000 claims abstract description 28
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 230000001133 acceleration Effects 0.000 claims description 12
- 210000004394 hip joint Anatomy 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims description 4
- 210000000629 knee joint Anatomy 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102100040653 Tryptophan 2,3-dioxygenase Human genes 0.000 description 2
- 101710136122 Tryptophan 2,3-dioxygenase Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 206010008129 cerebral palsy Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0006—Exoskeletons, i.e. resembling a human figure
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,属于下肢外骨骼康复机器人控制领域。该方法包括:使用任意的物理引擎建立人与机器人交互的仿真环境;通过强化学习算法,在仿真环境中完成所设计的平衡编码模型和动作生成模型的训练,其中,奖励函数包含平衡项;利用动作生成模型生成数据集;建立平衡预测模型,与动作生成模型组成步态生成网络,使用上述数据集,通过模仿学习算法训练步态生成网络;训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值,结合电机伺服驱动控制器实现机器人的控制。步态生成网络可以在无附加传感器的条件下预测机器人的状态,使控制器能及时校正系统的不平衡倾向。
Description
技术领域
本发明涉及下肢外骨骼康复机器人控制领域,具体涉及一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法。
背景技术
近年来机器人技术的发展达到了前所未有的繁荣,尤其是下肢外骨骼机器人,在医疗、军事、工业等领域都表现出广泛的应用前景。
在下肢外骨骼康复机器人控制领域中,传统控制是给定外骨骼机器人预定不变的目标轨迹,这种控制方法在脑卒中、脑瘫患者的下肢康复治疗方面有一定的辅助作用,但是下肢外骨骼康复机器人机械的执行目标轨迹会引起患者姿势受限和柔顺欠缺等平衡问题,影响治疗效果。为解决上述问题,研究学者基于人工智能算法创建控制器,控制器实时生成下肢外骨骼康复机器人的运动轨迹,可以对不平衡情况做出应对措施。人工神经网络具有强大的非线性映射能力和自适应能力,常作为人工智能算法模型的载体,但是现有方法中神经网络模型的训练需要与真实世界中外骨骼康复机器人不断的进行实时数据交互,这种训练方法训练时间长、训练成本大。现有基于人工智能算法的下肢外骨骼康复机器人控制方法仅用单个时间点的外骨骼康复机器人状态信息判断此时间点的平衡状态,这种方法需要较多除电机编码器以外的传感器,并且仅能判断该时间点的平衡状态,不能及时、有效预测不平衡事件。
发明内容
针对现有技术存在的问题,本发明提供一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法。
为实现上述目的,采用的技术方案如下:
一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,包括如下步骤:
使用任意的物理引擎建立人与机器人交互的仿真环境;
通过强化学习算法,在仿真环境中完成所设计的平衡编码模型和动作生成模型的训练,其中,奖励函数包含平衡项;
利用动作生成模型生成数据集;
建立平衡预测模型,与动作生成模型组成步态生成网络,使用上述数据集,通过模仿学习算法训练步态生成网络;
训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值,结合电机伺服驱动控制器实现机器人的控制。
本方法的进一步改进在于:使用任意的物理引擎建立人与机器人交互的仿真环境具体为:
所述仿真环境包含下肢外骨骼康复机器人模型和下肢外骨骼康复机器人外部环境。
所述仿真环境可提供实时的所述机器人模型的双腿膝、髋关节状态值和平衡状态相关信息,包括:质心的位置、速度、加速度、重心的位置和速度。
本方法的进一步改进在于:通过强化学习算法,在仿真环境中完成所设计的平衡编码模型和动作生成模型的训练,其中,奖励函数包含平衡项具体为:
所述平衡项奖励函数为任意一种可定量判断下肢外骨骼康复机器人平衡程度的数学模型;
所述强化学习算法的状态空间包括平衡状态空间和关节状态空间,所述强化学习算法的动作空间为所述仿真环境中机器人模型各关节电机的速度期望值。
所述仿真环境中机器人模型的输入是所述动作生成模型的输出,即强化学习算法的动作空间值;所述平衡编码模型的输入是所述平衡状态空间值,所述动作生成模型的输入是所述平衡编码模型的输出和所述关节状态空间值;
所述平衡编码模型和所述动作生成模型的权重和偏置参数根据其获得的奖励值更新。
本方法的进一步改进在于:所述强化学习算法的状态空间包括平衡状态空间和关节状态空间,所述强化学习算法的动作空间为所述仿真环境中机器人模型各关节电机的速度期望值具体为:
所述平衡状态空间包括来自所述机器人模型多个平衡相关的状态信息,包括:质心位置、速度、加速度,重心的位置、速度;所述关节状态空间包括机器人模型的双腿膝、髋关节的实时位置、速度、加速度信息。
本方法的进一步改进在于:利用动作生成模型生成数据集具体为:
所述数据集由动作生成模型的输入和输出组成,动作生成模型的输入为所述关节状态空间值和该关节状态空间值对应时刻的平衡编码模型的输出,动作生成模型的输出为该关节状态空间值对应的动作空间值。
本方法的进一步改进在于:建立平衡预测模型,与动作生成模型组成步态生成网络,使用上述数据集,通过模仿学习算法训练步态生成网络具体为:
所述平衡预测模型为时间卷积网络;
所述数据集的特征为数据集内关节状态空间值,特征的标签为该关节状态空间值对应的平衡编码模型的输出值和动作空间值;
所述步态生成网络中平衡预测模型与动作生成模型通过全连接层连接,通过模仿学习算法更新所述平衡预测模型的权重和偏置参数,实现所述步态生成网络中平衡预测模型的输出值模仿所述数据集中平衡编码模型输出值,所述步态生成网络中动作生成模型的输出值模仿所述数据集中动作生成模型的输出值。
本方法的进一步改进在于:所述步态生成网络中平衡预测模型与动作生成模型通过全连接层连接,利用模仿学习算法更新所述平衡预测模型的权重和偏置参数,实现所述步态生成网络中平衡预测模型的输出值模仿所述数据集中平衡编码模型输出值,所述步态生成网络中动作生成模型的输出值模仿所述数据集中动作生成模型的输出值具体为:
所述平衡预测模型第t个输入特征为t之后N个时间连续关节状态空间值,其中N为预设的时间卷积网络输入的历史特征个数,所述动作生成模型第t个输入特征为第(t+N-1)个关节状态空间值和平衡预测模型的输出值;
所述平衡预测模型的权重和偏置参数用随机梯度下降算法更新,参数更新的步长和方向由随机梯度下降算法的损失函数确定。
本方法的进一步改进在于:所述平衡预测模型的权重和偏置参数用随机梯度下降算法更新,更新的步长和方向由随机梯度下降算法的损失函数确定具体为:
所述损失函数如下:
L=(au(t+29)-alt)2+(bu(t+29)-blt)2
其中,t表示数据集中特征值对应的序号,au(t+29)和bu(t+29)是第t个特征值对应的标签:数据集中的动作生成模型的输出值和平衡编码模型的输出值,alt和blt是以第t个特征值为输入时步态生成网络中的动作生成模型输出值和平衡预测模型的输出值。
本方法的进一步改进在于:训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值,结合电机伺服驱动控制器实现机器人的控制具体为:
训练完毕的步态生成网络与真实下肢外骨骼康复机器人系统交互,形成步态闭环循环,所述步态闭环循环包括将下肢外骨骼康复机器人关节状态空间值输入到步态生成网络,步态生成网络输出下肢外骨骼康复机器人各关节电机的速度期望值,电机伺服驱动控制器执行速度期望值,下肢外骨骼康复机器人的关节状态空间值更新,该步态闭环循环使下肢外骨骼康复机器人平衡、稳定的行走。
与现有技术相比,有益效果如下:
(1)在强化学习算法的奖励函数中加入平衡奖励项,使得训练完成的步态生成网络输出的关节电机速度期望值具有平衡辅助功能,及时、有效的校正不平衡倾向,实现下肢外骨骼康复机器人端到端的控制;
(2)以时间卷积网络为基体搭建平衡预测模型,建立历史关节状态信息和下肢外骨骼康复机器人平衡状态之间的关系网络,使得训练的步态生成网络实现无需额外传感器预测下肢外骨骼康复机器人平衡状态;
(3)步态生成网络的整个训练过程均是离线进行,避免复杂的数据采样和处理过程,训练速度快,训练成本低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明步态生成网络的训练流程图;
图2为本发明的平衡编码模型和动作生成模型的训练结构图;
图3为本发明的步态生成网络模仿学习训练结构图;
图4为本发明的步态生成网络的应用结构图。
具体实施方式
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例结合附图对本发明进行详细说明:
实施例:
为了便于理解,本实施例中,以下肢外骨骼康复机器人为例。
本发明提出了一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,包括以下步骤:
其中,步态生成网络的训练流程如图1所示。
S1、使用任意的物理引擎建立人与机器人交互的仿真环境;包括以下步骤:
S1.1、根据实际患者-外骨骼机器人系统交互环境,基于MuJoCo或PyBullet物理引擎设计下肢外骨骼康复机器人模型,所述下肢外骨骼康复机器人模型尽可能接近真实患者-外骨骼系统的运动特性,下肢外骨骼康复机器人模型中应包括传感器模型,用于获取对应的传感器信息,为强化学习算法的状态空间值提供原始数据,包括:质心的位置、速度、加速度,重心的位置、速度。
S1.2、基于Gym设计下肢外骨骼康复机器人的外部环境,为下肢外骨骼康复机器人模型提供运动的虚拟场景。创建环境初始化文件,注册新创建的环境;
S1.3、通过参数随机化方法处理下肢外骨骼康复机器人模型的参数和机器人模型与外部环境的交互系数,用于提供丰富的训练场景样本,增加所训练模型的适应度;
本实施例中,可能影响输出的下肢外骨骼康复机器人模型的参数包括关节自由度、关节摩擦系数、关节摩擦力矩参数、人机交互力和人体重量等;可能影响输出的交互系数包括地面刚度、地面摩擦系数、重力加速度等。
S2、通过强化学习算法,在仿真环境中完成所设计的平衡编码模型和动作生成模型的训练,其中,奖励函数包含平衡项。平衡编码模型和动作生成模型的训练结构如图2所示,包括以下步骤:
S2.1、选择强化学习算法,设计强化学习算法的奖励函数,其中,奖励函数的平衡项为任意一种可定量判断下肢外骨骼康复机器人平衡程度的数学模型,例如零力矩点(ZMP)平衡判据、质心力矩枢轴(CMP)平衡判据和外推质心(XcoM)平衡判据等;
本实施例中,采用置信域策略优化(TRPO)强化学习算法,强化学习的奖励函数由平衡奖励项、柔顺奖励项和速度奖励项组成。平衡奖励项的设计基于零力矩点平衡判据,具体奖励函数如下:
R=0.4rb+0.3rs+0.3rv
其中,rb是平衡奖励项,rs是柔顺奖励项,rv是速度奖励项。
具体的,平衡奖励项rb表达如下:
其中,(xZMP,yZMP)是零力矩点ZMP在水平面上的投影坐标,(xCoR,yCoR)是支撑域的中心点坐标;
柔顺奖励项rs表达如下:
其中,f是训练过程中采集自下肢外骨骼康复机器人模型的交互力,单位是N,交互力阈值设置为500N;
速度奖励项rv表达如下:
其中,va是训练过程中下肢外骨骼康复机器人模型质心的实时速度,单位为m/s,1m/s是设置的目标人体速度值。
S2.2、创建强化学习算法的状态空间和动作空间。
强化学习算法的状态空间包括平衡状态空间和关节状态空间,平衡状态空间包括来自下肢外骨骼康复机器人模型多个平衡相关的状态信息,包括:质心位置、速度、加速度,重心的位置、速度;关节状态空间包括下肢外骨骼康复机器人模型双腿膝、髋关节的实时位置、速度、加速度信息。强化学习算法的动作空间为所述仿真环境中机器人模型各关节电机的速度期望值。
本实施例中,状态空间S如下:
S={Sb,Sj}
Sb是平衡状态空间,Sj关节状态空间。
平衡状态空间Sb构成如下:
其中,(xZMP,yZMP)是下肢外骨骼康复机器人模型的零力矩点在水平面上投影的坐标,是下肢外骨骼康复机器人模型的支撑域在水平面上等效为四边形后四个顶点P1,P2,P3,P4的坐标,(xCoP,yCoP)是下肢外骨骼康复机器人模型的质心CoP在水平面上投影的坐标。
关节状态空间Sj构成如下:
Sj={vi,ai,pi}
vi,ai,pi,其中i={1,2,3,4},分别表示下肢外骨骼康复机器人模型双腿膝、髋关节四个驱动电机的实时速度、加速度和位置值。
本实施例中,动作空间A具体构成如下:
A={v1,v2,v3,v4}
v1,v2,v3,v4分别表示下肢外骨骼康复机器人模型双腿膝、髋关节四个关节电机的速度期望值。
S2.3、根据状态空间和动作空间确定基于多层感知机的平衡编码模型和动作生成模型的结构,包括网络深度、每层神经元个数和激活函数类型;
本实施例中,设定平衡编码模型是2层隐藏层的多层感知机,每层神经元个数分别是128、128,激活函数均用tanh。设定动作生成模型是3层中间层的神经网络,每层神经元个数分别是128、128和16,激活函数均用tanh。平衡编码模型和动作生成模型之间通过concatenate全连接层连接。
S2.4、初始化平衡编码模型和动作生成模型的权重和偏置参数,初始化下肢外骨骼康复机器人模型的关节位置。
为了方便起见,本实施例使用随机初始化法对平衡编码模型和动作生成模型的权重和偏置参数进行初始化,使用添加随机噪音的方式初始化下肢外骨骼康复机器人模型的关节位置。
S2.5、调整强化学习算法超参数,通过强化学习算法训练平衡编码模型和动作生成模型。
在本实施例中,强化学习算法与仿真环境交互形成闭环循环,该闭环循环包括如下步骤:从仿真环境中获取下肢外骨骼康复机器人模型的状态空间原始数据;原始数据经过处理得到平衡状态空间值和关节状态空间值;平衡编码模型接收平衡状态空间值并输出平衡编码值,动作生成模型接收到关节状态空间值和平衡编码值并输出下肢外骨骼康复机器人模型的关节电机的速度期望值;机器人模型执行该期望值并更新状态。其中,该闭环循环内每一个状态空间值和动作空间值均添加随机噪音成分,TRPO算法的经验池收集每一个循环步中的动作空间值、执行该动作空间值后的状态空间值和该动作空间值对应的奖励值,并计算当前策略的累积奖励值,根据累计奖励值更新平衡编码模型和动作生成模型的权重和偏置参数,直到下肢外骨骼康复机器人模型走出预期平衡、稳定的步态。
在本实施例中,强化学习算法的超参数设置如下:使用Adam优化器更新平衡编码模型和动作生成模型权重和偏置参数,学习率设置为0.001,单幕最大步长数为800,折扣系数为0.995。
S3、利用动作生成模型生成数据集;包括以下步骤:
S3.1、训练完毕的平衡编码模型和动作生成模型作为策略,为仿真环境中下肢外骨骼康复机器人模型提供关节电机速度期望值。使用该策略控制下肢外骨骼康复机器人模型行走。
S3.2、在S3.1所述行走过程中,采集100000个动作生成模型连续时间的输入输出数据对,所述动作生成模型的输入由下肢外骨骼康复机器人模型的双腿髋、膝关节的位置、速度和加速度值和该时刻对应的平衡编码模型的输出组成,所述动作生成模型的输出为下肢外骨骼康复机器人模型的关节电机速度期望值。
S4、建立平衡预测模型,与动作生成模型组成步态生成网络,使用上述数据集,通过模仿学习算法训练步态生成网络;步态生成网络模仿学习训练结构如图3所示,包括以下步骤:
S4.1、确定基于时间卷积网络的平衡预测模型的结构,包括输入的历史关节信息个数、卷积形式、卷积深度、过滤器尺寸和激活函数;
在本实施例中平衡预测模型输入的历史特征个数为N=30,时间卷积网络的深度为4,卷积形式是膨胀卷积和跨步卷积交错的卷积网络,过滤器的尺寸固定为3,前三层每一个卷积层后有一个relu激活函数,第四层激活函数为tanh。
S4.2、使用concatenate全连接层连接平衡预测模型与动作生成模型作为步态生成网络。
S4.3、确定模仿学习算法的损失函数。
在实施例中,模仿学习的损失函数具体如下:
L=(au(t+29)-alt)2+(bu(t+29)-blt)2
其中,t表示数据集中特征值对应的序号,au(t+29)和bu(t+29)是第t个特征值对应的标签:数据集中的动作生成模型的输出值和平衡编码模型的输出值,alt和blt是以第t个特征值为输入时步态生成网络中的动作生成模型输出值和平衡预测模型的输出值。
该损失函数最小化可以实现步态生成网络中平衡预测模型的输出值模仿数据集中平衡编码模型输出值,步态生成网络中动作生成模型的输出值模仿数据集中动作生成模型的输出值。
S4.4、基于收集得到的数据集,使用模仿学习算法训练平衡预测模型,根据模仿学习损失函数更新平衡预测模型的权重和偏置参数。
在本实施例中,数据集中,第t(1<=t<=99971)个特征值ft具体为:t之后N个时间连续下肢外骨骼康复机器人模型的关节状态空间值{Sj(t),……,Sj(t+29)};第t个特征值对应的标签值具体为:第(t+29)个关节状态空间值对应时刻的平衡编码模型的输出bu(t+29)和动作生成模型的输出au(t+29)。将第t个特征值输入到平衡预测模型中,然后平衡预测模型的输出和第(t+29)个下肢外骨骼康复机器人模型的关节状态空间值输入到动作生成模型,动作生成模型输出下肢外骨骼康复机器人模型的关节电机速度期望值。使用标签值对两个模型的输出进行模仿监督,模仿学习算法根据损失函数更新平衡预测模型的权重和偏置参数,直到损失函数低于设定阈值,平衡预测模型训练完毕,步态生成网络训练完毕。
S5、训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值,结合电机伺服驱动控制器实现机器人的控制;步态生成网络的应用结构如图4所示,包括以下步骤:
S5.1、搭建下肢外骨骼康复机器人硬件平台,包括硬件通信设备的连接和电机的调试,在Matlab上建立步态生成网络与下肢外骨骼康复机器人平台的数据通信。
S5.2、步态生成网络获取下肢外骨骼康复机器人的关节信息,并输出在该关节信息下采取的动作决策值,关节电机执行动作决策值,下肢外骨骼康复机器人产生状态变化并将关节信息发送给步态生成网络。
S5.3步骤S5.2形成闭环步态循环,重复该循环使下肢外骨骼康复机器人辅助患者平衡、稳定的行走。
Claims (9)
1.一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于,包括如下步骤:
使用任意的物理引擎建立人与机器人交互的仿真环境;
通过强化学习算法,在仿真环境中完成所设计的平衡编码模型和动作生成模型的训练,其中,奖励函数包含平衡项;
利用动作生成模型生成数据集;
建立平衡预测模型,与动作生成模型组成步态生成网络,使用上述数据集,通过模仿学习算法训练步态生成网络;
训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值,结合电机伺服驱动控制器实现机器人的控制。
2.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述使用任意的物理引擎建立人与机器人交互的仿真环境具体为:
所述仿真环境包含下肢外骨骼康复机器人模型和下肢外骨骼康复机器人外部环境;
所述仿真环境可提供实时的所述机器人模型的双腿膝、髋关节状态值和平衡状态相关信息,包括:质心的位置、速度、加速度、重心的位置和速度。
3.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述通过强化学习算法,在仿真环境中完成所设计的平衡编码模型和动作生成模型的训练,其中,奖励函数包含平衡项具体为:
所述平衡项奖励函数为任意一种可判断下肢外骨骼康复机器人平衡程度的数学模型;
所述强化学习算法的状态空间包括平衡状态空间和关节状态空间,所述强化学习算法的动作空间为所述仿真环境中机器人模型各关节电机的速度期望值;
所述仿真环境中机器人模型的输入是所述动作生成模型的输出,即强化学习算法的动作空间值;所述平衡编码模型的输入是所述平衡状态空间值,所述动作生成模型的输入是所述平衡编码模型的输出和所述关节状态空间值;
所述平衡编码模型和所述动作生成模型的权重和偏置参数根据其获得的奖励值更新。
4.根据权利要求3所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述强化学习算法的状态空间包括平衡状态空间和关节状态空间,所述强化学习算法的动作空间为所述仿真环境中机器人模型各关节电机的速度期望值具体为:
所述平衡状态空间包括来自所述机器人模型多个平衡相关的状态信息,包括:质心位置、速度、加速度,重心的位置、速度;所述关节状态空间包括机器人模型的双腿膝、髋关节的实时位置、速度、加速度信息。
5.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述利用动作生成模型生成数据集具体为:
所述数据集由动作生成模型的输入和输出组成,动作生成模型的输入为所述关节状态空间值和该关节状态空间值对应时刻的平衡编码模型的输出,动作生成模型的输出为该关节状态空间值对应的动作空间值。
6.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述建立平衡预测模型,与动作生成模型组成步态生成网络,使用上述数据集,通过模仿学习算法训练步态生成网络具体为:
所述平衡预测模型为时间卷积网络;
所述数据集的特征为数据集内关节状态空间值,特征的标签为该关节状态空间值对应的平衡编码模型的输出值和动作空间值;
所述步态生成网络中平衡预测模型与动作生成模型通过全连接层连接,通过模仿学习算法更新所述平衡预测模型的权重和偏置参数,实现所述步态生成网络中平衡预测模型的输出值模仿所述数据集中平衡编码模型输出值,所述步态生成网络中动作生成模型的输出值模仿所述数据集中动作生成模型的输出值。
7.根据权利要求6所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述步态生成网络中平衡预测模型与动作生成模型通过全连接层连接,利用模仿学习算法更新所述平衡预测模型的权重和偏置参数,实现所述步态生成网络中平衡预测模型的输出值模仿所述数据集中平衡编码模型输出值,所述步态生成网络中动作生成模型的输出值模仿所述数据集中动作生成模型的输出值具体为:
所述平衡预测模型第t个输入特征为t之后N个时间连续关节状态空间值,其中N为预设的时间卷积网络输入的历史特征个数,所述动作生成模型第t个输入特征为第(t+N-1)个关节状态空间值和平衡预测模型的输出值;
所述平衡预测模型的权重和偏置参数用随机梯度下降算法更新,参数更新的步长和方向由随机梯度下降算法的损失函数确定。
8.根据权利要求7所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述平衡预测模型的权重和偏置参数用随机梯度下降算法更新,参数更新的步长和方向由随机梯度下降算法的损失函数确定具体为:
所述损失函数如下:
L=(au(t+29)-alt)2+(bu(t+29)-blt)2
其中,t表示数据集中特征值对应的序号,au(t+29)和bu(t+29)是第t个特征值对应的标签:数据集中的动作生成模型的输出值和平衡编码模型的输出值,alt和blt是以第t个特征值为输入时步态生成网络中的动作生成模型输出值和平衡预测模型的输出值。
9.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法,其特征在于:所述训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值,结合电机伺服驱动控制器实现机器人的控制具体为:
训练完毕的步态生成网络与真实下肢外骨骼康复机器人系统交互,形成步态闭环循环,所述步态闭环循环包括将下肢外骨骼康复机器人关节状态空间值输入到步态生成网络,步态生成网络输出下肢外骨骼康复机器人各关节电机的速度期望值,电机伺服驱动控制器执行速度期望值,下肢外骨骼康复机器人的关节状态空间值更新,该步态闭环循环使下肢外骨骼康复机器人平衡、稳定的行走。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210802825.XA CN115157247A (zh) | 2022-07-07 | 2022-07-07 | 一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210802825.XA CN115157247A (zh) | 2022-07-07 | 2022-07-07 | 一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115157247A true CN115157247A (zh) | 2022-10-11 |
Family
ID=83493861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210802825.XA Pending CN115157247A (zh) | 2022-07-07 | 2022-07-07 | 一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115157247A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3117967A1 (en) * | 2015-07-15 | 2017-01-18 | ETH Zurich | Transparency control method for robotic devices and a control device therefor |
CN109968355A (zh) * | 2019-03-08 | 2019-07-05 | 北京工业大学 | 一种仿人机器人步态平衡模型建立的方法 |
CN110232412A (zh) * | 2019-05-30 | 2019-09-13 | 清华大学 | 一种基于多模态深度学习的人体步态预测方法 |
CN110303471A (zh) * | 2018-03-27 | 2019-10-08 | 清华大学 | 助力外骨骼控制系统及控制方法 |
CN110764416A (zh) * | 2019-11-11 | 2020-02-07 | 河海大学 | 基于深度q网络的仿人机器人步态优化控制方法 |
EP3705105A1 (en) * | 2019-03-08 | 2020-09-09 | Syco di Menga Giuseppe & C. S.A.S. | Control system for a haptic lower limb exoskeleton for rehabilitation or walking, with improved equilibrium control, man-machine interface |
CN111890357A (zh) * | 2020-07-01 | 2020-11-06 | 广州中国科学院先进技术研究所 | 一种基于动作演示示教的智能机器人抓取方法 |
CN112060075A (zh) * | 2020-07-21 | 2020-12-11 | 深圳先进技术研究院 | 步态生成网络的训练方法、训练设备以及存储介质 |
US20210295171A1 (en) * | 2020-03-19 | 2021-09-23 | Nvidia Corporation | Future trajectory predictions in multi-actor environments for autonomous machine applications |
CN113520683A (zh) * | 2021-07-08 | 2021-10-22 | 中国科学技术大学 | 基于模仿学习的下肢假肢控制系统及方法 |
KR20220089921A (ko) * | 2020-12-22 | 2022-06-29 | 광주과학기술원 | 동행로봇을 이용한 보행훈련 시스템 및 제어방법 |
-
2022
- 2022-07-07 CN CN202210802825.XA patent/CN115157247A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3117967A1 (en) * | 2015-07-15 | 2017-01-18 | ETH Zurich | Transparency control method for robotic devices and a control device therefor |
CN110303471A (zh) * | 2018-03-27 | 2019-10-08 | 清华大学 | 助力外骨骼控制系统及控制方法 |
CN109968355A (zh) * | 2019-03-08 | 2019-07-05 | 北京工业大学 | 一种仿人机器人步态平衡模型建立的方法 |
EP3705105A1 (en) * | 2019-03-08 | 2020-09-09 | Syco di Menga Giuseppe & C. S.A.S. | Control system for a haptic lower limb exoskeleton for rehabilitation or walking, with improved equilibrium control, man-machine interface |
CN110232412A (zh) * | 2019-05-30 | 2019-09-13 | 清华大学 | 一种基于多模态深度学习的人体步态预测方法 |
CN110764416A (zh) * | 2019-11-11 | 2020-02-07 | 河海大学 | 基于深度q网络的仿人机器人步态优化控制方法 |
US20210295171A1 (en) * | 2020-03-19 | 2021-09-23 | Nvidia Corporation | Future trajectory predictions in multi-actor environments for autonomous machine applications |
CN111890357A (zh) * | 2020-07-01 | 2020-11-06 | 广州中国科学院先进技术研究所 | 一种基于动作演示示教的智能机器人抓取方法 |
CN112060075A (zh) * | 2020-07-21 | 2020-12-11 | 深圳先进技术研究院 | 步态生成网络的训练方法、训练设备以及存储介质 |
KR20220089921A (ko) * | 2020-12-22 | 2022-06-29 | 광주과학기술원 | 동행로봇을 이용한 보행훈련 시스템 및 제어방법 |
CN113520683A (zh) * | 2021-07-08 | 2021-10-22 | 中国科学技术大学 | 基于模仿学习的下肢假肢控制系统及方法 |
Non-Patent Citations (1)
Title |
---|
张向刚;张明;秦开宇;付常君;吕昀琏;: "外骨骼辅助行走中平衡控制技术的研究", 载人航天, no. 06, 20 December 2016 (2016-12-20), pages 706 - 713 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Song et al. | Deep reinforcement learning for modeling human locomotion control in neuromechanical simulation | |
Kidziński et al. | Learning to run challenge: Synthesizing physiologically accurate motion using deep reinforcement learning | |
Ijspeert et al. | Trajectory formation for imitation with nonlinear dynamical systems | |
JP2001212775A (ja) | 脚式移動ロボットの動作制御装置及び動作制御方法、並びに、脚式移動ロボット | |
CN113478486B (zh) | 基于深度强化学习的机器人运动参数自适应控制方法和系统 | |
Wang et al. | Terrain adaptive walking of biped neuromuscular virtual human using deep reinforcement learning | |
Rose et al. | End-to-end deep reinforcement learning for exoskeleton control | |
Singh et al. | Learning bipedal walking on planned footsteps for humanoid robots | |
Li et al. | Natural walking reference generation based on double-link LIPM gait planning algorithm | |
Zhang et al. | Motion generation for walking exoskeleton robot using multiple dynamic movement primitives sequences combined with reinforcement learning | |
CN115363907A (zh) | 一种基于虚拟现实康复训练系统的康复决策方法 | |
CN113467235B (zh) | 双足机器人步态控制方法、控制装置 | |
Salatian et al. | Gait synthesis for a biped robot climbing sloping surfaces using neural networks. I. Static learning | |
CN115157247A (zh) | 一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法 | |
Yuan et al. | Application of optimal-jerk trajectory planning in gait-balance training robot | |
Schumacher et al. | Natural and robust walking using reinforcement learning without demonstrations in high-dimensional musculoskeletal models | |
Culha | An actuated flexible spinal mechanism for a bounding quadrupedal robot | |
CN111341412B (zh) | 基于rbf-dmp振荡器的下肢康复型外骨骼步态规划方法 | |
Li et al. | Agile and versatile bipedal robot tracking control through reinforcement learning | |
CN117572877B (zh) | 一种双足机器人步态控制方法、装置、存储介质及设备 | |
CN117555339B (zh) | 策略网络训练方法及人形双足机器人步态控制方法 | |
Pasha Zanoosi et al. | Investigation of the effects of human body stability on joint angles’ prediction | |
Jalaeian-F et al. | Internal Model impedance control for a lower limb rehabilitation robot in the presence of uncertainty | |
Hu et al. | Construction of exoskeleton motion control platform and research on control algorithm | |
Al-Jumaili et al. | Reinforcement Learning-based Control for an Upper Limb Rehabilitation Robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |