CN114371613A - 一种基于在线学习的仿人机器人上半身姿态控制方法 - Google Patents

Abstract

本发明涉及一种基于在线学习的仿人机器人上半身姿态控制方法，包括以下步骤：构建以逻辑斯蒂回归模型为基础的髋关节补偿模型，以采集的历史数据离线训练所述髋关节补偿模型的模型参数；在每个步态周期中，基于当前的髋关节补偿模型获得髋关节补偿值进行仿人机器人上半身姿态控制，在每个步态周期结束时对所述模型参数进行在线周期性更新；采集的所述历史数据为采用PID控制的仿人机器人在不同PID参数下的运行数据。与现有技术相比，本发明具有鲁棒性强、能够使机器人行走更稳定等优点。

Description

一种基于在线学习的仿人机器人上半身姿态控制方法

技术领域

本发明涉及仿人机器人步行稳定控制领域，尤其是涉及一种基于在线学习的仿人机器人上半身姿态控制方法。

背景技术

仿人机器人因其独特的外形和结构，能在各种地面和场景中工作，代替人类完成一些危险或者程序化的工作，因此，具有巨大的应用潜力和研究价值。仿人机器人完成各项工作的前提就是，它能像人一样以稳定的双足直立行走，而其中的关键之一就是仿人机器人的上半身姿态控制，即保持机器人姿态基本竖直向上，从而提升仿人机器人行走的稳定性。

目前常用的仿人机器人的上半身姿态控制方法主要是PID控制，如专利申请CN109895120A公开一种双足行走机器人的控制系统，根据反馈信息采用模糊自适应PID控制方法实现对电机的精确控制。PID控制是一个传统控制方法，算法简单，但是，对于仿人机器人这样的高度非线性系统而言，难以建立精确的数学模型，PID控制器往往效果一般；PID控制器的参数需要人工整定，只有参数设置得当才能达到较好效果，对于不同行走环境，往往需要整定出不同参数，缺乏适应性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种鲁棒性强、能够使机器人行走更稳定的基于在线学习的仿人机器人上半身姿态控制方法。

本发明的目的可以通过以下技术方案来实现：

一种基于在线学习的仿人机器人上半身姿态控制方法，包括以下步骤：

构建以逻辑斯蒂回归模型为基础的髋关节补偿模型，以采集的历史数据离线训练所述髋关节补偿模型的模型参数；

在每个步态周期中，基于当前的髋关节补偿模型获得髋关节补偿值进行仿人机器人上半身姿态控制，在每个步态周期结束时对所述模型参数进行在线周期性更新；

采集的所述历史数据为采用PID控制的仿人机器人在不同PID参数下的运行数据。

进一步地，所述运行数据包括每一时刻的当前姿态误差、累积姿态误差、姿态误差变化量和作用于机器人的髋关节补偿值。

进一步地，所述当前姿态误差为每一时刻的机器人当前姿态角与机器人期望姿态角的差值，所述机器人当前姿态角基于采集的加速度计和陀螺仪数据获得。

进一步地，所述机器人当前姿态角θ^real通过互补滤波对加速度计和陀螺仪数据进行融合获得，具体公式如下：

θ^real＝Gain_L*LF(θ_acc)+Gain_H*HF(θ_gyro)

其中，θ_acc和θ_gyro分别是从加速度计和陀螺仪得到的机器人姿态角，LF(·)表示低通滤波，HF(·)表示高通滤波，Gain_L和Gain_H分别是低通滤波器和高通滤波器的增益，并且满足Gain_L+Gain_H＝1。

进一步地，所述历史数据为在多种环境下调节PID参数所获得的运行数据。

进一步地，所述PID控制中，PID控制器的表达式为：

并进行限幅：

其中，u是PID控制器的输出，是作用于机器人的髋关节补偿值，Δθⁱ是第i时刻计算得到的姿态误差，Δθ^k是当前采样时刻计算得到的姿态误差，Δθ^k-1是上一采用时刻计算得到的姿态误差，K_p、K_i和K_d是PID控制器的比例、积分和微分系数，u_limit是髋关节补偿阈值。

进一步地，所述髋关节补偿模型表示为：

其中，

是逻辑斯蒂回归模型，

代表需要训练得到的所有模型参数，x是模型所需的输入，u_limit是髋关节补偿阈值。

进一步地，所述对所述模型参数进行在线周期性更新的更新公式为：

其中，η是学习率，n是一个步态周期的采样次数，

是上一个步态周期使用的模型参数，

表示参数周期优化方向，F表示模型参数在线优化的目标函数，

代表需要优化的所有模型参数。

进一步地，所述在线优化的目标函数为：

其中，θ和w分别是测量得到机器人真实的姿态角和角速度，θ^ref和w^ref分别是机器人期望的姿态角和角速度，α和β分别是姿态角和角速度的权重，并且满足α+β＝1。

进一步地，所述参数周期优化方向

具体表示为：

Δθ_round＝θ-θ_laStround

Δw_round＝w-w_lastround

Δu_round＝u-u_lasfround

其中，θ_lastround、w_lastround分别是上一个步态周期中同相位采样点测量得到机器人真实的姿态角和角速度，u_lastround是上一个步态周期中同相位采样点控制器的输出，

是逻辑斯蒂回归模型对其参数的导数，u是作用于机器人的髋关节补偿值，u_limit是髋关节补偿阈值。

与现有技术相比，本发明具有以下有益效果：

1)本发明通过非线性模型来增强上半身姿态控制器的鲁棒性，以适应于不同环境。

2)本发明的历史数据为采用PID控制的仿人机器人在不同PID参数下的运行数据，通过主观观察机器人走的好坏，在不同环境下手动尝试和调节参数，耗时耗力且缺少客观判断，而通过量化评价指标来指导调节参数，提高模型训练的可靠性。

3)本发明结合仿人机器人行走的特性，提出了模型参数在线学习的有效学习方法，以使得机器人在环境中不断学习，不断适应环境，提升上半身姿态控制的适应性和稳定性，使得机器人行走更稳定。

4)本发明通用易行，在多种仿人机器人上均可使用本发明提出的方法快速进行机器人上半身姿态控制。

附图说明

图1为本发明方法的流程示意图；

图2为本发明机器人上半身姿态控制算法框图；

图3为实施例中仿人机器人NAO的结构示意图；

图4为实施例中实验环境图；

图5为实施例中仿人机器人行走过程中姿态角变化的对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种基于在线学习的仿人机器人上半身姿态控制方法，该方法构建以逻辑斯蒂回归模型为基础的髋关节补偿模型，以采集的历史数据离线训练所述髋关节补偿模型的模型参数，采集的所述历史数据为采用PID控制的仿人机器人在不同PID参数下的运行数据；在每个步态周期中，基于当前的髋关节补偿模型获得髋关节补偿值进行仿人机器人上半身姿态控制，在每个步态周期结束时对所述模型参数进行在线周期性更新。该方法通过模型参数的在线学习方法，以使得机器人在环境中不断学习，不断适应环境，提升上半身姿态控制的适应性和稳定性。

如图1所示，上述方法具体包括以下步骤：

1、获取历史数据，训练髋关节补偿模型，获得初始模型参数。

(1)估计机器人当前的上半身姿态角

通过互补滤波对加速度计和陀螺仪数据进行融合，估计得到机器人当前的姿态角：

θ^real＝Gain_L*LF(θ_acc)+Gain_H*HF(θ_gyro)

其中，θ_acc和θ_gyro分别是从加速度计和陀螺仪得到机器人姿态角，Gain_L和Gain_H分别是低通滤波器(LF)和高通滤波器(HF)的增益，并且满足Gain_L+Gain_H＝1。在本实施例中，取Gain_L＝Gain_H＝0.5。

(2)确定期望姿态角和髋关节补偿阈值

确定机器人期望的姿态角θ^ref，并计算姿态误差：

Δθ＝θ^real-θ^ref

因较大的补偿值反而会导致机器人行走的扰动，故需根据不同机器人确定髋关节补偿阈值u_limit。

在本实施例中，确定θ^ref＝0，即期望机器人保持竖直向上，确定u_limit＝0.2(rad)。

(3)调节PID参数，并记录数据

PID控制器的表达式为：

并进行限幅：

其中，u是PID控制器的输出，是作用在机器人髋关节的补偿值，进行机器人上半身姿态的稳定控制，Δθⁱ是第i时刻计算得到的姿态误差，Δθ^k是当前采样时刻计算得到的姿态误差，Δθ^k-1是上一采用时刻计算得到的姿态误差，K_p、K_i和K_d是PID控制器的比例、积分和微分系数，在不同环境下需要手动整定调节，以使得机器人在对应环境下能较稳定地行走。

机器人在不同环境下行走，调节好对应的PID参数，使得机器人能基本保持稳定行走，不必反复打磨参数使得非常稳定；记录每一时刻的Δθ^k，累积姿态误差

姿态误差变化量(Δθ^k-Δθ^k-1)和作用于机器人的髋关节补偿值u。若条件不允许，可以只在一种环境下调节对应的PID参数，并记录数据，但是，在多种环境下本发明提出方法的最终效果更好。

在本实施例中，在软硬不同的草地上调节PID参数并记录数据，记录的数据样例如表1所示。

表1

(4)离线训练得到模型参数初值

髋关节补偿模型在逻辑斯蒂回归(Logistic Regression)模型的基础上得到：

其中，

是逻辑斯蒂回归模型，

代表需要训练得到的所有模型参数，x是模型所需的输入，u_limit是髋关节补偿阈值。

根据前面采集到的数据对模型进行训练，确定模型参数值

作为模型初值。

2、基于得到的髋关节补偿模型对机器人上半身姿态进行控制，并在线更新模型参数。

(1)确定在线优化的目标函数

将训练得到的模型代替PID控制器，进行机器人上半身姿态控制，在工作环境下进行在线优化，以适应工作环境。工作环境可以是之前采集数据时的工作环境，也可以是新的环境。在本样例中，机器人在斜坡环境中进行行走，并在线优化参数。

在线优化的目标函数如下，需要使其最小化：

其中，

代表需要优化的所有模型参数，θ和w分别是测量得到机器人真实的姿态角和角速度，θ^ref和w^ref分别是机器人期望的姿态角和角速度，α和β分别是姿态角和角速度的权重，并且满足α+β＝1。在本实施例中α＝0.7,β＝0.3。

(2)计算参数周期优化方向：

目标函数与模型参数不存在直接函数关系，无法直接求导，且仿人机器人行走具体步态周期性，故使用如下方法计算参数周期优化方向：

Δθ_round＝θ-θ_lastround

Δw_round＝w-w_lastround

Δu_round＝u-u_lastround

其中，θ_lastround，w_1astround分别是上一个步态周期中同相位采样点测量得到机器人真实的姿态角和角速度，u_lastround是上一个步态周期中同相位采样点控制器的输出，

是逻辑斯蒂回归模型对其参数的导数。

(3)在线周期性更新模型参数：

从第二个步态周期开始，在每个步态周期结束时对模型参数值进行更新，并将更新后的模型参数用于下一个步态周期的补偿输出计算。

模型参数在线更新的方法是：

其中，η是学习率，n是一个步态周期的采样次数，

是上一个步态周期模型使用的参数，对于第一次进行模型更新时，

即为模型离线训练得到的模型参数

在本实施例中，η＝0.05。

在下一个步态周期中，使用更新后的模型参数计算髋关节补偿值进行上半身姿态控制。

利用上述控制方法的整个行走控制系统的框图如图2所示，其中，CoM^ref是从步态规划器得到的机器人质心轨迹，θ_{all_joints}是关节空间规划器规划得到的机器人各个关节的角度，包括髋关节，u_hip是上半身姿态控制器的输出，是作用于髋关节的补偿值，上述方法中构建的髋关节补偿模型部署于上半身姿态控制器中，

和

分别是从传感器得到并滤波后的机器人真实的姿态角和姿态角速度，

和

分别是期望的机器人姿态角和姿态角速度。

本实施例中的实验环境如图4所示，为一个6度的斜坡，使用的仿人机器人NAO，其结构示意图如图3所示。机器人行走过程中，姿态角的变化如图5所示，设定的期望姿态角θ_ref＝0，即保持机器人身体竖直向上，并使用PID控制器和本发明提出的在线学习方法作为上半身姿态控制进行了对比。使用PID控制器，机器人在进入斜坡后身体上半身姿态不能进行有效自适应调节，从而姿态角较大，稳定性较差；而使用本发明提出的在线学习方法时，可以看到机器人在进入斜坡后通过不断地在线优化，其身体姿态角不断变小，更接近于设定的期望姿态角θ_ref＝0，达到了更好的上半身姿态控制效果，使得机器人行走更稳定。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，包括以下步骤：

构建以逻辑斯蒂回归模型为基础的髋关节补偿模型，以采集的历史数据离线训练所述髋关节补偿模型的模型参数；

在每个步态周期中，基于当前的髋关节补偿模型获得髋关节补偿值进行仿人机器人上半身姿态控制，在每个步态周期结束时对所述模型参数进行在线周期性更新；

采集的所述历史数据为采用PID控制的仿人机器人在不同PID参数下的运行数据。

2.根据权利要求1所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述运行数据包括每一时刻的当前姿态误差、累积姿态误差、姿态误差变化量和作用于机器人的髋关节补偿值。

3.根据权利要求2所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述当前姿态误差为每一时刻的机器人当前姿态角与机器人期望姿态角的差值，所述机器人当前姿态角基于采集的加速度计和陀螺仪数据获得。

4.根据权利要求3所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述机器人当前姿态角θ^real通过互补滤波对加速度计和陀螺仪数据进行融合获得，具体公式如下：

θ^real＝Gain_L*LF(θ_acc)+Gain_H*HF(θ_gyro)

其中，θ_acc和θ_gyro分别是从加速度计和陀螺仪得到的机器人姿态角，LF(·)表示低通滤波，HF(·)表示高通滤波，Gain_L和Gain_H分别是低通滤波器和高通滤波器的增益，并且满足Gain_L+Gain_H＝1。

5.根据权利要求1所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述历史数据为在多种环境下调节PID参数所获得的运行数据。

6.根据权利要求1所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述PID控制中，PID控制器的表达式为：

并进行限幅：

其中，u是PID控制器的输出，是作用于机器人的髋关节补偿值，Δθⁱ是第i时刻计算得到的姿态误差，Δθ^k是当前采样时刻计算得到的姿态误差，Δθ^k-1是上一采用时刻计算得到的姿态误差，K_p、K_i和K_d是PID控制器的比例、积分和微分系数，u_limit是髋关节补偿阈值。

7.根据权利要求1所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述髋关节补偿模型表示为：

其中，

是逻辑斯蒂回归模型，

代表需要训练得到的所有模型参数，x是模型所需的输入，u_limit是髋关节补偿阈值。

8.根据权利要求1所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述对所述模型参数进行在线周期性更新的更新公式为：

其中，η是学习率，n是一个步态周期的采样次数，

是上一个步态周期使用的模型参数，

表示参数周期优化方向，F表示模型参数在线优化的目标函数，

代表需要优化的所有模型参数。

9.根据权利要求8所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述在线优化的目标函数为：

其中，θ和w分别是测量得到机器人真实的姿态角和角速度，θ^ref和w^ref分别是机器人期望的姿态角和角速度，α和β分别是姿态角和角速度的权重，并且满足α+β＝1。

10.根据权利要求9所述的基于在线学习的仿人机器人上半身姿态控制方法，其特征在于，所述参数周期优化方向

具体表示为：

Δθ_round＝θ-θ_lastround

Δw_round＝w-w_lastround

Δu_round＝u-u_lastround

其中，θ_lastround、w_lastround分别是上一个步态周期中同相位采样点测量得到机器人真实的姿态角和角速度，u_lastround是上一个步态周期中同相位采样点控制器的输出，

是逻辑斯蒂回归模型对其参数的导数，u是作用于机器人的髋关节补偿值，u_limit是髋关节补偿阈值。

Images