CN115890668A - 一种机器人关节模组分散式优化学习控制方法及系统 - Google Patents

Abstract

本发明涉及一种机器人关节模组分散式优化学习控制方法及系统，所述方法首先通过构造状态观测器，实现对预测模型偏差的修正。其次，通过求解位置跟随误差性能指标的优化问题，得到最优控制律。进一步，通过设计强化学习网络实现对预测时域的自学习。与现有技术相比，本发明利用输入和输出信号来同步估计不可测量的状态和集总干扰，并将扰动与转子角速度的估计信息补偿到输出位置预测过程中，提高了位置预测精度和系统的鲁棒性，同时基于优化学习的控制思想，可以解决系统存在模型不准确，参数变化和外部扰动时控制效果下降的问题，提高了系统的自适应能力，显示出关节模组对复杂环境有更好的鲁棒性。

Description

一种机器人关节模组分散式优化学习控制方法及系统

技术领域

本发明涉及机器人控制及强化学习领域，尤其是涉及一种机器人关节模组分散式优化学习控制方法及系统。

背景技术

自机器人技术兴起以来，为满足日益旺盛的自动化生产需求，工业领域率先开启了对机器人的大范围应用，并在极短的时间内实现了规模化的发展。而机械臂主要由关节模块和连杆串联组成，其关节模块则是由伺服系统控制器、伺服电机、传动装置以及传感器组成。由伺服电机和驱动器组成的关节模组，随着高性能运动控制技术不断进步，已经在各个领域得到了相当广泛的应用。其中，永磁同步电机具有高效、轻量化、高功率密度等优点，因此被广泛应用于机器人伺服系统中，作为机器人执行器的核心模块，为满足流水线作业的工作节拍和定位精度要求，通常要求永磁同步电机具备优良的位置伺服性能。然而，永磁同步电机是一个多变量，强耦合且具有外部干扰的非线性控制对象。在这种情况下，传统的线性控制方法难以保证关节伺服系统的运行性能。随着非线性控制理论的快速发展，如自适应控制，滑模控制，模型预测控制等都已成功应用于永磁同步电动机的鲁棒控制中，但这些方法对电机参数依赖性强，控制器参数不易整定。其中，模型预测控制思路是结合当前系统的测量值以及预测模型来预测未来一段时间内的控制输出，并通过求解各种带约束的优化问题使得系统在未来一段时间内误差最小。基于此，模型预测控制器鲁棒性较其他控制方法强，精度更高，应用也更为普遍。传统的模型预测控制策略存在着如下几点不足：

1.基于离散时间模型的控制策略，如申请号为CN201710727012.8的中国专利公开了一种永磁同步伺服系统位置预测控制方法，以及文献(徐楠等，永磁同步电机改进预测电流控制[J].电机与控制应用，2017，44(07))。这类控制器的设计过程中受采样周期的影响较大，过小的采样周期容易导致较大的预测时域，进而计算量增加，影响实时性，而过大的采样周期又会导致系统抗扰动能力下降，因此在实际应用中增加了控制器的设计难度。

2.基于连续时间模型的控制策略，如申请号为CN202010970766.8的中国专利公开了一种基于广义预测控制的永磁同步电机级联控制方法，以及文献(陈炜等，双轴联动系统广义预测交叉耦合位置控制[J].控制理论与应用，2018，35(03))。首先，基于连续时间模型的广义预测控制作为模型预测控制的一种，不仅具有强鲁棒性、动态响应快和方便处理系统约束，还具有计算效率高，易于工程实现的优点。但该方法是基于标称系统建模，因此当存在负载干扰、模型参数漂移、未建模动态时，传统方法不能保证控制参数仍适应于工况变化的情况，其控制性能会受到影响。

综上，传统的连续型模型预测控制方法依赖于标称系统模型，对参数十分敏感，并且其设计分析需要一定的人工经验，控制效果会受到不同的系统工况和时变扰动因素的影响，参数不易调整。因此，设计一个控制器参数能够自调节的优化学习控制器成为亟待解决的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种机器人关节模组分散式优化学习控制方法及系统，解决电机控制系统存在模型不准确，参数变化和外部扰动时控制效果下降的问题，同时提高了伺服系统的动态响应和鲁棒性。

本发明的目的可以通过以下技术方案来实现：

一种机器人关节模组分散式优化学习控制方法，包括以下步骤：

S1、构建模型预测控制器，所述模型预测控制器用于实现对机器人关节模组电机转子位置的优化控制；

S2、构建状态观测器，所述状态观测器用于实现对模型预测控制器中预测模型偏差的修正；

S3、构建强化学习模型，所述强化学习模型用于对模型预测控制器中的可变预测时域进行优化；

其中，状态观测器的构建包括以下步骤：

S201、采集安装于关节模组电机转子上的光电编码器反馈信号，得到转子实际位置；

S202、采集电机A、B两相电流信号，并经过Clark变换和Park变换得到q轴测量电流和d轴测量电流；

S203、基于所述转子实际位置、q轴测量电流和d轴测量电流，根据磁场定向理论，以分散式控制思想，建立独立电机控制系统在旋转坐标系d-q下的运动方程∑₁；

S204、确定q轴给定电流信号，基于该给定电流信号、转子实际位置及运动方程∑₁，构建运动方程∑₂；

S205、将所述运动方程∑₂表示为状态空间模型，基于所述状态空间模型构造状态观测器；

模型预测控制器的构建包括以下步骤：

S101、定义优化性能指标；

S102、定义控制输入的约束条件；

S103、基于所述优化性能指标及约束条件，定义优化控制输入，通过求解优化问题得到优化控制输入。

强化学习模型的构建包括以下步骤：

S301、定义位置跟踪误差；

S302、选择状态空间及动作空间；

S303、设计奖励函数。

进一步地，所述独立电机控制系统在旋转坐标系d-q下的运动方程∑₁的表达式为：

∑₁：

其中，θ_m(t)为转子实际位置，L_d、L_q分别为d、q轴定子电感；i_d、i_q分别为d、q轴定子电流；n_p为极对数；ω_m(t)为转子实际角速度；ψ_f为永磁体产生的磁链；J为系统的转动惯量；B_v为系统的粘滞摩擦系数；T_L为外部负载转矩；ΔT为模型参数摄动引起的转矩干扰量。

进一步地，确定q轴给定电流信号

将

作为系统输入，转子实际位置θ_m(t)作为系统输出，构建运动方程∑₂，其表达式为：

∑₂：

其中：

为θ_m(t)的二阶导数，b(t)＝K_t/J为控制器增益，K_t为转矩常数；u＝i_q ^*为控制输入；f(t)为包含电流环跟踪误差、负载转矩、粘滞摩擦以及因模型参数摄动引起的转矩干扰量的集总扰动；K_t表达式为：

进一步地，选择转子实际位置θ_m(t)和转子实际角速度ω_m(t)分别为状态变量x₁和x₂，将所述运动方程∑₂表示为状态空间模型∑₃，其表达式为：

∑₃：

基于所述状态空间模型∑₃构造状态观测器∑₄，其表达式为：

∑₄：

其中：b₀为b(t)的标称值，z₁为θ_m(t)的观测值，z₂为ω_m(t)的观测值，z₃为f(t)的观测值；l_i(i＝1，2，3)为状态观测器增益，用于调节系统的观测性能。

进一步地，定义优化性能指标，其表达式为：

其中：T_p为可变预测时域；

为τ时刻后系统的期望参考位置；θ_m(t+τ)为τ时刻后系统的位置预测输出。

进一步地，定义控制输入的约束条件为：

u_min＜u＜u_max

其中：u_max为i_q最大限幅值，u_min为i_q最小限幅值。

进一步地，基于所述优化性能指标及约束条件，定义优化控制输入u^*，

u^*＝argminJ(u)

通过求解如下优化问题得到优化控制输入u^*：

其中：θ_r(t)、ω_r(t)、a_r(t)分别为转子参考位置、转子参考角速度和转子参考角加速度。

进一步地，所述构建强化学习模型，用于对模型预测控制器中的可变预测时域T_p进行优化，可变预测时域T_p的选择过程等效为马尔可夫决策过程，包括以下步骤：

定义位置跟踪误差e(t)为：

e(t)＝θ_m(t)-θ_r(t)

选择状态空间为：

选择动作空间为T_p，设计奖励函数r(t)满足：

其中：β_i(i＝1，2，3)为奖励系数，∈_i(i＝1，2)为误差阈值；

通过所述强化学习模型实现对可变预测时域T_p的自学习，以得到最优预测时域。

进一步地，当转子实际位置接近转子参考位置时，给出正奖励β₁和β₂，且β₁＞β₂；当转子实际位置远离转子参考位置时，给出负奖励-β₃。

一种机器人关节模组分散式优化学习控制系统，用于实现如上所述的一种机器人关节模组分散式优化学习控制方法，包括状态观测模块、模型预测控制模块及参数优化模块；

所述模型预测控制模块用于实现对机器人关节模组电机转子位置的优化控制；

所述状态观测模块用于实现对模型预测控制模块中预测模型偏差的修正；

所述参数优化模块用于实现对可变预测时域的自学习，以得到最优预测时域。

与现有技术相比，本发明具有以下有益效果：

1.本发明利用输入和输出信号来同步估计不可测量的状态和集总干扰，并将扰动与转子角速度的估计信息补偿到输出位置预测过程中，提高了位置预测精度和系统的鲁棒性。

2.本发明基于优化学习的控制思想，可以解决系统存在模型不准确，参数变化和外部扰动时控制效果下降的问题，提高了系统的自适应能力，显示出关节模组对复杂环境有更好的鲁棒性。

附图说明

图1为本发明的整体系统框图；

图2为优化学习控制器及P-PI控制器在常值扰动下的位置跟踪效果对比图；

图3为优化学习控制器及P-PI控制器在正弦扰动下的位置跟踪效果对比图；

图4为优化学习控制器在常值扰动下的q轴电流示意图；

图5为P-PI控制器在常值扰动下的q轴电流示意图；

图6为优化学习控制器在正弦扰动下的q轴电流示意图；

图7为P-PI控制器在正弦扰动下的q轴电流示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明首先通过构造状态观测器，实现对预测模型偏差的修正。其次，通过求解位置跟随误差性能指标的优化问题，得到最优控制律。进一步，通过设计强化学习网络实现对预测时域的自学习。

如图1所示，为本实施例提供的一种机器人关节模组分散式优化学习控制系统，包括状态观测模块、模型预测控制模块及参数优化模块；

其中，模型预测控制模块包括预测模型单元、优化求解单元及性能指标及约束条件单元；模型预测控制模块用于实现对机器人关节模组电机转子位置的优化控制；

状态观测模块与所述模型预测控制模块相连，用于实现对模型预测控制模块中预测模型偏差的修正；

参数优化模块用于实现对可变预测时域的强化学习，以得到最优预测时域，并将该最优预测时域传递给模型预测控制模块。

基于该机器人关节模组分散式优化学习控制系统，能够实现一种机器人关节模组分散式优化学习控制方法，该方法包括以下步骤：

S1、构建模型预测控制器，模型预测控制器用于实现对机器人关节模组电机转子位置的优化控制；

S2、构建状态观测器，状态观测器用于实现对模型预测控制器中预测模型偏差的修正；

S3、构建强化学习模型，强化学习模型用于对模型预测控制器中的可变预测时域进行优化；

其中，状态观测器的构建包括以下步骤：

步骤1)通过采集安装于关节模组电机转子上的光电编码器反馈信号，得到转子实际位置θ_m(t)；

通过硬件ADC采集电机A、B两相电流信号，并经过Clark变换(ClarkeTransformation，克拉克变换)和Park变换(Park′s Transformation，帕克变换)得到q轴测量电流i_q和d轴测量电流i_d；

步骤2)：基于转子实际位置、q轴测量电流和d轴测量电流，根据磁场定向理论，以分散式控制思想，建立独立电机控制系统在旋转坐标系d-q下的运动方程∑₁：

∑₁：

其中，θ_m(t)为转子实际位置，L_d、L_q分别为d、q轴定子电感；i_d、i_q分别为d、q轴定子电流；n_p为极对数；ω_m(t)为转子实际角速度；ψ_f为永磁体产生的磁链；J为系统的转动惯量；B_v为系统的粘滞摩擦系数；T_L为外部负载转矩；ΔT为模型参数摄动引起的转矩干扰量。

进一步，确定q轴给定电流信号

作为系统输入，转子实际位置θ_m(t)作为系统输出，构建运动方程∑₂：

∑₂：

其中：

为θ_m(t)的二阶导数，b(t)＝K_t/J为控制器增益，K_t为转矩常数；u＝i_q ^*为控制输入；f(t)为包含电流环跟踪误差、负载转矩、粘滞摩擦以及因模型参数摄动引起的转矩干扰量的集总扰动；K_t表达式为：

步骤3)：选择转子实际位置θ_m(t)和转子实际角速度ω_m(t)分别为状态变量x₁和x₂，将所述运动方程∑₂表示为状态空间模型∑₃，其表达式为：

∑₃：

基于状态空间模型∑₃构造状态观测器∑₄，其表达式为：

∑₄：

其中：b₀为b(t)的标称值，z₁为θ_m(t)的观测值，z₂为ω_m(t)的观测值，z₃为f(t)的观测值；l_i(i=1，2，3)为状态观测器增益，用于调节系统的观测性能。

模型预测控制器的构建包括以下步骤：

步骤4)：定义优化性能指标，其表达式为：

其中：T_p为可变预测时域；

为τ时刻后系统的期望参考位置；θ_m(t+τ)为τ时刻后系统的位置预测输出。

进一步，定义控制输入的约束条件为：

u_min＜u＜u_max

其中：u_max为i_q最大限幅值，u_min为i_q最小限幅值。

基于优化性能指标及约束条件，定义优化控制输入u^*：

u^*＝argminJ(u)

通过求解如下位置跟随误差性能指标的优化问题得到优化控制输入，即最优控制律u^*：

其中：θ_r(t)、ω_r(t)、a_r(t)分别为转子参考位置、转子参考角速度和转子参考角加速度。

上述步骤4)中可变预测时域T_p的选择过程等效为马尔可夫决策过程，包括以下步骤：

定义位置跟踪误差e(t)为：

e(t)＝θ_m(t)-θ_r(t)

选择状态空间为：

当认为控制能量的约束恒定时，选择T_p作为动作，对其进行调整与探索，并依据动作后获得的奖励大小改进优化动作，即T_p作为动态参数根据环境变化实时更新；

将当前电机控制系统作为环境，负责在参数变化后给出实时状态。奖励函数定义随着误差的减小而奖励逐渐增大，误差减小到一定程度时给予正向奖励，奖励函数定义为：

其中：β_i(i＝1，2，3)为奖励系数，∈_i(i＝1，2)为误差阈值；

通过强化学习模型实现对可变预测时域T_p的自学习，以得到最优预测时域。当转子实际位置接近转子参考位置时，给出正奖励β₁和β₂，且β₁＞β₂；当转子实际位置远离转子参考位置时，给出负奖励-β₃，从而最大化奖励函数，以提高动态性能。

具体实施时，本实施例在机器人关节模组中所选用的永磁同步电机电气参数规格如表1所示：

表1永磁同步电机电气参数

作为一种具体实施案例，本实施例选取DDPG强化学习算法进行T_p的自学习。在其他实施方式中，可根据不同需求选择其他类型的强化学习算法以实现相同功能。其中，DDPG强化学习算法中Critic网络设置两个隐藏层，每个隐藏层有64个单元；在输入层中有5个单元，包括4个状态和1个动作。Actor网络设置一个隐藏层，由128个神经元组成的全连接层，并且输出层激活函数选取为双曲正切函数。此外，状态观测器∑₄中增益选取满足l₁＝3ω₀，l₂＝3ω₀ ²，l₃＝ω₀ ³，其中ω₀为观测器带宽因子。

下面通过仿真实验说明本发明的有效性。结合本实例中选用的永磁同步电机关节模组，如表2所示，分别将本发明优化学习控制器和P-PI双闭环控制器参数设置为：

表2控制器参数选择

其中：K_θ，p和K_ω，p分别是位置环与速度环比例增益系数，K_ω，i是速度环积分增益系数。

设计如下两种工况：

1)给定θ_r＝500°的阶跃信号，在0.2s时干扰力矩设置为T_L＝0.1Nm。

2)给定θ_r＝500°的阶跃信号，在0.2s时干扰力矩设置为T_L＝0.1sin(2πt)Nm。

图2至图5分别给出了在常值负载干扰和正弦负载干扰下，本发明提出的优化学习控制器和传统P-PI双闭环控制器的位置跟踪曲线、q轴电流响应曲线。从实验结果可以明显看出，本发明提供的优化学习控制设计方法可以很好地抑制系统中的不同干扰。特别地，从正弦负载扰动的位置输出曲线可以看出，本发明提供的优化学习控制方法，相较于传统的双闭环控制器有了显著的提升，并且预测控制的预测周期T_p，根据系统模型结合强化学习机制动态更新，实现了控制器参数自学习，提高了伺服系统的动态响应和鲁棒性。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种机器人关节模组分散式优化学习控制方法，其特征在于，包括以下步骤：

构建模型预测控制器，所述模型预测控制器用于实现对机器人关节模组电机转子位置的优化控制；

构建状态观测器，所述状态观测器用于实现对模型预测控制器中预测模型偏差的修正；

构建强化学习模型，所述强化学习模型用于对模型预测控制器中的可变预测时域进行优化；

其中，状态观测器的构建包括以下步骤：

采集安装于关节模组电机转子上的光电编码器反馈信号，得到转子实际位置；

采集电机A、B两相电流信号，并经过Clark变换和Park变换得到q轴测量电流和d轴测量电流；

基于所述转子实际位置、q轴测量电流和d轴测量电流，根据磁场定向理论，以分散式控制思想，建立独立电机控制系统在旋转坐标系d-q下的运动方程∑₁；

确定q轴给定电流信号，基于该给定电流信号、转子实际位置及运动方程∑₁，构建运动方程∑₂；

将所述运动方程∑₂表示为状态空间模型，基于所述状态空间模型构造状态观测器；

模型预测控制器的构建包括以下步骤：

定义优化性能指标；

定义控制输入的约束条件；

基于所述优化性能指标及约束条件，定义优化控制输入，通过求解优化问题得到优化控制输入；

强化学习模型的构建包括以下步骤：

定义位置跟踪误差；

选择状态空间及动作空间；

设计奖励函数。

2.根据权利要求1所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，所述独立电机控制系统在旋转坐标系d-q下的运动方程∑₁的表达式为：

其中，θ_m(t)为转子实际位置，L_d、L_q分别为d、q轴定子电感；i_d、i_q分别为d、q轴定子电流；n_p为极对数；ω_m(t)为转子实际角速度；ψ_f为永磁体产生的磁链；J为系统的转动惯量；B_v为系统的粘滞摩擦系数；T_L为外部负载转矩；ΔT为模型参数摄动引起的转矩干扰量。

3.根据权利要求2所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，确定q轴给定电流信号

将

作为系统输入，转子实际位置θ_m(t)作为系统输出，构建运动方程∑₂，其表达式为：

其中：

为θ_m(t)的二阶导数，b(t)＝K_t/J为控制器增益，K_t为转矩常数；u＝i_q ^*为控制输入；f(t)为包含电流环跟踪误差、负载转矩、粘滞摩擦以及因模型参数摄动引起的转矩干扰量的集总扰动；K_t表达式为：

4.根据权利要求3所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，选择转子实际位置θ_m(t)和转子实际角速度ω_m(t)分别为状态变量x₁和x₂，将所述运动方程∑₂表示为状态空间模型∑₃，其表达式为：

基于所述状态空间模型∑₃构造状态观测器∑₄，其表达式为：

其中：b₀为b(t)的标称值，z₁为θ_m(t)的观测值，z₂为ω_m(t)的观测值，z₃为f(t)的观测值；

为状态观测器增益，用于调节系统的观测性能。

5.根据权利要求1所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，定义优化性能指标，其表达式为：

其中：T_p为可变预测时域；

为τ时刻后系统的期望参考位置；θ_m(t+τ)为τ时刻后系统的位置预测输出。

6.根据权利要求5所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，定义控制输入的约束条件为：

u_min＜u＜u_max

其中：u_max为i_q最大限幅值，u_min为i_q最小限幅值。

7.根据权利要求6所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，基于所述优化性能指标及约束条件，定义优化控制输入u^*，

u^*＝argminJ(u)

通过求解如下优化问题得到优化控制输入u^*：

其中：θ_r(t)、ω_r(t)、a_r(t)分别为转子参考位置、转子参考角速度和转子参考角加速度。

8.根据权利要求6所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，所述构建强化学习模型，用于对模型预测控制器中的可变预测时域T_p进行优化，可变预测时域T_p的选择过程等效为马尔可夫决策过程，包括以下步骤：

定义位置跟踪误差e(t)为：

e(t)＝θ_m(t)-θ_r(t)

选择状态空间为：

选择动作空间为T_p，设计奖励函数r(t)满足：

其中：β_i(i＝1，2，3)为奖励系数，∈_i(i＝1，2)为误差阈值；

通过所述强化学习模型实现对可变预测时域T_p的自学习，以得到最优预测时域。

9.根据权利要求8所述的一种机器人关节模组分散式优化学习控制方法，其特征在于，当转子实际位置接近转子参考位置时，给出正奖励β₁和β₂，且β₁＞β₂；当转子实际位置远离转子参考位置时，给出负奖励-β₃。

10.一种机器人关节模组分散式优化学习控制系统，其特征在于，用于实现如权利要求1-9任一所述的一种机器人关节模组分散式优化学习控制方法，包括状态观测模块、模型预测控制模块及参数优化模块；

所述模型预测控制模块用于实现对机器人关节模组电机转子位置的优化控制；

所述状态观测模块用于实现对模型预测控制模块中预测模型偏差的修正；

所述参数优化模块用于实现对可变预测时域的自学习，以得到最优预测时域。

Images