CN108973578B - 基于深度强化学习的agv悬挂系统弹性调节方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的AGV悬挂系统弹性调节方法，AGV小车车轮底板上分别安装若干由电机控制弹性可调的弹性单元；采集IMU数据流，获取垂直方向上的加速度数据，并绘制曲线a(t)；判断是否需要调整等效弹性系数：当收到需要电机介入控制的信号后，通过神经网络算法开始计算调整动作；通过算法处理，控制电机，调整丝杆上滑块的位置，从而控制弹簧压缩量。本发明采用深度确定性策略梯度算法学习弹性组合单元的等效弹性系数自适应变化控制规律，以神经网络为载体，根据传感器对当前弹性单元软硬度的感知，自动计算各个弹簧丝杆电机的输出量，实现弹性单元弹性系数变化的自动控制。

Description

基于深度强化学习的AGV悬挂系统弹性调节方法

技术领域

本发明涉及AGV技术领域，特别涉及到一种基于深度强化学习的AGV悬挂系统弹性调节方法。

背景技术

AGV是(Automated Guided Vehicle)的缩写，意即“自动导引运输车”，随着AGV技术的兴起，对AGV小车的稳定性的要求越来越高，减震性能是AGV小车的基本要求。目前AGV普遍采用的悬挂系统为1个弹簧被动减震，无法实现等效弹性系数可调，当小车承载货物较轻时，弹簧压缩量较小，此时悬挂系统弹性偏硬，容易出现小车频繁跳动现象；当小车承载货物较重时，弹簧压缩量较大，此时悬挂系统弹性偏软，遇到凹凸不平地面时，小车上下震动幅度较大。因此如何实现悬挂系统的弹性调节，是目前亟需解决的问题。

发明内容

针对上述问题，本发明提供了一种基于深度强化学习的AGV悬挂系统弹性调节方法，通过AGV悬挂系统弹性可调来适应不同的路况，具有弹性调节范围广，实时性强等特点。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度强化学习的AGV悬挂系统弹性调节方法，包括：

步骤1、AGV小车各车轮底板上都安装由若干弹性可调的弹性单元组成的弹簧组合单元；

步骤2、AGV小车开始工作，所有弹性单元均承重，工控机采集IMU数据流，获取垂直方向上的加速度数据，并绘制曲线a(t)；

该曲线周期

该曲线最大正值a_max＝Ak/m＝A4π²/T²；

得：A＝ma_max/k＝a_maxT²/4π²；

其中m为小车及载物总质量；k为等效弹性系数；A为小车上下振动振幅；T为加速度曲线周期；a_max可直接从曲线a(t)获取数据；

步骤3、判断是否需要调整等效弹性系数：

步骤4：如需要调整，工控机通过神经网络算法开始计算调整动作；

步骤5：根据计算结构，工控机控制电机，调整弹性单元压缩量，从而调整等效弹性系数。

进一步的，步骤1所述弹性单元包括电机、联轴器、丝杆，滑块、弹簧；所述弹簧上端挂在滑块上，下端与车轮底板连接；所述电机受工控机控制，通过联轴器带动丝杠，控制滑块上下，进而调整弹簧伸缩量。

更进一步的，所述每个车轮底板的弹性单元通过固定板固定在一起，组成该底板的弹簧组合单元。

进一步的，步骤2所述IMU数据流由惯性测量单元IMU采集，所述惯性测量单元IMU设置在小车重心位置，与所述工控机通讯连接。

进一步的，步骤3所述判断方法为：

设定加速度曲线周期阈值T_min和小车上下振动振幅A_max,即T≥T_min且A＝ma_max/k≤A_max；

步骤301、如果加速度曲线的周期T≥T_min,且A＝a_maxT²/4π²≤A_max即a_max≤A_max4π²/T²，

则说明弹性单元软硬度适中，不需要介入控制。

步骤302、当加速度曲线的周期T＜T_min，说明此时弹性单元刚度过大，此时需要电机介入控制，降低等效弹性系数k，直到周期大于等于T_min且a_max≤A_max4π²/T²。电机停止工作。

步骤303、当小车上下振幅A＞A_max，说明此时弹性单元刚度过小，此时需要电机介入控制，调大等效弹性系数k，直到a_max≤A_max4π²/T²，且周期大于等于T_min，电机停止工作。

进一步的，步骤4所述计算调整动作的方法包括：采用深度确定性策略梯度算法学习弹簧组合单元的等效弹性系数自适应变化控制规律；即采用两个神经网络，一个神经网络作为Actor，输入为系统的状态，输出为系统的动作；另外一个神经网络作为Critic，输入为系统的状态，系统的动作，输出为评估函数。

更进一步的，所述计算的具体步骤为：

步骤401、定义Actor网络的输入为IMU一段时间内(Δt)的加速度均值μ_a和方差σ_a以及当前各个弹簧的位置x₁，x₂，……，x_n，输出为各个弹簧的Δx₁，Δx₂，……，Δx_n；Actor神经网络为三层全连接层，第一层的神经元数量由输入的状态维度决定，第二层的神经元数量包含256个神经元，第三层的神经元数量由输出的动作维度决定，具体由弹簧的数量决定，两层神经元之间的激活函数为sigmoid函数，具体为

步骤402、定义Critic网络的输入为Actor网络的输入以及Actor网络的输出，Critic网络的输出为反应震动状态的加速度均值μ_a和方差σ_a得线性相关的评估函数，具体为：

f_eval＝-||μ_a||-||σ_a||

Critic神经网络为三层全连接层，第一层的神经元数量由Actor神经网络输入的状态维度以及Actor神经网络输出的动作维度共同决定，第二层的神经元数量包含128个神经元，第三层的神经元数量为1，两层神经元之间的激活函数为sigmoid函数；

步骤403、以评估函数最大化为训练目标，借助梯度下降法和反向梯度传播方法对神经网络的参数逐级进行训练，迭代训练直至网络收敛，训练过程用公式表示为：

其中E为上一层神经元的误差，W为本层神经元的参数，W^*为本层神经网络参数更新后的结果。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明采用多个弹簧并联结构，且每个弹簧都能独立控制其压缩量组成一个弹性单元系统，多个弹簧通过协同工作组成的弹性单元系统，等效弹性系数可调，弹簧越多，等效弹性系数可调范围越大，灵活性越强；

(2)本发明采用深度确定性策略梯度算法学习弹簧组合单元的等效弹性系数自适应变化控制规律，以神经网络为载体，根据传感器对当前弹性单元软硬度的感知，自动计算各个弹簧丝杆电机的输出量，实现弹性单元弹性系数变化的自动控制。

附图说明

图1是本发明的结构示意图；

图2是本发明弹性单元自适应控制流程图；

图3是本发明深度确定性策略梯度框架图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明的目的是提供一种电控可调弹簧组合刚度的弹性单元，可使AGV悬挂系统弹性可调，来适应不同的路况，具有弹性调节范围广，实时性强等特点。目前AGV普遍采用的悬挂系统为1个弹簧被动减震，无法实现弹性可调。若采用多个弹簧并联结构，且每个弹簧都能独立控制其压缩量组成一个弹性单元系统，多个弹簧通过协同工作组成的弹性单元系统，其最大优势是等效弹性系数可调，且弹簧越多，其等效弹性系数可调范围越大，灵活性越强。可以根据实际需求选择最适合的弹簧数量，使弹性单元软硬度在一个合理范围内，将对AGV小车在运动中的稳定性大大提升。本发明正是利用上述弹性单元系统等效弹性系数可调的特点，通过将多个弹簧并联组合成悬挂系统弹性单元，且每个弹簧搭载一个电机驱动，通过独立控制每个弹簧压缩量及启用不同的弹簧组合，从而控制弹性单元的等效弹性系数。另外，本发明采用深度确定性策略梯度算法学习弹簧组合单元的等效弹性系数自适应变化控制规律，以神经网络为载体，根据传感器对当前弹性单元软硬度的感知，自动计算各个弹簧丝杆电机的输出量，实现弹性单元弹性系数变化的自动控制。

本发明所述的等效弹性系数，定义如下：

等效弹性系数：由n个平行弹簧构成的弹簧组，弹簧1的弹性系数为k₁，弹簧2的弹性系数为k₂，……弹簧n的弹性系数为k_n，

当此弹簧组受到外力F的作用时，根据胡克定律可知:

F＝kΔx (1)

此时，k为此弹簧组的等效弹性系数，Δx为弹簧组等效伸缩量。

等效弹性系数在本发明中应用在弹簧组合单元上，如图1所示，在AGV小车车轮底板1上分别安装弹簧组合单元：

弹簧组合单元包括固定板2和若干个丝杆弹性单元组成。

每个丝杆弹性单元由电机3、联轴器4、丝杆5，滑块6、弹簧7组成。

弹簧个数可以是2个或更多，布局为中心对称。

弹簧7上端挂在滑块6上，下端与底板1连接。

电机3连接工控机，接受工控机控制用来控制滑块6上下，进而调整弹簧伸缩量。

在AGV小车通过安装一个惯性测量单元IMU来感知路面颠簸情况。采集加速度传感器数据，在路面平整的情况下，小车平稳运行，在竖直方向上，其加速度约等于0，以时间为自变量，则可以描述为一条接近恒等于0的直线。在路面不平整的情况下，小车在竖直方向上的发生颠簸，加速度反映为一条上下波动的周期性曲线。该曲线与两个关键参数相关：小车上下波动位移z和波动周期T。

根据牛顿定律与胡克定律可知：

F＝kz ②

其中z为小车上下波动位移；F为弹性单元弹力，m为小车及载物总质量。k为等效弹性系数。

由①和②得：

其特征方程为：

其特征根为：

i为虚数；

则微分方程通解为：

其中，C₁和C₂为任意常数。

当t＝0时，在平衡位置，其特征解：

z(t＝0)＝0＝C₁

假定振幅为A，C₂＝A

由此可知：加速度曲线的周期

当

时，求得加速度曲线的最大值：

a_max＝Ak/m；

A＝ma_max/k； ④

由公式③④得知：

波动周期T和小车上下振动振幅A均与等效弹性系数k负相关。

路面颠簸情况分为两种：一种为等效弹性系数k太大，即弹性单元偏硬，容易导致跳车行为，此时反映在曲线上的状态是波动周期T过小；另一种为等效弹性系数k太小，即弹性单元偏软，小车上下振动幅度A过大，此时反映在加速度曲线上的状态是最大加速度a_max过大。

设置小车上下振动振幅阈值为A_max,加速度曲线周期阈值为T_min。

当电机未介入弹性单元，即初始状态，所有弹簧均承重。

AGV行驶过程中，当小车上下振幅大于A_max，说明此时弹性单元刚度过小，此时主控单元向电机驱动单元发送指令，通过调整电机压缩量或增加弹簧使用个数，调大等效弹性系数k，直到振幅数值小于A_max，且周期大于T_min，电机停止工作。

即：A＝ma_max/k≤A_max

得：k≥ma_max/A_max ⑤

当采集的加速度传感器曲线周期小于T_min，说明此时弹性单元刚度过大，此时主控单元向电机驱动单元发送指令，通过降低电机对弹簧的施压力或减少弹簧使用个数，来降低弹性单元刚度，直到周期大于T_min且振幅数值小于A_max。电机停止工作。

即：

得：k≤4mπ²/T_min ² ⑥

本专利通过调整弹性单元中的弹簧伸缩量，调整等效弹性系数，使等效弹性系数k满足条件⑤⑥。

本专利采取深度学习算法来调整弹簧组合单元等效弹性系数。

深度学习算法描述：

由n个平行弹簧构成的弹簧组合单元，弹簧1的弹性系数为k₁，弹簧2的弹性系数为k₂，……弹簧n的弹性系数为k_n，

当此弹簧组合单元受到外力F的作用时，根据胡克定律可知:

F＝kΔx (1)

此时，k为此弹簧组合单元的等效弹性系数，Δx为弹簧组合单元等效伸缩量；

根据牛顿力学定律可知：

F＝k₁Δx₁+k₂Δx₂+……+k_nΔx_n (2)

Δx₁，Δx₂，Δx_n为弹簧1、弹簧2及弹簧n的伸缩量。

弹簧组合单元的初始位置为X₀，形变量为Δx,

弹簧组合单元每一个弹簧的初始位置分别为

形变量分别为Δx₁，Δx₂，……，Δx_n

注意，弹簧组合单元一般收到外部压力的作用，因此ΔX通常为正；内部的弹簧长度可由丝杆控制，因此Δx可正可负。

根据公式(1)和(2)可知，通过调节Δx₁，Δx₂，……，Δx_n可以实现弹簧组合单元等效弹性系数的变化。具体调节规律采用端到端的深度强化学习方法学习得到。

因为惯性测量单元(以下简称IMU)测量的加速度信息和各个弹簧的Δx都是连续变量，所以我们采用深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法学习弹簧组合单元的等效弹性系数自适应变化控制规律。DDPG是一种基于行动者-评论家(Actor-Critic，AC)框架的算法，即采用两个神经网络，一个神经网络作为Actor，输入为系统的状态，输出为系统的动作；另外一个神经网络作为Critic，输入为系统的状态，系统的动作，输出为评估函数。两个神经网络的训练采用梯度下降法，循环迭代直至收敛。

算法策略控制的原则：

弹簧使用个数由少至多，越少越好。

深度确定性策略梯度的框架具体如图3所示。

根据以上原理，

定义Actor网络的输入为IMU一段时间内(Δt)的加速度均值μ_a和方差σ_a以及当前各个弹簧的位置x₁，x₂，……，x_n，输出为各个弹簧的Δx₁，Δx₂，……，Δx_n。

Actor神经网络为三层全连接层，第一层的神经元数量由输入的状态维度决定，第二层的神经元数量包含256个神经元，第三层的神经元数量由输出的动作维度决定，具体由弹簧的数量决定，两层神经元之间的激活函数为sigmoid函数，具体为

定义Critic网络的输入为Actor网络的输入以及Actor网络的输出，Critic网络的输出为反应震动状态的加速度均值μ_a和方差σ_a得线性相关的评估函数，具体为：

f_eval＝-||μ_a||-||σ_a||

与Actor神经网络类似，Critic神经网络同样为三层全连接层，第一层的神经元数量由Actor神经网络输入的状态维度以及Actor神经网络输出的动作维度共同决定，第二层的神经元数量包含128个神经元，第三层的神经元数量为1，两层神经元之间的激活函数为sigmoid函数。

以评估函数最大化为训练目标，借助梯度下降法和反向梯度传播方法可对神经网络的参数逐级进行训练，迭代训练直至网络收敛，训练过程可用公式表示为：

其中E为上一层神经元的误差，W为本层神经元的参数，W^*为本层神经网络参数更新后的结果。

由于神经网络训练需要大量的数据保证收敛，现实中很难获取大量的真实数据，我们采用先在仿真环境里训练，然后再在实物上Fine-Tune的策略保证学习的效率和质量。

如图2，流程描述：

步骤1：小车开始工作，此时电机驱动暂未介入弹性单元，即初始状态，所有弹簧均承重。采集IMU数据流，获取垂直方向上的加速度数据，并绘制曲线a(t)。

该曲线周期

该曲线最大值a_max＝A_maxk/m＝A_max4π²/T²。

步骤2：判断是否需要调整等效弹性系数：

①如果加速度曲线的周期T≥T_min,且A＝a_maxT²/4π²≤A_max即a_max≤A_max4π²/T²，则说明弹性单元软硬度适中，不需要介入控制。

②当加速度曲线的周期T＜T_min，说明此时弹性单元刚度过大，此时需要电机介入控制，降低等效弹性系数k，直到周期大于等于T_min且a_max≤A_max4π²/T²。电机停止工作。

③当小车上下振幅A大于A_max，说明此时弹性单元刚度过小，此时需要电机介入控制，调大等效弹性系数k，直到a_max≤A_max4π²/T²，且周期大于等于T_min，电机停止工作。

步骤3：当收到需要电机介入控制的信号后，神经网络开始计算调整动作。

步骤4：通过算法，控制电机，调整丝杆上滑块的位置，从而控制弹簧压缩量。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (7)

1.一种基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，包括：

步骤1、AGV小车各车轮底板上都安装由若干弹性可调的弹性单元组成的弹簧组合单元；

步骤2、AGV小车开始工作，所有弹性单元均承重，工控机采集IMU数据流，获取垂直方向上的加速度数据，并绘制曲线a(t)；

该曲线周期

该曲线最大正值a_max＝Ak/m＝A*4π²/T²；

得出：A＝ma_max/k＝a_maxT²/4π²；

其中m为小车及载物总质量；k为等效弹性系数；A为小车上下振动振幅；T为加速度曲线周期；a_max可直接从曲线a(t)获取数据；

步骤3、判断是否需要调整等效弹性系数：

步骤4：如需要调整，工控机通过神经网络算法开始计算调整动作；

步骤5：根据计算结构，工控机控制电机，调整弹性单元压缩量，从而调整等效弹性系数。

2.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤1所述弹性单元包括电机、联轴器、丝杆，滑块、弹簧；所述弹簧上端挂在滑块上，下端与车轮底板连接；所述电机受工控机控制，通过联轴器带动丝杠，控制滑块上下，进而调整弹簧伸缩量。

3.根据权利要求1或2所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，所述每个车轮底板的弹性单元通过固定板固定在一起，组成该底板的弹簧组合单元。

4.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤2所述IMU数据流由惯性测量单元IMU采集，所述惯性测量单元IMU设置在小车重心位置，与所述工控机通讯连接。

5.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤3的判断方法为：

设定加速度曲线周期阈值T_min和小车上下振动振幅阈值A_max,即T≥T_min且A＝ma_max/k≤A_max；

步骤301、如果加速度曲线的周期T≥T_min,且A＝a_maxT²/4π²≤A_max即a_max≤A_max4π²/T²；

则说明弹性单元软硬度适中，不需要介入控制；

步骤302、当加速度曲线的周期T＜T_min，说明此时弹性单元刚度过大，此时需要电机介入控制，降低等效弹性系数k，直到周期大于等于T_min且a_max≤A_max4π²/T²；电机停止工作；

步骤303、当小车上下振动振幅A＞A_max，说明此时弹性单元刚度过小，此时需要电机介入控制，调大等效弹性系数k，直到a_max≤A_max4π²/T²，且周期大于等于T_min，电机停止工作。

6.根据权利要求1所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，步骤4所述计算调整动作的方法包括：采用深度确定性策略梯度算法学习弹簧组合单元的等效弹性系数自适应变化控制规律；即采用两个神经网络，一个神经网络作为Actor，输入为系统的状态，输出为系统的动作；另外一个神经网络作为Critic，输入为系统的状态，系统的动作，输出为评估函数。

7.根据权利要求6所述的基于深度强化学习的AGV悬挂系统弹性调节方法，其特征在于，所述计算的具体步骤为：

步骤401、定义Actor网络的输入为IMU一段时间内(Δt)的加速度均值μ_a和方差σ_a以及当前各个弹簧的位置x₁，x₂，……，x_n，输出为各个弹簧的Δx₁，Δx₂，……，Δx_n；Actor神经网络为三层全连接层，第一层的神经元数量由输入的状态维度决定，第二层的神经元数量包含256个神经元，第三层的神经元数量由输出的动作维度决定，具体由弹簧的数量决定，两层神经元之间的激活函数为sigmoid函数，具体为

步骤402、定义Critic网络的输入为Actor网络的输入以及Actor网络的输出，Critic网络的输出为反映震动状态的加速度均值μ_a和方差σ_a得线性相关的评估函数，具体为：

f_eval＝-||μ_a||-||σ_a||

Critic神经网络为三层全连接层，第一层的神经元数量由Actor神经网络输入的状态维度以及Actor神经网络输出的动作维度共同决定，第二层的神经元数量包含128个神经元，第三层的神经元数量为1，两层神经元之间的激活函数为sigmoid函数；

步骤403、以评估函数最大化为训练目标，借助梯度下降法和反向梯度传播方法对神经网络的参数逐级进行训练，迭代训练直至网络收敛，训练过程用公式表示为：

其中E为上一层神经元的误差，w为本层神经元的参数，w^*为本层神经网络参数更新后的结果。

Images