CN107992939A - 基于深度增强学习的等切削力齿轮加工方法 - Google Patents

Abstract

本发明涉及一种基于深度增强学习的等切削力齿轮加工方法，包括构建深度增强学习模型、构造输出干扰、构建仿真环境、建立奖励r_t计算模型、积累经验池、训练深度增强学习神经网络及利用训练好的深度强化学习模型控制插齿机等切削力的切削齿轮。本发明基于深度增强学习的等切削力齿轮加工方法，通过加入深度增强学习网络，解决插齿机等切削力的自动插齿问题，充分利用了插齿机的功率，大大加快了插齿机的切削效率并同时保证了工件的加工质量与加工过程的平稳性。

Description

基于深度增强学习的等切削力齿轮加工方法

技术领域

本发明属于强化学习算法技术领域，具体涉及一种基于深度增强学习的等切削力齿轮加工方法。

背景技术

大型齿轮被广泛应用于冶金，风力发电设备，船舶传动装置等方面。插齿法作为一种展成式加工方法，形成齿形包络线的切线数量由圆周进给量的大小决定，并可以选择，具有齿形精度高的优点，是加工大型圆柱齿轮的一种重要工艺方法。而大型插齿机作为加工大型圆柱齿轮的母机，由于主轴部件的往复惯量太大，插齿机通过高速化提高加工效率的方法难以实现，充分利用插齿机的负荷能力变得更为关键。理想的插齿机切削齿轮的工艺状态是切削力基本恒定在由工艺系统决定的合理的目标值。这样就可以充分发挥插齿机的加工能力，提高加工效率并同时保证了工件的加工质量与加工过程的平稳性。

发明内容

本发明的目的就是针对上述技术的不足，提供一种基于深度增强学习的等切削力齿轮加工方法，充分利用插齿机的负荷能力，解决大型插齿机加工效率低下和加工质量较低的问题。

为实现上述目的，本发明所设计的基于深度增强学习的等切削力齿轮加工方法包括如下步骤：

步骤1)构建深度增强学习模型

1.1)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θ^μ)网络、μ(s|θ^μ′)网络、Q(s,a|θ^Q)网络及Q(s,a|θ^Q′)网络共四个网络，即μ(s|θ^μ)网络为行为估计网络、μ(s|θ^μ′)网络为行为目标网络、Q(s,a|θ^Q)网络为评价估计网络、Q(s,a|θ^Q′)网络为评价目标网络；随机初始化μ(s|θ^μ)网络的参数θ^μ和随机初始化Q(s,a|θ^Q)网络的参数θ^Q，然后将μ(s|θ^μ)网络的参数θ^μ值赋予行为目标网络，即θ^μ′←θ^μ，将Q(s,a|θ^Q)网络的参数θ^Q值赋予评价目标网络，即θ^Q′←θ^Q；

1.2)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+1，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息的空间，n＝2×state_dim+action_dim+1这个公式中的1即为存储奖励信息的预留空间；

步骤2)构造输出干扰

根据当前输入状态s_t，通过网络得到动作a_t′，再设定一个均值为a_t′、方差为var²的随机正态分布从随机正态分布中随机得到一个实际输出动作a_t，随机正态分布对动作a_t′施加了干扰，用于探索环境，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；

步骤3)构建仿真环境

步骤4)建立奖励r_t计算模型

步骤5)积累经验池

5.1)根据当前输入状态s_t，通过网络得到动作a_t′，再根据步骤2)建立的输出干扰得到实际输出动作a_t，并从环境中得到奖励r_t和后续输入状态s_t+1，将当前输入状态s_t，实际输出动作a_t，奖励r_t和后续输入状态s_t+1存储在经验池中，并将当前输入状态s_t、实际输出动作a_t、奖励r_t、后续输入状态s_t+1统称为状态转移信息transition；

5.2)将后续输入状态s_t+1当做现在的当前输入状态s_t，重复步骤5.1)，将计算得到的状态转移信息transition存储在经验池中；

5.3)重复步骤5.2)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤5.2)便跳转执行一次步骤6)；

步骤6)训练深度增强学习神经网络

6.1)取样

从经验池中取出batch组样本供神经网络学习，batch代表自然数；

6.2)对评价网络参数进行更新

6.3)对行为估计网络参数进行更新

6.4)对目标网络参数进行更新

步骤7)利用步骤6)训练好的深度强化学习模型控制插齿机等切削力的切削齿轮

通过力学传感器得到当前输入状态s_t，深度增强学习网络根据当前输入状态s_t控制插齿机切削齿轮，并从环境中得到后续输入状态s_t+1。将后续输入状态s_t+1当做当前输入状态s_t，如此循环，直至深度增强学习模型控制插齿机将齿轮切削完成。

进一步地，所述步骤3)构建仿真环境的具体过程为：

通过matlab软件，建立切削面积和切削结果均与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系(即建立切削面积与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系，建立切削结果与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系)，其中切削面积插齿机切削力F＝Am×P，式中z代表工件齿数，m代表工件模数，p代表单位切削力，fc代表插齿刀径向位移量。

进一步地，所述步骤4)建立奖励r_t计算模型具体过程为：

根据当前状态S_t，通过步骤2)输出干扰得到实际输出动作值a_t，插齿机按照实际输出动作值a_t的参数运行后，通过步骤3)仿真环境中的工件齿数z、工件模数m、单位切削力p和插齿刀径向位移量x获取t时刻的插齿机切削力F_t，F_t为t时刻的插齿机切削力，规定的等切削力为F，误差允许范围σ，

奖励

进一步地，所述步骤6.2)对评价网络参数进行更新的具体过程为：

根据步骤6.1)中取出的batch组样本状态转移信息transition通过网络和网络分别得到每组状态转移信息对应的估计Q′值eval_Q′和目标Q′值target_Q′，进而得到时间差分错误TD_error′，TD_error′＝target_Q′-eval_Q′；t′为步骤5.3)中经验池空间被存储满后执行步骤5.2)的输入状态时刻，也就是说步骤5.3)中经验池空间被存储满后每执行一次步骤5.2)时的输入状态时刻即为t′；

根据时间差分错误TD_error′构造出损失函数Loss，Loss＝∑TD_error′/batch；

根据损失函数Loss使用梯度下降法对评价估计网络参数θ^Q进行更新。

进一步地，所述步骤6.3)对行为估计网络参数进行更新的具体过程为：

每batch组样本状态转移信息transition中的s_t通过网络和输出干扰得到对应的实际输出动作a_t，根据网络的估计Q′值eval_Q′对实际输出动作a_t求导数，得到估计Q′值对实际输出动作a_t的梯度 代表对实际输出动作a_t求导数；根据网络的实际输出动作a_t值对网络参数求导数，得到实际输出动作a_t值对网络参数的梯度其中代表着对行为估计网络的参数求导数；

估计Q值对实际输出动作a_t的梯度和实际输出动作a_t值对行为估计网络参数的梯度的乘积即为估计Q值对行为估计网络参数的梯度；

使用梯度上升法对行为估计网络参数进行更新。

进一步地，所述步骤6.4)对目标网络参数进行更新的具体过程为：

每间隔J回合，actor_eval的网络参数赋值给actor_target，每间隔K回合，critic_eval的网络参数赋值给critic_target，其中，J≠K。

本发明与现有技术相比，具有以下优点：本发明基于深度增强学习的等切削力齿轮加工方法，通过加入深度增强学习网络，解决插齿机等切削力的自动插齿问题，充分利用了插齿机的功率，大大加快了插齿机的切削效率并同时保证了工件的加工质量与加工过程的平稳性。

附图说明

图1是本发明基于深度增强学习的等切削力齿轮加工方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示为基于深度增强学习的等切削力齿轮加工方法的流程示意图，包括如下步骤：

步骤1)构建深度增强学习模型

1.1)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θ^μ)网络、μ(s|θ^μ′)网络、Q(s,a|θ^Q)网络及Q(s,a|θ^Q′)网络共四个网络，即μ(s|θ^μ)网络为行为估计网络、μ(s|θ^μ′)网络为行为目标网络、Q(s,a|θ^Q)网络为评价估计网络、Q(s,a|θ^Q′)网络为评价目标网络；随机初始化μ(s|θ^μ)网络的参数θ^μ和随机初始化Q(s,a|θ^Q)网络的参数θ^Q，然后将μ(s|θ^μ)网络的参数θ^μ值赋予行为目标网络，即θ^μ′←θ^μ，将Q(s,a|θ^Q)网络的参数θ^Q值赋予评价目标网络，即θ^Q′←θ^Q；

1.2)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+1，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息的空间，n＝2×state_dim+action_dim+1这个公式中的1即为存储奖励信息的预留空间；

步骤2)构造输出干扰

根据当前输入状态s_t，通过网络得到动作a_t′，再设定一个均值为a_t′、方差为var²的随机正态分布从随机正态分布中随机得到一个实际输出动作a_t，随机正态分布对动作a_t′施加了干扰，用于探索环境，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；

步骤3)构建仿真环境

通过matlab软件，建立切削面积和切削结果均与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系(即建立切削面积与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系，建立切削结果与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系)，其中切削面积插齿机切削力F＝Am×P，式中z代表工件齿数，m代表工件模数，p代表单位切削力，fc代表插齿刀径向位移量；

步骤4)建立奖励r_t计算模型

根据当前状态S_t，通过步骤2)输出干扰得到实际输出动作值a_t(即工件齿轮转角theta1，插齿刀转角theta2，和插齿刀径向进给量f_C)，插齿机按照实际输出动作值a_t的参数运行后，通过步骤3)仿真环境中的工件齿数z、工件模数m、单位切削力p和插齿刀径向位移量x获取t时刻的插齿机切削力F_t，F_t为t时刻的插齿机切削力，规定的等切削力为F，误差允许范围σ，

奖励

步骤5)积累经验池

5.1)根据当前输入状态s_t，通过网络得到动作a_t′，再根据步骤2)建立的输出干扰得到实际输出动作a_t，并从环境中得到奖励r_t和后续输入状态s_t+1，将当前输入状态s_t，实际输出动作a_t，奖励r_t和后续输入状态s_t+1存储在经验池中，并将当前输入状态s_t、实际输出动作a_t、奖励r_t、后续输入状态s_t+1统称为状态转移信息transition；

5.2)将后续输入状态s_t+1当做现在的当前输入状态s_t，重复步骤5.1)，将计算得到的状态转移信息transition存储在经验池中；

5.3)重复步骤5.2)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤5.2)便跳转执行一次步骤6)；

步骤6)训练深度增强学习神经网络

6.1)取样

从经验池中取出batch组样本供神经网络学习，batch代表自然数；

6.2)对评价网络参数进行更新

根据步骤6.1)中取出的batch组样本状态转移信息transition通过网络和网络分别得到每组状态转移信息对应的估计Q′值eval_Q′和目标Q′值target_Q′，进而得到时间差分错误TD_error′，TD_error′＝target_Q′-eval_Q′；t′为步骤5.3)中经验池空间被存储满后执行步骤5.2)的输入状态时刻，也就是说步骤5.3)中经验池空间被存储满后每执行一次步骤5.2)时的输入状态时刻即为t′；

根据时间差分错误TD_error′构造出损失函数Loss，Loss＝∑TD_error′/batch；

根据损失函数Loss使用梯度下降法对评价估计网络参数θ^Q进行更新；

6.3)对行为估计网络参数进行更新

每batch组样本状态转移信息transition中的s_t通过网络和输出干扰得到对应的实际输出动作a_t，根据网络的估计Q′值eval_Q′对实际输出动作a_t求导数，得到估计Q′值对实际输出动作a_t的梯度 代表对实际输出动作a_t求导数；根据网络的实际输出动作a_t值对网络参数求导数，得到实际输出动作a_t值对网络参数的梯度其中代表着对行为估计网络的参数求导数；

估计Q值对实际输出动作a_t的梯度和实际输出动作a_t值对行为估计网络参数的梯度的乘积即为估计Q值对行为估计网络参数的梯度；

使用梯度上升法对行为估计网络参数进行更新；

6.4)对目标网络参数进行更新

每间隔J回合，actor_eval的网络参数赋值给actor_target，每间隔K回合，critic_eval的网络参数赋值给critic_target，其中，J≠K；

6.5)分为xm回合，每个回合重复步骤6.1)～6.4)xn次，每次重复6.1)～6.4)后，输出干扰的var值更新为var＝max{0.1，var＝var×gamma}，其中xm、xn代表自然数，gamma为大于零小于1的有理数；

步骤7)利用步骤6)训练好的深度强化学习模型控制插齿机等切削力的切削齿轮

通过力学传感器得到当前输入状态s_t，深度增强学习网络根据当前输入状态s_t控制插齿机切削齿轮，并从环境中得到后续输入状态s_t+1。将后续输入状态s_t+1当做当前输入状态s_t，如此循环，直至深度增强学习模型控制插齿机将齿轮切削完成。

本发明基于深度增强学习的等切削力齿轮加工方法，通过加入深度增强学习网络，解决插齿机等切削力的自动插齿问题，充分利用了插齿机的功率，大大加快了插齿机的切削效率并同时保证了工件的加工质量与加工过程的平稳性。

Claims (6)

1.一种基于深度增强学习的等切削力齿轮加工方法，其特征在于：包括如下步骤：

步骤1)构建深度增强学习模型

1.1)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θ^μ)网络、μ(s|θ^μ′)网络、Q(s,a|θ^Q)网络及Q(s,a|θ^Q′)网络共四个网络，即μ(s|θ^μ)网络为行为估计网络、μ(s|θ^μ′)网络为行为目标网络、Q(s,a|θ^Q)网络为评价估计网络、Q(s,a|θ^Q′)网络为评价目标网络；随机初始化μ(s|θ^μ)网络的参数θ^μ和随机初始化Q(s,a|θ^Q)网络的参数θ^Q，然后将μ(s|θ^μ)网络的参数θ^μ值赋予行为目标网络，即θ^μ′←θ^μ，将Q(s,a|θ^Q)网络的参数θ^Q值赋予评价目标网络，即θ^Q′←θ^Q；

1.2)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+1，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息的空间，n＝2×state_dim+action_dim+1这个公式中的1即为存储奖励信息的预留空间；

步骤2)构造输出干扰

根据当前输入状态s_t，通过网络得到动作a_t′，再设定一个均值为a_t′、方差为var²的随机正态分布从随机正态分布中随机得到一个实际输出动作a_t，随机正态分布对动作a_t′施加了干扰，用于探索环境，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；

步骤3)构建仿真环境

步骤4)建立奖励r_t计算模型

步骤5)积累经验池

5.1)根据当前输入状态s_t，通过网络得到动作a_t′，再根据步骤2)建立的输出干扰得到实际输出动作a_t，并从环境中得到奖励r_t和后续输入状态s_t+1，将当前输入状态s_t，实际输出动作a_t，奖励r_t和后续输入状态s_t+1存储在经验池中，并将当前输入状态s_t、实际输出动作a_t、奖励r_t、后续输入状态s_t+1统称为状态转移信息transition；

5.2)将后续输入状态s_t+1当做现在的当前输入状态s_t，重复步骤5.1)，将计算得到的状态转移信息transition存储在经验池中；

5.3)重复步骤5.2)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤5.2)便跳转执行一次步骤6)；

步骤6)训练深度增强学习神经网络

6.1)取样

从经验池中取出batch组样本供神经网络学习，batch代表自然数；

6.2)对评价网络参数进行更新

6.3)对行为估计网络参数进行更新

6.4)对目标网络参数进行更新

步骤7)利用步骤6)训练好的深度强化学习模型控制插齿机等切削力的切削齿轮

通过力学传感器得到当前输入状态s_t，深度增强学习网络根据当前输入状态s_t控制插齿机切削齿轮，并从环境中得到后续输入状态s_t+1。将后续输入状态s_t+1当做当前输入状态s_t，如此循环，直至深度增强学习模型控制插齿机将齿轮切削完成。

2.根据权利要求1所述基于深度增强学习的等切削力齿轮加工方法，其特征在于：所述步骤3)构建仿真环境的具体过程为：

通过matlab软件，建立切削面积和切削结果均与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系(即建立切削面积与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系，建立切削结果与工件齿轮转角theta1、插齿刀转角theta2和插齿刀径向位移量x之间的关系)，其中切削面积插齿机切削力F＝Am×P，式中z代表工件齿数，m代表工件模数，p代表单位切削力，fc代表插齿刀径向位移量。

3.根据权利要求1所述基于深度增强学习的等切削力齿轮加工方法，其特征在于：所述步骤4)建立奖励r_t计算模型具体过程为：

根据当前状态S_t，通过步骤2)输出干扰得到实际输出动作值a_t，插齿机按照实际输出动作值a_t的参数运行后，通过步骤3)仿真环境中的工件齿数z、工件模数m、单位切削力p和插齿刀径向位移量x获取t时刻的插齿机切削力F_t，F_t为t时刻的插齿机切削力，规定的等切削力为F，误差允许范围σ，

奖励

4.根据权利要求1所述基于深度增强学习的等切削力齿轮加工方法，其特征在于：所述步骤6.2)对评价网络参数进行更新的具体过程为：

根据步骤6.1)中取出的batch组样本状态转移信息transition通过网络和网络分别得到每组状态转移信息对应的估计Q′值eval_Q′和目标Q′值target_Q′，进而得到时间差分错误TD_error′，TD_error′＝target_Q′-eval_Q′；t′为步骤5.3)中经验池空间被存储满后执行步骤5.2)的输入状态时刻，也就是说步骤5.3)中经验池空间被存储满后每执行一次步骤5.2)时的输入状态时刻即为t′；

根据时间差分错误TD_error′构造出损失函数Loss，Loss＝∑TD_error′/batch；

根据损失函数Loss使用梯度下降法对评价估计网络参数θ^Q进行更新。

5.根据权利要求1所述基于深度增强学习的等切削力齿轮加工方法，其特征在于：所述步骤6.3)对行为估计网络参数进行更新的具体过程为：

每batch组样本状态转移信息transition中的s_t通过网络和输出干扰得到对应的实际输出动作a_t，根据网络的估计Q′值eval_Q′对实际输出动作a_t求导数，得到估计Q′值对实际输出动作a_t的梯度 代表对实际输出动作a_t求导数；根据网络的实际输出动作a_t值对网络参数求导数，得到实际输出动作a_t值对网络参数的梯度其中代表着对行为估计网络的参数求导数；

估计Q值对实际输出动作a_t的梯度和实际输出动作a_t值对行为估计网络参数的梯度的乘积即为估计Q值对行为估计网络参数的梯度；

使用梯度上升法对行为估计网络参数进行更新。

6.根据权利要求1所述基于深度增强学习的等切削力齿轮加工方法，其特征在于：所述步骤6.4)对目标网络参数进行更新的具体过程为：

每间隔J回合，actor_eval的网络参数赋值给actor_target，每间隔K回合，critic_eval的网络参数赋值给critic_target，其中，J≠K。