CN110134062A - 一种基于强化学习的多轴数控机床加工路径优化方法 - Google Patents

Abstract

本发明属于数控机床领域，并公开了一种基于强化学习的多轴数控机床加工路径优化方法，该方法包括：(a)建立数控机床各轴的转角行程与预设刀具路径中刀位点和刀具姿态之间的关系式；计算每个刀位点对应的冗余轴转角行程可行解范围；(b)将冗余轴转角行程可行解范围映射在平面坐标系中，在平面坐标系中形成冗余轴转角行程的可行域；(c)利用强化学习算法求解每个刀位点对应的最优冗余轴转角行程，使得数控机床平滑运动的同时完成加工的时间最短；(d)计算每个刀位点处数控机床其它各轴的转角行程，以此获得最终所需的数控机床加工路径。通过本发明，相比于无冗余轴的五轴数控机床加工以及使用传统方式进行去冗余的计算方案，提高加工效率。

Description

一种基于强化学习的多轴数控机床加工路径优化方法

技术领域

本发明属于数控机床领域，更具体地，涉及一种基于强化学习的多轴数控机床加工路径优化方法。

背景技术

目前，如今机器学习发展迅猛，各类算法层出不群，特别是深度神经网络的发展，为非常经典的强化学习带来了新的思路，也在很多方面得到应用。强化学习作为机器学习的重要分支，非常适合在不确定环境下进行自主决策，相比之下其他机器学习方式比如监督学习与无监督学习技术则无法独立完成此项工作，过去几年以来，强化学习正越来越多地在各类AI项目当中发挥令人瞩目的作用。

多轴数控机床是未来发展的趋势，传统的五轴数控机床按照给定的刀位路径和刀具姿态进行加工，每一个刀位点的位置和姿态对应的数控机床状态具有唯一解。在六轴以及六轴以上的数控机床上，由于存在旋转轴的冗余，因此每一个刀位点对应的数控机床上的状态并不唯一，解空间的存在使得在每一个刀位点对应的选择范围内进行选择从而使得数控机床能够处于更好加工姿态，在常规的数控加工过程中，加工一段路径上往往会有上万个刀位点，每个刀位点对应着每个冗余轴的分配选择，加工过程中的分配选择过程是一个连续决策的过程。

传统的机床去除冗余的方式有多种：第一类方法通过在末端执行器的运动上指定关于冗余度的一个或多个约束，从而解决冗余问题，这些约束可以用显式或隐式关系表示。这些方法的优点是非常容易得到解决方案，缺点在于这些解决方案的确定没能考虑具体机床的运动能力，针对不同运动能力机床给出的是一样的结果，因此其计算结果往往会使得效率不高；第二种方法基于遗传算法，使用遗传算法将机器人的末端执行器定位在目标位置，同时最小化最大的关节位移等约束。这个方案的优点在于考虑了机床运动能力，然而，实际加工过程中有上万个刀具姿态，针对每一个姿态进行优化会使得大大增加遗传算法的计算量，使其收敛速度非常慢，此外遗传算法也存在并非一定能收敛到最优值的缺点。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于强化学习的多轴数控机床加工路径优化方法，其通过将强化学习算法应用于求解数控机床各轴的转角行程获得数控机床的加工路径，在原有的初始路径和物理约束条件下不断试错和优化，最终寻找到一条符合数控机床实际状况特性的刀具路径轨迹。相比于无冗余轴的五轴数控机床加工以及使用传统方式进行去冗余的计算方案，提高加工效率。

为实现上述目的，按照本发明，提供了一种基于强化学习的多轴数控机床加工路径优化方法，该方法包括下列步骤：

(a)根据数控机床各轴之间的运动链，建立该数控机床各轴的转角行程与预设刀具路径中刀位点和刀具姿态之间的关系式；根据数控机床冗余轴的转角行程范围和所述关系式，计算获得在预设刀具路径中每个刀位点对应的冗余轴转角行程可行解范围；

(b)以加工路程和冗余轴的转角分别为横纵坐标轴建立平面坐标系，将步骤(a)获得的所述冗余轴转角行程可行解范围映射在所述平面坐标系中，以此在该平面坐标系中形成所述冗余轴转角行程的可行域，其中，横坐标上的点对应所述预设刀具路径中的刀位点，每个刀位点的纵坐标同时对应所述冗余轴转角行程可行解范围中的最大冗余轴转角行程和最小冗余轴转角行程；

(c)利用强化学习算法求解每个刀位点对应的最优冗余轴转角行程，使得所述数控机床平滑运动的同时完成预设刀具路径加工的时间最短，即在所述可行域内寻找一条穿过所述可行域的曲线，在保证该曲线平滑的同时使得该曲线穿过所述可行域的时间最短；

(d)根据步骤(c)获得的每个刀位点对应的最优冗余轴转角行程，利用所述关系式计算每个刀位点处数控机床其它各轴的转角行程，以此获得预设刀具路径中所有刀位点处数控机床各轴的转角行程，即最终所需的数控机床加工路径。

进一步优选地，在步骤(a)中，所述关系式优选采用下列表达式：

其中，C₁是刀位点处的冗余轴转角行程，X、Y、Z、B和C分别是数控机床的X、Y、Z、B和C轴的转角行程，x、y和z是刀具的刀位点三个方向的坐标值，L₁是机床刀具控制点相对于轴C在X方向的偏移，L₂是机床刀具控制点相对于轴C在Y方向的偏移，L_t是机床轴C₁相对于机床原点在X方向的偏移，其他偏移未标注默认为偏移量为0，i、j和k分别是刀具姿态在三个方向的投影分量。

进一步优选地，在步骤(a)中，所述根据数控机床冗余轴的转角行程范围和所述关系式，计算获得在预设刀具路径中每个刀位点对应的冗余轴转角行程可行解范围，具体包括如下步骤：

(a1)针对当前刀位点，根据数控机床冗余轴的转角行程范围给当前刀位点的冗余轴转角行程赋值；利用所述关系式计算该冗余轴转角行程对应的数控机床其它各轴的转角行程，调整所述冗余轴的转角行程的赋值，直至所述机床其它各轴的转角行程均在各自的行程范围内，以此获得当前刀位点对应的转角行程可行解范围；

(a2)重复步骤(a1)直至获得所有刀位点对应的转角行程可行解范围。

进一步优选地，在步骤(c)中，所述在所述可行域内寻找一条穿过所述可行域的曲线的具体步骤为：

(c1)预设所述曲线上初始的四个刀位点，及该四个刀位点对应的冗余轴转角行程；

(c2)根据四个刀位点各自对应的冗余轴转角行程，利用所述关系式计算获得每个刀位点对应的数控机床其它轴的转角行程，以此获得四个刀位点对应的数控机床其他轴的转角行程；

(c3)利用步骤(c2)获得的四个刀位点对应的数控机床各轴的转角行程计算每个刀位点对应的运动速度，以此获得前四个刀位点各自对应的运动速度，并将四个刀位点的运动速度进行拟合，获得运动速度的预测模型；

(c4)利用所述预测模型计算获得所述下一个刀位点的运动速度，将该各轴的转角行程速度分别与预设进给速度阈值进行比较，当转角行程速度大于预设进给速度，降低大于所述运动速度，否则，增大运动速度，以此获得所述下一个刀位点的运动速度，并以此确定所述下一个刀位点的位置；

(c5)将步骤(c3)中获得的下一个时刻的刀位点与其前面的三个刀位点组成四个刀位点，重复步骤(c2)～(c4)，直至获得所述曲线上所有刀位点。

进一步优选地，在步骤(c3)中，所述计算每个刀位点对应的运动速度：

其中，speed_i是第i个刀位点的速度，Axis_i是第i个刀位点的轴的转角行程，Δt是第i个刀位点与i-1刀位点之间的时间间隔，i是刀位点的数量。

进一步优选地，在步骤(c3)中，所述运动速度的预测模型优选按照下列表达式进行：

V＝at²+bt+c

其中，V是运动速度，t是当前刀位点对应的时间，a，b和c分别为常数。

进一步优选地，在步骤(c4)中，所述降低所述运动速度和增大运动速度均优选采用乘以预设系数使其增大或减小。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明将强化学习用于求解数控机床的加工路径优化，将人工智能与机械加工过程结合的技术，传统的“离线生成加工G代码，机床运行给定的G代码”的加工方式往往工艺参数并不能使得机床处于最优的加工状态，对工艺的调整需要经验丰富的工艺人员不断试错和调整，这种方式花费大量的时间和精力，通过利用强化学习的方式在加工过程中在线进行路径调整和优化使得加工路径的生成变得更为简单便捷，刀具路径的自适应调整可以大大降低工艺人员的劳动强度，提高数控加工的自动化程度；

2、本发明针对存在冗余轴的数控机床，在仿真环境中进行训练有效的考虑了实际机床的运动能力，并且在决策量比较大的情况下相比于遗传算法去冗余的方案可实现快速收敛。

附图说明

图1是按照本发明的优选实施例所构建的将冗余轴转角行程可行解范围映射在平面坐标系中的示意图；

图2是按照本发明的优选实施例所构建的求解可行解的速度的示意图；

图3是按照本发明的优选实施例所构建的计算刀位点冗余轴转角行程可行解范围的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

数控机床在加工过程中，给定刀具路径和刀具姿态后，对于数控机床上的各个轴，还需计算刀具路径上对应的刀位点处数控机床每个轴的转角行程，以六轴为例，也就是说，还需获知五个轴与冗余轴各自的转角行程，即数控机床的加工路径，本发明提供一种基于强化学习的多轴数控机床加工路径优化方法，用于解决上述问题。

对于数控机床而言，六个轴(包括冗余轴)的转角行程的范围和轴与轴之间的运动链是已知的，根据上述已知条件，求取数控机床的加工路径的步骤具体如下：

(a)根据数控机床各轴之间的运动链，建立该数控机床各轴的转角行程分别与预设刀具路径中刀位点和刀具姿态之间的关系式；根据数控机床冗余轴的转角行程范围和所述关系式，计算获得在预设刀具路径中每个刀位点对应的冗余轴转角行程可行解范围；

数控机床各轴的转角行程(X,Y,Z,B,C,C₁)分别与预设刀具路径中刀位点(x,y,z)和刀具姿态(i,j,k)之间的关系式

其中，C₁是刀位点处的冗余轴转角行程，X、Y、Z、B和C分别是数控机床的X、Y、Z、B和C轴的转角行程，x、y和z是刀具的刀位点三个方向的坐标值，L₁是机床刀具控制点相对于轴C在X方向的偏移，L₂是机床刀具控制点相对于轴C在Y方向的偏移，L_t是机床轴C₁相对于机床原点在X方向的偏移，其他偏移未标注默认偏移量为0，i、j和k分别是刀具姿态在三个方向的投影分量。

冗余轴转角行程可行解范围具体的计算过程如下：

输入：刀位点序列：{x,y,z,i,j,k}

输出：冗余轴转角范围：{C'__min,C'__max}

约束条件：

轴号	行程范围
		X	[X_min,X_max]
Y	[Y_min,Y_max]
		Z	[Z_min,Z_max]
B	[B_min,B_max]
		C	[C_min,C_max]
C1	[C1_min,C1_max]

如图3所示，求解过程如下：

Step1:从第一个点开始，先旋转冗余轴C，将刀轴矢量旋转到XOZ平面内，即旋转到机床X轴负方向；此时冗余轴到达的角度即为C'。

Step2:将C1轴转到负行程极限C1_min，计算此时对应的Y值，判断Y值是否在[Y_min,Y_max]内，在此范围内即为有效值，否则无效剔除,其他轴与此类同；

Step3:按照给定的步长增量delta，将C1值由负极限位置不断增加，直到正极限位置，每更新一次C1值，计算在此选择下的其他各轴是否超行程；

Step4:得到C1有效值的取值集合[C1'__min,C1'__max]；

Step5:根据C1值范围，计算对应的冗余轴C轴的范围[C'__min,C'__max]；

(b)以加工路程和冗余轴的转角分别为横纵坐标轴建立平面坐标系，将步骤(a)获得的所述冗余轴转角行程可行解范围映射在所述平面坐标系中，以此在该平面坐标系中形成所述冗余轴转角行程的可行域，如图1所示，横坐标上的点对应刀具路径中的刀位点，每个刀位点的纵坐标同时对应所述冗余轴转角行程可行解范围中的最大冗余轴转角行程和最小冗余轴转角行程，图中每个刀位点的冗余轴最大冗余轴转角行程和最小冗余轴转角行程形成可行域的边界约束；

(c)利用强化学习算法求解每个刀位点对应的最优冗余轴转角行程，使得所述数控机床平滑运动的同时完成预设刀具路径加工的时间最短，如图1所示，即在所述可行域内寻找一条穿过所述可行域的曲线，在保证该曲线平滑的同时使得该曲线穿过所述可行域的时间最短；可行域中的黑点代表强化学习中的决策体，通过不断的给决策体施加力从而驱动决策体运动，使其在约束下，通过冗余轴的解空间，其产生的路径轨迹作为冗余轴在加工路径上的规划轨迹，依照这样的规划轨迹和运动学约束可以求取其余各轴的位置，从而规划处不同位置下的机床路径；

(c1)对于寻找一条穿过所述可行域的曲线，该曲线上每个点的速度计算如下：

已知：t₁、t₂、t₃、t₄时刻决策体的位置，t₄代表决策体的当前位置。

机床各个关节的速度约束：X_max、Y_max、Z_max、B_max、C_max、C1_max

求解：t₅时刻下的MaxFeedingSpeed。

决策体在虚拟环境中运行过程中每隔Δt(Δt预先设定)采集决策体的位置，假设当前时刻为t4，加工路程数值和冗余轴数值，决策体的纵坐标位置对应着此时冗余轴的位置C1，决策体的横坐标S位置对应着刀具已经加工完成的路径，依照加工路径的上的位置可以知道此时的刀具位置和姿态[x_t4,y_t4,z_t4,i_t4,j_t4,k_t4]，依照步骤(a)中的关系式计算，L₁是机床刀具控制点相对于旋转轴C在X方向的偏移，L₂是机床刀具控制点相对于旋转轴C在Y方向的偏移，L_t是机床旋转轴C₁相对于机床原点在X方向的偏移，其他偏移未标注默认偏移量为0，i、j和k分别是刀具姿态在三个方向的投影分量。

可以求得在t4下机床各轴的位置：[X_t4,Y_t4,Z_t4,B_t4,C_t4,C_1t4]

上图表述了决策体在t1-t4时刻的位置(t4是当前位置)，通过前四个时刻决策体的位置，依照公式(1)-(2)，计算计算出这些时刻机床关节轴的位置：

[X_t1,Y_t1,Z_t1,B_t1,C_t1,C_1t1]

[X_t2,Y_t2,Z_t2,B_t2,C_t2,C_1t2]

[X_t3,Y_t3,Z_t3,B_t3,C_t3,C_1t3]

[X_t4,Y_t4,Z_t4,B_t4,C_t4,C_1t4]

t₁＝t₄-3Δt

t₂＝t₄-2Δt

t₃＝t₄-Δt

依照位置的差分依照差分计算出各轴3个速度：

X轴：其他轴以此类推，获得其它轴的t₂，t₃和t₄处的速度。

通过各轴三个时刻的速度拟合多项式V＝at²+bt+c判断下一时刻速度是否会超速：

V_t4＝a(t₄)²+bt₄+c

V_t3＝a(t₄-Δt)²+b(t₄-Δt)+c

V_t2＝a(t₄-2×Δt)²+b(t₄-2×Δt)+c

求取系数后可以计算t5时刻速度：

V_t5＝a(t₄+Δt)²+b(t₄+Δt)+c

判断V_t5是否小于X_max，如果机床所有关节都在速度限制范围内则认定当前趋势不会超速，MaxFeedingSpeed会在初始时刻确定一个初值，如果速度超过上限则限制决策体的速度上限MaxFeedingSpeed乘以一个系数降低(设定为0.7)，如果所有轴都没有超速那么将当前速度上限MaxFeedingSpeed乘以一个系数升高(设定为1.05)认定为在当前姿态下机床加工速度上限还有提升空间。

(c2)在已知冗余轴在加工路径行程范围约束以及在决策体不同位置上的最大速度约束的基础上，需要规划出一条平滑曲线穿过可行区域作为冗余轴的加工路径，并且保证机床按照这样的加工路径运动时间更短，路径规划的具体实施步骤如下：

已知：决策体的质量、四种确定的动作选择A、B、C、D，学习速率α，折扣因子γ，以及概率ε以及图1所示的仿真约束环境。

分为两步，训练过程和决策过程：

训练过程：

Step1:初始化决策体状态S：位置和速度，位置为：横坐标为0，纵坐标在边界约束内随机选择一点作为决策体的位置，速度为0。

Step2:在[0,1]中随机选取一个数值，当此数值小于ε，则在A、B、C、D中随机选取一个动作，当此数值大于ε，则在Q[S,A]函数中查找四个动作中奖励最大的动作，当没有此状态时则在Q[S,A]中增加状态S，同时初始化四个动作的奖励为0，若两个动作奖励值一样，如初始时某位置处不同动作的回报值都为0，那就选第一个动作。

Step3:选取动作后，下一个Δt时间对决策体施加这个动作(力)，控制其运动，决策体到达新的状态S'(包括位置和速度)，通过对决策体位置给予奖励，R(S,a)代表在这个状态下决策体执行了动作a之后，环境所给的反馈；当决策体运动超过可行区域之外，奖励的判别就会给予一个很大的惩罚比如-∞；当决策体在可行区域内部时候，则给予一个奖励为-Δt；

Step4:根据上一步的行为更新Q[S,A]函数，依照环境给予的奖励和当前状态S'下最大行为回报进行更新：

Q[S,A]←(1-α)×Q[S,A]+α×(R(S,a)+γ×maxQ[S',a])；

当Q[S,A]收敛则结束训练；当决策体运动超过可行区域之外或者走完全程，则结束本轮训练，回到Step1；当决策体运动在可行区域内且并未走完全程，更新状态为S←S'，回到Step2；

决策过程如下：

Step1:初始化决策体状态S：选取所有初始位置中决策体动作中奖励最大的初始位置。

Step2:选取决策体在当前状态下奖励最大动作，下一个Δt时间对决策体施加这个动作(力)，决策体到达新的状态S'(包括位置和速度)；

Step3:判断当前状态S'，若决策体走完全程，则结束整个过程，将决策体走完全程的轨迹线作为最优的冗余轴转角轨迹；否则回到Step2。

(d)根据步骤(c)获得的每个刀位点对应的最优冗余轴转角行程，利用步骤(a)中的关系式计算每个刀位点处数控机床其它各轴的转角行程，以此获得预设刀具路径中所有刀位点处数控机床各轴的转角行程，即最终所需的数控机床加工路径。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于强化学习的多轴数控机床加工路径优化方法，其特征在于，该方法包括下列步骤：

(a)根据数控机床各轴之间的运动链，建立该数控机床各轴的转角行程与预设刀具路径中刀位点和刀具姿态之间的关系式；根据数控机床冗余轴的转角行程范围和所述关系式，计算获得在预设刀具路径中每个刀位点对应的冗余轴转角行程可行解范围；

(b)以加工路程和冗余轴的转角分别为横纵坐标轴建立平面坐标系，将步骤(a)获得的所述冗余轴转角行程可行解范围映射在所述平面坐标系中，以此在该平面坐标系中形成所述冗余轴转角行程的可行域，其中，横坐标上的点对应所述预设刀具路径中的刀位点，每个刀位点的纵坐标同时对应所述冗余轴转角行程可行解范围中的最大冗余轴转角行程和最小冗余轴转角行程；

(c)利用强化学习算法求解每个刀位点对应的最优冗余轴转角行程，使得所述数控机床平滑运动的同时完成预设刀具路径加工的时间最短，即在所述可行域内寻找一条穿过所述可行域的曲线，在保证该曲线平滑的同时使得该曲线穿过所述可行域的时间最短；

(d)根据步骤(c)获得的每个刀位点对应的最优冗余轴转角行程，利用所述关系式计算每个刀位点处数控机床其它各轴的转角行程，以此获得预设刀具路径中所有刀位点处数控机床各轴的转角行程，即最终所需的数控机床加工路径。

2.如权利要求1所述的一种基于强化学习的多轴数控机床加工路径优化方法，其特征在于，在步骤(a)中，所述关系式优选采用下列表达式：

其中，C₁是刀位点处的冗余轴转角行程，X、Y、Z、B和C分别是数控机床的X、Y、Z、B和C轴的转角行程，x、y和z是刀具的刀位点三个方向的坐标值，L₁是数控机床刀具控制点相对于轴C在X方向的偏移，L₂是机床刀具控制点相对于轴C在Y方向的偏移，L_t是机床轴C1相对于机床原点在X方向的偏移，其他偏移未标注默认偏移量为0，i、j和k分别是刀具姿态在三个方向的投影分量。

3.如权利要求1所述的一种基于强化学习的多轴数控机床加工路径优化方法，其特征在于，在步骤(a)中，所述根据数控机床冗余轴的转角行程范围和所述关系式，计算获得在预设刀具路径中每个刀位点对应的冗余轴转角行程可行解范围，具体包括如下步骤：

(a1)针对当前刀位点，根据数控机床冗余轴的转角行程范围给当前刀位点的冗余轴转角行程赋值；利用所述关系式计算该冗余轴转角行程对应的数控机床其它各轴的转角行程，调整所述冗余轴的转角行程的赋值，直至所述机床其它各轴的转角行程均在各自的行程范围内，以此获得当前刀位点对应的转角行程可行解范围；

(a2)重复步骤(a1)直至获得所有刀位点对应的转角行程可行解范围。

4.如权利要求1所述的一种基于强化学习的多轴数控机床加工路径优化方法，其特征在于，在步骤(c)中，所述在所述可行域内寻找一条穿过所述可行域的曲线的具体步骤为：

(c1)预设所述曲线上初始的四个刀位点，及该四个刀位点对应的冗余轴转角行程；

(c2)根据四个刀位点各自对应的冗余轴转角行程，利用所述关系式计算获得每个刀位点对应的数控机床其它轴的转角行程，以此获得四个刀位点对应的数控机床其他轴的转角行程；

(c3)利用步骤(c2)获得的四个刀位点对应的数控机床各轴的转角行程计算每个刀位点对应的运动速度，以此获得前四个刀位点各自对应的运动速度，并将四个刀位点的运动速度进行拟合，获得运动速度的预测模型；

(c4)利用所述预测模型计算获得所述下一个刀位点的运动速度，将该各轴的转角行程速度分别与预设进给速度阈值进行比较，当转角行程速度大于预设进给速度，降低所述运动速度，否则，增大运动速度，以此获得所述下一个刀位点的运动速度，并以此确定所述下一个刀位点的位置；

(c5)将步骤(c3)中获得的下一个时刻的刀位点与其前面的三个刀位点组成四个刀位点，重复步骤(c2)～(c4)，直至获得所述曲线上所有刀位点。

5.如权利要求4所述的一种基于强化学习的多轴数控机床加工路径优化方法，其特征在于，在步骤(c3)中，所述计算每个刀位点对应的运动速度：

其中，speed_i是第i个刀位点的速度，Axis_i是第i个刀位点的轴的转角行程，Δt是第i个刀位点与i-1刀位点之间的时间间隔，i是刀位点的数量。

6.如权利要求4所述的一种基于强化学习的多轴数控机床加工路径优化方法，其特征在于，在步骤(c3)中，所述运动速度的预测模型优选按照下列表达式进行：

V＝at²+bt+c

其中，V是运动速度，t是当前刀位点对应的时间，a，b和c分别为常数。

7.如权利要求4所述的一种基于强化学习的多轴数控机床加工路径优化方法，其特征在于，在步骤(c4)中，所述降低所述运动速度和增大运动速度均优选采用乘以预设系数使其增大或减小。