CN117669988A - 一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法 - Google Patents

Abstract

本发明公开了一种基于Q‑Learning算法改进NEH的装配式预制构件生产调度方法，涉及生产调度技术领域。为了改进NEH启发式算法中的插入规则，从而能够搜索更为广阔的可行解空间进而更好的适用不同的PFS问题实例。本发明提出了一种基于Q‑Learning算法改进NEH的装配式预制构件生产调度方法，通过构建一个PDR库，用强化学习算法Q‑Learning来持续的选择PDR，逐个确定每一个作业的加工优先级，调度目标是最小化作业最大完工时间(Makespan)。本发明的有益效果为：以被广泛应用于工程领域的NEH启发式算法为基础，提高了其对不同实例的适应能力，降低了调度目标Makespan，从而提高生产效率。

Description

一种基于Q-Learning算法改进NEH的装配式预制构件生产调 度方法

技术领域

本发明涉及生产调度技术领域，特别涉及一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法。

背景技术

装配式预制构件生产流程可划分为组模、放置钢筋和埋件、浇筑、养护、脱模、精加工六道工序，每道工序均设一个工作站对预制构件加工，各类预制构件在上述六道工作站按相同的程序进行生产，但是不同构件在不同工序上的处理时间不同，构件根据排序依次进入流水生产线，最终完成生产。

装配式预制构件生产流程属于一种典型的置换流水车间调度(PFS)问题。为优化作业的完工时间，目前被广泛应用的求解启发式算法为NEH算法，它是一种以总处理时间越大的作业越优先插入队列中确定作业序列的方法。因为对于总处理时间相同的作业安排随机且启发式算法很难在不同实例问题中都有良好效果。因此，改变作业插入优先级是改进NEH调度能力的关键。

优先级规则(PDR)因其计算资源占用少、计算效率高的优势，适合构建作业插入规则库，它是以作业属性来确定作业的优先级。强化学习算法因其强大的探索和学习能力，能够用来选择确定作业插入PDR，可改进NEH去适用不同的PFS问题实例的能力。

发明内容

针对以上问题，本发明提出了一种基于Q-Learning算法改变NEH算法中从未确定加工优先级的作业中选择作业的规则，从而提升NEH算法在求解PFS问题方面的性能。

为了改进NEH启发式算法中的插入规则，从而能够搜索更为广阔的可行解空间进而更好的适用不同的PFS问题实例。本发明提出了一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法，通过构建一个PDR库，用强化学习算法Q-Learning来持续的选择PDR，逐个确定每一个作业的加工优先级，调度目标是最小化作业最大完工时间(Makespan)。

本发明是通过如下措施实现的：一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法包括：插入规则库的构建；基于NEH调度过程确定Q-Learning训练所需要的元素；通过Q-learning算法训练得到为作业序列提供依据的Q表格；依据Q表格进行作业序列的确定。

所述插入规则库的设置包括作业参数的选择和PDR库的组建。

所述作业参数的选择是选择与作业在工序上被处理时间相关的作业属性，包括每个工序处理作业的时间和整个工艺流程处理作业的总时间。共选择了m+1个作业属性，其中，m表示工序的数量。

所述PDR库的构建是选择已确定好的作业属性为参数的PDR，每个作业属性对应两个PDR，分别为最短时间优先规则和最长时间优先规则。因此，共选择了2(m+1)个PDR组成插入规则库I，表达式如式(1)所示。SPT_i表示以作业在工序i上被处理的时间为参数进行增序排列的优先规则，LPT_i表示以作业在工序i上被处理的时间为参数进行降序排列的优先规则，STPT表示以作业的总处理时间为参数进行增序排列的优先规则，LTPT表示以作业的总处理时间为参数进行降序排列的优先规则。

I＝{SPT_i,LPT_i,STPT,LTPT|i＝1,2,…,m} (1)

所述Q-learning算法训练过程所需要的状态、动作、奖励、智能体与环境的交互过程设计如下所述：

状态(S)：确定一个作业的加工优先级时定义为一个状态。因为第一个被加工的作业时间是不确定的，导致初始状态不固定。因此，本发明设定一个虚拟作业，该作业被所有机器的处理时间都为0，它不会影响生产系统的Makespan。因此，共有n+1个状态，n表示实际需要加工作业的数量，状态集S＝{s₁,s₂,…,s_n+1}，其中，作业的索引比状态索引小1。

动作(A)：在每一个状态下，从插入规则库中选择一个PDR对剩余作业设定优先级，选择优先级高的作业处理。由插入规则库中PDR数量得动作集A中共有个2(m+1)动作，A＝{a₁,a₂,…,a_2(m+1)}。

奖励(R)：确定一个作业加工优先级后，已确定的作业优先级的作业序列的Makespan的相反数定义为奖励，如式(2)所示，表示已确定作业加工优先级中优先级最高的作业，其中，C(t,m)表示作业t的Makespan。因为需要确定加工优先级的作业有n个，因此奖励集R＝{r₁,r₂,…,r_n}。

r_t＝-C(t,m) (2)

智能体与环境的交互过程：智能体是选择动作的Q表格，环境为NEH的调度过程。交互过程定义为当环境的处于某个状态时，智能体从插入规则库中选择一个PDR，使用该PDR确定未调度作业的加工优先级，从其中选择最高加工优先级的作业进而将该作业插入到已调度完成的作业序列中，然后环境转移到下一个状态。每次交互环境都会给智能体一个奖励反馈。从环境的初始状态持续转移到状态s_n+1定义为一轮智能体与环境的交互。

通过Q-learning算法训练得到为作业序列提供依据的Q表格，包括包括初始化Q表格、Q-learning训练和Q表格的更新。

所述初始化Q表格是生成一个n+1行、2(m+1)列的Q表格，Q表格中的元素全部为足够小的一个负数。

所述Q表格的更新是根据式(3)进行更新，其中表示Q表格第在状态s_t下选择动作a对应的价值，α表示学习率，γ表示折扣系数，其中，作业的索引比状态的索引少1表示作业的索引比Q表格行索引少1。

所述作业序列的确定是根据最终确定的Q表格，按照Q表格每行最大值的列索引确定插入顺序进而选择需要被插入的作业，基于NEH调度过程获得作业序列，按顺序往已确定作业序列中插入作业，最终确定作业序列。

本发明提出的一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法的有益效果在于：本发明提出的是一种静态调度方法，构建一个插入PDR库，然后基于NEH的插入作业的流程，设计Q-Learning训练所需要的状态、动作、奖励和智能体与环境的交互过程。上述过程使用Q-Learning算法打破NEH调度方法选择插入作业的顺序，进而提高NEH优化调度系统makespan和增强对不同调度实例的适用的能力。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中使用的附图作一简单地介绍，显而易见地，下面所列附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法的流程图；

图2为调度算法训练时的收敛过程；

图3为调度方法鲁棒性表达。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参见图1-图3，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一个实施例中，收集了48种预制构件作为一个调度系统的作业，认为每个预制构件被每个工序上的处理时间包括了作业在工序之间的运输时间，每个工序的加工过程不出现中断现象且不考虑插单的扰动，48个预制构件作业的加工信息如下表所示，单位为小时。

包含上述作业的调度系统的makspanC_max求解过程如式(4)-(8)所示。其中，π(j)表示优先级为j的作业索引，p_π(j),i表示作业π(j)在工序i上被处理所需的时间，C(π(j),i)表示作业π(j)被工序i的完成时间，n表示调度系统中的作业总数量，本实施例中n＝48，m表示工艺流程中工序的数量，本实施例中m＝6。

C(π(1),1)＝p_π(1),1 (4)

C(π(j),1)＝C(π(j)-1,1)+p_π(j),1 j>1 (5)

C(π(1),i)＝C(π(1),i-1)+p_π(1),i i>1 (6)

C(π(j),i)＝max(C(π(j)-1,i),C(π(j),i-1))+p_π(j),i i,j>1 (7)

C_max＝C(π(n),m) (8)

如图1所示，一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法的流程包括构建PDR库、基于NEH调度过程确定Q-Learning训练所需要的元素、初始化Q表格、Q-Learning训练、更新Q表格、确定作业的插入顺序、基于NEH调度过程获得作业序列。

构建PDR库：以作业分别被各工序上的处理时间和作业的总处理时间为参数，选择最短和最长处理时间优先规则对应的13个PDR构建PDR库。

基于NEH调度过程确定Q-Learning训练所需要的元素：实施例中Q-Learning训练所需要元素应包括状态、动作、奖励、智能体与环境的交互过程。

NEH选择被插入作业的规则是最短总处理时间优先规则。每选择一个作业并确定它在已经确定的作业序列中的优先级后，完成状态的转移，因为本发明对插入规则的破坏，第一个被加工的作业无法在初始状态确定，在初始状态设定一个虚拟作业，该作业被所有机器的处理时间都为0。因此，本实施例共有49个状态，S＝{s₁,s₂,…,s₄₉}，其中，作业的索引比状态索引小1，其中，s₁为初始状态。

动作则是每次确定将要插入的作业而从PDR库中选择PDR的过程，因为PDR库中共有13个PDR。因此，动作集A＝{a₁,a₂,…,a₁₃}。

奖励为每确定一个作业的优先级后，所有确定作业优先级的作业完工时间的相反数，如式(2)所示。因为实施例中共有48个作业，虚拟作业的作业序列固定且完成它所需要的时间为0，因此奖励集R＝{0,r₂,r₃,…,r₄₉}。

智能体与环境的交互过程当环境处于状态s_j时，智能体从PDR库中选择一个PDR确定剩余未确定加工优先级作业的优先级，优先级最高的作业为该状态下插入到确定加工优先的作业序列中，加入NEH方法，然后环境给智能体一个奖励反馈，状态转移到s_j+1。当状态转移到s₄₉时，本实施例智能体与环境的一轮交互完成。

初始化Q表格：Q表格为一个49×13的矩阵，矩阵中的元素设定为一个小于0且足够小的数，为-1000。

Q-Learning训练：根据式(3)更新Q表格。设置的各参数如下α＝0.9，γ＝0.95，选择动作的贪婪系数ε＝0.05。

更新Q表格：设定迭代次数为100，迭代完成后，获得最终的Q表格，进而指导该实施例作业序列的确定。

确定作业的插入顺序：从Q表格的第0行开始，Q表格中每行的最大值的列索引为选择的插入规则，该插入规则为剩余未插入的作业设定加工优先级，最高加工优先级的作业优先插入，然后转移到作业索引加1行的Q表格中，然后迭代上述过程。

基于NEH调度过程获得作业序列：依次选择作业插入过程，使用NEH的调度方法，按顺序往已确定作业序列中插入作业，最终确定作业序列。

为了测试使用Q-Learning改进NEH的调度方法(INEH)在求解Makespan调度目标中的优越性和鲁棒性，运行了10次后与NEH性能的对比如图2所示，INEH的运行10次的标准差为2.46，且每次运行结果都比NEH性能优越。

为了验证本发明所提方法在不同调度系统中的性能优越性，从表1中的随机选取10、15、20、25、30、35、40、45个作业，每个规模的作业随机选取5次，与NEH效果对比如下表所示，对比指标是每个作业规模的5个调度系统makespan的平均值，证明了本发明所提方法的优越性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法，其特征在于，包括：

插入规则库的构建；

基于NEH调度过程确定Q-Learning训练所需要的元素；

通过Q-learning算法训练得到为作业序列提供依据的Q表格；

依据Q表格进行作业序列的确定。

2.根据权利要求1所述生产调度方法，其特征在于，所述插入规则库的构建包括包括作业参数的选择和PDR库的组建。

3.根据权利要求2所述生产调度方法，其特征在于，所述作业参数的选择是选择与作业在工序上被处理时间相关的作业属性，包括每个工序处理作业的时间和整个工艺流程处理作业的总时间；

所述PDR库的组建是选择已确定好的作业属性为参数的PDR，每个作业属性对应两个PDR，分别为最短时间优先规则和最长时间优先规则。

4.根据权利要求3所述生产调度方法，其特征在于，所述基于NEH调度过程确定Q-Learning训练所需要的元素包括状态、动作、奖励、智能体与环境的交互过程。

5.根据权利要求4所述生产调度方法，其特征在于，所述状态是确定一个作业的加工优先级时定义为一个状态；

动作是在每一个状态下，从插入规则库中选择一个PDR对剩余作业设定优先级，选择优先级高的作业处理；

奖励是确定一个作业加工优先级后，已确定的作业优先级的作业序列的Makespan的相反数定义为奖励；

智能体与环境的交互过程是：智能体是选择动作的Q表格，环境为NEH的调度过程，交互过程定义为当环境的处于某个状态时，智能体从插入规则库中选择一个PDR，使用该PDR确定未调度作业的加工优先级，从其中选择最高加工优先级的作业进而将该作业插入到已调度完成的作业序列中，然后环境转移到下一个状态。

6.根据权利要求1所述生产调度方法，其特征在于，通过Q-learning算法训练得到为作业序列提供依据的Q表格，包括初始化Q表格、Q-learning训练和Q表格的更新。

7.根据权利要求6所述生产调度方法，其特征在于，所述初始化Q表格是生成一个n+1行、2(m+1)列的Q表格，Q表格中的元素全部为足够小的一个负数。

8.根据权利要求6所述生产调度方法，其特征在于，所述Q表格的更新是根据下式进行更新，其中表示Q表格第在状态s_t下选择动作a对应的价值，α表示学习率，γ表示折扣系数，其中，作业的索引比状态的索引少1表示作业的索引比Q表格行索引少1，公式为：

9.根据权利要求8所述生产调度方法，其特征在于，依据Q表格进行作业序列的确定，包括根据最终确定的Q表格，按照Q表格每行最大值的列索引确定插入顺序：基于NEH调度过程获得作业序列，按顺序往已确定作业序列中插入作业，最终确定作业序列。