CN116700176A - 一种基于强化学习的分布式阻塞流水车间调度优化系统 - Google Patents
一种基于强化学习的分布式阻塞流水车间调度优化系统 Download PDFInfo
- Publication number
- CN116700176A CN116700176A CN202310725678.5A CN202310725678A CN116700176A CN 116700176 A CN116700176 A CN 116700176A CN 202310725678 A CN202310725678 A CN 202310725678A CN 116700176 A CN116700176 A CN 116700176A
- Authority
- CN
- China
- Prior art keywords
- fac
- neighborhood
- factory
- solution
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000903 blocking effect Effects 0.000 title claims abstract description 23
- 230000002787 reinforcement Effects 0.000 title claims abstract description 20
- 238000005457 optimization Methods 0.000 title claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000013461 design Methods 0.000 claims abstract description 7
- 230000006872 improvement Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 44
- 230000009471 action Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 23
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于制造业分布式生产调度领域，具体涉及一种基于强化学习的分布式阻塞流水车间调度优化系统，包括调度序列多样化初始化模块、基于Q‑learning的改进模块和基于邻域重构的局部搜索模块；所述调度序列多样化初始化模块设计了一种多样化初始种群生成策略，所述基于Q‑learning的改进模块设计了一种基于强化学习机制的全局搜索机制，根据搜索状态和算子的历史经验自适应选择搜索算子。所述基于邻域重构的局部搜索模块包括基于邻域重构的深度局部搜索策略和基于路径重连的改进策略。本发明逻辑简单、易于实现和易于扩展，可以将优化器扩展到满足当前智能制造生产领域中的大多数调度问题中。
Description
技术领域
本发明属于制造业分布式生产调度领域，具体涉及一种基于强化学习的分布式阻塞流水车间调度优化系统。
背景技术
在现有技术中，由原来的单厂制造转变为多厂协同生产，分布式生产环境正变得越来越重要，因为它们为企业提供更高质量、更短的交货期和更低成本的产品。生产调度是制造系统的组成部分，直接影响企业的效率和竞争力。尤其是在企业制造过程中有着重要应用的分布式阻塞流水作业调度问题，引起了众多研究者的关注。分布式阻塞流水车间调度问题(Distributed Blocking Flowshop Problem,DBFSP)是传统阻塞流水车间调度问题的推广，其核心是将工件分配到不同的工厂，并在工厂内完成生产资源的分配和工艺调度，以确保较高的生产率和资源利用率。PFSP已被证明是一个NP-hard问题。DBFSP在分布式置换流水车间的基础上考虑了机器之间无缓冲区的条件。因此，DBFSP也是一个NP-hard问题。
分布式车间调度问题的求解方法主要是近似方法。精确算法求解复杂的组合优化问题时，由于问题解空间规模大，计算时间长，局限于实现小规模问题的求解，是一个具有挑战性的问题。对于大规模问题，启发式、元启发式算法和混合算法被广泛应用，其中启发式算法的优点是能够在相对较短的时间内快速获得调度解，但解的质量通常难以保证。然而，元启发式算法能够在可接受的时间框架内获得高质量的近似最优解。DBFSP允许在各种生产调度系统中建模，在生产制造系统的某些加工阶段，机器之间没有缓冲区，这意味着在一台机器上完成的工件在下一台机器可用之前必须停留在该机器上，并阻塞自身，由于阻塞流水车间调度的强大约束，制造完工时间被大幅度推迟。因此，有必要通过最大限度地减少机器阻塞和空闲时间来提高生产率。最大限度地缩短完工时间是生产行业的一个关键实践目标。在动态生产环境下，如何统一平衡生产企业之间的资源使用，包括降低产品库存和成品周转率，被认为具有现实意义。因此，有必要扩展现有的研究以获得有效的调度方法来解决生产环境中的调度问题。DBFSP的甘特图描述如图1所示。
元启发式算法获得高质量解的能力在很大程度上取决于扰动算子和局部搜索方法的设计和选择。本研究根据问题的特点设计了不同的搜索算子，每个搜索算子在搜索空间的不同区域具有不同程度的搜索能力。元启发式可以通过在搜索过程的不同阶段选择具有不同特征的搜索算子，有效地平衡算法的勘探和开发能力。在元启发式算法搜索近似最优解的过程中，需要考虑搜索算子的历史性能，以便动态地选择和采用最合适的算子。Q-learning算法作为机器学习算法的一个分支，在解决调度问题方面取得了一系列研究成果。机器学习技术服务于元启发式算法，从整个搜索过程中产生的数据中提取知识规则。合理地将知识整合到种群进化不同阶段的搜索过程中，可以指导算法做出最优决策，有效提高解的质量。
SS运用“分散-收敛集聚”的智能迭代机制，在参考集中构建高质量和多样性的解，并通过子集合并方法和参考集更新方法，求取问题的全局最优解或满意解。SS框架包括五个系统子方法，分别为多样化生成方法、解改进方法、参考集更新方法、子集生成方法和解组合方法。整个框架非常灵活，框架中的每个子方法都可以根据实际问题的复杂程度或不同需求用不同的方法来实现和替换。SS算法用于多种工程优化问题的求解，求解过程简单，使用SS算法求解分布式阻塞流水车间调度问题具有一定的研究基础和优势。
发明内容
本发明提供了一种基于强化学习的分布式阻塞流水车间调度优化系统，以最小化最大完工时间为优化目标，解决分布式阻塞流水车间调度问题，该方法能够优化分布式阻塞流水车间调度系统的运行效率和性能。
为了实现上述目的，本发明提供以下技术方案：
一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：包括调度序列多样化初始化模块、基于Q-learning的改进模块和基于邻域重构的局部搜索模块。
优选的，所述调度序列多样化初始化模块设计了一种多样化初始种群生成策略，首先，随机生成一个初始化序列以保证初始序列的多样性；然后，前f(f为工厂数量)个工件被依次取出，放置在各个工厂的第一个位置，剩下的工件被按序依次取出，尝试插入到所有工厂中最好的位置，重复上述过程，直至生成一定数量的个体，组成种群。后续所有的操作均是对种群中的个体进行操作。
具体的，首先，确定每个工厂的第一个加工工件，随机排序后的前f个工件依次插入每个工厂的第一个位置；其次，为每个工厂选择要在最后一台机器上处理的工件，根据最后一台机器上工件的加工处理时间，所有剩余工件按升序排列，排序后的前f个工件插入每个工厂的最后一个位置；每个工厂执行基于NEH启发式的插入操作，除每个工厂的第一个和最后一个工件外，所有剩余工件执行基于NEH的邻域插入搜索。使系统在求解分布式阻塞流水车间调度问题时能够获得更高精度的结果。
优选的，所述基于Q-learning的改进模块设计了一种基于强化学习机制的全局搜索机制，根据搜索状态和算子的历史经验自适应选择搜索算子。与传统的选择单一搜索算子相比，根据个体的实时状态自适应选择搜索算子可进行不同深度的探索，提高了算法摆脱局部最优的能力。
具体的，设计了五种具有邻域知识的基于邻域扰动的策略集，策略集中的邻域扰动算子有两种类型，第一种是基于关键工厂(Cfac)内部的操作，另一种是关键工厂与其他工厂之间的操作；Q-learning算法在Refset更新过程中的每一步选择最合适的扰动策；动作集(A＝N1,N2,…,N5)被定义为具有五种不同扰动强度的邻域搜索算子。KCLSS和强化学习(RL)的组合模型如图2所示，学习模块如图3所示。最后一种邻域扰动机制是一种基于工件块的搜索算子，其目的是增加扰动强度。五种邻域结构如图4所示。
具体的，为了优化工件序列，采用了5种序列相关的操作；n表示工件数量，m表示机器数量；Randfac是一个随机工厂，Cfac是关键工厂；
具体操作过程描述如下：
N1(Insert_Randfac_Cfac)：在Cfac和随机选择的工厂Randfac之间执行插入操作；首先，随机选择一个非关键工厂，然后，依次取出Cfac中每个工件重新插入到Randfac中的所有位置，记录产生最佳Cmax的位置；
N2(Swap_Randfac_Cfac)：在Cfac和随机选择的工厂Randfac之间执行交换操作；首先，随机选择一个非关键工厂，然后，依次取出Cfac中每个工件与Randfac中每个位置的工件交换，记录产生最佳Cmax的位置；
N3(Insert_Cfac)：在Cfac中随机选择一个工件，并将其插入该工厂的所有可能位置，如果插入后Cfac的Cmax优于当前解，则保留新解；
N4(Swap_Cfac)：在Cfac中随机选择两个工件，然后交换，如果在交换后Cmax得到改进，则接受新解；
N5(Insert_block_Cfac)：首先，在Cfac中随机选择一个起始位置，提取由η(η＝rand[2,4])个连续工件组成的工件块并从原始位置移除，然后将该工件块重新插入Cfac的最佳位置。
采用了改进的ε-greedy策略，在种群迭代进化的早期阶段，以更高的概率探索新的行为，随着训练时间的增加，智能体从探索新的动作转向选择目前能获得最大回报的动作，采用这种策略的好处是确保智能体能够探索更广的搜索区域，同时保留一定的深度探索能力；改进后的策略具体表述如下：
其中a*表示在st状态下Q值最大的动作，A(st)表示st状态中所有可选动作的集合，Prand是服从标准正态分布的样本值，Tmax表示停止标准(Tmax＝10×n×m×f)。
优选的，所述基于邻域重构的局部搜索模块是一种基于路径重连的深度局部搜索策略。路径重连策略是探索两个给定解的邻域的一种有效搜索方法，在该阶段被应用以生成一个新的有价值的解。这里，选择当前最好的个体Cbest与当前个体Ci进行比较。对当前个体Ci执行插入或交换转换为Cbest，并在每次执行运算操作后产生一个中间个体。最后，对所有中间个体进行评估，并保留最优个体。
具体的，所述基于邻域重构的深度局部搜索策略是为了增强局部优化性能，提出了一种基于路径重连的邻域重构策略，对当前个体以及当前种群中最优个体执行重构操作，针对关键工厂中每个工件，依次取出重新插入到该工厂所有可能位置，重构邻域结构如图5所示。
具体的，邻域重构的局部搜索方法是解决流水车间调度问题的一种常用方法，其基本思想是在当前解的邻域中搜索更优的解，直到无法找到更好的解为止；首先，选取当前种群最优个体，依次取出每一个工件，然后，通过插入操作向当前最优解转换，生成当前的邻域解，在当前邻域解中搜索更好的解，即找到使目标函数值最小的邻域解。如果找到更优的解，则更新当前解为邻域解，重复上述步骤，直至搜索结束。
本发明具有以下有益效果：
(1)本发明在分散搜索算法中引入了多个邻域扰动算子。邻域结构是针对问题的特点设计的，以提高局部搜索的效率。在整个搜索过程中自适应地选择邻域扰动策略。
(2)Q-learning算法用于动态选择搜索策略。基于搜索状态和每个扰动算子的历史反馈信息，选择合适的扰动算子，以进一步平衡勘探和开发能力。
(3)重构的邻域结构被设计用于增强局部搜索能力。SS子方法之间的协同进化可以有效地提高种群的质量。
(4)本发明逻辑简单、易于实现和易于扩展，可以将优化器扩展到满足当前智能制造生产领域中的大多数调度问题中。
附图说明
为了更清楚地说明本发明实例中的技术方案，下面将对本发明实例中的一些附图做简要介绍。
图1是现有技术中分布式阻塞流水车间调度问题甘特图。
图2是本发明中的KCLSS和RL的组合模型图。
图3是本发明中的学习模块原理图。
图4是本发明中的五种邻域结构示意图。
图5是本发明中的邻域重构示意图。
图6是本发明中的算法流程图。
具体实施方式
为了更清楚地说明本发明的目的、技术方案及优点，以下结合附图具体的解释每个模块的功能及优点。
实施例一
1、调度序列多样化初始化模块
构造启发式通常根据问题的特征获得启发式解。首先，随机生成初始化序列 然后，将前f个工件/>逐一取出，安排在每个工厂的第一个位置。其余的工件/>依次被取出，并测试所有工厂的所有可能位置，选最佳位置插入,并且每个工厂的加工负荷不能超过平均加工负荷(/>)。种群生成策略的伪代码如算法1所示。
2、基于Q-learning的改进模块
为了优化工件序列，采用了5种序列相关的操作。n表示工件数量，m表示机器数量。Randfac是一个随机工厂，Cfac是关键工厂。操作过程说明如下。
具体描述如下：
1)N1(Insert_Randfac_Cfac)：在Cfac和随机选择的工厂Randfac之间执行插入操作。首先，随机选择一个非关键工厂，然后，依次取出Cfac中每个工件重新插入到Randfac中的所有位置，记录产生最佳Cmax的位置。
2)N2(Swap_Randfac_Cfac)：在Cfac和随机选择的工厂Randfac之间执行交换操作。首先，随机选择一个非关键工厂，然后，依次取出Cfac中每个工件与Randfac中每个位置的工件交换，记录产生最佳Cmax的位置。
3)N3(Insert_Cfac)：在Cfac中随机选择一个工件，并将其插入该工厂的所有可能位置，如果插入后Cfac的Cmax优于当前解，则保留新解。
4)N4(Swap_Cfac)：在Cfac中随机选择两个工件，然后交换，如果在交换后Cmax得到改进，则接受新解。
5)N5(Insert_block_Cfac)：首先，在Cfac中随机选择一个起始位置，提取由η(η＝rand[2,4])个连续工件组成的工件块并从原始位置移除，然后将该工件块重新插入Cfac的最佳位置。
采用了改进的ε-greedy策略，在种群迭代进化的早期阶段，以更高的概率探索新的行为。随着训练时间的增加，智能体从探索新的动作转向选择目前能获得最大回报的动作。采用这种策略的好处是确保智能体能够探索更广的搜索区域，同时保留一定的深度探索能力。改进后的策略具体表述如下：
其中a*表示在st状态下Q值最大的动作，A(st)表示st状态中所有可选动作的集合，Prand是服从标准正态分布的样本值，Tmax表示停止标准(Tmax＝10×n×m×f)。
根据调度序列多样化初始化模块生成的工件加工种群序列，根据Q-learning算法反馈信息动态选择搜索算子，首先，智能体观察当前环境，根据t时刻st的状态，在可用的动作集中采取动作at。然后，智能体与环境交互。执行完动作at后，智能体的状态切换为st+1，智能体从环境中获得奖励或惩罚rt。使用不同扰动强度的序列相关操作，调整序列排列，寻找更优的工件加工排列顺序。
3、基于路径重连的邻域重构局部搜索模块
邻域重构的局部搜索方法是解决流水车间调度问题的一种常用方法，其基本思想是在当前解的邻域中搜索更优的解，直到无法找到更好的解为止。首先，选取当前种群最优个体以及当前个体，依次取出当前个体每一个工件，然后，通过插入操作转换为当前最优解，在当前邻域解中搜索更好的解，即找到使目标函数值最小的邻域解。如果找到更优的解，则更新当前解为邻域解，重复上述步骤，直至搜索结束。
4、系统流程
KCLSS算法主要由三部分构成：多样化生成策略产生初始种群、基于强化学习机制的全局搜索机制和基于路径重连的邻域重构深度局部搜索机制。在初始化阶段，采用构造启发式和随机化相结合的方法生成高质量的初始种群。在全局搜索方面，设计了一个包含不同结构特征的邻域扰动策略池，并与Q-learning算法相结合，动态选择合适的扰动策略。邻域重构策略引导个体在解空间的潜在优势区域中进行搜索。算法伪代码如算法2所示，算法流程图如图6所示。
以上内容介绍了本发明实例的基本原理、主要特征与优点。相关从业人员应该了解，本发明不受上述实例的限制，上述实施例和说明书中描述的只是说明本发明的原理。本发明可以应用到其他任何具有优化性质的领域中。本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：包括调度序列多样化初始化模块、基于Q-learning的改进模块和基于邻域重构的局部搜索模块。
2.根据权利要求1所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：所述调度序列多样化初始化模块设计了一种多样化初始种群生成策略，首先，随机生成一个初始化序列以保证初始序列的多样性；然后，前f(f为工厂数量)个工件被依次取出，放置在各个工厂的第一个位置，剩下的工件被按序依次取出，尝试插入到所有工厂中最好的位置，重复上述过程，直至生成一定数量的个体，组成种群。
3.根据权利要求2所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：首先，确定每个工厂的第一个加工工件，随机排序后的前f个工件依次插入每个工厂的第一个位置；其次，为每个工厂选择要在最后一台机器上处理的工件，根据最后一台机器上工件的加工处理时间，所有剩余工件按升序排列，排序后的前f个工件插入每个工厂的最后一个位置；每个工厂执行基于NEH启发式的插入操作，除每个工厂的第一个和最后一个工件外，所有剩余工件执行基于NEH的邻域插入搜索。使系统在求解分布式阻塞流水车间调度问题时能够获得更高精度的结果。
4.根据权利要求2所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：所述基于Q-learning的改进模块设计了一种基于强化学习机制的全局搜索机制，根据搜索状态和算子的历史经验自适应选择搜索算子。
5.根据权利要求4所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：设计了五种具有邻域知识的基于邻域扰动的策略集，策略集中的邻域扰动算子有两种类型，第一种是基于关键工厂(Cfac)内部的操作，另一种是关键工厂与其他工厂之间的操作；Q-learning算法在Refset更新过程中的每一步选择最合适的扰动策；动作集(A＝N1,N2,…,N5)被定义为具有五种不同扰动强度的邻域搜索算子。
6.根据权利要求5所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：为了优化工件序列，采用了5种序列相关的操作；n表示工件数量，m表示机器数量；Randfac是一个随机工厂，Cfac是关键工厂；
具体操作过程描述如下：
N1(Insert_Randfac_Cfac)：在Cfac和随机选择的工厂Randfac之间执行插入操作；首先，随机选择一个非关键工厂，然后，依次取出Cfac中每个工件重新插入到Randfac中的所有位置，记录产生最佳Cmax的位置；
N2(Swap_Randfac_Cfac)：在Cfac和随机选择的工厂Randfac之间执行交换操作；首先，随机选择一个非关键工厂，然后，依次取出Cfac中每个工件与Randfac中每个位置的工件交换，记录产生最佳Cmax的位置；
N3(Insert_Cfac)：在Cfac中随机选择一个工件，并将其插入该工厂的所有可能位置，如果插入后Cfac的Cmax优于当前解，则保留新解；
N4(Swap_Cfac)：在Cfac中随机选择两个工件，然后交换，如果在交换后Cmax得到改进，则接受新解；
N5(Insert_block_Cfac)：首先，在Cfac中随机选择一个起始位置，提取由η(η＝rand[2，4])个连续工件组成的工件块并从原始位置移除，然后将该工件块重新插入Cfac的最佳位置；
采用了改进的ε-greedy策略，在种群迭代进化的早期阶段，以更高的概率探索新的行为，随着训练时间的增加，智能体从探索新的动作转向选择目前能获得最大回报的动作，采用这种策略的好处是确保智能体能够探索更广的搜索区域，同时保留一定的深度探索能力；改进后的策略具体表述如下：
其中a*表示在st状态下Q值最大的动作，A(st)表示st状态中所有可选动作的集合，Prand是服从标准正态分布的样本值，Tmax表示停止标准(Tmax＝10×n×m×f)。
7.根据权利要求6所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：所述基于邻域重构的局部搜索模块是一种基于路径重连的深度局部搜索策略，路径重连策略是探索两个给定解的邻域的一种有效搜索方法，在该阶段被应用以生成一个新的有价值的解；首先，选择当前最好的个体Cbest与当前个体Ci进行比较；对当前个体Ci执行插入或交换转换为Cbest，并在每次执行运算操作后产生一个中间个体；最后，对所有中间个体进行评估，并保留最优个体。
8.根据权利要求7所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：所述基于邻域重构的深度局部搜索策略是为了增强局部优化性能，提出了一种基于路径重连的邻域重构策略，对当前个体以及当前种群中最优个体执行重构操作，针对关键工厂中每个工件，依次取出重新插入到该工厂所有可能位置。
9.根据权利要求8所述一种基于强化学习的分布式阻塞流水车间调度优化系统，其特征在于：邻域重构的深度局部搜索方法是解决流水车间调度问题的一种常用方法，其基本思想是在当前解的邻域中搜索更优的解，直到无法找到更好的解为止；首先，选取当前种群最优个体，依次取出每一个工件，然后，通过插入操作，生成当前的邻域解，在当前邻域解中搜索更好的解，即找到使目标函数值最小的邻域解，如果找到更优的解，则更新当前解为邻域解，重复上述步骤，直至搜索结束。
10.一种计算机可读存储介质，其特征在于：其中包含计算机程序，该程序被CPU处理时可实现权利要求1-9所提供的任一种优化系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310725678.5A CN116700176A (zh) | 2023-06-19 | 2023-06-19 | 一种基于强化学习的分布式阻塞流水车间调度优化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310725678.5A CN116700176A (zh) | 2023-06-19 | 2023-06-19 | 一种基于强化学习的分布式阻塞流水车间调度优化系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116700176A true CN116700176A (zh) | 2023-09-05 |
Family
ID=87833729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310725678.5A Pending CN116700176A (zh) | 2023-06-19 | 2023-06-19 | 一种基于强化学习的分布式阻塞流水车间调度优化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116700176A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522071A (zh) * | 2023-12-01 | 2024-02-06 | 谷斗科技(上海)有限公司 | 基于llm引导alns算法的生产调度与资源分配协同系统 |
| CN117519030A (zh) * | 2023-11-22 | 2024-02-06 | 昆明理工大学 | 一种基于超启发式强化学习的分布式装配阻塞流水车间调度方法 |
| CN117669988A (zh) * | 2023-12-26 | 2024-03-08 | 中建八局第一数字科技有限公司 | 一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法 |
-
2023
- 2023-06-19 CN CN202310725678.5A patent/CN116700176A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117519030A (zh) * | 2023-11-22 | 2024-02-06 | 昆明理工大学 | 一种基于超启发式强化学习的分布式装配阻塞流水车间调度方法 |
| CN117519030B (zh) * | 2023-11-22 | 2024-04-26 | 昆明理工大学 | 一种基于超启发式强化学习的分布式装配阻塞流水车间调度方法 |
| CN117522071A (zh) * | 2023-12-01 | 2024-02-06 | 谷斗科技(上海)有限公司 | 基于llm引导alns算法的生产调度与资源分配协同系统 |
| CN117522071B (zh) * | 2023-12-01 | 2024-04-26 | 谷斗科技(上海)有限公司 | 基于llm引导alns算法的生产调度与资源分配协同系统 |
| CN117669988A (zh) * | 2023-12-26 | 2024-03-08 | 中建八局第一数字科技有限公司 | 一种基于Q-Learning算法改进NEH的装配式预制构件生产调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116700176A (zh) | 一种基于强化学习的分布式阻塞流水车间调度优化系统 | |
| Song et al. | Flexible job-shop scheduling via graph neural network and deep reinforcement learning | |
| CN105629927A (zh) | 一种基于混合遗传算法的mes生产计划排产方法 | |
| Zhang et al. | Multi-objective scheduling simulation of flexible job-shop based on multi-population genetic algorithm | |
| Fan et al. | A hybrid evolutionary algorithm using two solution representations for hybrid flow-shop scheduling problem | |
| CN105550825B (zh) | 云计算环境下的基于MapReduce并行化的柔性工厂作业调度方法 | |
| Márquez et al. | Shop scheduling in manufacturing environments: a review | |
| Gu | Application research for multiobjective low-carbon flexible job-shop scheduling problem based on hybrid artificial bee colony algorithm | |
| Bai et al. | A manufacturing task scheduling method based on public goods game on cloud manufacturing model | |
| Chiu et al. | Sequencing parallel machining operations by genetic algorithms | |
| CN107423810B (zh) | 基于骆驼群算法的作业车间调度排产方法及系统 | |
| Luo et al. | Green job shop scheduling problem with machine at different speeds using a multi-objective grey wolf optimization algorithm | |
| Lou et al. | Improved hybrid immune clonal selection genetic algorithm and its application in hybrid shop scheduling | |
| Wang et al. | A Novel Collaborative Evolutionary Algorithm with Two-Population for Multi-Objective Flexible Job Shop Scheduling. | |
| Li et al. | Research on dynamic multi-objective fjsp based on genetic algorithm | |
| CN114648232A (zh) | 基于改进黑猩猩优化算法的云端化资源柔性作业调度方法 | |
| CN116468137A (zh) | 一种分布式工艺规划与车间调度集成优化方法 | |
| CN114386843A (zh) | 一种基于改进深度强化学习算法的柔性车间调度方法 | |
| Gao et al. | An effective memetic algorithm for the distributed integrated scheduling of tree-structured products | |
| Bai et al. | Scheduling a Distributed Permutation Flowshop With Uniform Machines and Release Dates | |
| Cai et al. | Hybrid artificial immune system for job shop scheduling problem | |
| Zhao et al. | Model for Selecting Optimal Dispatching Rules Based Real‐time Optimize Job Shop Scheduling Problem | |
| CN113313283B (zh) | 一种基于知识驱动方法的分布式装配阻塞流水车间集成调度方法 | |
| Echeverria et al. | Solving large flexible job shop scheduling instances by generating a diverse set of scheduling policies with deep reinforcement learning | |
| Cai et al. | Lot Splitting and Job Shop Scheduling with Limited Buffer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |