CN112149987A - 基于深度强化学习的多目标柔性作业车间调度方法和装置 - Google Patents

基于深度强化学习的多目标柔性作业车间调度方法和装置 Download PDF

Info

Publication number
CN112149987A
CN112149987A CN202010983212.1A CN202010983212A CN112149987A CN 112149987 A CN112149987 A CN 112149987A CN 202010983212 A CN202010983212 A CN 202010983212A CN 112149987 A CN112149987 A CN 112149987A
Authority
CN
China
Prior art keywords
target
workpiece
machine
network
rescheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010983212.1A
Other languages
English (en)
Inventor
张林宣
罗术
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010983212.1A priority Critical patent/CN112149987A/zh
Publication of CN112149987A publication Critical patent/CN112149987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种基于深度强化学习的多目标柔性作业车间调度方法和装置，涉及动态调度技术领域，其中，方法包括：读取当前重调度时刻的生产线状态特征向量输入训练后的目标智能体的目标策略网络得到调度目标；将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络得到工件指派规则，并输入训练后的机器智能体的机器策略网络得到机器分配规则；根据工件指派规则选取待加工工件，根据机器分配规则选取加工机器，通过加工机器对待加工工件的下一道工序进行加工处理。由此，通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标、工件指派规则和机器分配规则，实现多目标协同优化和完全实时化、自主化、无人化的智能工厂。

Description

基于深度强化学习的多目标柔性作业车间调度方法和装置
技术领域
本发明涉及动态调度技术领域，特别涉及一种基于深度强化学习的多目标柔性作业车间调度方法和装置。
背景技术
相关技术中，多目标柔性作业车间动态调度方法大多基于简单的调度规则或者元启发式算法，简单的调度规则主要包括先来先服务(First in First out,简称FIFO)、最短交货期优先(Earliest due date,简称EDD)、最长剩余加工时间优先(Most remainingprocessing time,简称MRPT)等，其在每个重调度时刻选取一个工件到一台机器上进行加工，其优点是具有较高的实时性，能对不确定事件立即做出响应，其缺点是具有短视性，从长期来看不能得到较好的调度方案，而且单一的调度规则往往适用于单一优化目标，无法实现多目标优化。
另外，元启发式算法主要包括遗传算法(genetic algorithm,简称GA)、粒子群优化算法(Particle swarm optimization,简称PSO)、蚁群优化算法(Ant colonyoptimization,简称ACO)等。其将动态调度问题分解为多阶段静态调度问题进行求解，即在每个重调度时刻对剩余所有未完成的工件统一进行考虑，通过复杂的智能优化算法在庞大的搜索空间内进行寻优，并形成全新的调度方案。其优点是能够获得较好的重调度方案，其缺点是运算时间较长，不具有实时性，在动态事件频发的情况下不适用。
传统动态调度方法大多针对简单的作业车间调度问题，既每道工序的加工机器提前给定，且只能由该台指定的机器进行加工，因此只需决定不同机器上各工序的加工顺序即可。而柔性作业车间调度问题中，每道工序可以由给定机器集合中的任意一台机器进行加工。相比于传统作业车间调度问题，既要考虑将每道工序安排到合适的机器上进行加工，也要考虑每台机器上各工序的加工顺序。其比简单的作业车间调度问题更加复杂，已被证明是NP-难题。因此，在各种不确定因素(例如插单和机器故障)并存且频繁发生的加工环境中，传统的柔性作业车间动态调度算法，特别是复杂的启发式算法由于需要耗费大量的计算时间，无法满足时效性，而简单的启发式规则由于具有短视性，且不能实现多目标优化，也无法对调度方案起到长期优化作用。
目前强化学习已经被广泛应用于解决各种动态调度问题，其中使用最多的算法便是Q学习，传统的Q-学习在训练过程中其需要维护一张庞大的Q-函数表，该表的每一行表示某个状态，每一列代表某个可选动作，每一个元素存储的便是某个状态下选取某个动作所对应的Q-函数值。一般而言，在每个重调度时刻只需选择该状态下Q-函数值最高的规则作为该时刻的调度规则即可。使用Q表，虽然具有简单直观的优点，但却存在“维数爆炸”的巨大隐患。即其状态总数随着状态特征维数的增长呈指数上升，这对于拥有巨大状态空间的实际调度问题来说是不可接受的。存储一张如此庞大而复杂的Q表不仅会引入巨大的计算负担，也会引入大量从未经历过的无用状态，降低了算法效率，以及现有的基于强化学习的动态调度算法往往只考虑单一优化目标(例如总拖期)，无法实现多目标优化。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于深度强化学习的多目标柔性作业车间实时重调度方法，通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标、工件指派规则以及机器分配规则，实现多目标优化以及完全实时化、自主化、无人化的智能工厂。
本发明的另一个目的在于提出一种基于深度强化学习的多目标柔性作业车间实时重调度装置。
为达到上述目的，本发明一方面实施例提出了一种基于深度强化学习的多目标柔性作业车间调度方法，包括：读取当前重调度时刻的生产线状态特征向量；将所述生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标；将所述生产线状态特征向量和所述调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则；将所述生产线状态特征向量和所述调度目标输入训练后的机器智能体的机器策略网络，得到所述当前重调度时刻的机器分配规则；根据所述工件指派规则选取待加工工件，根据所述机器分配规则选取加工机器，以及通过所述加工机器对所述待加工工件的下一道工序进行加工处理。
另外，根据本发明上述实施例的基于深度强化学习的多目标柔性作业车间调度方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，将所述当前重调度时刻的生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标，包括：根据所述目标策略网络中的深度神经网络对所述生产线状态特征向量进行处理后输入分类函数得到每一个优化目标对应的选择概率；使用轮盘赌方法根据不同优化目标的选择概率确定所述调度目标。
根据本发明的一个实施例，所述将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则，包括：根据所述工件策略网络中的深度神经网络对所述生产线状态特征向量和所述调度目标进行处理后输入分类函数得到每一个工件指派规则对应的选择概率；使用轮盘赌方法根据不同工件指派规则的选择概率确定所述工件指派规则。
根据本发明的一个实施例，所述将所述生产线状态特征向量和所述调度目标输入训练后的机器智能体的机器策略网络，得到目标机器分配规则，包括：
根据所述机器策略网络中的深度神经网络对所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标进行处理后输入分类函数得到每一个机器分配规则对应的选择概率；使用轮盘赌方法根据不同机器分配规则的选择概率确定所述机器分配规则。
根据本发明的一个实施例，将所述当前重调度时刻的生产线状态特征向量输入所述目标智能体的目标价值网络，得到所述当前重调度时刻的目标状态价值函数；将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入所述工件智能体的工件价值网络，得到所述当前重调度时刻的工件状态价值函数；将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入所述机器智能体的机器价值网络，得到所述当前重调度时刻的机器状态价值函数。
根据本发明的一个实施例，所述当前重调度时刻为任意一道工序的完成时刻、或者，插单到达的时刻。
根据本发明的一个实施例，在离线预训练过程中，获取所述目标智能体的目标策略网络、旧目标策略网络和目标价值网络、所述工件智能体的工件策略网络、旧工件策略网络和工件价值网络、所述机器智能体的机器策略网络、旧机器策略网络和机器价值网络，并对各个网络进行参数初始化；令旧目标策略网络的初始参数为目标策略网络的初始参数，旧工件策略网络的初始参数为工件策略网络的初始参数，旧机器策略网络的初始参数为机器策略网络的初始参数。在每个训练周期内，随机生成新的训练环境，并用近端策略优化算法(Proximal Policy Optimization，PPO)对所有智能体进行离线预训练，具体来说，在训练过程中的每个重调度时刻获取当前状态特征向量输入所述旧工件策略网络得到优化目标；将所述当前状态特征向量和所述优化目标分别输入旧工件策略网络和旧机器策略网络，得到训练工件指派规则和训练机器分配规则；根据所述训练工件指派规则选取一个工件和根据所述训练机器分配规则选取一台机器，将被选工件的下一道工序安排在被选机器上进行加工，计算当前时刻奖励；每当经过一定的重调度步数后，通过PPO损失函数更新所述目标智能体的目标策略网络、所述工件智能体的工件策略网络、所述机器智能体的机器策略网络，并用各智能体当前时刻的策略网络的参数替换其旧策略网络的参数。通过最小平方误差损失函数(MSE)更新目标智能体的目标状态价值网络、工件智能体的工件状态价值网络、机器智能体的机器状态价值网络，此过程不断进行，直到所述各个网络满足使用需求。
根据本发明的一个实施例，所述调度目标为最小化所有工件的总拖期、最大化所有机器的平均机器利用率和最小化所有机器负荷的方差中的一种或者多种。
根据本发明的一个实施例，所述生产线状态特征向量，包括：加工车间内的机器总数、平均机器利用率、各机器利用率的方差、所有工序的完成度、每个工件的平均完成度、工件完成度的方差、所有机器负荷的方差、每个重调度时刻的预估延迟率、每个重调度时刻的实际延迟率和每个重调度时刻的预估延迟时间中的一种或者多种。
根据本发明实施例的基于深度强化学习的多目标柔性作业车间调度方法，通过读取当前重调度时刻的生产线状态特征向量；将生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到调度目标；将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络，得到工件指派规则；将生产线状态特征向量和调度目标输入训练后的机器智能体的机器策略网络，得到机器分配规则；根据目标工件指派规则选取待加工工件，根据目标机器分配规则选取加工机器，以及通过加工机器对待加工工件的下一道工序进行加工处理。由此，通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标，工件指派规则以及机器分配规则，实现完全实时化、自主化、无人化的智能工厂。
为达到上述目的，本发明另一方面实施例提出了一种基于深度强化学习的多目标柔性作业车间调度装置，包括：读取模块，用于读取当前重调度时刻的生产线状态特征向量；第一输入模块，用于将所述生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标；第二输入模块，用于将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则；第三输入模块，用于将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的机器智能体的机器策略网络，得到所述当前重调度时刻的机器分配规则；处理模块，用于根据所述工件指派规则选取待加工工件，根据所述机器分配规则选取加工机器，以及通过所述加工机器对所述待加工工件的下一道工序进行加工处理。
根据本发明实施例的基于深度强化学习的多目标柔性作业车间调度装置，通过读取当前重调度时刻的生产线状态特征向量；将生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到调度目标；将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络，得到工件指派规则；将生产线状态特征向量和调度目标输入训练后的机器智能体的机器策略网络，得到机器分配规则；根据工件指派规则选取待加工工件，根据机器分配规则选取加工机器，以及通过加工机器对待加工工件的下一道工序进行加工处理。由此，通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标、工件指派规则以及机器分配规则实现多目标协同优化以及完全实时化、自主化、无人化的智能工厂。
根据本发明实施例的第三方面，提供一种服务器，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现第一方面实施例所述的基于深度强化学习的多目标柔性作业车间调度方法。
根据本发明实施例的第四方面，提供一种存储介质，包括：
当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行第一方面实施例所述的基于深度强化学习的多目标柔性作业车间调度方法。
根据本发明实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，使得服务器能够执行第一方面实施例所述的基于深度强化学习的多目标柔性作业车间调度方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是根据本发明一个实施例的基于深度强化学习的多目标柔性作业车间调度方法的流程图；
图2是根据本发明数值实验示例图；
图3展示了在整个动态调度过程中三个智能体与生产现场之间的相互作用效果图
图4是根据本发明一个实施例的基于深度强化学习的多目标柔性作业车间调度装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于深度强化学习的多目标柔性作业车间调度方法和装置。
相关技术中，大多针对简单的作业车间调度问题，既每道工序的加工机器提前给定，且只能由该台指定的机器进行加工，因此只需决定不同机器上各工序的加工顺序即可。本发明基于深度强化学习的多目标柔性作业车间调度方法针对柔性作业车间调度问题，即每道工序可以由给定的候选机器集合中的任意一台机器进行加工，因此既要考虑每道工序的机器分配问题，也要考虑每台机器上各工序的加工顺序问题，比传统的作业车间动态调度问题更加复杂。
具体而言，本发明基于深度强化学习的多目标柔性作业车间调度方法既要考虑工件指派规则(即每个重调度时刻选取一个合适的未完成的工件，并加工其下一道工序)，也要考虑机器分配规则(即每个重调度时刻在被选中的工序的候选机器集合中选取一台合适的加工机器，并将该工序分配至该机器上进行加工)。
可以理解的是，在各种不确定因素并存的加工环境中，传统静态调度算法，特别是复杂的启发式算法由于需要耗费大量的计算时间，无法满足时效性。而简单的启发式规则由于具有短视性，无法对调度方案起到长期优化作用。
为了解决以上问题，一个合理的方案是根据生产现场的实时状况动态、自适应地选取最合适的调度规则，每个调度规则只针对当前时刻及之后的一小段时间进行优化，这确保了调度规则的短期有效性，当新的不确定事件发生时，立即重新选取最合适的调度规则，如此一来，既保证了动态调度的时效性，也能获得从长期看较为优秀的调度方案。
针对以上描述，若把规则(或其他调度参数)选取的过程建模为一个马尔可夫决策过程(Markov Decision Processes,MDP)，其决策时刻可以定义为不确定事件(插单、机器故障等)发生的时刻，其状态为每个决策时刻生产现场的状态指标，如任务完成率、机器利用率、生产节拍、等待任务队列长度、订单延迟程度等等，其动作即为每个决策时刻可以选取的调度规则集合。则该马尔可夫过程可以通过强化学习得到有效的解决。
为了实现带频繁插单的多目标柔性作业车间的实时在线重调度，设计了基于深度强化学习的多目标实时重调度方法。其相比传统动态调度算法最大的优点是具有实时性。定义重调度时刻为任意一道工序的完成时刻或是插单到达的时刻，其在每个重调度时刻智能选择优化目标以及工件指派规则和机器分配规则，能够在整个调度过程中实现多目标优化。
具体地，传统的动态调度算法往往针对单一优化目标(例如总拖期)进行优化，本发明基于深度强化学习的多目标柔性作业车间调度方法对(1)总拖期、(2)所有机器的平均机器利用率、(3)所有机器负荷的均衡度(即所有机器负荷的方差)三个目标同时进行考虑，实现多目标优化。
具体操作为在每个重调度时刻t，通过目标智能体πg根据当前时刻的生产线状态φ(st)选择总拖期(total tardiness,简称TT)、所有机器的平均机器利用率(Uave)、所有机器负荷的方差(Wstd)这三个目标的其中之一作为当前时刻的优化目标gt，而后工件智能体πJ基于当前时刻的生产线状态φ(st)和目标智能体选择的优化目标gt选择一条合理的工件指派规则aJ,t，并根据该规则选择一个未加工完成的工件Ji。机器智能体πm基于当前时刻的生产线状态φ(st)和目标智能体选择的优化目标gt选择一条合理的机器分配规则am,t，并根据该规则选择一台合适的加工机器Mk，最后把工件智能体选择的未加工完成的工件Ji的下一道工序分配至机器智能选中的机器Mk上进行加工。由于在每个重调度时刻均根据当前的生产线实时状态选取优化目标，并依据该目标选取对应的工件指派规则和机器分配规则，因此从长远看能够在整个调度过程中实现对各个目标的综合优化，达到理想的调度效果。
具体地，传统的多目标优化方法通过对各种目标函数加权求和形成新的目标函数，即将多目标优化问题转化为单目标优化问题进行求解。其缺点在于各种目标函数的权重难以指定，很难指定最优的权重以实现对各种目标的综合优化。本发明基于深度强化学习的多目标柔性作业车间调度方法通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标，不用为各目标设置不同的权重，从长远来看能实现对各种目标的综合优化。
具体地，由于单一调度规则具有短视性，从长远来看无法获得较好的重调度方案，且无法实现多目标优化。本发明基于深度强化学习的多目标柔性作业车间调度方法分别定义了5种工件指派规则和5种机器分配规则，该方法在每个重调度时刻选取分别选取合适的工件指派规则和机器分配规则。其中，每种工件指派规则选取一个合适的未加工完成的工件，每种机器分配规则选取一台合适的加工机器并将通过工件指派规则选中的工件的下一道工序安排到该机器上进行加工。通过在不同的重调度时刻选取最合适的工件指派规则和机器分配规则，从长远来看能够在整个调度过程中实现较好的调度效果。
具体地，传统的深度Q-网络基于深度Q-学习进行训练，其输出为每个状态-动作对的Q-函数值，无法直接输出策略(即每个动作的选择概率)。本方法使用直接输出策略的深度策略网络，直接将每个重调度时刻的将状态特征作为输入，将每个规则或优化目标的选择概率作为输出，利用近端策略优化算法(Proximal Policy Optimization,PPO)对三个智能体进行训练，解决了基于传统Q-学习动态调度算法的状态爆炸问题，同时能够直接对策略进行优化。
本发明基于深度强化学习的多目标柔性作业车间调度方法包含三个深度强化学习智能体，分别为目标智能体πg，工件智能体πJ，以及机器智能体πm。每个智能体都包含一个深度策略网络π和状态价值网络v。定义当前重调度时刻的生产线状态特征为φ(st)。目标智能体的策略网络πg的输入φg,t为当前重调度时刻t的生产线状态φ(st)，即φg,t＝φ(st)，其输出为前重调度时刻的优化目标gt的选择概率πg(φg,t,gt)。目标智能体的状态价值网络vg以φg,t作为输入，以当前重调度时刻的目标状态价值函数vg(φg,t)作为输出。工件智能体的策略网络πJ的输入φJ,t为当前时刻的生产线状态φ(st)和当前时刻的优化目标gt，即φJ,t＝[φ(st),gt]，输出为当前重调度时刻的工件指派规则aJ,t的选择概率πJ(φJ,t,aJ,t)。工件智能体的状态价值网络vJ的输入为φJ,t，输出为当前重调度时刻的工件状态价值函数vJ(φJ,t)。机器智能体的策略网络πm的输入为当前时刻的生产线状态φ(st)和当前时刻的优化目标gt，即φm,t＝[φ(st),gt]，输出为当前重调度时刻的机器分配规则am,t的选择概率πm(φm,t,am,t)。机器智能体的状态价值网络vm的输入为φm,t，输出为当前重调度时刻的机器状态价值函数vm(φm,t)。
本发明基于深度强化学习的多目标柔性作业车间实时重调度方法可以定义重调度时刻为任意一道工序的完成时刻或是插单到达的时刻。
本发明基于深度强化学习的多目标柔性作业车间调度方法，在每个重调度时刻，目标智能体πg根据当前时刻的生产线状态φ(st)选择优化目标gt，工件智能体πJ根据当前时刻的生产线状态φ(st)及gt选取合适的工件指派规则aJ,t，机器智能体πm根据当前时刻的生产线状态φ(st)及gt选取合适的机器分配规则am,t。最后系统根据工件指派规则aJ,t选取一个合适的工件Ji，并根据机器分配规则am,t选取合适的机器Mk，并将工件Ji的下一道工序安排到机器Mk上进行加工。
图1是根据本发明一个实施例的基于深度强化学习的多目标柔性作业车间调度方法的流程图。如图1所示，该基于深度强化学习的多目标柔性作业车间调度方法包括以下步骤：
步骤S101，读取当前重调度时刻的生产线状态特征向量。
首先，本发明针对的是多目标柔性作业车间动态调度问题，具体地，在车间中存在n个依次到达的工件J＝{J1,J2,…,Jn}和m台机器M＝{M1,M2,…,Mm}。每个工件Ji包含ni道工序，其中Oi,j代表工件Ji的第j道工序。每道工序Oi,j都可以在其候选机器集合
Figure BDA0002688255750000081
中的任意一台机器Mk上进行加工。工序Oi,j在机器Mk上的加工时间用ti,j,k来表示。工序Oi,j的加工完成时间用Ci,j表示。每个工件Ji的到达时间为Ai，其交货期限为Di。在调度过程中需同时考虑3种优化目标：最小化所有工件的总拖期，最大化所有机器的平均机器利用率，以及最小化所有机器负荷的方差。
在本实施例中，多目标柔性作业车间动态调度问题需要满足如下假设：(1)每台机器在任一时刻最多只能加工一道工序(机器能力约束)；(2)所有工序必须在其前导工序加工完成后才能进行加工(优先级约束)；(3)每道工序一旦开始加工不允许被中断。
在本实施例中，各个参数的含义如下表所示：
Figure BDA0002688255750000091
在本实施例中，还定义了决策变量以及对应的决策变量意义，如下表所示：
Figure BDA0002688255750000092
在本实施例中，还设置了数学模型，具体描述如下：
Figure BDA0002688255750000093
Figure BDA0002688255750000094
Figure BDA0002688255750000095
其中，
Figure BDA0002688255750000096
Figure BDA0002688255750000097
Figure BDA0002688255750000101
Figure BDA0002688255750000102
Figure BDA0002688255750000103
其中，目标f1为最小化所有工件的总拖期，目标f2为最小化所有机器的平均机器利用率的倒数，目标f3为最小化所有机器负荷的方差；约束(1)代表任意工序的开始时间需大于等于0，且完成时间需大于0。约束(2)代表每道工序只能被安排到一台机器上。约束(3)代表每道工序必须在其前一道工序加工完成之后才能开始加工。约束(4)代表每个工件只能在其到达时间之后开始加工。约束(5)代表任意机器在任意时刻最多只能加工一道工序。
在本实施例中，生产线状态特征向量，包括：加工车间内的机器总数、平均机器利用率、各机器利用率的方差、所有工序的完成度、每个工件的平均完成度、工件完成度的方差、所有机器负荷的方差、每个重调度时刻的预估延迟率、每个重调度时刻的实际延迟率和每个重调度时刻的预估延迟时间中的一种或者多种。
具体地，定义CTk(t)为当前重调度时刻t机器Mk上最后一道工序的完成时间，定义OPi(t)为当前重调度时刻工件Ji已经被分配至机器上加工的工序总数。定义当前时刻机器Mk的利用率为Uk(t)，即
Figure BDA0002688255750000104
定义当前时刻工件Ji的完成度为CRJi(t)，有
Figure BDA0002688255750000105
定义当前时刻机器Mk的负荷为
Figure BDA0002688255750000106
当前时刻的平均机器负荷
Figure BDA0002688255750000107
定义
Figure BDA0002688255750000108
为工序Oi,j在其所有可用机器集合Mi,j上的加工时间的平均值。基于以上符号，本发明定义了10种生产状态特征向量，如下所示：
(1)加工车间内的机器总数m；(2)平均机器利用率
Figure BDA0002688255750000109
(3)各机器利用率的方差
Figure BDA00026882557500001010
(4)所有工序的完成度
Figure BDA00026882557500001011
(5)每个工件的平均完成度
Figure BDA00026882557500001012
(6)工件完成度的方差
Figure BDA00026882557500001013
(7)所有机器负荷的方差
Figure BDA00026882557500001014
(8)预估延迟率Tarde(t)，其计算方式如下；每个重调度时刻t的预估延迟率Tarde(t)的计算方式：
Figure BDA00026882557500001015
Figure BDA0002688255750000111
(9)实际延迟率Tarda(t)，其计算方式如下：
Figure BDA0002688255750000112
Figure BDA0002688255750000121
(10)预估延迟时间Estimated tardinessET()，其计算方式如下
Figure BDA0002688255750000122
在本实施例中，当前重调度时刻为任意一道工序的完成时刻、或者，插单到达的时刻。
步骤S102，将生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到调度目标。
在本实施例中，根据目标策略网络中的深度神经网络对生产线状态特征向量进行处理后输入分类函数比如softmax得到每一个优化目标对应的选择概率，使用轮盘赌方法根据不同优化目标的选择概率确定最终的调度目标。
具体地，目标智能体πg的策略网络为7层深度神经网络，包含一个输入层，五个隐含层，一个输出层。其输入层有10个节点，对应十种生产线状态特征φ(st)＝[m,Uave(t),Ustd(t),CRO(t),CRJave(t),CRJstd(t),Wstd(t),Tarde(t),Tarda(t),ET(t)]，其激活函数为Relu。五个隐含层每层有200个节点，激活函数为Relu。其输出层有3个节点，对应3种优化目标，即总拖期、平均机器利用率以及所有机器负荷的均衡度。输出层的激活函数为softmax函数，对应输出每个重调度时刻三种优化目标的选择概率πg(φg,t,ag,t)。
在本实施例中，调度目标为最小化所有工件的总拖期、最大化所有机器的平均机器利用率和最小化所有机器负荷的方差中的一种或者多种。
步骤S103，将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络，得到目标工件指派规则。
在本实施例中，根据工件策略网络中的深度神经网络对生产线状态特征向量和调度目标进行处理后输入分类函数比如得到每一个工件指派规则对应的选择概率，使用轮盘赌方法根据不同工件指派规则的选择概率确定最终的工件指派规则。
具体地，工件智能体πJ的策略网络为7层深度神经网络，包含一个输入层，五个隐含层，一个输出层。其输入层有11个节点，对应十种生产线状态特征φ(st)＝[m,Uave(t),Ustd(t),CRO(t),CRJave(t),CRJstd(t),Wstd(t),Tarde(t),Tarda(t),ET(t)]以及当前重调度时刻的优化目标gt，其激活函数为Relu。五个隐含层每层有200个节点，激活函数为Relu。其输出层有5个节点，对应5种工件指派规则。输出层的激活函数为softmax函数，对应输出每个重调度时刻5种工件指派规则的选择概率πJ(φJ,t,aJ,t)。
具体地，定义Tcur＝meankCTk()为当前重调度时刻所有机器上最后一道工序加工完成的平均时间。定义Tardjob(t)为当前时刻的预估延迟工件集合，即交货期Di<Tcur的未完成工件的集合。定义UCjob(t)为当前时刻所有未完成的工件的集合。基于以上符号，本发明提出了5种工件指派规则，如下所示：
Figure BDA0002688255750000131
Figure BDA0002688255750000141
Figure BDA0002688255750000151
步骤S104，将生产线状态特征向量和调度目标输入训练后的机器智能体的机器策略网络，得到目标机器分配规则。
在本实施例中，根据机器策略网络中的深度神经网络对生产线状态特征向量和调度目标进行处理后输入分类函数比如softmax得到每一个机器分配规则对应的选择概率，,使用轮盘赌方法根据不同机器分配规则的选择概率确定最终的机器分配规则。
具体地，机器智能体πm的策略网络为7层深度神经网络，包含一个输入层，五个隐含层，一个输出层。其输入层有11个节点，对应十种生产线状态特征。
φ(st)＝[m,Uave(t),Ustd(t),CRO(t),CRJave(t),CRJstd(t),Wstd(t),Tarde(t),Tarda(t),ET(t)]以及当前重调度时刻的优化目标gt，其激活函数为Relu。五个隐含层每层有200个节点，激活函数为Relu。其输出层有5个节点，对应5种机器分配规则。输出层的激活函数为softmax函数，对应输出每个重调度时刻5种机器分配规则的选择概率πm(φm,t,am,t)。
本发明提出了5种机器分配规则，如下所示。
Figure BDA0002688255750000152
可以理解的是，还可以获取各个网络的状态价值函数，在本实施例中，将生产线状态特征向量输入目标智能体的目标状态价值网络，得到当前重调度时刻的目标状态价值函数；将生产线状态特征向量和调度目标输入工件智能体的工件状态价值网络，得到当前重调度时刻的工件状态价值函数；将生产线状态特征向量和调度目标输入机器智能体的机器状态价值网络，得到当前重调度时刻的机器状态价值函数。
具体地，目标智能体πg的状态价值网络为4层深度神经网络，包含一个输入层，两个隐含层，一个输出层。其输入层有10个节点，对应十种生产线状态特征。φ(st)＝[m,Uave(t),Ustd(t),CRO(t),CRJave(t),CRJstd(t),Wstd(t),Tarde(t),Tarda(t),ET(t)]，其激活函数为Relu。两个隐含层每层有200个节点，激活函数为Relu。其输出层有1个节点，激活函数为Relu，输出每个状态φg,t对应的目标状态价值函数值vg(φg,t)。
具体地，工件智能体πJ的状态价值网络为4层深度神经网络，包含一个输入层，两个隐含层，一个输出层。其输入层有11个节点，对应十种生产线状态特征。φ(st)＝[m,Uave(t),Ustd(t),CRO(t),CRJave(t),CRJstd(t),Wstd(t),Tarde(t),Tarda(t),ET(t)]以及当前重调度时刻的优化目标gt，其激活函数为Relu。两个隐含层每层有200个节点，激活函数为Relu。其输出层有1个节点，激活函数为Relu，输出每个状态φJ,t对应的工件状态价值函数值vJ(φJ,t)。
具体地，机器智能体πm的状态价值网络为4层深度神经网络，包含一个输入层，两个隐含层，一个输出层。其输入层有11个节点，对应十种生产线状态特征。φ(st)＝[m,Uave(t),Ustd(t),CRO(t),CRJave(t),CRJstd(t),Wstd(t),Tarde(t),Tarda(t),ET(t)]以及当前重调度时刻的优化目标gt，其激活函数为Relu。两个隐含层每层有200个节点，激活函数为Relu。其输出层有1个节点，激活函数为Relu，输出每个状态φm,t对应的机器状态价值函数值vm(φm,t)。
可以理解的是，需要预先训练好各个网络，在本实施例中，获取目标智能体的目标策略网络、旧目标策略网络和目标状态价值网络、工件智能体的工件策略网络、旧工件策略网络和工件状态价值网络、机器智能体的机器策略网络、旧机器策略网络和机器状态价值网络，并对各个网络进行参数初始化；令旧目标策略网络的初始参数为目标策略网络的初始参数，旧工件策略网络的初始参数为工件策略网络的初始参数，旧机器策略网络的初始参数为机器策略网络的初始参数。在每个训练周期内，随机生成新的训练环境，并用近端策略优化算法(Proximal Policy Optimization，PPO)对所有智能体进行离线预训练。具体来说，在训练过程中的每个重调度时刻获取当前状态特征向量输入旧工件策略网络得到优化目标；将当前状态特征向量和优化目标分别输入旧工件策略网络和旧机器策略网络，得到训练工件指派规则和训练机器分配规则；根据训练工件指派规则选取一个工件和根据训练机器分配规则选取一台机器，将工件的下一道工序安排在机器上进行加工，计算当前时刻奖励；每当经过一定的重调度步数后，通过PPO损失函数更新目标智能体的目标策略网络、工件智能体的工件策略网络、机器智能体的机器策略网络，并用各智能体当前时刻的策略网络的参数替换其旧策略网络的参数。通过最小平方误差损失函数(MSE)更新目标智能体的目标状态价值网络、工件智能体的工件状态价值网络、机器智能体的机器状态价值网络。此过程不断进行，直到各个网络满足使用需求。
具体地，首先对三个智能体进行离线预训练，每个episode表示一个完整的训练过程(即从开始时刻到所有工序都被调度完成的时刻)。在每个episode中，都随机生成不同的训练环境。假设插单的到达过程符合泊松过程，即相邻两个插单到达的时间间隔服从指数分布
Figure BDA0002688255750000171
即相邻两个插单的到达时间间隔的均值为λ。用DDT(due date tightness)代表每个订单交货期的紧急程度。若某个订单Ji的到达时间为Ai，则其交货期
Figure BDA0002688255750000172
Figure BDA0002688255750000173
DDT的值越小代表该订单的交期越短，即该订单越紧急。基于以上表述，每个episode中的训练环境的参数如下表所示：
机器总数m [1,50]内的均匀分布
每道工序O<sub>i,j</sub>的可用机器总数|M<sub>i,j</sub>| [1,m]内的均匀分布
每个工件J<sub>i</sub>的工序总数n<sub>i</sub> [1,20]内的均匀分布
随机到达的插单总数 [50,200]内的均匀分布
每个订单交货期的紧急程度DDT [0.5,1.5]内的均匀分布
相邻两个插单的到达时间间隔的均值λ [50,200]内的均匀分布
基于近端策略优化Proximal Policy Optimization(PPO)的离线预训练算法如下表所示：
Figure BDA0002688255750000174
Figure BDA0002688255750000181
Figure BDA0002688255750000191
奖励函数的计算方式：
Figure BDA0002688255750000192
Figure BDA0002688255750000201
本方法所提出的三个智能体经过离线预训练后，将其应用于实际动态重调度过程进行在线实时重调度，其实施方法如下。在实施过程中，只用到了各智能体的策略网络进行优化目标、工件指派规则以及机器分配规则的选取，而没有用到各智能体的状态价值网络。即状态价值网络仅在各智能体的离线预训练过程中起作用，而在实际的重调度过程中不起作用。
步骤S105，根据工件指派规则选取工件，根据机器分配规则选取机器，以及通过被选机器对被选工件的下一道工序进行加工处理。
具体地，训练后的目标策略网络πg，训练后的工件策略网络πJ，训练后的机器策略网络πm。
fort＝0:T(t是重调度时刻，即每当某台机器上的某道工序做完或是新工件到达的时刻，T是终止时刻，即所有工序加工完成的时刻)
获取当前状态st的特征向量φ(st)
＝[m,Uave(t),Ustd(t),CRO(t),CRJave(t),CRJstd(t),Wstd(t),Tarde(t),Tarda(t),ET(t)]
令φg,t＝φ(st)根据策略πg(φt,gt；θg)选取目标gt。
令φJ,t＝[φ(st),gt]，根据策略πJ(φJ,t,aJ,t；θJ)选取工件指派规则aJ,t。
令φm,t＝[φ(st),gt]，根据策略πm(φm,t,am,t；θm)选取机器分配规则am,t。
根据工件指派规则aJ,t选取一个工件Ji，根据机器分配规则am,t选取一台机器Mk，将Ji的下一道工序安排在Mk上进行加工。
举例而言，如图2所示，Pareto支配的定义：
在一个有m个目标函数{f1,f2,…,fm}的Minimize优化问题中，假设有两个解x和y，若满足(1)
Figure BDA0002688255750000212
(2)至少存在一个k严格满足fk(x)<fk(y)，则称x支配y，或x＜y。若某个解满足没有任何其他解能将其支配，则称其为非支配解，或是Pareto最优解。某个多目标优化问题的所有Pareto最优解构成的集合称为Pareto最优前沿。多目标优化算法力图找到一组在Pareto最优前沿上均匀分布的Pareto最优解，如下图所示。这些解在各个目标上各有优劣，从而直观地反映了多目标之间的相互权衡。
多目标优化问题的性能评价指标：
对于多目标优化问题，采用以下三种指标评价解性能的好坏：
(1)世代距离(Generational Distance,GD)，其定义如下：
Figure BDA0002688255750000211
其中P为真实某个多目标优化问题中真实的Pareto最优前沿，A为某个待评价算法得到的近似Pareto最优前沿。di,A,P为A中第i个解与P中距离其最近的解之间的欧式距离。GD指标主要用来评价某个算法得到的Pareto最优前沿的收敛性，GD的值越小则代表该算法得到的Pareto最优前沿与真实的Pareto最优前沿越接近。
(2)多样性指标Δ，其定义如下：
Figure BDA0002688255750000221
其中di,A,A为A中第i个解与A中距离其最近的解之间的欧式距离。
Figure BDA0002688255750000222
为所有di，A，A的平均值。
Figure BDA0002688255750000223
为A中某个第j个目标函数最大的解与P中第j个目标函数最大的解之间的欧式距离。no为所有目标函数的数量。Δ指标用来评价某个算法得到的Pareto最优前沿的均匀性。Δ的值越小则代表该算法得到的Pareto最优前沿上Pareto最优解的分布越均匀。
(3)反转世代距离(Inverse Generational Distance,IGD)，其定义如下：
Figure BDA0002688255750000224
其中，di,P,A为P中第i个解与A中距离其最近的解之间的欧式距离。IGD指标主要用来综合评价某个算法得到的Pareto最优前沿的收敛性和均匀性，IGD的值越小则代表该算法得到的Pareto最优前沿与真实的Pareto最优前沿越接近，同时得到的Pareto最优前沿上的解的分布的均匀性也越好。
将本发明的调度效果与现存的六种最常用的调度规则对比，包括：(1)先来先服务(First in first out,FIFO)：即选择最早达到的工件，并将其下一道工序安排至最早可用的机器上加工。(2)最多剩余加工时间优先(Most remaining processing time,MRPT)：即选择具有最多剩余加工时间的工件，并将其下一道工序安排至最早可用的机器上加工。(3)最早交货期优先(Earliest due date,EDD)：即选择具有最早交货期的工件，并将其下一道工序安排至最早可用的机器上加工。(4)关键率(Critical ratio,CR)：定义工件的关键率为工件的剩余加工时间除以当前时刻距离其交期的时间，选择具有最高关键率的工件，并将其下一道工序安排至最早可用的机器上加工。(5)最短加工时间(Shortest processingtime,SPT)：选择下一道工序的加工时间最短的工件，并将其下一道工序安排至最早可用的机器上加工。(6)最长加工时间(Longest processing time,LPT)：选择下一道工序的加工时间最长的工件，并将其下一道工序安排至最早可用的机器上加工。(7)随机规则(Randomrule)：在每个重调度时刻随机选择以上某种规则安排某道工序至某台机器上进行加工。
将本方法基于PPO训练得到的三个智能体在不同的算例上进行测试，并与上述7种调度规则进行性能比较，结果如下表所示。其中每个测试算例的插单数量在[100,150]之间均匀分布，每个工件的工序数量为[1,20]区间内的均匀分布，每道工序的加工时间为[1,50]区间内的均匀分布。假设插单的到达过程符合泊松过程，即相邻两个插单到达的时间间隔服从指数分布
Figure BDA0002688255750000231
在这里指定λ＝100，即相邻两个插单的到达时间间隔的均值为100。DDT(due date tightness)代表每个订单交货期的紧急程度。若某个订单的到达时间为Ai，则其交货期
Figure BDA0002688255750000232
m代表测试算例中的机器总数。对每个测试算例都用本方法以及上述7种调度规则独立运行20次，选取每种方法最后得到的Pareto最优解，并计算GD、IGD以及Δ三种指标。不同的方法在不同测试算例上的性能指标如下(其中每个测试算例上最优的性能指标用粗体标注)：
1、不同方法在不同测试算例上的GD值：
Figure BDA0002688255750000233
需要说明的是，上述在表格中对最优算法进行了加粗标注。
2、不同方法在不同测试算例上的IGD值：
Figure BDA0002688255750000234
3、不同方法在不同测试算例上的Δ值：
Figure BDA0002688255750000241
从以上表格可以看出，本方法(即利用PPO进行训练后的智能体的调度效果)在几乎所有测试算例上都取得了最优的性能指标。
作为一种场景描述，图3展示了在整个动态调度过程中三个智能体与生产现场之间的相互作用效果图，通过读取当前重调度时刻的生产线状态特征向量；将生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到调度目标；将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络，得到工件指派规则；将生产线状态特征向量和调度目标输入训练后的机器智能体的机器策略网络，得到机器分配规则；根据工件指派规则选取工件，根据机器分配规则选取机器，以及通过被选机器对被选工件的下一道工序进行加工处理。
由此，能够实现带有频繁插单的多目标柔性作业车间的实时在线重调度。在每个重调度时刻(即每当插单到达或者某个机器做完一道工序时)，系统自动从剩余未加工工序集合中选择一道合适的工序并放在一台合适的机器上加工，而不必像传统动态调度方法那样通过遗传算法等其他智能优化算法耗费大量运算时间形成全新的调度方案。训练后的三个智能体在每个重调度时刻根据生产线状态进行自主决策，可以免去人工干预，能够实现完全实时化、自主化、无人化智能工厂。
另外，能够在整个调度过程中实现对总拖期、所有机器的平均机器利用率和所有机器负荷的均衡度三个目标的综合优化。
根据本发明实施例提出的基于深度强化学习多目标柔性作业车间调度方法，通过读取当前重调度时刻的生产线状态特征向量；将生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到调度目标；将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络，得到工件指派规则；将生产线状态特征向量和调度目标输入训练后的机器智能体的机器策略网络，得到机器分配规则；根据工件指派规则选取待加工工件，根据机器分配规则选取加工机器，以及通过加工机器对待加工工件的下一道工序进行加工处理。由此，通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标、工件指派规则以及机器分配规则，实现完全实时化、自主化、无人化的智能工厂。
图4是本发明实施例的基于深度强化学习的多目标柔性作业车间调度装置的结构示例图。如图4所示，该基于深度强化学习的多目标柔性作业车间调度装置包括：获取模块100、第一输入模块、第二输入模块300、第三输入模块400和处理模块500。
读取模块100，用于读取当前重调度时刻的生产线状态特征向量。
第一输入模块200，用于将所述生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到当前重调度时刻的调度目标。
第二输入模块300，用于将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的工件智能体的工件策略网络，得到当前重调度时刻的工件指派规则。
第三输入模块400，用于将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的机器智能体的机器策略网络，得到当前重调度时刻的机器分配规则。
处理模块500，用于根据所述工件指派规则选取待加工工件，根据所述机器分配规则选取加工机器，以及通过所述加工机器对所述待加工工件的下一道工序进行加工处理。
需要说明的是，前述对基于深度强化学习的多目标柔性作业车间调度方法实施例的解释说明也适用于该实施例的基于深度强化学习的多目标柔性作业车间调度装置，此处不再赘述。
根据本发明实施例提出的基于深度强化学习的多目标柔性作业车间调度装置，通过读取当前重调度时刻的生产线状态特征向量；将生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到调度目标；将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络，得到工件指派规则；将生产线状态特征向量和调度目标输入训练后的机器智能体的机器策略网络，得到机器分配规则；根据工件指派规则选取待加工工件，根据机器分配规则选取加工机器，以及通过加工机器对待加工工件的下一道工序进行加工处理。由此，通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标、工件指派规则和机器分配规则，实现完全实时化、自主化、无人化的智能工厂。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，包括：
读取当前重调度时刻的生产线状态特征向量；
将所述生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标；
将所述生产线状态特征向量和所述调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则；
将所述生产线状态特征向量和所述调度目标输入训练后的机器智能体的机器策略网络，得到所述当前重调度时刻的机器分配规则；
根据所述工件指派规则选取待加工工件，根据所述机器分配规则选取加工机器，以及通过所述加工机器对所述待加工工件的下一道工序进行加工处理。
2.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，将所述当前重调度时刻的生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标，包括：
根据所述目标策略网络中的深度神经网络对所述生产线状态特征向量进行处理后输入分类函数得到每一个优化目标对应的选择概率；
使用轮盘赌方法根据不同优化目标的选择概率确定所述调度目标。
3.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则，包括：
根据所述工件策略网络中的深度神经网络对所述生产线状态特征向量和所述调度目标进行处理后输入分类函数得到每一个工件指派规则对应的选择概率；
使用轮盘赌方法根据不同工件指派规则的选择概率确定所述工件指派规则。
4.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的机器智能体的机器策略网络，得到当前重调度时刻的机器分配规则，包括：
根据所述机器策略网络中的深度神经网络对所述生产线状态特征向量和所述调度目标进行处理后输入分类函数得到每一个机器分配规则对应的选择概率；
使用轮盘赌方法根据不同机器分配规则的选择概率确定所述机器分配规则。
5.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，还包括：
将所述当前重调度时刻的生产线状态特征向量输入所述目标智能体的目标价值网络，得到所述当前重调度时刻的目标状态价值函数；
将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入所述工件智能体的工件价值网络，得到所述当前重调度时刻的工件状态价值函数；
将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入所述机器智能体的机器价值网络，得到所述当前重调度时刻的机器状态价值函数。
6.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，所述当前重调度时刻为任意一道工序的完成时刻、或者，插单到达的时刻。
7.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，在离线预训练过程中，其特征在于，还包括：
获取所述目标智能体的目标策略网络、旧目标策略网络和目标状态价值网络、所述工件智能体的工件策略网络、旧工件策略网络和工件状态价值网络、所述机器智能体的机器策略网络、旧机器策略网络和机器状态价值网络，并对各个网络进行参数初始化；
设置所述旧目标策略网络的初始参数为所述目标策略网络的初始参数，所述旧工件策略网络的初始参数为所述工件策略网络的初始参数，以及所述旧机器策略网络的初始参数为所述机器策略网络的初始参数；
在每个训练周期内，随机生成新的训练环境，并利用近端策略优化算法PPO对三个智能体进行离线预训练；
在训练过程中的每个重调度时刻获取当前状态特征向量输入所述旧工件策略网络得到训练优化目标；
在训练过程中的每个重调度时刻将所述当前状态特征向量和所述优化目标分别输入旧工件策略网络和旧机器策略网络，得到训练工件指派规则和训练机器分配规则；
在每个重调度时刻根据所述训练工件指派规则选取一个工件和根据所述训练机器分配规则选取一台机器，将被选工件的下一道工序安排在被选机器上进行加工，计算当前时刻奖励；
每当经过一定的重调度步数后，通过PPO损失函数更新所述目标智能体的目标策略网络、所述工件智能体的工件策略网络、所述机器智能体的机器策略网络；并用各智能体当前时刻的策略网络的参数替换其旧策略网络的参数。通过最小平方误差损失函数MSE更新目标智能体的目标状态价值网络、工件智能体的工件状态价值网络、机器智能体的机器状态价值网络。此过程不断进行，直到所述各个网络满足使用需求。
8.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，
所述调度目标为最小化所有工件的总拖期、最大化所有机器的平均机器利用率和最小化所有机器负荷的方差中的一种或者多种。
9.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，
所述生产线状态特征向量，包括：加工车间内的机器总数、平均机器利用率、各机器利用率的方差、所有工序的完成度、每个工件的平均完成度、工件完成度的方差、所有机器负荷的方差、每个重调度时刻的预估延迟率、每个重调度时刻的实际延迟率和每个重调度时刻的预估延迟时间中的一种或者多种。
10.一种基于深度强化学习的多目标柔性作业车间调度装置，其特征在于，包括：
读取模块，用于读取当前重调度时刻的生产线状态特征向量；
第一输入模块，用于将所述生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标；
第二输入模块，用于将所述生产线状态特征向量和所述调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则；
第三输入模块，用于将所述生产线状态特征向量和所述调度目标输入训练后的机器智能体的机器策略网络，得到所述当前重调度时刻的机器分配规则；
处理模块，用于根据所述目标工件指派规则选取待加工工件，根据所述目标机器分配规则选取加工机器，以及通过所述加工机器对所述待加工工件的下一道工序进行加工处理。
CN202010983212.1A 2020-09-17 2020-09-17 基于深度强化学习的多目标柔性作业车间调度方法和装置 Pending CN112149987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010983212.1A CN112149987A (zh) 2020-09-17 2020-09-17 基于深度强化学习的多目标柔性作业车间调度方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010983212.1A CN112149987A (zh) 2020-09-17 2020-09-17 基于深度强化学习的多目标柔性作业车间调度方法和装置

Publications (1)

Publication Number Publication Date
CN112149987A true CN112149987A (zh) 2020-12-29

Family

ID=73893099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010983212.1A Pending CN112149987A (zh) 2020-09-17 2020-09-17 基于深度强化学习的多目标柔性作业车间调度方法和装置

Country Status (1)

Country Link
CN (1) CN112149987A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884239A (zh) * 2021-03-12 2021-06-01 重庆大学 一种基于深度强化学习的航天起爆器生产调度方法
CN113344332A (zh) * 2021-05-10 2021-09-03 山东师范大学 一种带运输过程和机器状态的车间调度方法及系统
CN113344317A (zh) * 2021-04-09 2021-09-03 东莞理工学院 一种基于双深度时序差分神经网络的紧密协作型供应链任务调度方法
CN113361915A (zh) * 2021-06-04 2021-09-07 聪明工厂有限公司 基于深度强化学习和多智能体图的柔性作业车间调度方法
CN113377073A (zh) * 2021-06-28 2021-09-10 西南交通大学 一种基于双层多智能体系统的柔性作业车间调度优化方法
CN113406939A (zh) * 2021-07-12 2021-09-17 哈尔滨理工大学 一种基于深度q网络的无关并行机动态混合流水车间调度方法
CN113515097A (zh) * 2021-07-23 2021-10-19 合肥工业大学 一种基于深度强化学习的两目标单机批调度方法
CN113592240A (zh) * 2021-07-02 2021-11-02 中国人民解放军国防科技大学 一种mto企业订单处理方法及系统
CN113657742A (zh) * 2021-08-09 2021-11-16 武汉科技大学 车间调度方法、装置、电子设备及存储介质
CN114386843A (zh) * 2022-01-10 2022-04-22 四川大学 一种基于改进深度强化学习算法的柔性车间调度方法
CN116011757A (zh) * 2022-12-28 2023-04-25 广州汽车集团股份有限公司 订单接收和调度方法、装置以及电子设备
CN116307440A (zh) * 2022-11-21 2023-06-23 暨南大学 一种基于强化学习的多目标权重学习的车间调度方法及其装置和应用
CN116500994A (zh) * 2023-05-05 2023-07-28 成都理工大学 一种低碳分布式柔性作业车间的动态多目标调度方法
CN116957172A (zh) * 2023-09-21 2023-10-27 山东大学 基于深度强化学习的动态作业车间调度优化方法及系统
US11860592B2 (en) 2021-12-22 2024-01-02 Ford Global Technologies, Llc Systems and methods for training a reinforcement learning system for pallet routing in a manufacturing environment
CN117555306A (zh) * 2024-01-11 2024-02-13 天津斯巴克斯机电有限公司 一种基于数字孪生的多生产线任务自适应调度方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536412A (zh) * 2014-12-23 2015-04-22 清华大学 基于指标预报和解相似度分析的光刻工序动态调度方法
CN105045243A (zh) * 2015-08-05 2015-11-11 同济大学 一种半导体生产线动态调度装置
CN107767022A (zh) * 2017-09-12 2018-03-06 重庆邮电大学 一种生产数据驱动的动态作业车间调度规则智能选择方法
CN109270904A (zh) * 2018-10-22 2019-01-25 中车青岛四方机车车辆股份有限公司 一种柔性作业车间批量动态调度优化方法
US20200160168A1 (en) * 2018-11-16 2020-05-21 Honda Motor Co., Ltd. Cooperative multi-goal, multi-agent, multi-stage reinforcement learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536412A (zh) * 2014-12-23 2015-04-22 清华大学 基于指标预报和解相似度分析的光刻工序动态调度方法
CN105045243A (zh) * 2015-08-05 2015-11-11 同济大学 一种半导体生产线动态调度装置
CN107767022A (zh) * 2017-09-12 2018-03-06 重庆邮电大学 一种生产数据驱动的动态作业车间调度规则智能选择方法
CN109270904A (zh) * 2018-10-22 2019-01-25 中车青岛四方机车车辆股份有限公司 一种柔性作业车间批量动态调度优化方法
US20200160168A1 (en) * 2018-11-16 2020-05-21 Honda Motor Co., Ltd. Cooperative multi-goal, multi-agent, multi-stage reinforcement learning

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884239A (zh) * 2021-03-12 2021-06-01 重庆大学 一种基于深度强化学习的航天起爆器生产调度方法
CN112884239B (zh) * 2021-03-12 2023-12-19 重庆大学 一种基于深度强化学习的航天起爆器生产调度方法
CN113344317A (zh) * 2021-04-09 2021-09-03 东莞理工学院 一种基于双深度时序差分神经网络的紧密协作型供应链任务调度方法
CN113344332A (zh) * 2021-05-10 2021-09-03 山东师范大学 一种带运输过程和机器状态的车间调度方法及系统
CN113361915A (zh) * 2021-06-04 2021-09-07 聪明工厂有限公司 基于深度强化学习和多智能体图的柔性作业车间调度方法
CN113377073A (zh) * 2021-06-28 2021-09-10 西南交通大学 一种基于双层多智能体系统的柔性作业车间调度优化方法
CN113592240A (zh) * 2021-07-02 2021-11-02 中国人民解放军国防科技大学 一种mto企业订单处理方法及系统
CN113592240B (zh) * 2021-07-02 2023-10-13 中国人民解放军国防科技大学 一种mto企业订单处理方法及系统
CN113406939A (zh) * 2021-07-12 2021-09-17 哈尔滨理工大学 一种基于深度q网络的无关并行机动态混合流水车间调度方法
CN113515097A (zh) * 2021-07-23 2021-10-19 合肥工业大学 一种基于深度强化学习的两目标单机批调度方法
CN113657742A (zh) * 2021-08-09 2021-11-16 武汉科技大学 车间调度方法、装置、电子设备及存储介质
CN113657742B (zh) * 2021-08-09 2024-04-19 武汉科技大学 车间调度方法、装置、电子设备及存储介质
US11860592B2 (en) 2021-12-22 2024-01-02 Ford Global Technologies, Llc Systems and methods for training a reinforcement learning system for pallet routing in a manufacturing environment
CN114386843A (zh) * 2022-01-10 2022-04-22 四川大学 一种基于改进深度强化学习算法的柔性车间调度方法
CN116307440A (zh) * 2022-11-21 2023-06-23 暨南大学 一种基于强化学习的多目标权重学习的车间调度方法及其装置和应用
CN116307440B (zh) * 2022-11-21 2023-11-17 暨南大学 一种基于强化学习的多目标权重学习的车间调度方法及其装置和应用
CN116011757A (zh) * 2022-12-28 2023-04-25 广州汽车集团股份有限公司 订单接收和调度方法、装置以及电子设备
CN116011757B (zh) * 2022-12-28 2024-03-29 广州汽车集团股份有限公司 订单接收和调度方法、装置以及电子设备
CN116500994A (zh) * 2023-05-05 2023-07-28 成都理工大学 一种低碳分布式柔性作业车间的动态多目标调度方法
CN116500994B (zh) * 2023-05-05 2024-05-03 成都理工大学 一种低碳分布式柔性作业车间的动态多目标调度方法
CN116957172B (zh) * 2023-09-21 2024-01-16 山东大学 基于深度强化学习的动态作业车间调度优化方法及系统
CN116957172A (zh) * 2023-09-21 2023-10-27 山东大学 基于深度强化学习的动态作业车间调度优化方法及系统
CN117555306A (zh) * 2024-01-11 2024-02-13 天津斯巴克斯机电有限公司 一种基于数字孪生的多生产线任务自适应调度方法及系统
CN117555306B (zh) * 2024-01-11 2024-04-05 天津斯巴克斯机电有限公司 一种基于数字孪生的多生产线任务自适应调度方法及系统

Similar Documents

Publication Publication Date Title
CN112149987A (zh) 基于深度强化学习的多目标柔性作业车间调度方法和装置
CN112734172B (zh) 一种基于时序差分的混合流水车间调度方法
Luo et al. Real-time scheduling for dynamic partial-no-wait multiobjective flexible job shop by deep reinforcement learning
Ding et al. Energy aware scheduling in flexible flow shops with hybrid particle swarm optimization
Palmer A simulated annealing approach to integrated production scheduling
CN113792924A (zh) 一种基于Deep Q-network深度强化学习的单件作业车间调度方法
CN111144710B (zh) 一种可持续性混合流水车间的构建和动态调度方法
CN113406939A (zh) 一种基于深度q网络的无关并行机动态混合流水车间调度方法
CN111967642A (zh) 一种基于时间窗策略的资源约束型动态船舶调度方法及调度平台
CN114565247A (zh) 一种基于深度强化学习的车间调度方法、装置和系统
CN113935586A (zh) 基于深度强化学习的云订单动态接受与调度方法
Kaweegitbundit et al. Flexible job shop scheduling using genetic algorithm and heuristic rules
Hosseinian et al. An energy-efficient mathematical model for the resource-constrained project scheduling problem: an evolutionary algorithm
CN113506048A (zh) 一种柔性作业车间的调度方法
Yu et al. An adaptive multiobjective evolutionary algorithm for dynamic multiobjective flexible scheduling problem
Yuan et al. A multi-agent double Deep-Q-network based on state machine and event stream for flexible job shop scheduling problem
Kong et al. A novel carbon reduction engineering method-based deep Q-learning algorithm for energy-efficient scheduling on a single batch-processing machine in semiconductor manufacturing
Zhong et al. Performance assessment of dynamic flexible assembly job shop control methods
CN115793583A (zh) 基于深度强化学习的流水车间新订单插入优化方法
Ding et al. Multi-policy deep reinforcement learning for multi-objective multiplicity flexible job shop scheduling
Zhao et al. Integration of process planning and production scheduling based on a hybrid PSO and SA algorithm
Zhao et al. A hybrid particle swarm optimization (PSO) algorithm schemes for integrated process planning and production scheduling
CN116500994B (zh) 一种低碳分布式柔性作业车间的动态多目标调度方法
CN114565290A (zh) 面向动态等效并行机调度问题的快速非支配排序遗传算法
Wang et al. Rolling horizon procedure for large-scale equipment replacement problems with multiple alternatives

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination