CN116151599A - 一种基于深度强化学习的排产数据处理方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，提出了一种基于深度强化学习的排产数据处理方法，包括：采集若干历史排产数据；获取若干历史工艺序列并得到若干环境变化模式；获取若干工艺对，根据历史工艺序列获取每个工艺对的第一出现频率并得到前置工艺对，根据前置工艺对中的工艺距离获取必要工艺对，获取每个工艺在每个位置的第二出现频率，得到每个工艺的环境适应程度；获取每个工艺的环境适应能力；根据各环境变化模式之间的相似性获取若干环境变化组，对环境适应能力进行调整得到分配适应程度；构建初始调度方案，结合深度强化学习模型对调度方案实时更新。本发明旨在获取对不同环境变化下适应性均较好的初始调度方案，以此减小重调度方案的调整代价。

Description

一种基于深度强化学习的排产数据处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于深度强化学习的排产数据处理方法。

背景技术

排产数据处理即为工艺的生产流程，工艺生产流程排序的目的是为车间生产进行一个详细的短期生产流程计算，排产计划指明了计划范围内的每一个在所需资源上的加工开始时间和结束时间，也即给出了在给定资源上订单的加工工序；当前技术通过经验进行初始工艺顺序，即加工工序的排列，生成初始调度方案，但随机性较大，可能导致随着环境变化，在基于深度强化学习得到的重调度方案在实际调整时，调整难度或调整代价较大；因此需要一种可以结合历史排产数据来构建初始调度方案的方法，通过对历史排产数据分析各工艺在加工工序中的位置分布，获取不同工艺在分配工序过程中的优先级，进而使得初始调度方案对于不同环境变化的适应性均较好，从而能够降低实际调整时的调度代价，进而提高生产效率。

发明内容

本发明提供一种基于深度强化学习的排产数据处理方法，以解决现有的初始调度方案随机性较大导致重调度方案调整代价较大的问题，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于深度强化学习的排产数据处理方法，该方法包括以下步骤：

获取若干历史排产数据；

根据历史排产数据获取每个历史排产数据对应的历史工艺序列，根据相邻的历史工艺序列获取若干环境变化模式；

根据历史工艺序列获取若干种工艺对，将每个工艺对在所有历史工艺序列中的出现频数与历史工艺序列数量的比值作为每个工艺对的第一出现频率，根据第一出现频率获取前置工艺对，将历史工艺序列中两个工艺的序数差值记为工艺距离，获取每个前置工艺对中的多个工艺距离，根据前置工艺对中的多个工艺距离获取必要工艺对；

获取每个工艺在所有历史工艺序列中每个位置的出现频数，将每个位置的出现频数与历史工艺序列数量的比值作为每个工艺在每个位置的第二出现频率，根据第二出现频率获取每个工艺的环境适应程度，根据必要工艺对、前置工艺对以及每个工艺的环境适应程度获取每个工艺的环境适应能力；

根据各环境变化模式之间的相似性通过聚类获取若干环境变化组，将每个环境变化组中的所有环境变化模式对应的历史工艺序列作为每个环境变化组包括的历史工艺序列，同时将每个环境变化组中环境变化模式的数量与所有环境变化模式数量的比值作为每个环境变化组的组出现频率；将存在必要工艺对的工艺记为第一分配工艺，根据必要工艺对、环境变化组以及每个第一分配工艺的环境适应能力，获取每个第一分配工艺的分配适应程度；将存在前置工艺对且不存在必要工艺对的工艺记为第二分配工艺，将每个前置工艺对中每个第二分配工艺的环境适应能力与所属前置工艺对的第一出现频率的乘积作为每个第二分配工艺的分配适应程度；将不存在前置工艺对的工艺记为第三分配工艺，根据环境变化模式及每个第三分配工艺的环境适应能力获取每个第三分配工艺的分配适应程度；

根据不同工艺的分配适应程度构建初始调度方案，根据初始调度方案结合深度强化学习模型对调度方案实时更新。

可选的，所述根据相邻的历史工艺序列获取若干环境变化模式，包括的具体方法为：

将每两个相邻的历史工艺序列作为一个序列对，获取每个序列对中第一个历史工艺序列中每个元素的序数，并将序数按照升序排列得到序列对中第一个历史工艺序列的数字序列，将每个序列对中第二个历史工艺序列中每个元素用第一个历史工艺序列中对应元素的序数进行替换，得到的序列记为序列对中第二个历史工艺序列的数字序列；

将每个序列对中第二个历史工艺序列的数字序列减去第一个历史工艺序列的数字序列得到的差值序列，记为每个序列对的工艺变化序列，所述工艺变化序列即为环境变化模式。

可选的，所述根据前置工艺对中的多个工艺距离获取必要工艺对，包括的具体方法为：

将每个前置工艺对中工艺距离相同的工艺对记为前置距离工艺对，将每个前置距离工艺对在所有历史工艺序列中的出现频数与所属前置工艺对在所有历史工艺序列中的出现频数的比值，作为每个前置距离工艺对的前置必要频率，获取同一前置工艺对中每个前置距离工艺对的前置必要频率；

获取同一前置工艺对中最大的前置必要频率与第二大的前置必要频率的差值，将差值与第二大的前置必要频率的比值作为最大的前置必要频率对应的前置距离工艺对的前置必要程度，获取每个前置工艺对中每个前置必要频率最大的前置距离工艺对的前置必要程度，将前置必要程度大于第二预设阈值的前置距离工艺对作为必要工艺对。

可选的，所述根据必要工艺对、前置工艺对以及每个工艺的环境适应程度获取每个工艺的环境适应能力，包括的具体方法为：

将每个必要工艺对中环境适应程度最小的工艺的环境适应程度，赋予到必要工艺对中另一个工艺的环境适应程度；将每个非必要工艺对的前置工艺对中环境适应程度最小的工艺的环境适应程度，赋予到前置工艺对中另一个工艺的环境适应程度；不存在前置工艺对的工艺的环境适应程度不变，将所有调整后及不变的环境适应程度记为每个工艺的环境能力。

可选的，所述根据第二出现频率获取每个工艺的环境适应程度，包括的具体方法为：

根据第二出现频率获取每个工艺的第二位置序列，通过阈值分割第二位置序列获取每个工艺的频数分割阈值，将每个工艺的分割阈值与工艺数量的比值作为每个工艺的频率分割阈值，获取每个工艺中第二出现频率大于对应频率分割阈值的位置，将位置数量与历史工艺序列中元素数量的比值作为每个工艺的环境适应程度。

可选的，所述获取每个第一分配工艺的分配适应程度，包括的具体方法为：

获取任意一个环境变化组作为目标环境变化组，获取任意一个必要工艺对作为目标必要工艺对，将目标必要工艺对在目标环境变化组包括的历史工艺序列中的出现频数与目标环境变化组包括的历史工艺序列数量的比值，与目标环境变化组的组出现频率的乘积作为目标必要工艺对在目标环境变化组的第一环境权重；

获取目标必要工艺对在每个环境变化组的第一环境权重，将所有第一环境权重之和作为目标必要工艺对的第二环境权重；

获取每个必要工艺对的第二环境权重，将每个第一分配工艺的环境适应能力与所属必要工艺对的第二环境权重的乘积作为每个第一分配工艺的分配适应程度。

可选的，所述根据环境变化模式及每个第三分配工艺的环境适应能力获取每个第三分配工艺的分配适应程度，包括的具体方法为：

将每个第三分配工艺在所有环境变化模式中发生变化的出现频数与环境变化模式数量的比值，作为每个第三分配工艺的第三环境权重，将第三环境权重与环境适应能力的乘积作为每个工艺的分配适应程度。

可选的，所述根据不同工艺的分配适应程度构建初始调度方案，包括的具体方法为：

在所有的工序位置空序列中，对第一分配工艺按照分配必要程度从小到大开始分配，根据第二出现频率进行位置的选择，得到多个初始序列，记为第一序列；对每个第一序列，对第二分配工艺按照分配必要程度从小到大开始分配，根据第二出现频率进行位置的选择，得到多个满足位置的序列，记为第二序列；

将满足位置的工艺数量最多的第二序列作为最佳序列，对所述最佳序列根据第三分配工艺的分配必要程度及第二出现频率进行余下的位置的分配，得到初始调度方案。

本发明相较于现有技术的有益效果是：本发明通过对历史排产数据进行分析，得到环境变化模式，即可能出现的情况，结合不同工艺的环境适应程度和工艺之间的前后位置获取必要工艺对及前置工艺对，并通过必要工艺对及前置工艺对对环境适应程度进行限制得到环境适应能力，通过不同环境变化模式中各工艺及必要工艺对与前置工艺对的出现情况进一步限制环境适应能力，得到分配适应程度，根据分配适应程度构建初始调度方案；该初始调度方案考虑了必要工艺对对于工艺序列中工艺位置的影响，避免了加工流程中重要工序的错误甚至丢失，保证了加工效率；同时结合前置工艺对以及环境变化模式限制环境适应能力，使得该初始调度方案结合了历史排产数据的调度过程，使得该初始调度方案对不同环境变化的适应性均较好，可以在较小的调整下得到基于深度强化学习获取的适应于环境的重调度方案，有助于减小调整代价，进而提高生产效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种基于深度强化学习的排产数据处理方法流程示意图。

图2为基于深度强化学习的调度系统流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的一种基于深度强化学习的排产数据处理方法流程图，该方法包括以下步骤：

步骤S001、采集若干历史排产数据。

本实施例的目的是对排产数据进行处理，所述排产数据即是指加工过程中的工艺调度方案，而对排产数据进行处理则是根据环境变化对初始调度方案进行调整生成重调度方案；本实施例要对排产数据进行处理，需要计算获取适应性较强的初始调度方案，因此需要参考深度强化学习模型已经生成的初始调度方案及重调度方案，即历史数据中的初始调度方案及重调度方案，而初始调度方案与重调度方案都是排产数据，因此本实施例首先需要采集若干历史排产数据，所述历史排产数据包括调度系统开始工作以来所有的排产数据。

至此，采集到了若干历史排产数据，用于后续提供参考来获取对任何环境变化均适应性较强的初始调度方案。

步骤S002、根据历史排产数据获取每个历史排产数据对应的历史工艺序列，根据相邻的历史工艺序列获取若干环境变化模式。

需要说明的是，每个历史排产数据均为一个初始调度方案或重调度方案，每个调度方案即是一个工艺加工的流程，表现的即是一个个历史工艺序列，因此首先将历史排产数据转化得到若干个历史工艺序列；同时，相邻的历史工艺序列即为相邻的调度方案，相邻的调度方案的变化表示了加工过程随环境改变而调整工艺流程，因此可以根据相邻调度方案即相邻历史工艺序列之间的差异来获取若干环境变化模式，用来表示工艺流程的变化。

具体的，首先将每个历史排产数据表示为序列形式，记为历史工艺序列，历史工艺序列中每个元素表示每个工艺，序列内元素的顺序表示历史工艺序列对应的排产数据，即调度方案中工艺进行的顺序；例如共有5个工艺A、B、C、D及E，初始的调度方案为[A B C DE]，调整一次后的调度方案为[A C B D E]，此时两个调度方案即表示为了两个历史工艺序列，且两个历史工艺序列为时序上相邻的历史工艺序列。

进一步的，将每两个时序上相邻的历史工艺序列作为一个序列对，每个历史工艺序列都分别对应了两个序列对；获取每个序列对中第一个历史工艺序列中每个元素的序数，并将序数按照升序排列得到序列对中第一个历史工艺序列的数字序列，将每个序列对中第二个历史工艺序列中每个元素用第一个历史工艺序列中对应元素的序数进行替换，即是将第二个历史工艺序列中每个工艺用第一个历史工艺序列中相同工艺对应的序数进行替换，得到的序列记为序列对中第二个历史工艺序列的数字序列；将每个序列对中第二个历史工艺序列的数字序列减去第一个历史工艺序列的数字序列得到的差值序列，记为每个序列对的工艺变化序列，所述工艺变化序列即为所求的环境变化模式；例如两个相邻的历史工艺序列[A B C D E]与[A C B D E]，两个相邻的历史工艺序列形成一个序列对，首先获取第一个历史工艺序列中每个元素对应的序数，即A-1、B-2、C-3、D-4和E-5，则第一个历史工艺序列的数字序列为[1 2 3 4 5]，对第二个历史工艺序列中的元素进行替换得到的数字序列为[1 3 2 4 5]，则该序列对的差值序列为[0 1 -1 0 0]，此时差值序列即为该序列对的工艺变化序列，也表示一种环境变化模式。

至此，获取到了若干环境变化模式，用来表示工艺流程的变化，并用于后续获取对各种环境变化适应性均较高的初始调度方案的计算。

步骤S003、获取若干工艺对，根据历史工艺序列获取每个工艺对的第一出现频率并得到前置工艺对，根据前置工艺对中的工艺距离获取必要工艺对，根据历史工艺序列获取每个工艺在每个位置的第二出现频率，根据第二出现频率获取每个工艺的环境适应程度。

需要说明的是，对于工艺流程来说，有些工艺存在前置工艺，即某些工艺只有在前置工艺完成后才能进行，因此某个工艺的顺序的调整往往还需要考虑该工艺对应的前置工艺，因此首先要计算得到工艺对，进而得到前置工艺对；此时前置工艺对由于是通过历史排产数据分析得到，因此除了包括所述的前置工艺，还有可能包括在大多数情况均满足前后顺序的工艺对，而前置工艺则对工艺对中两个工艺之间的距离也有要求，即前置工艺完成之后一定时间内必须开始相应的后置工艺，因此可以根据工艺距离获取前置工艺对中的前置工艺，即必要工艺对；而前置工艺对中的非必要工艺对，则是由历史排产数据分析出的前后顺序工艺对，对工艺顺序调整有一定影响，但没有必要工艺对的要求高。

具体的，首先获取历史排产数据中的所有工艺对，所述工艺对中包含两个工艺；需要说明的是，相同两个工艺而排列不同则为两个工艺对，相同两个工艺且排列相同、但工艺距离不同则属于同一个工艺对，所述工艺距离即为两个工艺在历史工艺序列中的序数差值；因此从历史排产数据中对应的若干历史工艺序列中获取所有的工艺对，将每个工艺对在所有历史工艺序列中的出现频数与历史工艺序列数量的比值作为每个工艺对的第一出现频率；给出第一预设阈值用于判断前置工艺对，本实施例第一预设阈值采用0.7进行计算，将第一出现频率大于第一预设阈值的工艺对作为前置工艺对。

进一步的，获取每个前置工艺对中的多个工艺距离，所述工艺距离即为两个工艺在历史工艺序列中的序数差值，将每个前置工艺对中工艺距离相同的工艺对记为前置距离工艺对，得到每个前置工艺对中的若干前置距离工艺对，将每个前置距离工艺对在所有历史工艺序列中的出现频数与所属前置工艺对在所有历史工艺序列中的出现频数的比值，作为每个前置距离工艺对的前置必要频率，获取同一前置工艺对中每个前置距离工艺对的前置必要频率，获取同一前置工艺对中最大的前置必要频率与第二大的前置必要频率的差值，将差值与第二大的前置必要频率的比值作为最大的前置必要频率对应的前置距离工艺对的前置必要程度，获取每个前置工艺对中每个前置必要频率最大的前置距离工艺对的前置必要程度；给出第二预设阈值用于判断必要工艺对，本实施例中第二预设阈值采用0.7进行计算，将前置必要程度大于第二预设阈值的前置距离工艺对作为必要工艺对，前置必要程度小于等于第二预设阈值的前置距离工艺对仍作为前置工艺对，同时前置必要频率并非所属前置工艺对中最大前置必要频率的前置距离工艺对，仍作为前置工艺对；需要说明的是，同一必要工艺对中，两个工艺排列相同且工艺距离相同；而同一前置工艺对中，两个工艺排列相同但工艺距离不一定相同；此时，获取到了所有历史工艺序列中的前置工艺对及必要工艺对，用于表征工艺在排列时需考虑到的工艺顺序关系，有助于提高最终获取的初始调度方案对不同环境变化的适应性。

进一步需要说明的是，同一工艺在不同历史工艺序列中出现的位置会存在差异，即在不同历史工艺序列中对应的序数存在差异，而工艺在所有历史工艺序列中不同位置出现次数越多，表明该工艺在历史工艺序列中越容易调整，调整代价越小，对于不同环境的适应性越强，而在调度的时候无需过多考虑调整代价较小的工艺对于序列中位置的需求。

具体的，首先获取每个工艺在所有历史工艺序列中每个位置的出现频数，将每个位置的出现频数与历史工艺序列数量的比值作为每个工艺在每个位置的第二出现频率，并按照历史工艺序列中的位置对同一工艺的第二出现频率进行排列得到每个工艺的第二频率序列，例如工艺A的第二频率序列为[0.9 0.01 0.02 0.02 0.05]，则工艺A在历史工艺序列中第一个位置出现的第二出现频率为0.9；将每个工艺的第二频率序列中每个元素分别与历史工艺序列数量相乘，得到每个工艺的第二频数序列，将每个工艺的出现位置根据第二频数序列中对应位置的元素升序排列得到每个工艺的第二位置序列，例如共有100个历史工艺序列，根据工艺A的第二频率序列，则工艺A的第二位置序列为[2 3 3 4 4 5 5 5 55 1…1]，第二位置序列中共有90个1；对每个工艺的第二位置序列进行OTSU阈值分割，得到每个工艺的频数分割阈值，将每个工艺的分割阈值与工艺数量的比值作为每个工艺的频率分割阈值，获取每个工艺中第二出现频率大于对应频率分割阈值的位置，将位置数量与历史工艺序列中元素数量的比值作为每个工艺的环境适应程度；例如工艺A中大于频率分割阈值的位置仅有位置1，则相应的环境适应程度为1与5的比值即0.2；需要说明的是，本实施例中每个历史工艺序列中元素数量均相等，且每个工艺在每个历史工艺序列中都出现，即不同工艺流程中的工艺种类相同，工艺数量相同。

至此，获取到了历史工艺序列中的前置工艺对、必要工艺对以及每个工艺的环境适应程度，其中环境适应程度越大的工艺，在调整过程中对于工艺序列中的位置要求越低，即可以优先满足其他工艺的位置需求；而前置工艺对及必要工艺对则对工艺在位置需求上进一步限制，以此来提高最终得到的初始调度方案对于不同环境变化的适应性。

步骤S004、根据前置工艺对、必要工艺对以及每个工艺的环境适应程度，获取每个工艺的环境适应能力。

需要说明的是，在步骤S003已经获取到了前置工艺对及必要工艺对，以及每个工艺的环境适应程度，则在工序分配过程中，环境适应程度越大的工艺，其分配优先级越小；同时需要考虑前置工艺对及必要工艺对对每个工艺分配优先级的影响，进而根据分配优先级对环境适应程度进行调整，得到每个工艺的环境适应能力。

具体的，对于获取到的必要工艺对，获取每个必要工艺对中两个工艺的环境适应程度，将任意一个必要工艺对中环境适应程度最小的工艺的环境适应程度，赋予到必要工艺对中另一个工艺的环境适应程度，即是将必要工艺对中两个工艺的环境适应程度保持一致，且都调整为必要工艺对中最小的环境适应程度；按照上述方法对每个必要工艺对中工艺的环境适应程度进行调整，调整后的环境适应程度记为每个工艺的环境适应能力；需要说明的是，如果存在一个工艺对应多个必要工艺对的情况，此时该工艺对于多个必要工艺对内的环境适应程度调整分别计算，互不影响，即如果该工艺在某个必要工艺对的环境适应程度调整计算过程中调整了环境适应程度，调整后的环境适应程度不参与其他必要工艺对环境适应程度调整的计算，即其他必要工艺对中环境适应程度调整仍以调整前的环境适应程度进行计算，并最终将该工艺对应的所有必要工艺对中调整后的环境适应程度中最小值作为该工艺最终调整后的环境必要程度；此时，通过必要工艺对中最小的环境适应程度对必要工艺对中工艺的环境适应程度进行调整，使得必要工艺对中工艺的环境适应能力得到限制，进而提高了工艺的分配优先级。

进一步的，对于获取到的前置工艺对，对于其中非必要工艺对的其他前置工艺对，由于前置工艺对中工艺距离存在差异，但任意一个前置工艺对中的两个工艺种类均相同，因此仍可以将任意一个前置工艺对中环境适应程度最小的工艺的环境适应程度，赋予到前置工艺对中另一个工艺的环境适应程度；按照上述方法对每个前置工艺对中工艺的环境适应程度进行调整，调整后的环境适应程度记为每个工艺的环境适应能力；需要说明的是，对于存在必要工艺对的工艺，其经过必要工艺对环境适应程度调整后的环境适应程度不再参与前置工艺对环境适应程度调整的计算；对于存在前置工艺对不存在必要工艺对的工艺，如果存在一个工艺对应多个前置工艺对的情况，此时该工艺对于多个前置工艺对内的环境适应程度调整分别计算，互不影响，即如果该工艺在某个前置工艺对的环境适应程度调整计算过程中调整了环境适应程度，调整后的环境适应程度不参与其他前置工艺对环境适应程度调整的计算，即其他前置工艺对中环境适应程度调整仍以调整前的环境适应程度进行计算，并最终将该工艺对应的所有前置工艺对中调整后的环境适应程度中最小值作为该工艺最终调整后的环境必要程度；此时，通过由历史工艺序列分析顺序得到的前置工艺对，进一步对工艺的环境适应程度进行了限制，即前置工艺对中工艺可能不是必须满足的前后顺序关系，但历史工艺序列多数满足了该种前后顺序关系，则为了保证最终得到的初始调度方案能够适应各种环境变化，需要参考前置工艺对来调整环境适应程度，从而符合多数历史工艺序列中的前后顺序关系。

进一步的，对于不存在前置工艺对的工艺，其环境适应程度不再需要调整，即这些工艺的环境适应程度即是环境适应能力。

至此，获取到了每个工艺的环境适应能力，环境适应能力越小的工艺，其分配优先级越小，工艺流程位置分配过程中越应考虑环境适应能力较小的工艺。

步骤S005、根据各环境变化模式之间的相似性获取若干环境变化组，根据前置工艺对、必要工艺对以及环境变化组对每个工艺的环境适应能力进行调整得到每个工艺的分配适应程度。

需要说明的是，不同的环境变化模式存在一定的相近性，根据环境变化模式之间的相似度将环境变化模式分为若干环境变化组，环境变化组在所有环境变化模式中的出现频率越大，初始调度方案越应优先满足该环境变化组的环境变化，进而提高最终得到的初始调度方案的适应性。

具体的，在步骤S001中获取到了若干种环境变化模式，对所有环境变化模式根据两个环境变化模式之间的DTW距离进行聚类，聚类方法本实施例采用DBSCAN聚类，得到若干聚簇，将每个聚簇记为环境变化组，其中DTW距离越小的两个环境变化模式越可能聚到一类中，且DTW距离越小表明两个环境变化模式越相似，DTW距离计算为公知技术，本实施例不再赘述；同一环境变化组中不同环境变化模式之间DTW距离较小，各自对应的两个相邻历史工艺序列之间的变化情况相似；不同环境变化组中不同环境变化模式之间DTW距离较大，对应的变化情况相差较大。

进一步的，由于每个环境变化模式分别对应两个历史工艺序列，将每个环境变化组中的所有环境变化模式对应的历史工艺序列作为每个环境变化组包括的历史工艺序列，同时将每个环境变化组中环境变化模式的数量与所有环境变化模式数量的比值作为每个环境变化组的组出现频率；将存在必要工艺对的工艺记为第一分配工艺；对于任意一个必要工艺对，获取该必要工艺对在任意一个环境变化组包括的历史工艺序列中的出现频数与该环境变化组包括的历史工艺序列数量的比值，将该比值与该环境变化组的组出现频率的乘积作为该必要工艺对在该环境变化组的第一环境权重；按照上述方法获取该必要工艺对在每个环境变化组的第一环境权重，将所有第一环境权重之和作为该必要工艺对的第二环境权重；按照上述方法获取每个必要工艺对的第二环境权重，将每个第一分配工艺的环境适应能力与所属必要工艺对的第二环境权重的乘积作为每个第一分配工艺的分配适应程度；需要说明的是，对于一个工艺对应多个必要工艺对的情况中，将其获取到环境适应能力过程中对应的必要工艺对的第二环境权重与其环境适应能力相乘，进而得到该工艺的分配适应程度；此时，在工艺流程位置分配过程中，应优先考虑第一分配工艺的位置要求，以使得最终得到的初始调度方案可以满足必要工艺对的前后位置关系要求。

进一步的，将存在前置工艺对且不存在必要工艺对的工艺记为第二分配工艺；获取每个前置工艺对的第一出现频率，所述第一出现频率在步骤S002中已经获取得到，将每个前置工艺对中每个第二分配工艺的环境适应能力与所属前置工艺对的第一出现频率的乘积作为每个第二分配工艺的分配适应程度；需要说明的是，存在必要工艺对的工艺不再参与前置工艺对的计算，且对于一个工艺对应多个前置工艺对的情况中，将其获取到环境适应能力过程中对应的前置工艺对的第一出现频率与其环境适应能力相乘，进而得到该工艺的分配适应程度；此时，在工艺流程位置分配过程中，对于第一分配工艺结束后应开始分配第二分配工艺，以保证最终得到的初始调度方案可以满足历史工艺序列中分析得到的前后位置关系要求。

进一步的，由于每个环境变化模式是通过相邻工艺序列中每个工艺序数的差异得到，因此每个环境变化模式中每个元素都对应一个工艺；将不存在前置工艺对的工艺记为第三分配工艺，将每个第三分配工艺在所有环境变化模式中对应元素非0，即发生变化的出现频数与环境变化模式数量的比值，作为每个第三分配工艺的第三环境权重，将第三环境权重与环境适应能力的乘积作为每个工艺的分配适应程度；第三分配工艺的环境适应能力较大，而第三环境权重越大，该第三分配工艺在工艺序列中的位置越不固定，相应的分配过程中分配优先级越小，对于位置要求越低。

至此，获取到了每个工艺的分配适应程度，同时根据每个工艺对于位置的要求，获取了第一分配工艺、第二分配工艺及第三分配工艺，根据分配适应程度及不同的分配工艺来构建最终的初始调度方案，提高初始调度方案对于不同环境变化的适应性。

步骤S006、根据不同工艺的分配适应程度构建初始调度方案，根据初始调度方案结合深度强化学习模型对调度方案实时更新。

需要说明的是，在构建初始调度方案中应第一分配工艺、第二分配工艺再第三分配工艺的顺序进行构建，同时考虑每个工艺的分配适应程度，分配适应程度越小的工艺，其在工艺序列中的位置越固定，应保证其优先分配以提高初始调度方案的适应性，降低重调度的调整代价。

具体的，首先在所有的工序位置空序列中，对第一分配工艺进行位置的选择，得到多个初始位置，进而得到多个初始序列，记为第一序列；对每个第一序列，进行第二分配工艺的位置选择，得到多个满足位置，记为第二序列，即每个第一序列对应多个第二序列；此时存在第二序列中某些工艺在之前的位置排满后，没有满足自己的位置，将此时的满足位置的工艺数量最多的第二序列作为最佳序列，对所述最佳序列根据第三分配工艺的分配必要程度进行余下的位置的分配，进而得到初始调度方案；

需要说明的是，分配适应程度越小的工艺在对应分配过程中越优先进行位置选择，位置选择则根据每个工艺在每个位置的第二出现频率进行选择，其中本实施例中第一分配工艺及第二分配工艺均采用最大的第二出现频率对应的位置进行选择，获取到最佳序列后，将尚未获取到位置的第二分配工艺按照分配必要程度从小到大的顺序开始选择，此时第二分配工艺采用第二大的第二出现频率对应的位置进行选择，若仍没有满足位置则继续以第三大的第二出现频率对应位置进行选择，直到对所有的第二分配工艺完成位置分配；再根据第三分配工艺的分配适应程度进行最佳序列的位置分配，仍以分配适应程度越小的越优先选择，且根据第二出现频率进行位置选择，先以最大的第二出现频率进行位置选择，若没有满足位置则逐渐获取更小的第二出现频率进行位置选择，直到获取满足的位置，再进行下一个分配适应程度更大的第三分配工艺进行位置选择，直到都所有的第三分配工艺完成位置分配，得到了初始调度方案。

此时，通过不同分配工艺的分配适应程度构建了初始调度方案，得到的初始调度方案能够适应较多的环境变化，从而降低重调度方案的调整代价。

进一步的，请参阅图2，其示出了基于深度强化学习的调度系统流程图，根据初始调度方案，结合深度强化学习模型对不同环境下的方案进行更新，得到重调度方案，实现实时的调度方案更新；需要说明的是，本实施例以一个月为一个周期，在一个周期结束后，将最近一个月的所有调度方案即排产数据同样归入到历史排产数据中，并按照上述方法获取新的初始调度方案，以达到对于调度方案的实时更新，并降低后续重调度方案的调整代价。

至此，获取到了初始调度方案，并可以基于深度强化学习模型实现实时的调度方案更新，同时初始调度方案在更新过程中不会过多调整，以此来使得调整代价最小。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度强化学习的排产数据处理方法，其特征在于，该方法包括以下步骤：

获取若干历史排产数据；

根据历史排产数据获取每个历史排产数据对应的历史工艺序列，根据相邻的历史工艺序列获取若干环境变化模式；

根据历史工艺序列获取若干种工艺对，将每个工艺对在所有历史工艺序列中的出现频数与历史工艺序列数量的比值作为每个工艺对的第一出现频率，根据第一出现频率获取前置工艺对，将历史工艺序列中两个工艺的序数差值记为工艺距离，获取每个前置工艺对中的多个工艺距离，根据前置工艺对中的多个工艺距离获取必要工艺对；

获取每个工艺在所有历史工艺序列中每个位置的出现频数，将每个位置的出现频数与历史工艺序列数量的比值作为每个工艺在每个位置的第二出现频率，根据第二出现频率获取每个工艺的环境适应程度，根据必要工艺对、前置工艺对以及每个工艺的环境适应程度获取每个工艺的环境适应能力；

根据各环境变化模式之间的相似性通过聚类获取若干环境变化组，将每个环境变化组中的所有环境变化模式对应的历史工艺序列作为每个环境变化组包括的历史工艺序列，同时将每个环境变化组中环境变化模式的数量与所有环境变化模式数量的比值作为每个环境变化组的组出现频率；将存在必要工艺对的工艺记为第一分配工艺，根据必要工艺对、环境变化组以及每个第一分配工艺的环境适应能力，获取每个第一分配工艺的分配适应程度；将存在前置工艺对且不存在必要工艺对的工艺记为第二分配工艺，将每个前置工艺对中每个第二分配工艺的环境适应能力与所属前置工艺对的第一出现频率的乘积作为每个第二分配工艺的分配适应程度；将不存在前置工艺对的工艺记为第三分配工艺，根据环境变化模式及每个第三分配工艺的环境适应能力获取每个第三分配工艺的分配适应程度；

根据不同工艺的分配适应程度构建初始调度方案，根据初始调度方案结合深度强化学习模型对调度方案实时更新。

2.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据相邻的历史工艺序列获取若干环境变化模式，包括的具体方法为：

将每两个相邻的历史工艺序列作为一个序列对，获取每个序列对中第一个历史工艺序列中每个元素的序数，并将序数按照升序排列得到序列对中第一个历史工艺序列的数字序列，将每个序列对中第二个历史工艺序列中每个元素用第一个历史工艺序列中对应元素的序数进行替换，得到的序列记为序列对中第二个历史工艺序列的数字序列；

将每个序列对中第二个历史工艺序列的数字序列减去第一个历史工艺序列的数字序列得到的差值序列，记为每个序列对的工艺变化序列，所述工艺变化序列即为环境变化模式。

3.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据前置工艺对中的多个工艺距离获取必要工艺对，包括的具体方法为：

将每个前置工艺对中工艺距离相同的工艺对记为前置距离工艺对，将每个前置距离工艺对在所有历史工艺序列中的出现频数与所属前置工艺对在所有历史工艺序列中的出现频数的比值，作为每个前置距离工艺对的前置必要频率，获取同一前置工艺对中每个前置距离工艺对的前置必要频率；

获取同一前置工艺对中最大的前置必要频率与第二大的前置必要频率的差值，将差值与第二大的前置必要频率的比值作为最大的前置必要频率对应的前置距离工艺对的前置必要程度，获取每个前置工艺对中每个前置必要频率最大的前置距离工艺对的前置必要程度，将前置必要程度大于第二预设阈值的前置距离工艺对作为必要工艺对。

4.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据必要工艺对、前置工艺对以及每个工艺的环境适应程度获取每个工艺的环境适应能力，包括的具体方法为：

将每个必要工艺对中环境适应程度最小的工艺的环境适应程度，赋予到必要工艺对中另一个工艺的环境适应程度；将每个非必要工艺对的前置工艺对中环境适应程度最小的工艺的环境适应程度，赋予到前置工艺对中另一个工艺的环境适应程度；不存在前置工艺对的工艺的环境适应程度不变，将所有调整后及不变的环境适应程度记为每个工艺的环境能力。

5.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据第二出现频率获取每个工艺的环境适应程度，包括的具体方法为：

根据第二出现频率获取每个工艺的第二位置序列，通过阈值分割第二位置序列获取每个工艺的频数分割阈值，将每个工艺的分割阈值与工艺数量的比值作为每个工艺的频率分割阈值，获取每个工艺中第二出现频率大于对应频率分割阈值的位置，将位置数量与历史工艺序列中元素数量的比值作为每个工艺的环境适应程度。

6.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述获取每个第一分配工艺的分配适应程度，包括的具体方法为：

获取任意一个环境变化组作为目标环境变化组，获取任意一个必要工艺对作为目标必要工艺对，将目标必要工艺对在目标环境变化组包括的历史工艺序列中的出现频数与目标环境变化组包括的历史工艺序列数量的比值，与目标环境变化组的组出现频率的乘积作为目标必要工艺对在目标环境变化组的第一环境权重；

获取目标必要工艺对在每个环境变化组的第一环境权重，将所有第一环境权重之和作为目标必要工艺对的第二环境权重；

获取每个必要工艺对的第二环境权重，将每个第一分配工艺的环境适应能力与所属必要工艺对的第二环境权重的乘积作为每个第一分配工艺的分配适应程度。

7.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据环境变化模式及每个第三分配工艺的环境适应能力获取每个第三分配工艺的分配适应程度，包括的具体方法为：

将每个第三分配工艺在所有环境变化模式中发生变化的出现频数与环境变化模式数量的比值，作为每个第三分配工艺的第三环境权重，将第三环境权重与环境适应能力的乘积作为每个工艺的分配适应程度。

8.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据不同工艺的分配适应程度构建初始调度方案，包括的具体方法为：

在所有的工序位置空序列中，对第一分配工艺按照分配必要程度从小到大开始分配，根据第二出现频率进行位置的选择，得到多个初始序列，记为第一序列；对每个第一序列，对第二分配工艺按照分配必要程度从小到大开始分配，根据第二出现频率进行位置的选择，得到多个满足位置的序列，记为第二序列；

将满足位置的工艺数量最多的第二序列作为最佳序列，对所述最佳序列根据第三分配工艺的分配必要程度及第二出现频率进行余下的位置的分配，得到初始调度方案。

Images