CN109902861B - 一种基于双层迁移学习的订单生产进度实时预测方法 - Google Patents

Abstract

本发明公开了一种基于双层迁移学习的订单生产进度实时预测方法，具体为：将加入实时生产状态数据的数据集划分为历史订单数据集和当前订单数据集，并进行归一化处理；采用深度稀疏自编码器建立历史订单数据集的特征提取模型，以特征提取后的历史订单数据作为次级训练集，构建支持向量回归模型m_h；基于当前订单数据集对深度稀疏自编码器微调，建立第一层迁移学习模型；使用特征提取后的当前订单数据集建立支持向量回归模型m_c，基于m_c和m_h的相似度建立第二层迁移学习模型，作为当前订单的生产进度预测模型。本发明解决了当前订单数据量较少带来的预测精度较低、泛化性能差的问题。

Description

一种基于双层迁移学习的订单生产进度实时预测方法

技术领域

本发明属于一种生产进度预测领域，尤其涉及一种基于双层迁移学习的订单生产进度实时预测方法。

背景技术

面对激烈的市场竞争和多样化的客户需求，当前离散制造业的生产模式已由传统的备货型生产向订单型生产转变，精准的订单生产进度实时预测一方面可用于监控生产计划执行情况、提前发现生产异常，从而及时触发生产物流进行调度管理，优化剩余生产任务，另一方面，能够识别影响生产计划按时执行的主要因素，有利于对生产过程的精准控制，对于提高生产效率、保证产品按时交付具有重要的意义。

现有的技术中的当前离散制造车间的预测问题以面向订单的完工期预测最为典型，但在考虑数据特征时忽略了实时生产状态对未来生产进度的影响，降低了预测效率，且现有的技术没有考虑到当前订单数据与历史订单数据的差异，因此若当前订单数据量较少则会带来预测精度低、泛化性能差的问题。

发明内容

发明目的：为解决上述预测效率低、预测精度低、泛化性能差的问题，本发明提供一种基于双层迁移学习的订单生产进度实时预测方法。

技术方案：本发明提供一种基于双层迁移学习的订单生产进度实时预测方法，具体包括如下步骤：

步骤1：按照时序采集连续的若干个订单的制造数据，并将制造数据按照时序划分为历史订单数据集和当前订单数据集；

步骤2：将历史订单数据集划分为用于训练历史订单数据特征提取模型的数据集Data_h1和用于训练历史订单生产进度模型的数据集Data_h2；将当前订单数据集划分为用于构建当前订单数据特征提取模型的数据集Data_c1和用于构建当前订单生产进度预测模型的数据集Data_c2；并将Data_h1、Data_h2、Data_c1、Data_c2分别进行归一化处理；

步骤3：以数据集Data_h1作为一个具有多隐含层结构的深度稀疏自编码器的训练集，训练该深度稀疏自编码器，从而构建一个基于深度稀疏自编码器的历史订单数据特征提取模型DAE₁；

步骤4：采用迁移学习法，将模型DAE₁作为当前订单数据集特征提取模型的初始模型，并以Data_c1为该初始模型的训练集，对该初始模型进行微调得到微调后的当前订单数据集特征提取模型即第一层迁移学习模型DAE₂；

步骤5：以Data_h2为模型DAE₁的输入数据，对Data_h2进行特征提取，得到特征提取后的数据集Data_h3，并以Data_h3作为次级训练集构建历史订单数据集的支持向量归回模型m_h；以Data_c2为模型DAE₂的输入数据，对Data_c2进行特征提取，得到特征提取后的数据集Data_c3，并以Data_c3作为次级训练集构建当前订单数据集的支持向量归回模型m_c；

步骤6：根据模型m_h和m_c的差异度函数，构建迁移学习支持向量回归模型，作为当前订单的生产进度预测模型；将当前时刻的订单的制造数据作为该迁移学习支持向量回归模型的输入，即可得到未来某时刻的生产进度。

进一步的，步骤2中按照70％和30％的比例将历史订单数据集划分为用于训练历史订单数据特征提取模型的数据集Data_h1和用于训练历史订单生产进度模型的数据集Data_h2；按照70％和30％的比例将当前订单数据集划分为用于构建当前订单数据特征提取模型的数据集Data_c1和用于构建当前订单生产进度预测模型的数据集Data_c2。

进一步的，步骤2中采用最大最小归一化方法进行[0，1]归一化处理

进一步的，步骤3中以ReLU作为深度稀疏自编码器的激活函数。

进一步的，所述步骤3中具体训练的过程为：

步骤3.1：以无监督的学习方式完成深度稀疏自编码器预训练，得到每层子编码器的初始参数；

步骤3.2：以有监督的学习方式对深度稀疏自编码器进行微调，得到性能更优的深度稀疏自编码器模型即历史订单数据特征提取模型DAE₁。

进一步的，所述步骤3.1中无监的督学习的具体方式为：

步骤3.1.1：基于均方误差项、L2正则项和稀疏惩罚项构建损失函数Loss，Loss的表达式如下所示：

其中，第一项为均方误差项，m为输入神经元的数量，

和x_i分别为第i个重构向量和输入向量；第二项为L2正则项，α是权重衰减系数，L是深度稀疏自编码器的层数，N_l和N_l+1分别为第l和l+1层的神经元的数量，

是第l层的第j个神经元与和第l+1层的第i个神经元之间的连接权重；第三项为稀疏惩罚项，β是稀疏惩罚项的权重系数，用于控制重要程度，m′是隐含层神经元的数量，

是Kullback-Leibler散度。

步骤3.1.2：以该损失函数值最小为目的，对该损失函数进行迭代优化计算。

进一步的，步骤4中对初始模型进行微调的过程为，以最小化损失函数Loss的值为微调的目的，对损失函数进行迭代优化计算。

进一步的，步骤5中所述的构建支持向量归回模型m_h的方法为：以数据集Data_h3作为如下函数的训练集，以该函数值最小为目的，对该函数进行迭代优化计算得到历史订单数据集的支持向量归回模型m_h：

其中，W_h是m_h的权重矩阵，C为正则化系数，n_h为m_h的输入样本数量，ξ_j和

为m_h的松弛变量。

进一步的，步骤5中所述的构建支持向量归回模型m_c的方法为：以数据集Data_c3作为如下函数的训练集，以该函数值最小为目的，对该函数进行迭代优化计算得到历史订单数据集的支持向量归回模型m_c：

其中，W_c是m_c的权重矩阵，n_c为m_c的输入样本数量，ξ_i和

为m_c的松弛变量。

进一步的，步骤6中所述的构建迁移学习支持向量回归模型的具体方法为：

步骤6.1：构建m_h和m_c的差异度函数diff(m_c，m_h)：

diff(m_c，m_h)＝||W_c-W_h||²+(b_c-b_h)²

其中，b_c和b_h分别是m_c和m_h的偏置参数；

步骤6.2：以减小m_c和m_h的差异最小为目的，即使差异度函数diff(m_c，m_h)的值最小为目的，对如下目标函数进行迭代优化计算后，得到迁移学习支持向量回归模型，即当前订单的生产进度预测模型；

其中，λ是调节模型差异的权衡因子。

有益效果：

(1)本发明在订单生产进度预测中引入了实时生产状态因素，实现了离散制造车间生产进程中制造系统运行在线分析与实时预测。

(2)与现有方法相比，本发明提出的双层迁移学习模型解决了当前订单数据量较少带来的预测精度较低和泛化性能差的问题，能够有效提升当前订单的生产进度预测精度。

(3)本发明充分利用历史制造数据中蕴含的制造过程知识信息，当预测当前订单生产进度时，只需通过迁移学习，使用当前订单数据微调预测模型参数，大大提升了预算效率，满足在线分析与预测的需求。

(4)本发明为离散制造系统性能分析、在线决策与优化提供了依据，对生产管控智能化水平的提升具有重要的价值。

附图说明

图1是本发明的基于双层迁移学习的订单生产进度实时预测总体方案示意图；

图2是本发明的数据集划分示意图；

图3是本发明的基于迁移学习的深度稀疏自编码器模型。

具体实施方式

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

本实施例提供一种基于双层迁移学习的订单生产进度实时预测方法，具体实现方法如图1所示，它包括如下步骤：

步骤(1)：采用车间部署的物联感知设备按照时序采集连续的多个生产过程的海量生产数据(制造数据)，海量生产数据包括订单任务数据OT、当前时刻已完成任务数据CT、实时生产状态数据RC和预测时间ΔT；并以数据OT、CT、RC和ΔT为特征形成数据集，并将该数据集划分为历史订单数据集和当前订单(需要预测生产进度的订单)数据集。

步骤(2)：如图2所示，按照70％和30％的比例将历史订单数据集划分为用于训练历史订单数据特征提取模型的数据集Data_h1和用于训练历史订单生产进度模型的数据集Data_h2；按照70％和30％的比例将当前订单数据集划分为用于构建当前订单数据特征提取模型的数据集Data_c1和用于构建当前订单生产进度预测模型的数据集Data_c2。采用最大最小归一化方法对Data_h1、Data_h2、Data_c1、Data_c2进行[0，1]归一化处理，本实施例中运用的到的每个模型均把训练集再次在按照70％和30％的比例划分为训练集与测试集；测试集用来验证模型的好坏。

步骤(3)：面对具有数据量大、种类多、维度高等特点的制造数据，采用基于深度稀疏自编码器的深度学习方法构建历史订单数据特征提取模型DAE₁，具体方法如下：以历史订单数据Data_h1为数据集，训练一个具有多隐含层结构的自编码器，以ReLU为激活函数，在以均方误差项为损失函数的基础上，加入L2正则项和稀疏惩罚项，以提高模型的泛化性能，避免过拟合问题，损失函数如下式：

其中第一项为均方误差项，m为输入神经元的数量，

和x_i分别为第i个重构向量和输入向量；第二项为L2正则项，α是权重衰减系数，L是深度稀疏自编码器的层数，N_l和N_l+1分别为第l和l+1层的神经元的数量，

是第l层的第j个神经元与和第l+1层的第i个神经元之间的连接权重；第三项为稀疏惩罚项，β是稀疏惩罚项的权重系数，用于控制重要程度，m′是隐含层神经元的数量，

是Kullback-Leibler散度。L2正则项和稀疏惩罚项的加入可有效解决模型的过拟合问题，基于上述损失函数值最小为目的，以无监督的学习方式完成深度稀疏自编码器模型的预训练过程，深度稀疏自编码器的取值如表1所示：

表1深度稀疏自编码器的参数取值

深度稀疏自编码器的预训练过程得到了每层自编码器的初始参数，通过有标签数据集进行参数优化，即通过有监督的学习方式对预训练的深度稀疏自编码器进行微调，得到更优性能的深度稀疏自编码器模型即历史订单数据特征提取模型DAE₁即该编码器每层的权重与偏置。

步骤(4)：如图3所示采用迁移学习方法，以历史订单数据特征提取模型的参数(权重与偏置)作为初始参数即将模型DAE₁作为当前订单数据集特征提取模型的初始模型，以当前订单数据集为该初始模型的训练集对初始模型进行微调，得到第一层迁移学习模型DAE₂，即当前订单数据集的特征提取模型，以解决当前订单数据量不足带来的预测精度低的问题；

上述对初始模型进行微调的过程，是以最小化损失函数Loss的值为微调的目的，对损失函数进行迭代优化计算。

步骤(5)：采用步骤(3)建立的模型DAE₁对Data_h2进行特征提取，获得历史订单数据的次级训练集Data_h3，以Data_h3作为次级训练集训练一个支持向量回归模型，得到一个基于历史订单数据集的生产进度预测模型即历史订单数据集的支持向量归回模型m_h。

步骤(6)：采用步骤(4)建立的模型DAE₂对Data_c2进行特征提取，获得当前订单数据的次级训练集Data_c3，以Data_c3作为次级训练集训练一个支持向量回归模型，得到一个基于当前订单数据集的生产进度预测模型即当前订单数据集的支持向量归回模型m_c。

本实施例中步骤(5)中构建支持向量归回模型m_h的方法为：以数据集Data_h3作为如下函数的训练集，以该函数值最小为目的，对该函数进行迭代优化计算得到历史订单数据集的支持向量归回模型m_h：

其中，W_h是m_h的权重矩阵，C为正则化系数，n_h为m_h的输入样本数量，ξ_j和

为m_h的松弛变量。

本实施例中步骤(6)中构建支持向量归回模型m_c的方法为：以数据集Data_c3作为如下函数的训练集，以该函数值最小为目的，对该函数进行迭代优化计算得到历史订单数据集的支持向量归回模型m_c：

其中，W_c是m_c的权重矩阵，n_c为m_c的输入样本数量，ξ_i和

为m_c的松弛变量。

步骤(7)基于m_h和m_c的相似度，构建迁移学习支持向量回归模型，作为当前订单的生产进度预测模型。以当前时刻的订单任务数据、已完成任务数据、实时生产状态数据和需要预测的时间为当前订单的生产进度预测模型的输入，得到的输出为未来某时刻的生产进度。

步骤(7)的具体方法为：

步骤7.1：构建m_h和m_c的差异度函数diff(m_c，m_h)：

diff(m_c，m_h)＝||W_c-W_h||²+(b_c-b_h)²

其中，b_c和b_h分别是m_c和m_h的偏置参数；

步骤7.2：以减小m_c和m_h的差异最小为目的，即使差异度函数diff(m_c，m_h)的值最小为目的，对如下目标函数进行迭代优化计算后，得到迁移学习支持向量回归模型，即当前订单的生产进度预测模型；

其中，λ是调节模型差异的权衡因子。

本实施例的步骤(1)中订单任务数据的特征包括订单组成产品类型、各类产品数量；当前时刻已完成任务数据的特征包括当前时刻已完成的产品数量、当前时刻各类产品的每道工序已经完成的数量；实时生产状态数据的特征包括在当前时刻每一个工位的入缓存区状态、加工状态、出缓存区状态和转运状态，其中入缓存区状态数据包括入缓存区队列和在入缓存区的等待时间，加工状态数据包括该工位正在加工的产品类型、该产品已经在该工位加工的时间和操作机床的实时状态，出缓存区状态数据包括出缓存区队列和在出缓存区的等待时间，转运状态包括当前时刻已经离开该工位且处于转运状态中的产品类型、数量和已经离开的时间。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (10)

1.一种基于双层迁移学习的订单生产进度实时预测方法，其特征在于，具体包括如下步骤：

步骤1：按照时序采集连续的若干个订单的制造数据，并将制造数据按照时序划分为历史订单数据集和当前订单数据集；

步骤2：将历史订单数据集划分为用于训练历史订单数据特征提取模型的数据集Data_h1和用于训练历史订单生产进度模型的数据集Data_h2；将当前订单数据集划分为用于构建当前订单数据特征提取模型的数据集Data_c1和用于构建当前订单生产进度预测模型的数据集Data_c2；并将Data_h1、Data_h2、Data_c1、Data_c2分别进行归一化处理；

步骤3：以数据集Data_h1作为一个具有多隐含层结构的深度稀疏自编码器的训练集，训练该深度稀疏自编码器，得到一个基于深度稀疏自编码器的历史订单数据特征提取模型DAE₁；

步骤4：采用迁移学习法，将模型DAE₁作为当前订单数据集特征提取模型的初始模型，并以Data_c1为该初始模型的训练集，对该初始模型进行微调得到微调后的当前订单数据集特征提取模型即第一层迁移学习模型DAE₂；

步骤5：以Data_h2为模型DAE₁的输入数据，对Data_h2进行特征提取，得到特征提取后的数据集Data_h3，并以Data_h3作为次级训练集构建历史订单数据集的支持向量归回模型m_h；以Data_c2为模型DAE₂的输入数据，对Data_c2进行特征提取，得到特征提取后的数据集Data_c3，并以Data_c3作为次级训练集构建当前订单数据集的支持向量归回模型m_c；

步骤6：根据模型m_h和m_c的差异度函数，构建迁移学习支持向量回归模型，作为当前订单的生产进度预测模型；将当前时刻的订单的制造数据作为该迁移学习支持向量回归模型的输入，即可得到未来某时刻的生产进度。

2.基于权利要求1所述的方法，其特征在于，步骤2中按照70％和30％的比例将历史订单数据集划分为用于训练历史订单数据特征提取模型的数据集Data_h1和用于训练历史订单生产进度模型的数据集Data_h2；按照70％和30％的比例将当前订单数据集划分为用于构建当前订单数据特征提取模型的数据集Data_c1和用于构建当前订单生产进度预测模型的数据集Data_c2。

3.基于权利要求1所述的方法，其特征在于，步骤2中采用最大最小归一化方法进行[0，1]归一化处理。

4.基于权利要求1所述的方法，其特征在于，步骤3中以ReLU作为深度稀疏自编码器的激活函数。

5.基于权利要求1所述的方法，其特征在于，所述步骤3中具体训练的过程为：

步骤3.1：以无监督的学习方式完成深度稀疏自编码器预训练，得到每层子编码器的初始参数；

步骤3.2：以有监督的学习方式对深度稀疏自编码器进行微调，得到性能更优的深度稀疏自编码器模型即历史订单数据特征提取模型DAE₁。

6.基于权利要求5所述的方法，其特征在于，所述步骤3.1中无监督的学习方式的具体方式为：

步骤3.1.1：基于均方误差项、L2正则项和稀疏惩罚项构建损失函数Loss，Loss的表达式如下所示：

其中，第一项为均方误差项，m为输入神经元的数量，

和x_i分别为第i个重构向量和输入向量；第二项为L2正则项，α是权重衰减系数，L是深度稀疏自编码器的层数，N_l和N_l+1分别为第l和l+1层的神经元的数量，

是第l层的第j个神经元与和第l+1层的第i个神经元之间的连接权重；第三项为稀疏惩罚项，β是稀疏惩罚项的权重系数，用于控制重要程度，m′是隐含层神经元的数量，

是Kullback-Leibler散度；

步骤3.1.2：以该损失函数值最小为目的，对该损失函数进行迭代优化计算。

7.基于权利要求6所述的方法，其特征在于，步骤4中对初始模型进行微调的过程为，以最小化损失函数Loss的值为微调的目的，对损失函数进行迭代优化计算。

8.基于权利要求1所述的方法，其特征在于，步骤5中所述的构建支持向量归回模型m_h的方法为：以数据集Data_h3作为如下函数的训练集，以该函数值最小为目的，对该函数进行迭代优化计算得到历史订单数据集的支持向量归回模型m_h：

其中，W_h是m_h的权重矩阵C为正则化系数，n_h为m_h的输入样本数量，ξ_j和

为m_h的松弛变量。

9.基于权利要求8所述的方法，其特征在于，步骤5中所述的构建支持向量归回模型m_c的方法为：以数据集Data_c3作为如下函数的训练集，以该函数值最小为目的，对该函数进行迭代优化计算得到历史订单数据集的支持向量归回模型m_c：

其中，W_c是m_c的权重矩阵，n_c为m_c的输入样本数量，ξ_i和

为m_c的松弛变量。

10.基于权利要求9所述的方法，其特征在于，步骤6中所述的构建迁移学习支持向量回归模型的具体方法为：

步骤6.1：构建m_h和m_c的差异度函数diff(m_c，m_h)：

diff(m_c，m_h)＝||W_c-W_h||²+(b_c-b_h)²

其中，b_c和b_h分别是m_c和m_h的偏置参数；

步骤6.2：以减小m_c和m_h的差异最小为目的，即使差异度函数diff(m_c，m_h)的值最小为目的，对如下目标函数进行迭代优化计算后，得到迁移学习支持向量回归模型，即当前订单的生产进度预测模型；

其中，λ是调节模型差异的权衡因子。

Images