CN112101631A - 一种基于循环神经网络的产品工期预测方法 - Google Patents

一种基于循环神经网络的产品工期预测方法 Download PDF

Info

Publication number
CN112101631A
CN112101631A CN202010841162.3A CN202010841162A CN112101631A CN 112101631 A CN112101631 A CN 112101631A CN 202010841162 A CN202010841162 A CN 202010841162A CN 112101631 A CN112101631 A CN 112101631A
Authority
CN
China
Prior art keywords
product
construction period
neural network
processing
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010841162.3A
Other languages
English (en)
Other versions
CN112101631B (zh
Inventor
张洁
寇恩溥
汪俊亮
张朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202010841162.3A priority Critical patent/CN112101631B/zh
Publication of CN112101631A publication Critical patent/CN112101631A/zh
Application granted granted Critical
Publication of CN112101631B publication Critical patent/CN112101631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明设计了一种基于信息熵的产品工期关键参数滤取方法，该方法首先从企业制造执行系统(MES)提取与转换候选工期参数，随后对参数数据进行预处理，通过基于信息熵的方法进行工期关键参数滤取。本发明能够较好地满足工期关键参数滤取任务，且高效准确，提高了产品工期关键参数滤取的精准度与效率，具有很高的应用价值和经济效益，通过实际验证证明了此方法能够较好地应用到实际产品工期关键参数滤取任务中。

Description

一种基于循环神经网络的产品工期预测方法
技术领域
本发明涉及产品工期预测技术领域，特别是涉及一种基于循环神经网络的产品工期预测技术。
背景技术
随着制造业的不断发展，行业的同质化竞争进一步加剧。对于企业而言，产品订单的制备进程直接决定原料消耗，从而影响原料采购进程。订单的拖期完工常常伴随着加班生产，从而影响产品的良率。对产品工期进行预测以及后续调控以保障订单的准时交付率具有重要的工程意义。目前，制造系统中产品工期的预测方法主要有：生产过程仿真、简单的参数统计、过程分析方法和基于人工智能方法。由于制造系统的规模越来越大，制造工艺和过程越来越复杂，建立精确的仿真模型变得越来越困难，而且运行大规模的仿真模型极其耗费时间与计算资源，这使得生产过程仿真方法、简单参数统计以及过程分析法已经不能够很好地适用。随着人工智能技术的发展，基于人工智能的方法成为产品工期预测中的主要方法之一。现有的人工智能方法大多是在投料时刻对产品的完工时间进行预测，得到产品在生产过程中的工期，然而对于生产制备工艺路线长、同一位置需要反复加工、生产工艺复杂的产品，在工期调控过程中，需要在不同的阶段对产品的完工时间展开预测，从而调整策略，实现产品工期的精准调控。因此，需要结合产品的制备工艺特性，在产品的加工的不同阶段对其工期展开预测，从而揭示产品在生产制备过程中工期的动态波动规律。因此，急需提供一种适用于制造系统规模大、制造工艺复杂的产品工期预测方法，进行产品工期预测，进而保证产品工期预测模型的有效性，为产品订单的准时交付率以及优化制造系统的原料采购、销售管理、仓储与物流管理、质量管理提供保障。
发明内容
本发明的目的是：精准、高效地对制造系统中产品的工期进行预测。
为了达到上述目的，本发明的技术方案是提供了一种基于循环神经网络的产品工期预测方法，其特征在于，包括以下步骤：
步骤1：从信息化系统中获取产品工期相关参数数据；
步骤2：对获取的参数数据进行数据预处理，对众多的参数种类进行参数滤取从而得到与产品工期相关度大的参数xt i，其中，t表示产品序号，i表示加工位置序号；
步骤3：根据产品的工艺确定产品在某道工序中需要反复加工的次数L；
步骤4：建立基于循环神经网络的产品工期预测模型，产品工期预测模型由双向循环神经网络单元构成，循环神经网络单元沿产品序号轴向和产品加工位置轴向进行展开，形成的包括输入层、隐藏层及输出层的二维网络结构，其中：
沿产品序号轴向，不同产品序号的产品的同一加工位置工期预测模型之间存在递归流连接：当加工位置固定，在产品序号轴向上的循环神经网络单元为
Figure BDA0002641486620000021
其中，
Figure BDA0002641486620000022
分别为用于产品序号为 t、n、k的产品的第i个加工位置工期的预测，在该序列中产品序号为t、n、k的产品在第i-1个加工位置的加工过程中依次产出，因此按照第i-1个加工位置的产出顺序，对第i个加工位置的加工工期进行预测；这种连接使得不同的产品在同一加工位置的加工过程中的循环神经网络单元沿着产出的顺序相互连接，从而使得产品之间传递效应得以传播和表达；
沿着加工位置序号轴向，同一产品的不同加工位置的工期预测模型之间存在递归流连接：当产品序号固定，在加工位置轴向上的循环神经网络单元为
Figure BDA0002641486620000023
其中，
Figure BDA0002641486620000024
用于产品序号为t的产品在第i个加工位置的工期预测，产品序号为t的产品共有n个加工位置；在加工位置轴向上，相邻两个循环神经网络单元之间存在递归流连接，使得产品加工位置传递效应得以传播和表达；
产品工期预测模型，其中，定义：hwt-1 i表示产品递归流，表示不同产品序号的产品在同一加工位置之间的传递效应，其值与产品序号t-1的产品的第i个加工位置工期预测的产品工期预测模型的隐单元输出相等；hlt i-1表示加工位置递归流，表示同一产品序号的产品在不同加工位置之间的传递效应，其值与产品序号t的产品的第i-1个加工位置工期预测的产品工期预测模型的隐单元输出相等，产品工期预测模型的输出为：
Figure BDA0002641486620000025
hwt-1 i＝fr t-1 i(xt-1 i，hwt-2 i，hlt-1 i-1)
hlt i-1＝fr t i-1(xt i-1，hwt-1 i-1，hlt i-2)
其中，
Figure BDA0002641486620000031
表示一道加工工序中产品序号t的产品的第i个加工位置工期预测值；Wcth表示产品工期预测模型输出向量的连接权值；xt i是产品工期预测模型的输入参数集；ht i表示产品工期预测模型的输出向量；
步骤5：初始化模型集
Figure BDA0002641486620000032
模型集
Figure BDA0002641486620000036
用于存储针对各加工位置工期进行预测的双向循环神经网络单元：fr t i(·)，表示对产品序号t的产品的第i个加工位置工期预测的产品工期预测模型；
步骤6：当某一产品进入某一加工工序，并开始该次加工工序中的首个加工位置时，确定该产品的产品序号t和加工位置序号i；
步骤7：从模型集
Figure BDA0002641486620000035
取出针对当前产品当前加工位置i的产品工期预测模型 fr t i(·)，fr t i(·)＝fr l i(·)，用于当前产品在该工序中的当前加工位置的工期预测；产品工期预测模型fr t i(·)的产品递归流ht-1 i由当前加工位置的最新双向循环神经网络单元来确定，其等于fr l i(·)的隐单元状态；产品工期预测模型fr t i(·)的加工位置递归流hlt i-1由负责当前产品上一加工完位置的产品工期预测模型 fr t i-1(·)来确定，等于产品工期预测模型fr t i-1(·)的隐单元状态；若当前产品为产品生产中的首次重次重复加工，即i＝1，则采用零向量初始化加工位置递归流；
步骤8：产品工期预测模型fr t i(·)通过前向状态更新，预测得到当前产品当前加工位置的工期
Figure BDA0002641486620000033
步骤9：当前产品投产并得到实际的工期值；
步骤10：产品工期预测模型fr t i(·)通过反向传播方法进行训练，并将更新的双向循环神经网络单元更新至模型集
Figure BDA0002641486620000034
中；若当前产品已经完成当前工序中所有加工位置的制备工艺，则对当前产品进行数据存档，否则返回步骤7对该产品下一加工位置的工期进行预测。
优选地，步骤2中的数据预处理方法包括以下步骤：
步骤201：对数据中的数据空缺值进行处理，对数据中偏离大的异常数据进行处理；
步骤202：对产品工期候选参数数据中的连续参数数据进行离散化处理。
优选地，所述步骤4中，所述双向循环神经网络单元构造如下：
每一个双向循环神经网络单元
Figure BDA0002641486620000041
用于对产品序号t的产品的第i个加工位置的工期预测，其中每一双向循环神经网络单元
Figure BDA0002641486620000042
包含三个逻辑门的值、一个常数误差流单元与一个块状输入；
从网络拓扑结构上来看，双向循环神经网络单元
Figure BDA0002641486620000043
是一种带双递归流的三层神经网络模型，其用于对产品序号t的产品第i个加工位置工期进行预测，其中：
双向循环神经网络单元的输入块由(xt i,hwt-1 i,hlt i-1)构成，xt i表示当前的新输入，hwt-1 i表示沿着产品序号轴向传递的产品递归流，hlt i-1表示沿着加工位置序号轴向传递的加工位置递归流；
输入从块状输入、输入门、遗忘门、输出门进入双向循环神经网络单元，其中，输入门用于控制输入对常数误差流单元的影响，遗忘门用于控制上一时刻的网络隐单元对下一时刻网络隐单元的影响，输出门用于控制网络隐单元对双向循环神经网络单元输出的影响；
在网络的前向传播过程中，双向循环神经网络单元首先计算输入节点的状态，其通过对输入块(xt i,hwt-1 i,hlt i-1)进行加权计算得，具体计算过程如下式所示：
Figure BDA0002641486620000044
Figure BDA0002641486620000045
式中，Wxa、Whwa、Whla为加权矩阵；ba为偏置矩阵；g(·)为激活函数，在本模型中为双曲正切函数tanh(x)；
Figure 2
表示网络节点的加权计算结果；
Figure BDA0002641486620000047
表示加权结果通过激活函数后的输入节点状态。
在输入门的状态更新中，输入包括输入块(xt i,hwt-1 i,hlt i-1)中的三部分元素，还由隐单元与三个门结构的状态联接构成，输入门状态更新的具体计算过程如下式所示：
Figure BDA0002641486620000051
Figure BDA0002641486620000052
其中，Wxi、Whwi、Whli、Wci为加权矩阵；bi为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure BDA0002641486620000053
表示网络节点的加权计算结果；
Figure 1
表示加权结果通过激活函数后更新的输入门状态。
遗忘门状态更新的输入包括输入块(xt i,hwt-1 i,hlt i-1)中的三部分元素和上一产品工期预测模型的隐单元状态
Figure BDA0002641486620000055
遗忘门状态更新的具体计算过程如下式所示：
Figure BDA0002641486620000056
Figure BDA0002641486620000057
其中，Wxf、Whwf、Whlf、Wcf为加权矩阵；bf为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure BDA0002641486620000058
表示网络节点的加权计算结果；
Figure BDA0002641486620000059
表示加权结果通过激活函数后更新的遗忘门状态。
在完成输入节点、输入门、遗忘门的状态更新之后，开始更新隐单元的状态，其计算过程如下式所示，为存储和表达多样化的产品工期关联关系，引入多维度的隐单元存储结构：
ct i＝fmr(Mt i，at i，it i，ft i)
其中，fmr(·)为隐单元状态计算函数，其基于多维度隐单元Mt i、输入节点at i、输入门it i、遗忘门ft i的状态对隐单元的状态进行更新；
在完成了隐单元的状态更新之后，根据输入块(xt i,hwt-1 i,hwt-1 i)和隐单元 ct i对输出门的状态进行更新，输出门状态更新的具体计算过程公式如下：
Figure BDA00026414866200000510
Figure BDA00026414866200000511
其中，Wxo、Whwo、Whlo、Wco为加权矩阵；bo为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure BDA0002641486620000061
表示网络节点的加权计算结果；
Figure BDA0002641486620000062
表示加权结果通过激活函数后更新的输出门状态。
双向循环神经网络单元的输出向量ht i由输出门和常数误差流单元结构的状态计算可得，计算过程如下：
ht i＝ot i·φ(ct i)
其中，φ(·)为双曲正切函数tanh(x)。
与现有技术相比，本发明具有如下优点：
1.对于生产制备工艺路线长、同一位置需要反复加工、生产工艺复杂的产品本方法比现有方法更具优势，工期预测的准确率更高。
2.本方法结合产品工艺特性，可以在工期调控过程中，在不同的阶段对产品的完工时间展开预测，从而调整策略，实现产品工期的精准调控。
3.本方法在应用于制造系统规模大、制造工艺复杂的产品工期预测时适应性更好，能够保证产品工期预测的有效性。
附图说明
图1是本发明工期预测模型的循环神经网络单元结构图；
图2是本发明基于循环神经网络的工期预测模型结构图；
图3是本发明算法流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
晶圆的工期精准预测以及后续调控可有效提升订单的准时交付率，一直是晶圆制造运行优化中的重点与难点。在晶圆制造中，多次重入工序之间存在复杂的工艺约束，使得多层电路制备工期存在两种传递效应：晶圆Lot传递效应与晶圆层传递效应。针对晶圆制造工艺特征，以产品工期预测中的晶圆单层电路制备的工期预测为例，本发明提供的一种基于循环神经网络的产品工期预测方法具体包括以下步骤：
步骤1、从晶圆产品制造执行系统(MES)等信息化系统中获取产品工期相关参数数据。
步骤2、对获取的参数数据进行数据预处理，对数据中因设备故障、网络异常等因素造成的数据空缺值进行处理，对数据中偏离大的异常数据进行处理，对晶圆工期候选参数数据中的连续参数数据进行离散化处理，对众多的参数种类进行参数滤取从而得到与晶圆工期相关度大的参数xt i，其中，t表示产品序号，i表示加工位置序号。
步骤3、根据晶圆产品的工艺确定晶圆的重入次数L。
步骤4、根据晶圆加工特征构架具有二维网络拓扑结构的网络模型，设计双向循环神经网络单元如图1所示，在传统的三层神经网络中植入双向递归流，使得双向循环神经网络单元可沿着晶圆Lot轴向(wafer lot axis)和晶圆层轴向 (wafer layer axis)两个方向进行展开。
图1中，CEC代表循环神经网络中的常数误差流单元，沿着晶圆Lot轴向，不同晶圆Lot的同一层电路制备工期预测模型之间存在递归流连接。当晶圆加工层序号固定，在晶圆Lot轴向上的循环神经网络单元为
Figure BDA0002641486620000071
其中
Figure BDA0002641486620000072
分别为用于产品序号为t、n、k晶圆Lot第i层电路工期的预测。在该序列中，晶圆Lott、n、k在第i-1层电路的制备中依次产出，因此按照第i-1层电路的产出顺序对第i层电路的制备工期进行预测。这种连接使得不同的晶圆Lot在同一层电路制备过程中的循环神经网络单元沿着产出的顺序相互连接，从而使得晶圆Lot传递效应得以传播和表达。
沿着晶圆层轴向，同一晶圆Lot的不同层的工期预测模型之间存在递归流连接。当晶圆Lot序号固定，沿着晶圆层轴向循环神经网络单元为
Figure BDA0002641486620000073
其中，晶圆Lot共有n层电路构成，
Figure BDA0002641486620000074
为用于产品序号为t的晶圆Lot第i层电路的工期预测。在晶圆层轴向上，相邻两个循环神经网络单元之间存在递归流连接，使得晶圆层传递效应得以传播和表达。
上述两种联接的存在，使得二维循环神经网络单元可沿晶圆Lot轴向和晶圆层轴向进行展开，形成二维的网络结构。建立的基于循环神经网络的晶圆工期预测模型如图2所示，模型由双向循环神经网络单元构成，其中hwt-1 i表示晶圆Lot递归流，表示不同产品序号的晶圆Lot在同一晶圆层电路加工之间的传递效应，其值与产品序号为t-1的晶圆Lot的第i层工期预测的循环神经网络模型的隐单元输出相等。hlt i-1表示晶圆层递归流，表示在同一产品序号的晶圆Lot在不同晶圆层电路加工之间的传递效应，其值与产品序号为t的晶圆Lot的第i-1 层工期预测的循环神经网络模型的隐单元输出相等。模型的输出为：
Figure BDA0002641486620000081
hwt-1 i＝fr t-1 i(xt-1 i，hwt-2 i，hlt-1 i-1)
hlt i-1＝fr t i-1(xt i-1，hwt-1 i-1，hlt i-2)
hlt i-1＝fr t i-1(xt i-1，hwt-1 i-1，hlt i-2)
其中，
Figure BDA0002641486620000082
表示产品序号t的晶圆Lot的第i层电路工期预测值；Wcth表示循环神经网络模型输出向量的连接权值；xt i是循环神经网络模型的输入参数集，其由关键参数识别方法获得，包含了产品的优先级、设备的等待队列长度，在制品数量等；ht i表示循环神经网络模型的输出向量。
步骤4、初始化模型集
Figure BDA0002641486620000087
该模型集
Figure BDA0002641486620000086
用于存储针对各层工期进行预测的最新模型：fr l i(·)；
步骤5、当某一晶圆Lot进入某次重入，并开始该次重入中的首道工序时，系统确定该晶圆Lot的晶圆Lot序号t和晶圆层序号i；
步骤6、系统从模型集
Figure BDA0002641486620000085
取出针对当前晶圆层i的预测模型fr t i(·)＝fr l i(·) 用于产品序号为l的当前晶圆Lot的当前层的工期预测。该模型的晶圆递归流 hwt-1 i由当前晶圆层i的最新预测模型来确定，其等于fr l i(·)的隐单元状态。层次递归流hlt i-1由负责产品序号为l的晶圆上一层的工期预测模型来确定，其等于 fr t i-1(·)的隐单元状态，若当前为晶圆制备中的首次重入，即i＝1，则采用零向量初始化层次递归流。
每一个循环神经网络单元
Figure BDA0002641486620000083
用于某一晶圆Lot某一层电路制备过程的工期预测，其中每一循环神经网络单元
Figure BDA0002641486620000084
包含三个逻辑门的值、一个CEC存储单元与一个块状输入。从网络拓扑结构上来看，
Figure BDA0002641486620000091
是一种带双递归流的三层神经网络模型，其用于对产品序号为t的产品的第i个加工位置工期进行预测。其中单元的输入块由xt i、hwt-1 i、hlt i-1三部分构成，xt i表示当前的新输入， hwt-1 i表示沿着产品序号轴向传递的产品递归流，hlt i-1表示沿着加工位置序号轴向传递的加工位置递归流。单元的输入可从块状输入(blockinput)、输入门 (input gate)、遗忘门(forget gate)、输出门(output gate)进入循环二维循环神经单元。其中，输入门用于控制输入对网络存储单元的影响，遗忘门用于控制上一时刻的网络隐单元对下一时刻网络隐单元的影响，输出门用于控制网络隐单元对二维循环神经网络单元输出的影响。
在网络的前向传播过程中，模型首先计算输入节点的状态，其通过对输入块 (xt i,hwt-1 i,hlt i-1)进行加权计算可得，具体计算过程见公式如下式所示：
Figure BDA0002641486620000092
Figure BDA0002641486620000093
式中，Wxa、Whwa、Whla为加权矩阵；ba为偏置矩阵；g(·)为激活函数，在本模型中为双曲正切函数tanh(x)；
Figure BDA0002641486620000094
表示网络节点的加权计算结果；
Figure BDA0002641486620000095
表示加权结果通过激活函数后的输入节点状态。
在模型输入门的状态更新中，其输入不仅包括输入块(xt i,hwt-1 i,hlt i-1)中的三部分元素，还由隐单元与三个门结构的状态联接构成。模型输入门的状态更新的具体计算过程公式如下：
Figure BDA0002641486620000096
Figure BDA0002641486620000097
其中，Wxi、Whwi、Whli、Wci为加权矩阵；bi为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure BDA0002641486620000098
表示网络节点的加权计算结果；
Figure BDA0002641486620000099
表示加权结果通过激活函数后更新的输入门状态。
模型的遗忘门状态更新与输入门相似，其输入包括输入块 (xt i,hwt-1 i,hlt i-1)中的三部分元素和上一产品工期预测模型的隐单元状态
Figure BDA00026414866200000910
遗忘门的状态更新的具体计算过程公式如下：
Figure BDA0002641486620000101
Figure BDA0002641486620000102
其中，Wxf、Whwf、Whlf、Wcf为加权矩阵；bf为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure BDA0002641486620000103
表示网络节点的加权计算结果；
Figure BDA0002641486620000104
表示加权结果通过激活函数后更新的遗忘门状态。
在完成输入节点、输入门、遗忘门的状态更新之后，模型开始更新隐单元的状态。在循环神经网络模型中，为存储和表达多样化的晶圆工期关联关系，引入多维度的隐单元存储结构在下述公式中：
ct i＝fmr(Mt i，at i，it i，ft i)
其中，fmr(·)为隐单元状态计算函数，其基于多维度隐单元Mt i、输入节点at i、输入门it i、遗忘门ft i的状态对隐单元的状态进行更新。
在完成了隐单元的状态更新之后，模型根据输入块(xt i,hwt-1 i,hwt-1 i)和隐单元ct i对输出门的状态进行更新。输出门状态更新的具体计算过程公式如下：
Figure BDA0002641486620000105
Figure BDA0002641486620000106
其中，Wxo、Whwo、Whlo、Wco为加权矩阵；bo为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure BDA0002641486620000107
表示网络节点的加权计算结果；
Figure BDA0002641486620000108
表示加权结果通过激活函数后更新的输出门状态。
循环神经网络单元的输出向量ht i由输出门和CEC结构的状态计算可得，计算过程如下：
ht i＝ot i·φ(ct i)
其中，φ(·)为双曲正切函数tanh(x)。
步骤7、模型通过前向状态更新，预测得到产品序号为t的当前晶圆Lot的第i层的工期
Figure BDA0002641486620000109
步骤8、步骤7所述晶圆Lot投产并得到实际的工期值。
步骤9、模型通过反向传播方法进行训练，并将更新的循环神经网络模型更新至模型集
Figure BDA0002641486620000111
中。若当前晶圆Lot已经完成所有晶圆层的制备工艺，则对该晶圆Lot进行数据存档，否则返回步骤6对步骤7所述晶圆Lot下一层的工期进行预测。

Claims (3)

1.一种基于循环神经网络的产品工期预测方法，其特征在于，包括以下步骤：
步骤1：从信息化系统中获取产品工期相关参数数据；
步骤2：对获取的参数数据进行数据预处理，对众多的参数种类进行参数滤取从而得到与产品工期相关度大的参数xt i，其中，t表示产品序号，i表示加工位置序号；
步骤3：根据产品的工艺确定产品在某道工序中需要反复加工的次数L；
步骤4：建立基于循环神经网络的产品工期预测模型，产品工期预测模型由双向循环神经网络单元构成，循环神经网络单元沿产品序号轴向和产品加工位置轴向进行展开，形成的包括输入层、隐藏层及输出层的二维网络结构，其中：
沿产品序号轴向，不同产品序号的产品的同一加工位置工期预测模型之间存在递归流连接：当加工位置固定，在产品序号轴向上的循环神经网络单元为
Figure FDA0002641486610000011
其中，
Figure FDA0002641486610000012
分别为用于产品序号为t、n、k的产品的第i个加工位置工期的预测，在该序列中产品序号为t、n、k的产品在第i-1个加工位置的加工过程中依次产出，因此按照第i-1个加工位置的产出顺序，对第i个加工位置的加工工期进行预测；这种连接使得不同的产品在同一加工位置的加工过程中的循环神经网络单元沿着产出的顺序相互连接，从而使得产品之间传递效应得以传播和表达；
沿着加工位置序号轴向，同一产品的不同加工位置的工期预测模型之间存在递归流连接：当产品序号固定，在加工位置轴向上的循环神经网络单元为
Figure FDA0002641486610000013
其中，
Figure FDA0002641486610000014
用于产品序号为t的产品在第i个加工位置的工期预测，产品序号为t的产品共有n个加工位置；在加工位置轴向上，相邻两个循环神经网络单元之间存在递归流连接，使得晶圆层传递效应得以传播和表达；
产品工期预测模型，其中，定义：hwt-1 i表示产品递归流，表示不同产品序号的产品在同一加工位置之间的传递效应，其值与产品序号t-1的产品的第i个加工位置工期预测的产品工期预测模型的隐单元输出相等；hlt i-1表示加工位置递归流，表示同一产品序号的产品在不同加工位置之间的传递效应，其值与产品序号t的产品的第i-1个加工位置工期预测的产品工期预测模型的隐单元输出相等，产品工期预测模型的输出为：
Figure FDA0002641486610000021
Figure FDA00026414866100000217
Figure FDA0002641486610000022
Figure FDA0002641486610000023
其中，
Figure FDA0002641486610000024
表示一道加工工序中产品序号t的产品的第i个加工位置工期预测值；Wcth表示产品工期预测模型输出向量的连接权值；xt i是产品工期预测模型的输入参数集；ht i表示产品工期预测模型的输出向量；
步骤5：初始化模型集
Figure FDA0002641486610000025
模型集
Figure FDA0002641486610000026
用于存储针对各加工位置工期进行预测的双向循环神经网络单元：
Figure FDA0002641486610000027
表示对产品序号t的产品的第i个加工位置工期预测的产品工期预测模型；
步骤6：当某一产品进入某一加工工序，并开始该次加工工序中的首个加工位置时，确定该产品的产品序号t和加工位置序号i；
步骤7：从模型集
Figure FDA0002641486610000028
取出针对当前产品当前加工位置i的产品工期预测模型
Figure FDA0002641486610000029
用于当前产品在该工序中的当前加工位置的工期预测；产品工期预测模型
Figure FDA00026414866100000210
的产品递归流hwt-1 i由当前加工位置的最新双向循环神经网络单元来确定，其等于
Figure FDA00026414866100000211
的隐单元状态；产品工期预测模型
Figure FDA00026414866100000212
的加工位置递归流hlt i-1由负责当前产品上一加工完位置的产品工期预测模型
Figure FDA00026414866100000213
来确定，等于产品工期预测模型
Figure FDA00026414866100000214
的隐单元状态；若当前产品为产品生产中的首次重次重复加工，即i＝1，则采用零向量初始化加工位置递归流；
步骤8：产品工期预测模型
Figure FDA00026414866100000215
通过前向状态更新，预测得到当前产品当前加工位置的工期
Figure FDA00026414866100000216
步骤9：当前产品投产并得到实际的工期值；
步骤10：产品工期预测模型
Figure FDA0002641486610000031
通过反向传播方法进行训练，并将更新的双向循环神经网络单元更新至模型集
Figure FDA0002641486610000032
中；若当前产品已经完成当前工序中所有加工位置的制备工艺，则对当前产品进行数据存档，否则返回步骤7对该产品下一加工位置的工期进行预测。
2.如权利要求1所述的一种基于循环神经网络的产品工期预测方法，其特征在于：步骤2中的数据预处理方法包括以下步骤：
步骤201：对数据中的数据空缺值进行处理，对数据中偏离大的异常数据进行处理；
步骤202：对产品工期候选参数数据中的连续参数数据进行离散化处理。
3.如权利要求1所述的一种基于信息熵的产品工期关键参数滤取方法，其特征在于：所述步骤4中，所述双向循环神经网络单元构造如下：
每一个双向循环神经网络单元
Figure FDA0002641486610000033
用于对产品序号t的产品的第i个加工位置的工期预测，其中每一双向循环神经网络单元
Figure FDA0002641486610000034
包含三个逻辑门的值、一个常数误差流单元与一个块状输入；
从网络拓扑结构上来看，双向循环神经网络单元
Figure FDA0002641486610000035
是一种带双递归流的三层神经网络模型，其用于对产品序号t的产品第i个加工位置工期进行预测，其中：
双向循环神经网络单元的输入块由(xt i，hwt-1 i，hlt i-1)构成，xt i表示当前的新输入，hwt-1 i表示沿着产品序号轴向传递的产品递归流，hlt i-1表示沿着加工位置序号轴向传递的加工位置递归流；
输入从块状输入、输入门、遗忘门、输出门进入双向循环神经网络单元，其中，输入门用于控制输入对常数误差流单元的影响，遗忘门用于控制上一时刻的网络隐单元对下一时刻网络隐单元的影响，输出门用于控制网络隐单元对双向循环神经网络单元输出的影响；
在网络的前向传播过程中，双向循环神经网络单元首先计算输入节点的状态，其通过对输入块(xt i，hwt-1 i，hlt i-1)进行加权计算得，具体计算过程如下式所示：
Figure FDA0002641486610000036
Figure FDA0002641486610000041
式中，Wxa、Whwa、Whla为加权矩阵；ba为偏置矩阵；g(·)为激活函数，在本模型中为双曲正切函数tanh(x)；
Figure FDA0002641486610000042
表示网络节点的加权计算结果；
Figure FDA0002641486610000043
表示加权结果通过激活函数后的输入节点状态；
在输入门的状态更新中，输入包括输入块(xt i，hwt-1 i，hlt i-1)中的三部分元素，还由隐单元与三个门结构的状态联接构成，输入门状态更新的具体计算过程如下式所示：
Figure FDA0002641486610000044
Figure FDA0002641486610000045
其中，Wxi、Whwi、Whli、Wci为加权矩阵；bi为偏置矩阵；σ(·)为激活函数，在本模型中为sigimoid函数；
Figure FDA0002641486610000046
表示网络节点的加权计算结果；
Figure FDA0002641486610000047
表示加权结果通过激活函数后更新的输入门状态；
遗忘门状态更新的输入包括输入块(xt i，hwt-1 i，hlt i-1)中的三部分元素和上一产品工期预测模型的隐单元状态ct-1 i，遗忘门状态更新的具体计算过程如下式所示：
Figure FDA0002641486610000048
Figure FDA0002641486610000049
其中，Wxf、Whwf、Whlf、Wcf为加权矩阵；bf为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure FDA00026414866100000410
表示网络节点的加权计算结果；
Figure FDA00026414866100000411
表示加权结果通过激活函数后更新的遗忘门状态；
在完成输入节点、输入门、遗忘门的状态更新之后，开始更新隐单元的状态，其计算过程如下式所示，为存储和表达多样化的晶圆工期关联关系，引入多维度的隐单元存储结构：
cti＝fmr(Mt i，at i，it i，ft i)
其中，fmr(·)为隐单元状态计算函数，其基于多维度隐单元Mt i、输入节点at i、输入门it i、遗忘门ft i的状态对隐单元的状态进行更新；
在完成了隐单元的状态更新之后，根据输入块(xt i，hwt-1 i，hwt-1 i)和隐单元ct i对输出门的状态进行更新，输出门状态更新的具体计算过程公式如下：
Figure FDA0002641486610000051
Figure FDA0002641486610000052
其中，Wxo、Whwo、Whlo、Wco为加权矩阵；bo为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
Figure FDA0002641486610000053
表示网络节点的加权计算结果；
Figure FDA0002641486610000054
表示加权结果通过激活函数后更新的输出门状态；
双向循环神经网络单元的输出向量ht i由输出门和常数误差流单元结构的状态计算可得，计算过程如下：
ht i＝ot i·φ(ct i)
其中，φ(·)为双曲正切函数tanh(x)。
CN202010841162.3A 2020-08-20 2020-08-20 一种基于循环神经网络的产品工期预测方法 Active CN112101631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010841162.3A CN112101631B (zh) 2020-08-20 2020-08-20 一种基于循环神经网络的产品工期预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010841162.3A CN112101631B (zh) 2020-08-20 2020-08-20 一种基于循环神经网络的产品工期预测方法

Publications (2)

Publication Number Publication Date
CN112101631A true CN112101631A (zh) 2020-12-18
CN112101631B CN112101631B (zh) 2021-08-20

Family

ID=73754014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010841162.3A Active CN112101631B (zh) 2020-08-20 2020-08-20 一种基于循环神经网络的产品工期预测方法

Country Status (1)

Country Link
CN (1) CN112101631B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913142A (zh) * 2016-04-06 2016-08-31 西安交通大学 一种利用车间rfid数据提高订单完工期预测准确度的方法
CN110060728A (zh) * 2019-04-10 2019-07-26 浙江科技学院 基于递归神经网络的rna二级结构预测方法
CN110321361A (zh) * 2019-06-15 2019-10-11 河南大学 基于改进的lstm神经网络模型的试题推荐判定方法
CN110414727A (zh) * 2019-07-16 2019-11-05 中国航天系统科学与工程研究院 一种基于数据挖掘的生产进度预测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913142A (zh) * 2016-04-06 2016-08-31 西安交通大学 一种利用车间rfid数据提高订单完工期预测准确度的方法
CN110060728A (zh) * 2019-04-10 2019-07-26 浙江科技学院 基于递归神经网络的rna二级结构预测方法
CN110321361A (zh) * 2019-06-15 2019-10-11 河南大学 基于改进的lstm神经网络模型的试题推荐判定方法
CN110414727A (zh) * 2019-07-16 2019-11-05 中国航天系统科学与工程研究院 一种基于数据挖掘的生产进度预测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
汪俊亮 等: ""基于数据挖掘的晶圆制造交货期预测方法"", 《中国机械工程》 *
汪俊亮 等: ""大数据驱动的晶圆工期预测关键参数识别方法"", 《机械工程学报》 *
祁神军 等: ""大型工程项目工序工期精准预测方法研究"", 《重庆建筑大学学报》 *

Also Published As

Publication number Publication date
CN112101631B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
Wang et al. Bilateral LSTM: A two-dimensional long short-term memory model with multiply memory units for short-term cycle time forecasting in re-entrant manufacturing systems
CN109685252A (zh) 基于循环神经网络和多任务学习模型的建筑能耗预测方法
CN113792924A (zh) 一种基于Deep Q-network深度强化学习的单件作业车间调度方法
Wu et al. A fast decision-making method for process planning with dynamic machining resources via deep reinforcement learning
Zhengcai et al. Bottleneck prediction method based on improved adaptive network-based fuzzy inference system (ANFIS) in semiconductor manufacturing system
Shiue et al. A reinforcement learning approach to dynamic scheduling in a product-mix flexibility environment
Lou et al. Development of an integrated knowledge-based system for mold-base design
CN111898867A (zh) 一种基于深度神经网络的飞机总装生产线产能预测方法
CN106780067A (zh) 一种考虑节点局部标注特性的符号预测方法
Wang et al. Fuzzy part family formation based on grey relational analysis
Min et al. Development of a real-time multi-objective scheduler for a semiconductor fabrication system
WO2022147583A2 (en) System and method for optimal placement of interacting objects on continuous (or discretized or mixed) domains
CN112101631B (zh) 一种基于循环神经网络的产品工期预测方法
Sayah et al. Towards distribution clustering-based deep LSTM models for RUL prediction
Yuan et al. A multi-agent double Deep-Q-network based on state machine and event stream for flexible job shop scheduling problem
CN112016241A (zh) 一种基于mLASSO-MLP模型的软测量建模方法
Zhang et al. A novel method based on deep reinforcement learning for machining process route planning
Wu et al. Custom machine learning architectures: towards realtime anomaly detection for flight testing
Tu et al. Estimation of machine parameters in exponential serial lines using feedforward neural networks
Stryczek A hybrid approach for manufacturability analysis
Hayajneh et al. Monitoring defects of ceramic tiles using fuzzy subtractive clustering-based system identification method
Jeong et al. Going Deeper or Wider: Throughput Prediction for Cluster Tools with Machine Learning
Chen Asymmetric cycle time bounding in semiconductor manufacturing: an efficient and effective back-propagation-network-based method
Beskorovainyi et al. Mathematical models for determining the pareto front for building technological processes options under the conditions of interval presentation of local criteria
CN105223782B (zh) 基于商空间和知识源融合的光刻工序套刻指标预报方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant