CN112101631B - 一种基于循环神经网络的产品工期预测方法 - Google Patents
一种基于循环神经网络的产品工期预测方法 Download PDFInfo
- Publication number
- CN112101631B CN112101631B CN202010841162.3A CN202010841162A CN112101631B CN 112101631 B CN112101631 B CN 112101631B CN 202010841162 A CN202010841162 A CN 202010841162A CN 112101631 B CN112101631 B CN 112101631B
- Authority
- CN
- China
- Prior art keywords
- product
- construction period
- neural network
- processing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 title claims description 62
- 230000000306 recurrent effect Effects 0.000 title claims description 41
- 238000012545 processing Methods 0.000 claims description 98
- 238000004519 manufacturing process Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 35
- 230000002457 bidirectional effect Effects 0.000 claims description 26
- 125000004122 cyclic group Chemical group 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000000694 effects Effects 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 14
- 238000002360 preparation method Methods 0.000 claims description 12
- 238000003754 machining Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000005229 chemical vapour deposition Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract 4
- 238000012795 verification Methods 0.000 abstract 1
- 235000012431 wafers Nutrition 0.000 description 63
- 239000010410 layer Substances 0.000 description 41
- 230000006870 function Effects 0.000 description 28
- 230000001276 controlling effect Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 229940095676 wafer product Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Game Theory and Decision Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明设计了一种基于信息熵的产品工期关键参数滤取方法，该方法首先从企业制造执行系统(MES)提取与转换候选工期参数，随后对参数数据进行预处理，通过基于信息熵的方法进行工期关键参数滤取。本发明能够较好地满足工期关键参数滤取任务，且高效准确，提高了产品工期关键参数滤取的精准度与效率，具有很高的应用价值和经济效益，通过实际验证证明了此方法能够较好地应用到实际产品工期关键参数滤取任务中。
Description
技术领域
本发明涉及产品工期预测技术领域，特别是涉及一种基于循环神经网络的产品工期预测技术。
背景技术
随着制造业的不断发展，行业的同质化竞争进一步加剧。对于企业而言，产品订单的制备进程直接决定原料消耗，从而影响原料采购进程。订单的拖期完工常常伴随着加班生产，从而影响产品的良率。对产品工期进行预测以及后续调控以保障订单的准时交付率具有重要的工程意义。目前，制造系统中产品工期的预测方法主要有：生产过程仿真、简单的参数统计、过程分析方法和基于人工智能方法。由于制造系统的规模越来越大，制造工艺和过程越来越复杂，建立精确的仿真模型变得越来越困难，而且运行大规模的仿真模型极其耗费时间与计算资源，这使得生产过程仿真方法、简单参数统计以及过程分析法已经不能够很好地适用。随着人工智能技术的发展，基于人工智能的方法成为产品工期预测中的主要方法之一。现有的人工智能方法大多是在投料时刻对产品的完工时间进行预测，得到产品在生产过程中的工期，然而对于生产制备工艺路线长、同一位置需要反复加工、生产工艺复杂的产品，在工期调控过程中，需要在不同的阶段对产品的完工时间展开预测，从而调整策略，实现产品工期的精准调控。因此，需要结合产品的制备工艺特性，在产品的加工的不同阶段对其工期展开预测，从而揭示产品在生产制备过程中工期的动态波动规律。因此，急需提供一种适用于制造系统规模大、制造工艺复杂的产品工期预测方法，进行产品工期预测，进而保证产品工期预测模型的有效性，为产品订单的准时交付率以及优化制造系统的原料采购、销售管理、仓储与物流管理、质量管理提供保障。
发明内容
本发明的目的是：精准、高效地对制造系统中产品的工期进行预测。
为了达到上述目的，本发明的技术方案是提供了一种基于循环神经网络的产品工期预测方法，其特征在于，包括以下步骤：
步骤1：从信息化系统中获取产品工期相关参数数据；
步骤2：对获取的参数数据进行数据预处理，对众多的参数种类进行参数滤取从而得到与产品工期相关度大的参数xt i，其中，t表示产品序号，i表示加工位置序号；
步骤3：根据产品的工艺确定产品在某道工序中需要反复加工的次数L；
步骤4：建立基于循环神经网络的产品工期预测模型，产品工期预测模型由双向循环神经网络单元构成，循环神经网络单元沿产品序号轴向和产品加工位置轴向进行展开，形成的包括输入层、隐藏层及输出层的二维网络结构，其中：
沿产品序号轴向，不同产品序号的产品的同一加工位置工期预测模型之间存在递归流连接：当加工位置固定，在产品序号轴向上的循环神经网络单元为
其中，
分别为用于产品序号为 t、n、k的产品的第i个加工位置工期的预测，在该序列中产品序号为t、n、k的产品在第i-1个加工位置的加工过程中依次产出，因此按照第i-1个加工位置的产出顺序，对第i个加工位置的加工工期进行预测；这种连接使得不同的产品在同一加工位置的加工过程中的循环神经网络单元沿着产出的顺序相互连接，从而使得产品之间传递效应得以传播和表达；
沿着加工位置序号轴向，同一产品的不同加工位置的工期预测模型之间存在递归流连接：当产品序号固定，在加工位置轴向上的循环神经网络单元为
其中，
用于产品序号为t的产品在第i个加工位置的工期预测，产品序号为t的产品共有n个加工位置；在加工位置轴向上，相邻两个循环神经网络单元之间存在递归流连接，使得产品加工位置传递效应得以传播和表达；
产品工期预测模型，其中，定义：hwt-1 i表示产品递归流，表示不同产品序号的产品在同一加工位置之间的传递效应，其值与产品序号t-1的产品的第i个加工位置工期预测的产品工期预测模型的隐单元输出相等；hlt i-1表示加工位置递归流，表示同一产品序号的产品在不同加工位置之间的传递效应，其值与产品序号t的产品的第i-1个加工位置工期预测的产品工期预测模型的隐单元输出相等，产品工期预测模型的输出为：
hwt-1 i＝fr t-1 i(xt-1 i，hwt-2 i，hlt-1 i-1)
hlt i-1＝fr t i-1(xt i-1，hwt-1 i-1，hlt i-2)
其中，
表示一道加工工序中产品序号t的产品的第i个加工位置工期预测值；Wcth表示产品工期预测模型输出向量的连接权值；xt i是产品工期预测模型的输入参数集；ht i表示产品工期预测模型的输出向量；
步骤5：初始化模型集
模型集
用于存储针对各加工位置工期进行预测的双向循环神经网络单元：fr t i(·)，表示对产品序号t的产品的第i个加工位置工期预测的产品工期预测模型；
步骤6：当某一产品进入某一加工工序，并开始该次加工工序中的首个加工位置时，确定该产品的产品序号t和加工位置序号i；
步骤7：从模型集
取出针对当前产品当前加工位置i的产品工期预测模型 fr t i(·)，fr t i(·)＝fr l i(·)，用于当前产品在该工序中的当前加工位置的工期预测；产品工期预测模型fr t i(·)的产品递归流ht-1 i由当前加工位置的最新双向循环神经网络单元来确定，其等于fr l i(·)的隐单元状态；产品工期预测模型fr t i(·)的加工位置递归流hlt i-1由负责当前产品上一加工完位置的产品工期预测模型 fr t i-1(·)来确定，等于产品工期预测模型fr t i-1(·)的隐单元状态；若当前产品为产品生产中的首次重次重复加工，即i＝1，则采用零向量初始化加工位置递归流；
步骤8：产品工期预测模型fr t i(·)通过前向状态更新，预测得到当前产品当前加工位置的工期
步骤9：当前产品投产并得到实际的工期值；
步骤10：产品工期预测模型fr t i(·)通过反向传播方法进行训练，并将更新的双向循环神经网络单元更新至模型集
中；若当前产品已经完成当前工序中所有加工位置的制备工艺，则对当前产品进行数据存档，否则返回步骤7对该产品下一加工位置的工期进行预测。
优选地，步骤2中的数据预处理方法包括以下步骤：
步骤201：对数据中的数据空缺值进行处理，对数据中偏离大的异常数据进行处理；
步骤202：对产品工期候选参数数据中的连续参数数据进行离散化处理。
优选地，所述步骤4中，所述双向循环神经网络单元构造如下：
每一个双向循环神经网络单元
用于对产品序号t的产品的第i个加工位置的工期预测，其中每一双向循环神经网络单元
包含三个逻辑门的值、一个常数误差流单元与一个块状输入；
从网络拓扑结构上来看，双向循环神经网络单元
是一种带双递归流的三层神经网络模型，其用于对产品序号t的产品第i个加工位置工期进行预测，其中：
双向循环神经网络单元的输入块由(xt i,hwt-1 i,hlt i-1)构成，xt i表示当前的新输入，hwt-1 i表示沿着产品序号轴向传递的产品递归流，hlt i-1表示沿着加工位置序号轴向传递的加工位置递归流；
输入从块状输入、输入门、遗忘门、输出门进入双向循环神经网络单元，其中，输入门用于控制输入对常数误差流单元的影响，遗忘门用于控制上一时刻的网络隐单元对下一时刻网络隐单元的影响，输出门用于控制网络隐单元对双向循环神经网络单元输出的影响；
在网络的前向传播过程中，双向循环神经网络单元首先计算输入节点的状态，其通过对输入块(xt i,hwt-1 i,hlt i-1)进行加权计算得，具体计算过程如下式所示：
式中，Wxa、Whwa、Whla为加权矩阵；ba为偏置矩阵；g(·)为激活函数，在本模型中为双曲正切函数tanh(x)；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后的输入节点状态。
在输入门的状态更新中，输入包括输入块(xt i,hwt-1 i,hlt i-1)中的三部分元素，还由隐单元与三个门结构的状态联接构成，输入门状态更新的具体计算过程如下式所示：
其中，Wxi、Whwi、Whli、Wci为加权矩阵；bi为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的输入门状态。
遗忘门状态更新的输入包括输入块(xt i,hwt-1 i,hlt i-1)中的三部分元素和上一产品工期预测模型的隐单元状态
遗忘门状态更新的具体计算过程如下式所示：
其中，Wxf、Whwf、Whlf、Wcf为加权矩阵；bf为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的遗忘门状态。
在完成输入节点、输入门、遗忘门的状态更新之后，开始更新隐单元的状态，其计算过程如下式所示，为存储和表达多样化的产品工期关联关系，引入多维度的隐单元存储结构：
ct i＝fmr(Mt i，at i，it i，ft i)
其中，fmr(·)为隐单元状态计算函数，其基于多维度隐单元Mt i、输入节点at i、输入门it i、遗忘门ft i的状态对隐单元的状态进行更新；
在完成了隐单元的状态更新之后，根据输入块(xt i,hwt-1 i,hwt-1 i)和隐单元 ct i对输出门的状态进行更新，输出门状态更新的具体计算过程公式如下：
其中，Wxo、Whwo、Whlo、Wco为加权矩阵；bo为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的输出门状态。
双向循环神经网络单元的输出向量ht i由输出门和常数误差流单元结构的状态计算可得，计算过程如下：
ht i＝ot i·φ(ct i)
其中，φ(·)为双曲正切函数tanh(x)。
与现有技术相比，本发明具有如下优点：
1.对于生产制备工艺路线长、同一位置需要反复加工、生产工艺复杂的产品本方法比现有方法更具优势，工期预测的准确率更高。
2.本方法结合产品工艺特性，可以在工期调控过程中，在不同的阶段对产品的完工时间展开预测，从而调整策略，实现产品工期的精准调控。
3.本方法在应用于制造系统规模大、制造工艺复杂的产品工期预测时适应性更好，能够保证产品工期预测的有效性。
附图说明
图1是本发明工期预测模型的循环神经网络单元结构图；
图2是本发明基于循环神经网络的工期预测模型结构图；
图3是本发明算法流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
晶圆的工期精准预测以及后续调控可有效提升订单的准时交付率，一直是晶圆制造运行优化中的重点与难点。在晶圆制造中，多次重入工序之间存在复杂的工艺约束，使得多层电路制备工期存在两种传递效应：晶圆Lot传递效应与晶圆层传递效应。针对晶圆制造工艺特征，以产品工期预测中的晶圆单层电路制备的工期预测为例，本发明提供的一种基于循环神经网络的产品工期预测方法具体包括以下步骤：
步骤1、从晶圆产品制造执行系统(MES)等信息化系统中获取产品工期相关参数数据。
步骤2、对获取的参数数据进行数据预处理，对数据中因设备故障、网络异常等因素造成的数据空缺值进行处理，对数据中偏离大的异常数据进行处理，对晶圆工期候选参数数据中的连续参数数据进行离散化处理，对众多的参数种类进行参数滤取从而得到与晶圆工期相关度大的参数xt i，其中，t表示产品序号，i表示加工位置序号。
步骤3、根据晶圆产品的工艺确定晶圆的重入次数L。
步骤4、根据晶圆加工特征构架具有二维网络拓扑结构的网络模型，设计双向循环神经网络单元如图1所示，在传统的三层神经网络中植入双向递归流，使得双向循环神经网络单元可沿着晶圆Lot轴向(wafer lot axis)和晶圆层轴向 (wafer layer axis)两个方向进行展开。
图1中，CEC代表循环神经网络中的常数误差流单元，沿着晶圆Lot轴向，不同晶圆Lot的同一层电路制备工期预测模型之间存在递归流连接。当晶圆加工层序号固定，在晶圆Lot轴向上的循环神经网络单元为
其中
分别为用于产品序号为t、n、k晶圆Lot第i层电路工期的预测。在该序列中，晶圆Lott、n、k在第i-1层电路的制备中依次产出，因此按照第i-1层电路的产出顺序对第i层电路的制备工期进行预测。这种连接使得不同的晶圆Lot在同一层电路制备过程中的循环神经网络单元沿着产出的顺序相互连接，从而使得晶圆Lot传递效应得以传播和表达。
沿着晶圆层轴向，同一晶圆Lot的不同层的工期预测模型之间存在递归流连接。当晶圆Lot序号固定，沿着晶圆层轴向循环神经网络单元为
其中，晶圆Lot共有n层电路构成，
为用于产品序号为t的晶圆Lot第i层电路的工期预测。在晶圆层轴向上，相邻两个循环神经网络单元之间存在递归流连接，使得晶圆层传递效应得以传播和表达。
上述两种联接的存在，使得二维循环神经网络单元可沿晶圆Lot轴向和晶圆层轴向进行展开，形成二维的网络结构。建立的基于循环神经网络的晶圆工期预测模型如图2所示，模型由双向循环神经网络单元构成，其中hwt-1 i表示晶圆Lot递归流，表示不同产品序号的晶圆Lot在同一晶圆层电路加工之间的传递效应，其值与产品序号为t-1的晶圆Lot的第i层工期预测的循环神经网络模型的隐单元输出相等。hlt i-1表示晶圆层递归流，表示在同一产品序号的晶圆Lot在不同晶圆层电路加工之间的传递效应，其值与产品序号为t的晶圆Lot的第i-1 层工期预测的循环神经网络模型的隐单元输出相等。模型的输出为：
hwt-1 i＝fr t-1 i(xt-1 i，hwt-2 i，hlt-1 i-1)
hlt i-1＝fr t i-1(xt i-1，hwt-1 i-1，hlt i-2)
hlt i-1＝fr t i-1(xt i-1，hwt-1 i-1，hlt i-2)
其中，
表示产品序号t的晶圆Lot的第i层电路工期预测值；Wcth表示循环神经网络模型输出向量的连接权值；xt i是循环神经网络模型的输入参数集，其由关键参数识别方法获得，包含了产品的优先级、设备的等待队列长度，在制品数量等；ht i表示循环神经网络模型的输出向量。
步骤4、初始化模型集
该模型集
用于存储针对各层工期进行预测的最新模型：fr l i(·)；
步骤5、当某一晶圆Lot进入某次重入，并开始该次重入中的首道工序时，系统确定该晶圆Lot的晶圆Lot序号t和晶圆层序号i；
步骤6、系统从模型集
取出针对当前晶圆层i的预测模型fr t i(·)＝fr l i(·) 用于产品序号为l的当前晶圆Lot的当前层的工期预测。该模型的晶圆递归流 hwt-1 i由当前晶圆层i的最新预测模型来确定，其等于fr l i(·)的隐单元状态。层次递归流hlt i-1由负责产品序号为l的晶圆上一层的工期预测模型来确定，其等于 fr t i-1(·)的隐单元状态，若当前为晶圆制备中的首次重入，即i＝1，则采用零向量初始化层次递归流。
每一个循环神经网络单元
用于某一晶圆Lot某一层电路制备过程的工期预测，其中每一循环神经网络单元
包含三个逻辑门的值、一个CEC存储单元与一个块状输入。从网络拓扑结构上来看，
是一种带双递归流的三层神经网络模型，其用于对产品序号为t的产品的第i个加工位置工期进行预测。其中单元的输入块由xt i、hwt-1 i、hlt i-1三部分构成，xt i表示当前的新输入， hwt-1 i表示沿着产品序号轴向传递的产品递归流，hlt i-1表示沿着加工位置序号轴向传递的加工位置递归流。单元的输入可从块状输入(blockinput)、输入门 (input gate)、遗忘门(forget gate)、输出门(output gate)进入循环二维循环神经单元。其中，输入门用于控制输入对网络存储单元的影响，遗忘门用于控制上一时刻的网络隐单元对下一时刻网络隐单元的影响，输出门用于控制网络隐单元对二维循环神经网络单元输出的影响。
在网络的前向传播过程中，模型首先计算输入节点的状态，其通过对输入块 (xt i,hwt-1 i,hlt i-1)进行加权计算可得，具体计算过程见公式如下式所示：
式中，Wxa、Whwa、Whla为加权矩阵；ba为偏置矩阵；g(·)为激活函数，在本模型中为双曲正切函数tanh(x)；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后的输入节点状态。
在模型输入门的状态更新中，其输入不仅包括输入块(xt i,hwt-1 i,hlt i-1)中的三部分元素，还由隐单元与三个门结构的状态联接构成。模型输入门的状态更新的具体计算过程公式如下：
其中，Wxi、Whwi、Whli、Wci为加权矩阵；bi为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的输入门状态。
模型的遗忘门状态更新与输入门相似，其输入包括输入块 (xt i,hwt-1 i,hlt i-1)中的三部分元素和上一产品工期预测模型的隐单元状态
遗忘门的状态更新的具体计算过程公式如下：
其中，Wxf、Whwf、Whlf、Wcf为加权矩阵；bf为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的遗忘门状态。
在完成输入节点、输入门、遗忘门的状态更新之后，模型开始更新隐单元的状态。在循环神经网络模型中，为存储和表达多样化的晶圆工期关联关系，引入多维度的隐单元存储结构在下述公式中：
ct i＝fmr(Mt i，at i，it i，ft i)
其中，fmr(·)为隐单元状态计算函数，其基于多维度隐单元Mt i、输入节点at i、输入门it i、遗忘门ft i的状态对隐单元的状态进行更新。
在完成了隐单元的状态更新之后，模型根据输入块(xt i,hwt-1 i,hwt-1 i)和隐单元ct i对输出门的状态进行更新。输出门状态更新的具体计算过程公式如下：
其中，Wxo、Whwo、Whlo、Wco为加权矩阵；bo为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的输出门状态。
循环神经网络单元的输出向量ht i由输出门和CEC结构的状态计算可得，计算过程如下：
ht i＝ot i·φ(ct i)
其中，φ(·)为双曲正切函数tanh(x)。
步骤7、模型通过前向状态更新，预测得到产品序号为t的当前晶圆Lot的第i层的工期
步骤8、步骤7所述晶圆Lot投产并得到实际的工期值。
步骤9、模型通过反向传播方法进行训练，并将更新的循环神经网络模型更新至模型集
中。若当前晶圆Lot已经完成所有晶圆层的制备工艺，则对该晶圆Lot进行数据存档，否则返回步骤6对步骤7所述晶圆Lot下一层的工期进行预测。
Claims (3)
1.一种基于循环神经网络的产品工期预测方法，其特征在于，包括以下步骤：
步骤1：从信息化系统中获取产品工期相关参数数据；
步骤2：对获取的参数数据进行数据预处理，对众多的参数种类进行参数滤取从而得到与产品工期相关度大的参数xt i，其中，t表示产品序号，i表示加工位置序号；
步骤3：根据产品的工艺确定产品在某道工序中需要反复加工的次数L；
步骤4：建立基于循环神经网络的产品工期预测模型，产品工期预测模型由双向循环神经网络单元构成，循环神经网络单元沿产品序号轴向和产品加工位置轴向进行展开，形成的包括输入层、隐藏层及输出层的二维网络结构，其中：
沿产品序号轴向，不同产品序号的产品的同一加工位置工期预测模型之间存在递归流连接：当加工位置固定，在产品序号轴向上的循环神经网络单元为
其中，
分别为用于产品序号为t、n、k的产品的第i个加工位置工期的预测，在该序列中产品序号为t、n、k的产品在第i-1个加工位置的加工过程中依次产出，因此按照第i-1个加工位置的产出顺序，对第i个加工位置的加工工期进行预测；这种连接使得不同的产品在同一加工位置的加工过程中的循环神经网络单元沿着产出的顺序相互连接，从而使得产品之间传递效应得以传播和表达；
沿着加工位置序号轴向，同一产品的不同加工位置的工期预测模型之间存在递归流连接：当产品序号固定，在加工位置轴向上的循环神经网络单元为
其中，
用于产品序号为t的产品在第i个加工位置的工期预测，产品序号为t的产品共有n个加工位置；在加工位置轴向上，相邻两个循环神经网络单元之间存在递归流连接，使得晶圆层传递效应得以传播和表达；
产品工期预测模型，其中，定义：hwt-1 i表示产品递归流，表示不同产品序号的产品在同一加工位置之间的传递效应，其值与产品序号t-1的产品的第i个加工位置工期预测的产品工期预测模型的隐单元输出相等；hlt i-1表示加工位置递归流，表示同一产品序号的产品在不同加工位置之间的传递效应，其值与产品序号t的产品的第i-1个加工位置工期预测的产品工期预测模型的隐单元输出相等，产品工期预测模型的输出为：
hwt-1 i＝fr t-1 i(xt-1 i，hwt-2 i，hlt-1 i-1)
hlt i-1＝fr t i-1(xt i-1，hwt-1 i-1，hlt i-2)
其中，
表示一道加工工序中产品序号t的产品的第i个加工位置工期预测值；Wcth表示产品工期预测模型输出向量的连接权值；xt i是产品工期预测模型的输入参数集；ht i表示产品工期预测模型的输出向量；
步骤5：初始化模型集
模型集
用于存储针对各加工位置工期进行预测的双向循环神经网络单元：fr t i(·)，表示对产品序号t的产品的第i个加工位置工期预测的产品工期预测模型；
步骤6：当某一产品进入某一加工工序，并开始该次加工工序中的首个加工位置时，确定该产品的产品序号t和加工位置序号i；
步骤7：从模型集
取出针对当前产品当前加工位置i的产品工期预测模型fr t i(·)，fr t i(·)＝fr l i(·)，用于当前产品在该工序中的当前加工位置的工期预测；产品工期预测模型fr t i(·)的产品递归流hwt-1 i由当前加工位置的最新双向循环神经网络单元来确定，其等于fr l i(·)的隐单元状态；产品工期预测模型fr t i(·)的加工位置递归流hlt i-1由负责当前产品上一加工完位置的产品工期预测模型fr t i-1(·)来确定，等于产品工期预测模型fr t i -1(·)的隐单元状态；若当前产品为产品生产中的首次加工，即i＝1，则采用零向量初始化加工位置递归流；
步骤8：产品工期预测模型fr t i(·)通过前向状态更新，预测得到当前产品当前加工位置的工期
步骤9：当前产品投产并得到实际的工期值；
步骤10：产品工期预测模型fr t i(·)通过反向传播方法进行训练，并将更新的双向循环神经网络单元更新至模型集
中；若当前产品已经完成当前工序中所有加工位置的制备工艺，则对当前产品进行数据存档，否则返回步骤7对该产品下一加工位置的工期进行预测。
2.如权利要求1所述的一种基于循环神经网络的产品工期预测方法，其特征在于：步骤2中的数据预处理方法包括以下步骤：
步骤201：对数据中的数据空缺值进行处理，对数据中偏离大的异常数据进行处理；
步骤202：对产品工期候选参数数据中的连续参数数据进行离散化处理。
3.如权利要求1所述的一种基于循环神经网络的产品工期预测方法，其特征在于：所述步骤4中，所述双向循环神经网络单元构造如下：
每一个双向循环神经网络单元
用于对产品序号t的产品的第i个加工位置的工期预测，其中每一双向循环神经网络单元
包含三个逻辑门的值、一个常数误差流单元与一个块状输入；
从网络拓扑结构上来看，双向循环神经网络单元
是一种带双递归流的三层神经网络模型，其用于对产品序号t的产品第i个加工位置工期进行预测，其中：
双向循环神经网络单元的输入块由(xt i，hwt-1 i，hlt i-1)构成，xt i表示当前的新输入，hwt-1 i表示沿着产品序号轴向传递的产品递归流，hlt i-1表示沿着加工位置序号轴向传递的加工位置递归流；
输入从块状输入、输入门、遗忘门、输出门进入双向循环神经网络单元，其中，输入门用于控制输入对常数误差流单元的影响，遗忘门用于控制上一时刻的网络隐单元对下一时刻网络隐单元的影响，输出门用于控制网络隐单元对双向循环神经网络单元输出的影响；
在网络的前向传播过程中，双向循环神经网络单元首先计算输入节点的状态，其通过对输入块(xt i，hwt-1 i，hlt i-1)进行加权计算得，具体计算过程如下式所示：
式中，Wxa、Whwa、Whla为加权矩阵；ba为偏置矩阵；g(·)为激活函数，在本模型中为双曲正切函数tanh(x)；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后的输入节点状态；
在输入门的状态更新中，输入包括输入块(xt i，hwt-1 i，hlt i-1)中的三部分元素，还由隐单元与三个门结构的状态联接构成，输入门状态更新的具体计算过程如下式所示：
其中，Wxi、Whwi、Whli、Wci为加权矩阵；bi为偏置矩阵；σ(·)为激活函数，在本模型中为sigimoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的输入门状态；
遗忘门状态更新的输入包括输入块(xt i，hwt-1 i，hlt i-1)中的三部分元素和上一产品工期预测模型的隐单元状态ct-1 i，遗忘门状态更新的具体计算过程如下式所示：
其中，Wxf、Whwf、Whlf、Wcf为加权矩阵；bf为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的遗忘门状态；
在完成输入节点、输入门、遗忘门的状态更新之后，开始更新隐单元的状态，其计算过程如下式所示，为存储和表达多样化的晶圆工期关联关系，引入多维度的隐单元存储结构：
ct i＝fmr(Mt i，at i，it i，ft i)
其中，fmr(·)为隐单元状态计算函数，其基于多维度隐单元Mt i、输入节点at i、输入门it i、遗忘门ft i的状态对隐单元的状态进行更新；
在完成了隐单元的状态更新之后，根据输入块(xt i，hwt-1 i，hwt-1 i)和隐单元ct i对输出门的状态进行更新，输出门状态更新的具体计算过程公式如下：
其中，Wxo、Whwo、Whlo、Wco为加权矩阵；bo为偏置矩阵；σ(·)为激活函数，在本模型中为sigmoid函数；
表示网络节点的加权计算结果；
表示加权结果通过激活函数后更新的输出门状态；
双向循环神经网络单元的输出向量ht i由输出门和常数误差流单元结构的状态计算可得，计算过程如下：
ht i＝ot i·φ(ct i)
其中，φ(·)为双曲正切函数tanh(x)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010841162.3A CN112101631B (zh) | 2020-08-20 | 2020-08-20 | 一种基于循环神经网络的产品工期预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010841162.3A CN112101631B (zh) | 2020-08-20 | 2020-08-20 | 一种基于循环神经网络的产品工期预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112101631A CN112101631A (zh) | 2020-12-18 |
| CN112101631B true CN112101631B (zh) | 2021-08-20 |
Family
ID=73754014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010841162.3A Active CN112101631B (zh) | 2020-08-20 | 2020-08-20 | 一种基于循环神经网络的产品工期预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101631B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913142A (zh) * | 2016-04-06 | 2016-08-31 | 西安交通大学 | 一种利用车间rfid数据提高订单完工期预测准确度的方法 |
| CN110060728A (zh) * | 2019-04-10 | 2019-07-26 | 浙江科技学院 | 基于递归神经网络的rna二级结构预测方法 |
| CN110414727A (zh) * | 2019-07-16 | 2019-11-05 | 中国航天系统科学与工程研究院 | 一种基于数据挖掘的生产进度预测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321361B (zh) * | 2019-06-15 | 2021-04-16 | 河南大学 | 基于改进的lstm神经网络模型的试题推荐判定方法 |
-
2020
- 2020-08-20 CN CN202010841162.3A patent/CN112101631B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913142A (zh) * | 2016-04-06 | 2016-08-31 | 西安交通大学 | 一种利用车间rfid数据提高订单完工期预测准确度的方法 |
| CN110060728A (zh) * | 2019-04-10 | 2019-07-26 | 浙江科技学院 | 基于递归神经网络的rna二级结构预测方法 |
| CN110414727A (zh) * | 2019-07-16 | 2019-11-05 | 中国航天系统科学与工程研究院 | 一种基于数据挖掘的生产进度预测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| "基于数据挖掘的晶圆制造交货期预测方法";汪俊亮 等;《中国机械工程》;20160131;第27卷(第1期);第105-108页 * |
| "大型工程项目工序工期精准预测方法研究";祁神军 等;《重庆建筑大学学报》;20071231;第29卷(第6期);第141-144页 * |
| "大数据驱动的晶圆工期预测关键参数识别方法";汪俊亮 等;《机械工程学报》;20181231;第54卷(第23期);第185-191页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112101631A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Bilateral LSTM: A two-dimensional long short-term memory model with multiply memory units for short-term cycle time forecasting in re-entrant manufacturing systems | |
| CN109685252A (zh) | 基于循环神经网络和多任务学习模型的建筑能耗预测方法 | |
| Wu et al. | A fast decision-making method for process planning with dynamic machining resources via deep reinforcement learning | |
| Zhengcai et al. | Bottleneck prediction method based on improved adaptive network-based fuzzy inference system (ANFIS) in semiconductor manufacturing system | |
| Lou et al. | Development of an integrated knowledge-based system for mold-base design | |
| Shiue et al. | A reinforcement learning approach to dynamic scheduling in a product-mix flexibility environment | |
| Beruvides et al. | Fault pattern identification in multi-stage assembly processes with non-ideal sheet-metal parts based on reinforcement learning architecture | |
| Wang et al. | Fuzzy part family formation based on grey relational analysis | |
| Min et al. | Development of a real-time multi-objective scheduler for a semiconductor fabrication system | |
| Sayah et al. | Towards distribution clustering-based deep LSTM models for RUL prediction | |
| WO2022147583A2 (en) | System and method for optimal placement of interacting objects on continuous (or discretized or mixed) domains | |
| CN112101631B (zh) | 一种基于循环神经网络的产品工期预测方法 | |
| CN116992935A (zh) | 基于改进随机配置算法的神经网络模型训练方法及系统 | |
| Zhou et al. | Combining granular computing and RBF neural network for process planning of part features | |
| CN114372181A (zh) | 一种基于多模态数据的设备生产智能规划方法 | |
| Hayajneh et al. | Monitoring defects of ceramic tiles using fuzzy subtractive clustering-based system identification method | |
| Tu et al. | Estimation of machine parameters in exponential serial lines using feedforward neural networks | |
| Beskorovainyi et al. | Mathematical models for determining the pareto front for building technological processes options under the conditions of interval presentation of local criteria | |
| Stryczek | A hybrid approach for manufacturability analysis | |
| CN113609772A (zh) | 基于卷积准循环神经网络的水泥成品比表面积预测方法 | |
| Jeong et al. | Going Deeper or Wider: Throughput Prediction for Cluster Tools with Machine Learning | |
| Li et al. | Topological approximate dynamic programming under temporal logic constraints | |
| Cao et al. | Dynamic grouping maintenance optimization by considering the probabilistic remaining useful life prediction of multiple equipment | |
| CN105223782B (zh) | 基于商空间和知识源融合的光刻工序套刻指标预报方法 | |
| Kostiuk et al. | Information and Intelligent Forecasting Systems Based on the Methods of Neural Network Theory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |