CN111950784B - 一种融合注意力机制的产能预测方法 - Google Patents
一种融合注意力机制的产能预测方法 Download PDFInfo
- Publication number
- CN111950784B CN111950784B CN202010774588.1A CN202010774588A CN111950784B CN 111950784 B CN111950784 B CN 111950784B CN 202010774588 A CN202010774588 A CN 202010774588A CN 111950784 B CN111950784 B CN 111950784B
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- model
- factors
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 title claims abstract description 5
- 238000004519 manufacturing process Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 34
- 210000002569 neuron Anatomy 0.000 claims description 25
- 238000012216 screening Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 239000000463 material Substances 0.000 claims description 11
- 239000000428 dust Substances 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 239000002994 raw material Substances 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 8
- 230000002354 daily effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 229910001220 stainless steel Inorganic materials 0.000 description 5
- 239000010935 stainless steel Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Manufacturing & Machinery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Primary Health Care (AREA)
Abstract
本发明公开了一种融合注意力机制的产能预测方法，其包括：通过经特征筛选后的生产因素数据和其对应的产能数据对CNN模型进行训练和/或测试，在一些具体实施方式中，所述模型为LSTM‑Attention模型。本发明可对工业产品的产能进行准确、高效的预测。
Description
技术领域
本发明涉及预测方法的技术领域。
背景技术
工业发展越来越快，工业产品的产能是衡量一间工厂的一定指标，利用过去的产能数据和与之相关的影响因素的数据，对这些数据进行处理和对数据之间影响程度进行挖掘，利用一定的方法，对未来的产能进行预测，有利于工厂的运营部门进行更好地判断和决策，并可根据决策对工厂的员工数量、设备维护、材料把控等进行调整，以获得理想的盈利。
现有技术中，对工业产品产能的预测手段不多，已有的手段主要通过收集生产线中的大量可能存在影响的因素的数据，再直接使用这些数据建立产能预测模型，最后根据模型对输入其中的新的数据进行未来的产能预测的方式实现预测。其存在的问题包括：生产线上影响产能的因素多种多样，且这些因素对产品产量的影响程度也并不一样，各个因素之间还会相互影响，直接使用这些原始数据进行模型训练得到的预测结果，往往出现较大的误差，偏离实际情况。
发明内容
本发明的目的在于提出一种可对工业产品产能进行准确、高效预测的预测方法。
本发明首先提出了如下的技术方案：
一种融合注意力机制的产能预测方法，其包括：通过特定数据集对CNN模型进行训练和/或测试，获得产能预测模型，其中所述特定数据集包括经过数据处理后的生产因素数据和其对应的产能数据，所述数据处理包括特征筛选，所述对应是指两个数据的统计周期的序号相等。
上述方案中，所述特定数据集包括经过数据处理后的生产因素数据，所述数据处理包括特征筛选，因此，也可以认为，所述特定数据集包括生产因素数据中经筛选后保留下来的特征的数据。
所述产能数据可选择如产品的生产数量。
所述统计周期是指每获得一个生产因素数据，或更具体的，每获得生产因素中某一个特征的一个数据的时间，如若每日获得一个厂房因素中温度特征的数据，则其统计周期为一日。
所述统计周期的序号是指将统计周期按时间延伸方向进行排序后，表示其顺序的编号，如当统计周期为每日时，其可以表现为第一日、第二日、第三日、……第n日，或直接使用当日日期。在此基础上，所述两个数据的统计周期的序号相等可表现为某一生产因素数据与某一产能数据的获得时间均为第n日，或获得该生产因素数据与该产能数据的日期相同。
在一些具体实施方式中，所述CNN模型为改进的LSTM-Attention模型。
优选的，所述模型通过梯度下降法进行优化。
在一些具体实施方式中，所述改进的LSTM-Attention模型包括依次相连的以下结构：输入层、嵌入层、双向LSTM网络层、Attention网络层和全连接网络层，其中所述输入层用于经特征筛选后保留的特征的数据输入。
优选的，所述输入采用数据列的形式，每列数据包含一个统计周期内的全部保留特征的值。
在一些具体实施方式中，所述输入层中神经元的数量与所述保留特征的统计周期的总数量相等，如保留特征共有第1日、第2日、……第j日的j个统计周期的数据，则输入层中神经元的数量设置为j。
在一些具体实施方式中，所述Attention网路层为Encoder-Decoder结构。
在一些具体实施方式中，所述全连接网络层包括输入层、隐藏层和输出层。
其中，所述输入层含有与所述保留特征的特征数量相等的神经元，如经特征筛选后，生产因素中共保留下n个特征，则该输入层含有n个神经元。
其中，所述隐藏层的数量和其内包含的神经元数量根据训练效果进行调节。
其中，所述输出层包含1个神经元。
在一些具体实施方式中，所述特征筛选包括：通过SBS算法对全部生产因素数据进行筛选，移除使其评价函数达到最大值的特征，至达到设定阈值，得到保留特征。
在一些具体实施方式中，所述数据处理还包括在特征筛选前进行的数据前处理。
优选的，所述前处理包括数据转换、错误值排除和/或缺失值处理、及数据排列。
在一些具体实施方式中，所述数据转换通过类别数据数字化工具实现，如LabelEncoder工具。
在一些具体实施方式中，所述缺失值处理包括：使用已存在值的平均值填充至数据缺失处。
在一些具体实施方式中，所述缺失值处理还包括：删除存在类别数据缺失的整组数据。
在一些具体实施方式中，所述生产因素包括厂房因素、人员因素、设备因素和物料因素。
在一些具体实施方式中，所述厂房因素包括以下特征中的一种或多种：厂房温度、厂房湿度或相对湿度、厂房内粉尘含量。
在一些具体实施方式中，所述人员因素包括以下特征：人工操作岗位上的全部人员数量。
在一些具体实施方式中，所述设备因素包括以下特征：设备损耗率。
在一些具体实施方式中，所述物料因素包括以下特征：生产所需原材料类别。
在一些具体实施方式中，上述各生产因素内含有的特征的统计周期均为每日。
具体的，可在每日特定时刻收集。
也可对部分数据每日记录多次后，取得一日内的平均值作为其该日的统计数据。
如，温度、湿度、粉尘浓度这类变化数据，在生产过程(即工作时间)内，可每两小时记录一次，最后分别取其一日内记录数据的平均值作为其本日统计数据。
而诸如设备因素，物料因素等非环境因素可每日仅进行一次记录，所得记录数据与其他变化数据在该日内的统计数据共同组成生产因素在该日内产生的数据组。
本发明还进一步公开了上述产能预测方法在不锈钢工厂中的不锈钢锅的生产产量预测上的应用。
本发明具备以下有益效果：本发明既能建立多因素产能模型，同时又因对不同因素进行了合理高效的筛选，使得模型准确性和效率均得到提升；此外，本发明充分考虑到不同因素不仅对产能存在不同影响，其相互之间也存在多种复杂影响的问题，克服了现有技术的不足，获得了更准确的预测结果；本发明还使用基于时间序列的输入数据，考虑了时间与数据的联系，使得预测结果更准确。
附图说明
图1为本发明具体实施方式所述的预测方法流程图。
图2为本发明具体实施方式所述的预测模型结构图。
具体实施方式
以下结合附图对本发明进行详细描述，但需要理解的是，所述附图仅用于对本发明进行示例性的描述，而并不能对本发明的保护范围构成任何限制。所有包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。
通过如附图1所示的流程进行产能预测，在具体实施中，可包括：
S0：收集与产能可能相关的因素的实时数据和这些时刻的产能数据。
其中，所述可能相关的因素是指结合已知经验筛除与产能肯定不相关的因素外的其他因素，在不具备已知经验的情况下，操作人员可收集能力范围内尽可能多的不同因素的实时数据。
具体实施中，针对一种具体的工业产品，可从记录其生产中可能与产能相关的各种因素的实时数据的数据库中获取这些因素中各特征x1,x2,…xi在不同记录周期的实时数据，得到不同特征的实时数据组。
更具体的，该记录周期可选择每日，即获得的实时数据组
中，j表示该特征xi在第j天产生的数据。
所述数据也可每日记录多次后，取得一日内的平均值作为所需数据组，在此情况下，其在本发明内所述的记录周期也为一日。
如，温度、湿度、粉尘浓度这类变化的数据，在生产过程(即工作时间)内，可每两小时记录一次，温度误差保证在5℃以内，而湿度、粉尘等控制在1％，最后取记录数据的平均值作为每日的记录值即可。
而诸如设备因素，物料因素等非环境因素可每天进行一次记录。
对应地，收集每日生产的产品数量，即获得产能数据y1,y2,…,yj。
其中，所述因素可包括厂房因素、人员因素、设备因素和物料因素等。
具体的，厂房因素可进一步包括厂房温度T(℃)、厂房湿度或相对湿度RH(RH％)、厂房内粉尘含量如粉尘浓度F(mg/m3)等特征。
人员因素可进一步包括某条生产线上需要人工操作的岗位上的人的数量N等特征。
设备因素可进一步包括设备损耗率特征，即生产线上机器设备随时间老化或其发生损坏的数量占全部机器设备的数量的百分比C。
物料因素可进一步包括生产该工业产品所需的多种原材料类别等特征，如不同型号的钢铁的型号S。
S1：对收集到的数据进行处理。
在具体实施中，所述处理可进一步包括S10数据前处理、S11特征筛选和S12数据后处理。
S10数据前处理
其中，数据前处理主要用于克服收集到的数据自身的缺陷，以提高结果的准确性。
进一步的，前处理可包括数据转换、错误值排除和/或缺失值处理、及数据量化排列等。
其中，数据转换为将非数值型数据转换为数值数据，如：
对材料类别型数据，通过Sklearn模块中的Estimator评估器将类型信息视为无序，其后通过LabelEncoder将类别转换成整型。
缺失值处理针对在取得的数据中或多或少存在数值缺失的现象，若不对数据缺失进行处理，易使训练出来的模型产生偏差，因此在前处理中先消除该现象。
在具体实施中，直接消除存在缺失值的整组数据，会产生信息损失。发明人根据创造性地劳动，选择了对无法通过数值处理获得类别补充的数据组，即存在材料类别缺失的数据组进行删除，而对其他数据组进行数据补充。
具体的，对非类别型数据缺失的其他数据缺失，通过其组内其他数据的平均值进行填充。
如在某组温度实时数据或某组粉尘浓度实时数据中存在缺失，则首先获得其中总量为n的未缺失数据的平均值如下：
其后，将获得的平均值填充至温度实时数据或粉尘浓度实时数据中所有缺失位置，获得完整的数据组。
数据量化排列为通过一定的模式将完成前述步骤的数据进行排列，得到模板化的数据。
具体的，可采用如下的模式将数据排列为：
其中，
m＝1、2……或j，即矩阵的行，表示在第m天不同特征xi的总情况；/>
p＝1、2……或i，即矩阵的列，表示同一个特征xp在不同天的值的总情况，[y1,y2,…,yj]T表示不同天的产能数据。
S11特征筛选
在步骤S0收集的因素中，可能存在与产能不相关或相关性极低的特征，这些特征的存在可能会给预测模型带来误差或降低其训练或预测效率。基于进一步提高计算效率并且溢出不相关特征和噪音，降低模型的泛化误差等方面的考虑，可在前处理后对全部数据进行特征筛选。
发明人通过创造性地劳动，在具体实施中，选择序列后向选择(SBS)算法筛选与产能最为相关的特征数据。
其中，SBS算法的原理是序列地从原始特征集中移除特征，直到新的特征集数目达到事先确定的值。
在进行特征移除时，SBS算法需先设置一个评价函数，某个特征的重要性通过该特征移除后的评价函数的值表示，将产生最大评价函数值的特征移除，即等同于将对评价函数影响最小的特征去掉。
具体的，SBS算法包括以下过程：
(1)初始化k＝d，其中d是原始特征维度，也是原始数据中心影响因素的数量。
(2)确定所述评价函数最大的特征
x-＝arg max J(Xk-x),x∈Xk,Xk＝[x1,x2,…,xi]，
其中,J(Xk-x)表示去掉特征x后，评价函数J的值，采用皮尔森系数进行计算，特征x的数值取其在全部记录周期内的平均值，如
(3)从[x1,x2,…,xi]特征组中移除特征x-,令k＝k-1继续计算。
(4)若k等于事先确定的阈值，则终止计算；否则回到步骤(2)继续向后计算。
其中，阈值可通过针对实际情况确定,如设定为6。
通过上述过程，可筛选出针对该工业产品产能的高相关性特征的数据。
S12数据后处理
为进一步提高模型训练效率，可对筛选出的数据再进行一些特殊的处理，如对数据进行归一化处理。
S2：创建预测模型
所述预测模型优选为神经网络模型。
如，可基于LSTM-Attention神经网络模型。
更具体的，所述模型可使用如附图2所示的结构，其包括输入层、嵌入层、Bi-LSTM层(双向LSTM网络层)、Attention网络层和一个全连接网络层。
其中，所述输入层设置有与筛选后保留的n个特征的总统计周期数量j相等的神经元数量，在其第m个神经元xm中，将经特征筛选后保留的特征组
m＝1、2……或j转置后输入。
输入的特征组
经过嵌入层后得到其对应的向量em。
所得向量进一步输入至Bi-LSTM层，根据时间序列，可得到前向输出
和后向输出/>
则输出/>
所得输出其后进入Attention网络层。Attention网络层为一个Encoder-Decoder结构，可从输入的序列中学习到每一个影响因素的重要程度，然后按重要程度将影响因素合并，在处理中，每个Encoder隐藏状态的信息会向Decoder进行提供，使模型能够选择性地关注输入序列的有用部分，从而学习它们之间的“对齐”。
上述模型充分考虑了不同特征之间存在相互影响的情况，如温度和湿度会对设备损耗率造成影响、温度和湿度会相互影响等，通过加入的Attention层，可实现以某个神经元为输入时，其他神经元同时获得一个被对应赋予的权重值，即通过上述模型，可关注到每个影响因素，得到某个因素关于其他因素的注意力权值，对这些权值进行加权和运算，得到新的因素特征。
模型中的全连接层包含输入层、隐藏层和输出层，其中输入层包含与特征个数相等的神经元数量，输出层包含1个神经元，隐藏层数和隐藏层内包含的神经元的个数可根据训练效果进行调节。
其调节方法如下：
若训练集准确率高，测试集准确率低，减少网络层数和神经元个数；若训练集准确率跟测试集准确率相差不多，如相差在3％以内，可结束。若还不满意，可增加网络层数以及神经元个数。
S3：对预测模型进行训练
通过步骤S1产生的处理后数据对步骤S2创建的预测模型进行训练，或进一步的，将处理后的数据分为训练集与测试集，通过测试集的数据对训练结束后的模型进行验证，在此过程中不断调整模型至其通过验证。
其中训练过程可包括：
以向量的形式按不同的时间顺序(1个时间步长，如一天)输入数据，如第一个输入数据为：
其中n表示经过步骤S2筛选后的特征的数量。
通过梯度下降法对模型进行不断调节，以降低训练预测结果与真实结果之间的均方误差，即损失函数设置为：
a＝f(z)＝f(wx+b)
其中，x表示输入向量，y表示真实的产能数据，a表示模型输出的产能数据，w和b表示神经网络的训练参数(权重和偏置)。
在具体训练时，可首先将参数设置如下：
学习率α：0.01；
训练次数(Epoch)：10；
批大小(batch size)：32；
全连接层中隐藏层神经元个数：与输入特征个数相同。
在训练过程中，跟根据训练效果，进行参数调节，如训练次数开始时先设置为较大的数值，通过观察准确率的变化情况，再进行调节。
在训练结束后，将测试集数据输入训练好的模型中，通过均方误差验证预测的效果，其中精度设置为损失函数的值，即预测数据和真实数据的均方误差，具体范围可选择如1.0-2.0。当预测准确度满足要求时，模型训练完成；若未达到精度要求，则返回去调节神经网络的隐藏层的数量及其神经元的数量，再次开始训练，直到满足要求。
S4：根据训练完成后的模型进行产能预测
将待预测数据按模型输入格式输入至训练完成的模型，即可得预测产能。
实践发现，针对不锈钢工厂中的不锈钢锅的生产产量问题，采集产能因素数据作为训练集，这里的产能数据包括温度、湿度、粉尘浓度、原材料类型、设备损耗率和工作人数等。该方法可以对不锈钢锅的产能进行预测，其准确率可达92.8％。
以上实施例仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种融合注意力机制的产能预测方法，其特征在于：其具体包括：
S0：收集生产因素数据的实时数据和这些时刻的产能数据；
S1：对收集到的生产因素数据的实时数据和这些时刻的产能数据进行如下处理：
S10数据前处理：包括数据转换、错误值排除和/或缺失值处理、及数据量化排列；其中，数据转换为将非数值型数据转换为数值数据，通过类别数据数字化工具实现；缺失值处理包括：对无法通过数值处理获得类别补充的数据组进行删除，而对其他数据组进行平均值补充；其中数据量化排列的模式为：
其中，
m＝1、2……或j，即矩阵的行，表示在第m天不同生产因素xi的总情况；/>
p＝1、2……或i，即矩阵的列，表示同一个生产因素xp在不同天的值的总情况，/>
表示不同天的产能数据；
S11特征筛选：通过SBS算法筛选与产能最为相关的特征数据，得到筛选后的保留特征矩阵；
S12数据后处理：包括：对所述筛选后的保留特征进行归一化处理，得到处理后数据；
S2：创建预测模型：所述预测模型基于改进的LSTM-Attention模型；所述改进的LSTM-Attention模型包括依次相连的以下结构：输入层、嵌入层、双向LSTM网络层、Attention网络层和全连接网络层，其中，所述输入层设置有与筛选后保留的n个特征的总统计周期数量j相等的神经元数量，在其第m个神经元xm中，将经特征筛选后保留的特征矩阵中的行特征组
m＝1、2……或j转置后输入，输入后的特征组经过嵌入层后得到其对应的向量em，将所得向量进一步输入至Bi-LSTM层，根据时间序列，可得到前向输出/>
和后向输出/>
则输出/>
所得输出其后进入Encoder-Decoder结构的Attention网络层，Attention网络层从输入的序列中学习到每一个影响因素的重要程度，然后按重要程度将影响因素合并，每个Encoder隐藏状态的信息会向Decoder进行提供，使模型能够选择性地关注输入序列的有用部分，从而学习它们之间的对齐；通过加入的Attention网络层，实现以某个神经元为输入时，其他神经元同时获得一个被对应赋予的权重值，得到某个因素关于其他因素的注意力权值，对这些权值进行加权和运算，得到新的因素特征；模型中的全连接层包含输入层、隐藏层和输出层，其中输入层包含与特征个数相等的神经元数量，输出层包含1个神经元，隐藏层数和隐藏层内包含的神经元的个数根据训练效果进行调节；
S3：对预测模型进行训练：通过步骤S12产生的处理后数据对步骤S2创建的预测模型进行训练，在训练结束后，将测试集数据输入训练好的模型中，通过均方误差验证预测的效果，其中精度设置为损失函数的值，即预测数据和真实数据的均方误差；当预测准确度满足要求时，模型训练完成；若未达到精度要求，则返回去调节神经网络的隐藏层的数量及其神经元的数量，再次开始训练，直到满足要求；
S4：根据训练完成后的模型进行产能预测：将待预测数据按模型输入格式输入至训练完成的模型，即可得预测产能；
其中，所述生产因素包括厂房因素、人员因素、设备因素和物料因素，统计周期为每日，所述厂房因素包括以下特征中的一种或多种：厂房温度、厂房湿度或相对湿度、厂房内粉尘含量，所述人员因素包括以下特征：人工操作岗位上的全部人员数量，所述设备因素包括以下特征：设备损耗率，所述物料因素包括以下特征：生产所需原材料类别。
2.根据权利要求1所述的产能预测方法，其特征在于：所述SBS算法筛选包括：通过SBS算法对全部生产因素数据进行筛选，移除使其评价函数达到最大值的特征，至达到设定阈值，得到保留特征。
3.根据权利要求1所述的产能预测方法，其特征在于：所述预测模型通过梯度下降法进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010774588.1A CN111950784B (zh) | 2020-08-04 | 2020-08-04 | 一种融合注意力机制的产能预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010774588.1A CN111950784B (zh) | 2020-08-04 | 2020-08-04 | 一种融合注意力机制的产能预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950784A CN111950784A (zh) | 2020-11-17 |
| CN111950784B true CN111950784B (zh) | 2023-06-09 |
Family
ID=73339419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010774588.1A Active CN111950784B (zh) | 2020-08-04 | 2020-08-04 | 一种融合注意力机制的产能预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950784B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112667912B (zh) * | 2021-01-14 | 2022-12-30 | 广东工业大学 | 一种边缘服务器的任务量预测方法 |
| CN115223271B (zh) * | 2022-06-28 | 2024-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆剩余信息误差的关注度获得方法及相关装置 |
| CN115936262B (zh) * | 2023-02-20 | 2023-06-16 | 深圳普菲特信息科技股份有限公司 | 基于大数据的环境干扰的产量预测方法、系统和介质 |
| CN116629454B (zh) * | 2023-07-19 | 2023-10-03 | 武汉新威奇科技有限公司 | 基于神经网络的伺服螺旋压力机生产效率预测方法及系统 |
| CN116956049A (zh) * | 2023-09-19 | 2023-10-27 | 中国联合网络通信集团有限公司 | 工业产能预测模型的训练方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019042099A1 (zh) * | 2017-08-31 | 2019-03-07 | 江苏康缘药业股份有限公司 | 一种中药生产过程知识系统 |
| CN109740148A (zh) * | 2018-12-16 | 2019-05-10 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
| CN110276439A (zh) * | 2019-05-08 | 2019-09-24 | 平安科技（深圳）有限公司 | 基于注意力机制的时间序列预测方法、装置及存储介质 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN111144542A (zh) * | 2019-12-26 | 2020-05-12 | 中国石油大学(北京) | 油井产能预测方法、装置和设备 |
| CN111222992A (zh) * | 2020-01-17 | 2020-06-02 | 大连大学 | 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法 |
-
2020
- 2020-08-04 CN CN202010774588.1A patent/CN111950784B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019042099A1 (zh) * | 2017-08-31 | 2019-03-07 | 江苏康缘药业股份有限公司 | 一种中药生产过程知识系统 |
| CN109740148A (zh) * | 2018-12-16 | 2019-05-10 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
| CN110276439A (zh) * | 2019-05-08 | 2019-09-24 | 平安科技（深圳）有限公司 | 基于注意力机制的时间序列预测方法、装置及存储介质 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN111144542A (zh) * | 2019-12-26 | 2020-05-12 | 中国石油大学(北京) | 油井产能预测方法、装置和设备 |
| CN111222992A (zh) * | 2020-01-17 | 2020-06-02 | 大连大学 | 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 建模与优化中的特征变量降维与元模型技术研究;曹志勇;《中国优秀博士学位论文全文数据库信息科技辑》;20181015(第10期);第I138-86页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950784A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950784B (zh) | 一种融合注意力机制的产能预测方法 | |
| CN109934337B (zh) | 一种基于集成lstm的航天器遥测数据异常的检测方法 | |
| CN107480775B (zh) | 一种基于数据修复的池塘溶解氧预测方法 | |
| CN110084367B (zh) | 一种基于lstm深度学习模型的土壤墒情预测方法 | |
| CN113807432B (zh) | 一种基于深度学习的气温预报数据订正方法 | |
| CN111160620B (zh) | 一种基于端到端记忆网络的短期风电功率预测方法 | |
| CN113705877B (zh) | 基于深度学习模型的实时月径流预报方法 | |
| CN109886496B (zh) | 一种基于气象信息的农产量预测方法 | |
| CN110738349A (zh) | 基于多模型融合的电网故障抢修时长预测方法 | |
| CN109858714B (zh) | 基于改进神经网络的烟丝质检指标预测方法、装置及系统 | |
| CN112149879A (zh) | 一种计及宏观波动性分类的新能源中长期电量预测方法 | |
| CN114015825B (zh) | 基于注意力机制的高炉热负荷异常状态监测方法 | |
| CN113033861A (zh) | 一种基于时间序列模型的水质预测方法及系统 | |
| CN116822920B (zh) | 一种基于循环神经网络的流程预测方法 | |
| CN111639820A (zh) | 一种水泥炉窑生产的能耗参数优化方法及系统 | |
| CN115495991A (zh) | 一种基于时间卷积网络的降水区间预测方法 | |
| CN115271186B (zh) | 一种基于延时因子和PSO RNN Attention模型的水库水位预测预警方法 | |
| CN114662793A (zh) | 基于可解释分层模型的业务流程剩余时间预测方法与系统 | |
| CN115936241A (zh) | 一种电力施工作业节奏预测方法及系统 | |
| CN114119277A (zh) | 一种基于人工智能神经网络的絮凝投药决策的分析方法 | |
| CN113408190B (zh) | 基于Bayes-LSTM模型的公路隧道施工期围岩变形预测方法 | |
| CN103279030B (zh) | 基于贝叶斯框架的动态软测量建模方法及装置 | |
| CN117272851B (zh) | 一种盐碱地光伏板下植物接收光量的建模预测方法 | |
| CN114139446A (zh) | 一种用于特殊精馏过程组分在线检测软测量方法 | |
| CN116680548B (zh) | 一种针对多源观测数据的时间序列干旱因果分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |