CN110533249B - 一种基于集成长短期记忆网络的冶金企业能耗预测方法 - Google Patents
一种基于集成长短期记忆网络的冶金企业能耗预测方法 Download PDFInfo
- Publication number
- CN110533249B CN110533249B CN201910824388.XA CN201910824388A CN110533249B CN 110533249 B CN110533249 B CN 110533249B CN 201910824388 A CN201910824388 A CN 201910824388A CN 110533249 B CN110533249 B CN 110533249B
- Authority
- CN
- China
- Prior art keywords
- energy consumption
- consumption data
- metallurgical
- metallurgical enterprise
- support vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000006403 short-term memory Effects 0.000 title claims abstract description 22
- 230000007787 long-term memory Effects 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 238000010606 normalization Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000003245 coal Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005272 metallurgy Methods 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 239000000571 coke Substances 0.000 claims description 2
- 238000010310 metallurgical process Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007636 ensemble learning method Methods 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000011985 exploratory data analysis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Manufacturing & Machinery (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于集成长短期记忆网络的冶金企业能耗预测方法，其步骤包括：1收集冶金企业能耗数据并进行预处理；2使用长短期记忆网络提取冶金企业能耗数据的深度学习特征；3构建多个冶金企业能耗数据的训练集，训练多个冶金企业能耗数据的支持向量回归预测模型；4使用Jensen‑Shannon散度对K个训练好的支持向量回归预测模型进行选择，使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合。本发明能解决单个冶金企业能耗数据的支持向量回归预测模型鲁棒性不强的问题，提冶金企业能耗数据的预测效果。
Description
技术领域
本发明涉及冶金企业能耗预测技术领域，主要涉及一种基于集成长短期记忆网络的冶金企业能耗预测方法。
背景技术
能源是国民经济发展的重要物质基础，是决定未来国家科技发展、经济发展和国防建设的重要保障。节约能源是我国经济和社会发展的一项长远战略方针，也是当前一项极为紧迫的任务。但是随着冶金工业的发展，能源的问题变得越来越严重，尤其是冶金企业在生产钢铁、铜等产品中，如果生产计划安排得不合理，或者管理的手段不够强，将会浪费大量的能源。冶金企业能耗预测精度的提高，有助于冶金企业合理安排生产计划，提高物料的利用率，减少不必要的能源消耗。
目前，冶金企业能耗预测方法一般分为三类：基于物理模型的预测方法、基于统计模型的预测方法和基于机器学习的预测方法。基于物理模型的预测方法主要依据专家知识对冶金企业能耗数据进行建模，成本较高昂且建模较困难。基于统计模型的预测方法是通过收集大量的历史冶金企业能耗统计数据，运用一定的统计模型来建立冶金企业能耗预测模型，代表方法有移动平均模型、自回归移动平均模型等。基于统计模型的预测方法虽然能较好的处理线性时间序列数据，但是不能很好地预测非线性时间序列数据。基于机器学习的预测方法凭借其较强的非线性拟合与泛化能力，广泛运用于冶金企业能耗预测，近年来受到了越来越多的关注，代表方法有随机森林、支持向量回归、神经网络等。传统的基于机器学习的预测方法通常需要进行复杂的特征工程。例如，首先，在数据集上进行探索性数据分析；然后，需要对数据进行降维处理；最后，要仔细选择数据的代表特征进行预测。目前，单个预测模型在冶金企业能耗预测领域应用较为广泛，但是单个预测模型的鲁棒性不强，无法取得较好的预测效果。虽然，集成学习方法在冶金企业能耗预测中也得到了应用，但是由于冶金企业能耗数据具有较强的随机性和波动性，基学习器在冶金企业能耗数据上的预测性能也各有差异。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种基于集成长短期记忆网络的冶金企业能耗预测方法，以期能充分考虑冶金企业能耗数据的时间特性以及单个预测模型的性能，通过采用集成方法解决单个冶金企业能耗数据的支持向量回归预测模型鲁棒性不强问题，从而提高冶金企业能耗数据的预测效果。
本发明为达到上述发明目的，采用以下技术方案：
本发明一种基于集成长短期记忆网络的冶金企业能耗预测方法的特点是按照如下步骤进行：
步骤1，收集冶金企业能耗数据并进行预处理：
步骤1.1，收集冶金企业能耗历史数据组成原始数据集合，记为P＝{p1,p2,...,pm,...,pM}，pm为原始数据集合P中第m天的冶金企业能耗数据，1≤m≤M，M表示原始数据集合P中的总数；
步骤1.2，检查原始数据集合P是否存在缺失值，若存在缺失值，对所有缺失值用原始数据集合P中所有冶金企业能耗数据的平均值进行填充后，再对填充后的原始数据集合中所有冶金企业能耗数据进行归一化处理，得到归一化后的冶金企业能耗数据集；否则，直接对原始数据集合P中所有冶金企业能耗数据进行归一化处理，得到归一化后的冶金企业能耗数据集；
步骤1.3，使用滑动窗口对归一化后的冶金企业能耗数据集进行样本划分，得到冶金企业能耗数据的N个样本，记为样本集D＝{(x1,y1),(x2,y2),...,(xn,yn),...,(xN,yN)}，其中，(xn,yn)表示冶金企业能耗数据的第n个样本，xn表示冶金企业能耗数据第n个样本的样本向量，且
表示冶金企业能耗数据第n个样本的样本向量xn中第a-1个属性，该属性表示为冶金企业能耗数据经过归一化处理后的每天的综合能耗值；yn表示冶金企业能耗数据第n个样本的样本向量xn的目标输出值，且
a表示第n个样本的长度；
步骤2，使用长短期记忆网络提取冶金企业能耗数据的深度学习特征：
将冶金企业能耗数据的样本集D中的样本依次输入长短期记忆网络中，得到最后一层隐藏层的输出并作为冶金企业能耗数据的深度学习特征，从而得到冶金企业能耗数据的特征集L＝{(h1,y1),(h2,y2),...,(hn,yn),...,(hN,yN)}，其中，(hn,yn)表示冶金企业能耗数据的第n个特征样本，hn表示冶金企业能耗数据第n个特征样本的深度学习特征，其形式为向量；
步骤3，构建多个冶金企业能耗数据的训练集，训练多个冶金企业能耗数据的支持向量回归预测模型；
步骤3.1，使用自助采样法对冶金企业能耗数据的特征集L进行K次采样，得到K个包含R个特征样本的训练集{DS1,DS2,,DSk,…,DSK}，其中，DSk表示第k个包含R个特征样本的训练集，且
表示第k个训练集DSk中第r个特征样本，
表示第k个训练集DSk中第r个特征样本的深度学习特征，
表示第k个训练集DSk中第r个特征样本的目标输出值，1≤r≤R，1≤k≤K；
步骤3.2，以径向基核函数作为支持向量回归预测模型的映射函数，以ε-不敏感损失函数作为支持向量回归预测模型的损失函数；
将K个冶金企业能耗数据的训练集{DS1,DS2,…,DSk,…,DSK}中的特征样本依次输入到支持向量回归预测模型进行训练，从而获得K个训练好的冶金企业能耗数据的支持向量回归预测模型；
步骤4，使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择，使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合：
步骤4.1，利用式(1)对第k个训练好的冶金企业能耗数据的支持向量回归预测模型进行Jensen-Shannon散度的计算，得到第k个训练好的冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度
从而得到K个Jensen-Shannon散度：
式(1)中，
表示第k个训练好的支持向量回归预测模型在第r个冶金企业能耗数据的特征样本
的预测值，β1和β2分别表示特征样本的目标输出值
和预测值
的权重，β1,β2≥0且β1+β2＝1；
步骤4.2，对K个冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度分别与阈值θ进行比较，并选择Jensen-Shannon散度小于阈值θ的所有W个训练好的支持向量回归预测模型，其中θ的取值范围为(0,1)；
步骤4.3，利用式(2)所示的自适应线性归一化方法建立W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L上的优化模型：
式(2)中，E表示由W个元素且元素值为1组成的向量，且E＝[1,1,...,1]T，η表示W个训练好的支持向量回归预测模型的权重向量，且η＝[η1,η2,...,ηw,...,ηW]T，ηw表示第w个训练好的支持向量回归预测模型的权重，且1≤w≤W，en表示W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)上的绝对误差向量，且
表示第w个训练好的支持向量回归预测模型在第n个特征样本上的绝对误差，并有：
式(3)中，fw(hn)表示第w个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)的预测结果；
步骤4.5，利用拉格朗日函数对式(2)进行优化求解，得到式(4)所示的W个训练好的支持向量回归预测模型的权重向量η：
步骤4.6，利用W个训练好的支持向量回归预测模型对给定新的特征样本hnew进行预测，得到预测结果向量f(hnew)；
利用式(5)所示的使用自适应线性归一化结合方法对W个训练好的支持向量回归预测模型的预测结果进行融合，从而得到新的特征样本hnew的最终预测结果F(hnew)：
与已有技术相比，本发明的有益效果体现在：
1、本发明将处理后的冶金企业能耗数据与集成学习方法、长短期记忆网络方法、支持向量回归方法相结合，实现了有效的冶金企业能耗预测，进而获得了较为精确的预测结果；
2、本发明考虑到冶金企业能耗预测结果具有时间分布特性，在所提集成学习方法中使用Jensen-Shannon散度来衡量各个训练好的支持向量回归预测模型的预测性能与真实冶金企业能耗数据时间分布的距离，以此标准来选择距离较小的训练好的支持向量回归预测模型来进行集成，从而减少了预测性能不佳的支持向量回归预测模型所带来的影响，获得了较为精确的预测；
3、由于冶金企业能耗数据具有较强的随机性和波动性，本发明考虑到训练好的各个支持向量回归预测模型在冶金企业能耗数据上预测性能的差异，使用自适应线性归一化结合方法对选择的各个支持向量回归预测模型进行权重的分配，从而获得了比使用一般权重分配方法更精确的预测结果；
4、本发明通过使用长短期记忆网络提取冶金企业能耗数据的深度学习特征，解决了复杂的特征工程问题，从而简化了特征提取的计算过程；
5、本发明使用自助采样法进行采样，得到多个不同的冶金企业能耗数据集，并基于不同的冶金企业能耗数据集建立不同的支持向量回归预测模型，减少了训练时间并提高了模型的学习效率。
附图说明
图1为本发明的整体流程示意图；
图2为本发明长短期记忆网络的内部结构示意图；
图3为本发明所提方法的RMSE实验结果图；
图4为本发明所提方法的MAPE实验结果图。
具体实施方式
本实施例中，一种基于集成长短期记忆网络的冶金企业能耗预测方法，整体流程示意图如图1所示，先对收集的冶金企业能耗数据进行预处理；然后使用长短期记忆网络提取冶金企业能耗数据的深度学习特征，并使用自助采样法构建多个冶金企业能耗数据的训练集，训练多个冶金企业能耗数据的支持向量回归预测模型；最后使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择，使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合，具体按照以下步骤进行：
步骤1，收集冶金企业能耗数据并进行预处理：
步骤1.1，收集冶金企业能耗历史数据组成原始数据集合，记为P＝{p1,p2,...,pm,...,pM}，pm为原始数据集合P中第m天的冶金企业能耗数据，1≤m≤M，M表示原始数据集合P中的总数，本发明中冶金企业能耗数据是指冶金企业在冶金过程中用电量、用水量、煤炭量和焦碳量的综合能耗值，单位统一用kgce/t表示，其表示千克标准煤每吨，kgce为能源消耗量，用标准煤表示；
步骤1.2，检查原始数据集合P是否存在缺失值，若存在缺失值，对所有缺失值用原始数据集合P中所有冶金企业能耗数据的平均值进行填充后，再对填充后的原始数据集合中所有冶金企业能耗数据进行归一化处理，得到归一化后的冶金企业能耗数据集；否则，直接对原始数据集合P中所有冶金企业能耗数据进行归一化处理，得到归一化后的冶金企业能耗数据集；
步骤1.3，使用滑动窗口对归一化后的冶金企业能耗数据集进行样本划分，得到冶金企业能耗数据的N个样本，记为样本集D＝{(x1,y1),(x2,y2),...,(xn,yn),...,(xN,yN)}，其中，(xn,yn)表示冶金企业能耗数据的第n个样本，xn表示冶金企业能耗数据第n个样本的样本向量，且
表示冶金企业能耗数据第n个样本的样本向量xn中第a-1个属性，该属性表示为冶金企业能耗数据经过归一化处理后的每天的综合能耗值；yn表示冶金企业能耗数据第n个样本的样本向量xn的目标输出值，且
a表示第n个样本的长度；
步骤2，使用长短期记忆网络提取冶金企业能耗数据的深度学习特征：
将长短期记忆网络的激活函数设置为sigmoid函数，其内部结构示意图如图2所示；优化器设置为Adam；输入层时间步数设置为a-1，输入层维数设置为1；考虑到隐含层过多会增加模型的训练成本，针对冶金企业能耗预测，将隐含层的数目设置为1层，每个隐含层的维数设置为64；输出变量维数设置为1；
将冶金企业能耗数据的样本集D中的样本依次输入长短期记忆网络中，得到最后一层隐藏层的输出并作为冶金企业能耗数据的深度学习特征，从而得到冶金企业能耗数据的特征集L＝{(h1,y1),(h2,y2),...,(hn,yn),...,(hN,yN)}，其中，(hn,yn)表示冶金企业能耗数据的第n个特征样本，hn表示冶金企业能耗数据第n个特征样本的深度学习特征，其形式为向量；
步骤3，构建多个冶金企业能耗数据的训练集，训练多个冶金企业能耗数据的支持向量回归预测模型；
步骤3.1，使用自助采样法对冶金企业能耗数据的特征集L进行K次采样，得到K个包含R个特征样本的训练集{DS1,DS2,…,DSk,…,DSK}，其中，DSk表示第k个包含R个特征样本的训练集，且
表示第k个训练集DSk中第r个特征样本，
表示第k个训练集DSk中第r个特征样本的深度学习特征，
表示第k个训练集DSk中第r个特征样本的目标输出值，1≤r≤R，1≤k≤K；
步骤3.2，以径向基核函数作为支持向量回归预测模型的映射函数，以ε-不敏感损失函数作为支持向量回归预测模型的损失函数；
将K个冶金企业能耗数据的训练集{DS1,DS2,…,DSk,…,DSK}中的特征样本依次输入到支持向量回归预测模型进行训练，从而获得K个训练好的冶金企业能耗数据的支持向量回归预测模型；
步骤4，使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择，使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合：
步骤4.1，利用式(1)对第k个训练好的冶金企业能耗数据的支持向量回归预测模型进行Jensen-Shannon散度的计算，得到第k个训练好的冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度
从而得到K个Jensen-Shannon散度：
式(1)中，
表示第k个训练好的支持向量回归预测模型在第r个冶金企业能耗数据的特征样本
的预测值，β1和β2分别表示特征样本的目标输出值
和预测值
的权重，β1,β2≥0且β1+β2＝1；
步骤4.2，对K个冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度分别与阈值θ进行比较，并选择Jensen-Shannon散度小于阈值θ的所有W个训练好的支持向量回归预测模型，其中，θ的取值范围为(0,1)；
步骤4.3，利用式(2)所示的自适应线性归一化方法建立W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L上的优化模型：
式(2)中，E表示由W个元素且元素值为1组成的向量，且E＝[1,1,...,1]T，η表示W个训练好的支持向量回归预测模型的权重向量，且η＝[η1,η2,...,ηw,...,ηW]T，ηw表示第w个训练好的支持向量回归预测模型的权重，且1≤w≤W，en表示W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)上的绝对误差向量，且
表示第w个训练好的支持向量回归预测模型在第n个特征样本上的绝对误差，并有：
式(3)中，fw(hn)表示第w个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)的预测结果；
步骤4.5，利用拉格朗日函数对式(2)进行优化求解，得到式(4)所示的W个训练好的支持向量回归预测模型的权重向量η：
步骤4.6，利用W个训练好的支持向量回归预测模型对给定新的特征样本hnew进行预测，得到预测结果向量f(hnew)，且f(hnew)＝[f(hnew)1,f(hnew)2,...,f(hnew)w,...,f(hnew)W]T，f(hnew)w表示第w个训练好的支持向量回归预测模型对新的特征样本hnew的预测结果；
利用式(5)所示的使用自适应线性归一化结合方法对W个训练好的支持向量回归预测模型的预测结果进行融合，从而得到新的特征样本hnew的最终预测结果F(hnew)：
针对本发明方法进行实验论证，具体包括：
1、数据集
本发明选用某有色金属生产公司的能耗数据集来验证基于集成长短期记忆网络的冶金企业能耗预测方法的有效性。在此数据中，共1826个数据，时间跨度从2014年1月1日至2018年12月31日的某有色金属生产公司的冶金综合能耗数据。
2、评价指标
本发明使用均方根误差(Root Mean Squared Error，RMSE)和平均绝对百分误差(Mean Absolute Percentage Error，MAPE)百分数作为实验的评价指标。RMSE用来衡量误差的分散程度，RMSE的值越小，表示模型的预测效果越好。MAPE不仅考虑了预测值与真实值的误差，还考虑了误差与真实值之间的比例，MAPE的值越小，表示模型的预测效果越好。RMSE和MAPE的计算公式如式(6)和(7)所示：
式(6)和式(7)中，S表示冶金企业能耗数据测试集的样本总数，其中1≤s≤S，ys表示冶金企业能耗数据测试集中第s个样本的真实值，F(hs)表示冶金企业能耗数据测试集中第s个样本的预测值；
3、实验流程
为了验证本发明所提出方法的有效性，本发明选用自回归移动平均模型(Auto-Regression MovingAverage Model，ARMA)，BP神经网络(BackPropagationNeuralNetwork，BPNN)，极限学习机(Extreme Learning Machine，ELM)，长短期记忆网络(LongShort Term Memory，LSTM)，支持向量回归(SupportVectorRegression，SVR)，长短期记忆网络结合支持向量回归的预测方法(LSTM-SVR)，本发明方法进行比较。ARMA、BPNN、ELM、LSTM、SVR均忽略了使用长短期记忆网络提取冶金企业能耗数据的深度学习特征以及忽略了使用集成学习方法；LSTM-SVR使用了LSTM提取冶金企业能耗数据的深度学习特征以及使用了集成学习方法，但是没有对集成学习方法中基学习器进行选择，并使用简单平均法对各个基学习器的预测结果进行融合。实验过程中，本发明将2014年1月1日至2017年12月31日的某有色金属生产公司的冶金综合能耗数据作为训练集，2018年1月1日至2018年12月31日的作为测试集。
4、实验结果
为了验证本发明所提出方法的有效性，本发明在某有色金属生产公司的能耗数据集上进行实验，并将本发明所提方法及其对比方法的实验结果进行比较。实验结果如表1和图3，图4所示。
表1 RMSE和MAPE实验结果
由表1、图3和图4可以看出，本发明所提方法在RMSE和MAPE两个评价指标下均优于另外六种预测方法。从表1、图3和图4还可以看出，在ARMA、BPNN、ELM、LSTM、SVR与LSTM-SVR方法的比较中，LSTM-SVR方法在两个评价指标下均取得了较优的结果，在LSTM-SVR方法和本发明方法的比较中，本发明方法在两个评价指标也均取得了最优的结果。这一结果表明，对冶金企业能耗预测而言，使用LSTM提取冶金企业能耗数据的深度学习特征以及对训练好的基学习器进行合理选择和分配合适的权重有助于提高预测结果的准确性，这也进一步验证了本发明方法提出的同时考虑使用LSTM取冶金企业能耗数据的深度学习特征以及考虑到基学习器预测性能的差异对基学习器进行选择和权重分配的有效性。
Claims (1)
1.一种基于集成长短期记忆网络的冶金企业能耗预测方法，其特征是按照如下步骤进行：
步骤1，收集冶金企业能耗数据并进行预处理：
步骤1.1，收集冶金企业历史能耗数据组成原始数据集合，记为P＝{p1,p2,...,pm,...,pM}，pm为原始数据集合P中第m天的冶金企业能耗数据，1≤m≤M，M表示原始数据集合P中的总数；其中，冶金企业能耗数据是指冶金企业在冶金过程中用电量、用水量、煤炭量和焦碳量的综合能耗值；
步骤1.2，检查原始数据集合P是否存在缺失值，若存在缺失值，对所有缺失值用原始数据集合P中所有冶金企业能耗数据的平均值进行填充后，再对填充后的原始数据集合中所有冶金企业能耗数据进行归一化处理，得到归一化后的冶金企业能耗数据集；否则，直接对原始数据集合P中所有冶金企业能耗数据进行归一化处理，得到归一化后的冶金企业能耗数据集；
步骤1.3，使用滑动窗口对归一化后的冶金企业能耗数据集进行样本划分，得到冶金企业能耗数据的N个样本，记为样本集D＝{(x1,y1),(x2,y2),...,(xn,yn),...,(xN,yN)}，其中，(xn,yn)表示冶金企业能耗数据的第n个样本，xn表示冶金企业能耗数据第n个样本的样本向量，且
表示冶金企业能耗数据第n个样本的样本向量xn中第a-1个属性，该属性表示为冶金企业能耗数据经过归一化处理后的每天的综合能耗值；yn表示冶金企业能耗数据第n个样本的样本向量xn的目标输出值，且
a表示第n个样本的长度；
步骤2，使用长短期记忆网络提取冶金企业能耗数据的深度学习特征：
将冶金企业能耗数据的样本集D中的样本依次输入长短期记忆网络中，得到最后一层隐藏层的输出并作为冶金企业能耗数据的深度学习特征，从而得到冶金企业能耗数据的特征集L＝{(h1,y1),(h2,y2),...,(hn,yn),...,(hN,yN)}，其中，(hn,yn)表示冶金企业能耗数据的第n个特征样本，hn表示冶金企业能耗数据第n个特征样本的深度学习特征，其形式为向量；
步骤3，构建多个冶金企业能耗数据的训练集，训练多个冶金企业能耗数据的支持向量回归预测模型；
步骤3.1，使用自助采样法对冶金企业能耗数据的特征集L进行K次采样，得到K个包含R个特征样本的训练集{DS1,DS2,…,DSk,…,DSK}，其中，DSk表示第k个包含R个特征样本的训练集，且
表示第k个训练集DSk中第r个特征样本，
表示第k个训练集DSk中第r个特征样本的深度学习特征，
表示第k个训练集DSk中第r个特征样本的目标输出值，1≤r≤R，1≤k≤K；
步骤3.2，以径向基核函数作为支持向量回归预测模型的映射函数，以ε-不敏感损失函数作为支持向量回归预测模型的损失函数；
将K个冶金企业能耗数据的训练集{DS1,DS2,…,DSk,…,DSK}中的特征样本依次输入到支持向量回归预测模型进行训练，从而获得K个训练好的冶金企业能耗数据的支持向量回归预测模型；
步骤4，使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择，使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合：
步骤4.1，利用式(1)对第k个训练好的冶金企业能耗数据的支持向量回归预测模型进行Jensen-Shannon散度的计算，得到第k个训练好的冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度
从而得到K个Jensen-Shannon散度：
式(1)中，
表示第k个训练好的支持向量回归预测模型在第r个冶金企业能耗数据的特征样本
的预测值，β1和β2分别表示特征样本的目标输出值
和预测值
的权重，β1,β2≥0且β1+β2＝1；
步骤4.2，将K个冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度分别与阈值θ进行比较，并选择Jensen-Shannon散度小于阈值θ的所有W个训练好的支持向量回归预测模型，其中θ的取值范围为(0,1)；
步骤4.3，利用式(2)所示的自适应线性归一化结合方法建立W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L上的优化模型：
式(2)中，E表示由W个元素且元素值为1组成的向量，且E＝[1,1,...,1]T，η表示W个训练好的支持向量回归预测模型的权重向量，且η＝[η1,η2,...,ηw,...,ηW]T，ηw表示第w个训练好的支持向量回归预测模型的权重，且1≤w≤W，en表示W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)上的绝对误差向量，且
表示第w个训练好的支持向量回归预测模型在第n个特征样本上的绝对误差，并有：
式(3)中，fw(hn)表示第w个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)的预测结果；
步骤4.5，利用拉格朗日函数对式(2)进行优化求解，得到式(4)所示的W个训练好的支持向量回归预测模型的权重向量η：
步骤4.6，利用W个训练好的支持向量回归预测模型对给定新的特征样本hnew进行预测，得到预测结果向量f(hnew)；
利用式(5)所示的自适应线性归一化结合方法对W个训练好的支持向量回归预测模型的预测结果进行融合，从而得到新的特征样本hnew的最终预测结果F(hnew)：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910824388.XA CN110533249B (zh) | 2019-09-02 | 2019-09-02 | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910824388.XA CN110533249B (zh) | 2019-09-02 | 2019-09-02 | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533249A CN110533249A (zh) | 2019-12-03 |
| CN110533249B true CN110533249B (zh) | 2021-09-14 |
Family
ID=68666368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910824388.XA Active CN110533249B (zh) | 2019-09-02 | 2019-09-02 | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533249B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553114B (zh) * | 2020-04-11 | 2022-10-11 | 东华大学 | 一种基于数据驱动的纺织印染智能配色方法 |
| CN114154716B (zh) * | 2021-12-03 | 2024-06-18 | 北京航天创智科技有限公司 | 一种基于图神经网络的企业能耗预测方法及装置 |
| CN115828735A (zh) * | 2022-11-07 | 2023-03-21 | 江苏风云科技服务有限公司 | 一种高成长型企业评价方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105204333A (zh) * | 2015-08-26 | 2015-12-30 | 东北大学 | 一种提高钢铁企业能源利用率的能耗预测方法 |
| CN105320991A (zh) * | 2014-07-04 | 2016-02-10 | 上海宝信软件股份有限公司 | 基于因素的钢铁企业工序能耗预测方法 |
| CN106127047A (zh) * | 2016-06-24 | 2016-11-16 | 河海大学 | 一种基于延森‑香农距离的电力系统恶意数据检测方法 |
| CN109643485A (zh) * | 2016-12-30 | 2019-04-16 | 同济大学 | 一种城市道路交通异常检测方法 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
-
2019
- 2019-09-02 CN CN201910824388.XA patent/CN110533249B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105320991A (zh) * | 2014-07-04 | 2016-02-10 | 上海宝信软件股份有限公司 | 基于因素的钢铁企业工序能耗预测方法 |
| CN105204333A (zh) * | 2015-08-26 | 2015-12-30 | 东北大学 | 一种提高钢铁企业能源利用率的能耗预测方法 |
| CN106127047A (zh) * | 2016-06-24 | 2016-11-16 | 河海大学 | 一种基于延森‑香农距离的电力系统恶意数据检测方法 |
| CN109643485A (zh) * | 2016-12-30 | 2019-04-16 | 同济大学 | 一种城市道路交通异常检测方法 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
Non-Patent Citations (4)
| Title |
|---|
| Jensen-Shannon divergence based algorithm for adaptive segmentation and labelling of household"s electricity power consumption data series;István Pintér et al;《2016 IEEE International Conference on Systems, Man, and Cybernetics·SMC》;20170209;第1912-1916页 * |
| 基于机器学习方法的建筑能耗预测研究;丁子祥;《中国优秀硕士学位论文全文数据库工程科技II辑》;20190215(第02期);摘要，第1-59页 * |
| 基于生成对抗网络的负荷序列随机场景生成方法;张宇帆 等;《供用电》;20190131(第01期);第29-33页 * |
| 基于蚁群优化的小波神经网络钢铁生产能耗预测模型;高盛祥 等;《昆明理工大学学报( 自然科学版)》;20150430;第40卷(第2期);第80-87页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533249A (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615226B (zh) | 一种运营指标异常监测方法 | |
| CN110135612B (zh) | 基于用电量分析的物资供应商生产能力监控及异常预警方法 | |
| CN110533249B (zh) | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 | |
| CN112561568A (zh) | 一种目标客户预测方法、装置及存储介质 | |
| Dong et al. | The prediction trend of enterprise financial risk based on machine learning arima model | |
| CN114048436A (zh) | 一种预测企业财务数据模型构建方法及构建装置 | |
| CN110837921A (zh) | 基于梯度提升决策树混合模型的房地产价格预测研究方法 | |
| Sohrabi et al. | Predicting coal price using time series methods and combination of radial basis function (RBF) neural network with time series | |
| CN111178585A (zh) | 基于多算法模型融合的故障接报量预测方法 | |
| CN109754122A (zh) | 一种基于随机森林特征提取的bp神经网络的数值预测方法 | |
| CN103853939A (zh) | 一种基于社会经济因素影响的电力系统月度负荷的组合预测方法 | |
| CN114595861A (zh) | 基于mstl和lstm模型的中长期电力负荷预测方法 | |
| CN114819395A (zh) | 一种基于长短期记忆神经网络和支持向量回归组合模型的行业中长期负荷预测方法 | |
| CN116468536A (zh) | 一种自动化风险控制规则生成的方法 | |
| CN110009427B (zh) | 一种基于深度循环神经网络的电力销售金额智能预测方法 | |
| CN111178605A (zh) | 一种基于特征选择的配网工程项目工期预测方法 | |
| CN114626898A (zh) | 一种销量预测方法、工具、系统、设备及存储介质 | |
| CN108830405B (zh) | 基于多指标动态匹配的实时电力负荷预测系统及其方法 | |
| CN114581141A (zh) | 基于特征选择与lssvr的短期负荷预测方法 | |
| CN111028086A (zh) | 基于聚类与lstm网络的增强指数跟踪方法 | |
| CN116341723A (zh) | 基于深度学习和多源数据融合的股票趋势预测方法、系统、设备及介质 | |
| CN116108963A (zh) | 一种基于集成学习模块的电力碳排放预测方法及设备 | |
| CN114282657A (zh) | 一种市场数据长期预测模型训练方法、装置、设备及存储介质 | |
| CN107704723A (zh) | 一种基于斜率关联度的显著变量选择方法 | |
| CN114330485A (zh) | 基于pls-svm-ga算法的电网投资能力预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |