CN113657037A - 基于时间序列插值-注意力机制的铁水硅含量预测方法 - Google Patents

基于时间序列插值-注意力机制的铁水硅含量预测方法 Download PDF

Info

Publication number
CN113657037A
CN113657037A CN202110946155.4A CN202110946155A CN113657037A CN 113657037 A CN113657037 A CN 113657037A CN 202110946155 A CN202110946155 A CN 202110946155A CN 113657037 A CN113657037 A CN 113657037A
Authority
CN
China
Prior art keywords
silicon content
time
training
input
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110946155.4A
Other languages
English (en)
Inventor
杨焓
刘文思
杨春节
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110946155.4A priority Critical patent/CN113657037A/zh
Publication of CN113657037A publication Critical patent/CN113657037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于时间序列插值‑注意力机制的铁水硅含量预测方法,步骤包括:选择合适的输入变量,对其在时间维度降采样、插值处理,归一化后作为模型输入;然后搭建时间‑空间注意力网络,输入训练样本,并根据训练结果更新神经网络参数和注意力权值,反复训练;最后,将测试样本输入神经网络模型中,得到硅含量预测结果。现有预测方法中,高炉炼铁过程传感器参数获取的时间不均匀性导致输入变量与硅含量在时间维度上不能很好地以固定时间规律匹配。本发明相比现有方法对于铁水硅含量的预测具有更高的精度和更好的实用价值。

Description

基于时间序列插值-注意力机制的铁水硅含量预测方法
技术领域
本发明属于工业过程监控、建模和仿真领域,涉及一种基于时间序列插值-注意力机制的铁水硅含量预测方法,是机器学习技术在工业生产中的应用。
背景技术
钢铁工业的生产水平是衡量一个国家工业自动化程度的标准之一,而高炉炼铁是钢铁工业中的核心单元操作。高炉炼铁是将铁矿石还原成铁的过程,在高炉炼铁工艺中,通常以铁水硅含量反映高炉炉内的热情况,其控制与高炉冶炼过程的稳定性、生产效率、能耗和铁水质量之间有密切关系,对硅的预报和控制往往是衡量高炉工厂操作水平的重要依据。但是由于高炉内变量的复杂时空分布与物理化学反应和高炉内特殊的环境,很难直接测量出铁水中的硅含量。
对于硅含量预测的研究已经有了很长时间的发展。研究初期,大多学者通过建立白箱模型来预测硅含量,但由于炼铁过程的动力学和热力学过程较为复杂,其建模不全面、预测精度不高。随着计算机软硬件和传感器技术的发展,基于数据驱动的黑箱模型受到了广泛的关注。黑箱建模不需要了解过程的机理而通过海量数据来捕捉过程变量间的关系。用于硅含量预测的数据驱动方法主要有支持向量机、神经网络等。但是,支持向量机难以选择一个合适的核函数,对缺失数据敏感且训练困难;BP神经网络由于规模过于庞大和学习训练时间太长、时间上的长依赖等问题,降低了网络的实用性。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于时间序列插值-注意力机制的铁水硅含量预测方法,并开发了相应的软件。
一种基于时间序列插值-注意力机制的铁水硅含量预测方法,步骤包括数据预处理、模型训练、模型预测;
步骤一:进行相关性分析,选择相关性较大的样本插值处理,再进行归一化后,作为模型的输入;
步骤二:将样本分类,搭建时间-空间注意力网络,输入训练集并根据其训练结果更新网络的权值,反复训练;
步骤三:将测试集输入神经网络模型中,得到预测结果。
步骤一所述的相关性分析、插值处理及归一化过程如下:
1.1)对传感器获得的变量与硅含量计算皮尔逊相关系数,选择排名前11的变量,即炉顶压力、CO2含量、喷煤量、富氧率、透气性、炉顶温度、热风压力、热风温度、热风流量、热风湿度和前一时刻硅含量作为神经网络的输入变量;
1.2)对数据进行降采样、插值处理,保证对于一个确定的硅含量输出,输入的各个变量均为前半个小时内的均匀采样值:对输入变量采取降采样处理,获得每一分钟一个采样值;对硅含量采取线性插值处理,获得每半小时一个硅含量值;
1.3)对降采样处理后的数据进行归一化处理,从而消除数值较大的变量与数值较小的变量变化对输出影响的不平衡性:
Figure DEST_PATH_IMAGE001
式中,x j 为归一化处理前的变量,
Figure 969189DEST_PATH_IMAGE002
为归一化后的变量,max(x j )为x j 中的最大值,min(x j )为x j 中的最小值,处理后,将其作为神经网络的输入。
步骤二所述的样本分类、网络搭建及训练过程:
2.1)将样本以7:1:2的比例分为训练集、验证集和测试集;训练集用来迭代训练神经网络;验证集防止网络过拟合;测试集用来检测最终预测效果;
2.2)搭建引入时间-空间注意力的GRU网络:每次迭代优化各输入变量的权重,在每个时间点上自适应地选择相应的输入特征;每次迭代优化各时间点的权重,在整个时间步长中自适应地选择相应的隐藏层状态,将注意力放在某些时间点、某些特征,同时迭代优化GRU网络的参数,构建一个自优化的神经网络;
2.3)将训练集输入搭建好的网络根据输出与实际值的差异调整神经网络参数和权重,反复迭代,训练集与验证集均可衡量预测效果的好坏。
步骤三所述的预测结果是指半小时后的硅含量预测数值。
步骤四:开发软件,实现用户注册、登录、数据导入和硅含量预测的功能。
本发明的有益效果:
本发明解决了铁水中硅含量预测的长时间依赖和相关性问题,同时解决了现有方法中把不同采样频率、不同时间间隔对应关系的输入变量和真实硅含量放入同一个模型中盲目训练的问题,提高了模型的准确性和针对性,显著提高了对于铁水硅含量的预测精度。
附图说明
图1是神经网络架构图。
图2是本发明方法对硅含量测试集的预测结果。
图3是软件登录界面图。
图4是软件注册界面图。
图5是软件主界面图。
具体实施方式
注意力机制(Attention Mechanism)最早应用于计算机视觉领域,可以让神经网络在执行任务时更多地关注输入中的相关部分,更少关注不相关的部分,利用有限的注意力资源从大量信息中快速筛选出高价值的信息。GRU(Gate Recurrent Unit)是RNN(Recurrent Neural Network)的一种,为解决长期记忆和反向传播中的梯度问题所提出。利用GRU网络对铁水中硅含量的数据序列进行建模,并使用注意力机制自适应地调节不同输入特征、不同时刻对预测结果的影响程度,在一定程度上解决了铁水中硅含量预测的长时间依赖和相关性问题,提高了预测精度。在预处理方面,通过时间维度上的降采样和插值,解决了现有方法中把不同采样频率、不同时间间隔对应关系的输入变量和真实硅含量放入同一个模型中盲目训练的问题,提高了模型的准确性和针对性。本发明应用于高炉铁水硅含量的预测研究尚属空白,为高炉铁水硅含量的预测提供了一种新的方法。
以下结合附图和实施例对本发明做进一步的阐述。
本发明提出的一种基于时间序列插值-注意力机制的铁水硅含量预测方法,包括以下各步骤:
1、在钢铁厂实地获取传感器数据,包括富氧率等输入数据和硅含量数据,通过相关性分析、降采样和插值处理、归一化等方法预处理。对传感器获得的变量与硅含量计算皮尔逊相关系数,选择排名前11的变量,即炉顶压力、CO2含量、喷煤量、富氧率、透气性、炉顶温度、热风压力、热风温度、热风流量、热风湿度和前一时刻硅含量作为神经网络的输入变量;对数据进行降采样、插值处理,保证对于一个确定的硅含量输出,输入的各个变量均为前半个小时内的均匀采样值:(由于传感器获取上述11个输入变量的频率较高,)对输入变量降采样处理,获得每一分钟一个采样值;(由于在工厂里获取历史真实硅含量的时间有随机性,为使模型的输入、输出数据在时间维度上的关系确定下来,)对硅含量采取线性插值处理,获得每半小时一个硅含量值;对降采样处理后的数据进行归一化处理,从而消除数值较大的变量与数值较小的变量变化对输出影响的不平衡性:
Figure 355171DEST_PATH_IMAGE001
式中,x j 为归一化处理前的变量,
Figure 603750DEST_PATH_IMAGE002
为归一化后的变量,max(x j )为x j 中的最大值,min(x j )为x j 中的最小值,处理后,将其作为神经网络的输入。
2、将样本以7:1:2的比例分为训练集、验证集、测试集。搭建引入时间-空间注意力机制的GRU网络,如图1所示,对训练集进行训练,迭代更新各输入变量的权重weight0、各时间点的权重weighti(i=1,2,...30)、GRU网络参数,实现自优化;利用训练好的模型对测试集进行预测,某次预测结果如图2所示:“Actual”表示该段时间内测试集硅含量的真实值,“Predicted”表示该段时间内由模型得到的测试集硅含量的预测值。
3、开发软件,实现用户注册、登录、数据导入、硅含量预测的功能,如图3、4、5所示。对于本领域技术人员来说,开发软件使本发明应用更高效和实施更方便。
本发明提供的一种铁水硅含量预测软件具有以下功能:
1)“注册”按键为初次登录的用户提供注册用户名和密码的服务;
2)“登录”按键为已经输入账号和密码的用户提供进入主界面服务;
3)主界面的“Load”按键可以导入测试数据;
4)主界面的“Attention”按键对功能3)获得的数据利用本发明提出的方法导入模型,得到预测的硅含量数值。
实施例
下面结合柳钢21号高炉现场采集铁水硅含量的数据来说明本发明方法的有效性。
从高炉现场获得传感器历史数据(训练集、验证集),对搭建好的神经网络模型反复训练,训练结束后的预测准确率达到94%。
将训练好的模型与UI界面结合可获得一个封装好的软件,用户初次使用需要注册,否则可以使用先前注册好的用户名和密码登录,进入主界面。依次进行测试数据获取和导入模型,预测效果如图2所示,预测准确率达到91%。
上述描述中的实施方案可以进一步组合或者替换,且实施方案仅仅是对本发明的优选实施例进行描述,并非对本发明的构思和范围进行限定,在不脱离本发明设计思想的前提下,本领域普通技术人员对本发明的技术方案做出的各种变化和改进,均属于本发明的保护范围。本发明的保护范围由所附权利要求及其任何等同物给出。

Claims (5)

1.一种基于时间序列插值-注意力机制的铁水硅含量预测方法,其特征在于,步骤包括数据预处理、模型训练、模型预测;
步骤一:进行相关性分析,选择相关性较大的样本插值处理,再进行归一化后,作为模型的输入;
步骤二:将样本分类,搭建时间-空间注意力网络,输入训练集并根据其训练结果更新网络的权值,反复训练;
步骤三:将测试集输入神经网络模型中,得到预测结果。
2.根据权利要求1所述的方法,其特征在于,步骤一所述的相关性分析、插值处理及归一化过程如下:
1.1)对传感器获得的变量与硅含量计算皮尔逊相关系数,选择排名前11的变量,即炉顶压力、CO2含量、喷煤量、富氧率、透气性、炉顶温度、热风压力、热风温度、热风流量、热风湿度和前一时刻硅含量作为神经网络的输入变量;
1.2)对数据进行降采样、插值处理,保证对于一个确定的硅含量输出,输入的各个变量均为前半个小时内的均匀采样值:对输入变量采取降采样处理,获得每一分钟一个采样值;对硅含量采取线性插值处理,获得每半小时一个硅含量值;
1.3)对降采样处理后的数据进行归一化处理,从而消除数值较大的变量与数值较小的变量变化对输出影响的不平衡性:
Figure 639599DEST_PATH_IMAGE002
式中,x j 为归一化处理前的变量,
Figure 494423DEST_PATH_IMAGE004
为归一化后的变量,max(x j )为x j 中的最大值,min(x j )为x j 中的最小值,处理后,将其作为神经网络的输入。
3.根据权利要求1所述的方法,其特征在于,步骤二所述的样本分类、网络搭建及训练过程:
2.1)将样本以7:1:2的比例分为训练集、验证集和测试集;训练集用来迭代训练神经网络;验证集防止网络过拟合;测试集用来检测最终预测效果;
2.2)搭建引入时间-空间注意力的GRU网络:每次迭代优化各输入变量的权重,在每个时间点上自适应地选择相应的输入特征;每次迭代优化各时间点的权重,在整个时间步长中自适应地选择相应的隐藏层状态,将注意力放在某些时间点、某些特征,同时迭代优化GRU网络的参数,构建一个自优化的神经网络;
2.3)将训练集输入搭建好的网络根据输出与实际值的差异调整神经网络参数和权重,反复迭代,训练集与验证集均可衡量预测效果的好坏。
4.根据权利要求1所述的方法,其特征在于,步骤三所述的预测结果是指半小时后的硅含量预测数值。
5.根据权利要求1所述的方法,其特征在于,步骤四:开发软件,实现用户注册、登录、数据导入和硅含量预测的功能。
CN202110946155.4A 2021-08-18 2021-08-18 基于时间序列插值-注意力机制的铁水硅含量预测方法 Pending CN113657037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110946155.4A CN113657037A (zh) 2021-08-18 2021-08-18 基于时间序列插值-注意力机制的铁水硅含量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110946155.4A CN113657037A (zh) 2021-08-18 2021-08-18 基于时间序列插值-注意力机制的铁水硅含量预测方法

Publications (1)

Publication Number Publication Date
CN113657037A true CN113657037A (zh) 2021-11-16

Family

ID=78492180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110946155.4A Pending CN113657037A (zh) 2021-08-18 2021-08-18 基于时间序列插值-注意力机制的铁水硅含量预测方法

Country Status (1)

Country Link
CN (1) CN113657037A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841452A (zh) * 2022-05-17 2022-08-02 重庆邮电大学 一种基于独立循环神经网络的高炉铁水硅含量预测方法
CN116401935A (zh) * 2023-02-21 2023-07-07 哈尔滨工业大学 一种建筑动态热负荷神经网络预测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709197A (zh) * 2016-12-31 2017-05-24 浙江大学 基于滑动窗口t‑s模糊神经网络模型的铁水硅含量预测方法
CN113223634A (zh) * 2021-03-22 2021-08-06 浙江大学 基于二维自注意力增强gru模型高炉铁水硅含量预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709197A (zh) * 2016-12-31 2017-05-24 浙江大学 基于滑动窗口t‑s模糊神经网络模型的铁水硅含量预测方法
CN113223634A (zh) * 2021-03-22 2021-08-06 浙江大学 基于二维自注意力增强gru模型高炉铁水硅含量预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841452A (zh) * 2022-05-17 2022-08-02 重庆邮电大学 一种基于独立循环神经网络的高炉铁水硅含量预测方法
CN114841452B (zh) * 2022-05-17 2024-05-24 重庆邮电大学 一种基于独立循环神经网络的高炉铁水硅含量预测方法
CN116401935A (zh) * 2023-02-21 2023-07-07 哈尔滨工业大学 一种建筑动态热负荷神经网络预测方法及系统

Similar Documents

Publication Publication Date Title
CN113657037A (zh) 基于时间序列插值-注意力机制的铁水硅含量预测方法
CN113761787B (zh) 基于深度迁移网络的高炉铁水硅含量在线预测方法及系统
CN110066895B (zh) 一种基于Stacking的高炉铁水质量区间预测方法
Yan et al. DSTED: A denoising spatial–temporal encoder–decoder framework for multistep prediction of burn-through point in sintering process
CN102876838B (zh) 一种转炉内碳含量和温度检测系统
CN101802728A (zh) 对气体排放进行基于经验集合的虚拟传感的系统和方法
CN111915080B (zh) 一种基于铁水质量约束的原燃料成本最优配比方法
CN104651559A (zh) 一种基于多元在线序贯极限学习机的高炉铁水质量在线预报体系及预报方法
CN109685246A (zh) 环境数据预估方法、装置及存储介质、服务器
CN110083125A (zh) 一种基于深度学习的机床热误差建模方法
Chang et al. Flexible Clockwork Recurrent Neural Network for multirate industrial soft sensor
CN114330937A (zh) 一种隐含碳排放量核算方法、设备及存储介质
Woo et al. A new blockchain digital MRV (measurement, reporting, and verification) architecture for existing building energy performance
CN111428419A (zh) 悬浮泥沙浓度预测方法、装置、计算机设备和存储介质
Campolongo et al. Sensitivity analysis of the IMAGE Greenhouse model
Lao et al. The optimized multivariate grey prediction model based on dynamic background value and its application
CN114548494B (zh) 一种可视化造价数据预测智能分析系统
CN114692981A (zh) 基于Seq2Seq模型的中长期径流预报方法和系统
Ji et al. Application of the improved the ELM algorithm for prediction of blast furnace gas utilization rate
Wan et al. A novel time-power based grey model for nonlinear time series forecasting
CN116843483A (zh) 一种车险理赔方法、装置、计算机设备及存储介质
Zhang et al. Identifying Key Influential Factors of Bid Evaluation in Government Public Project Green Procurement in China Using BP‐DEMATEL Model
CN116663126A (zh) 一种基于通道注意力BiLSTM模型的桥梁温度效应预测方法
Cui et al. [Retracted] Prediction Model of Hot Metal Silicon Content Based on Improved GA‐BPNN
CN114968821A (zh) 基于强化学习的测试数据生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211116

WD01 Invention patent application deemed withdrawn after publication