CN116307246A - 一种基于lstm-cnn和icbam长短期特征提取的铝电解槽温预测方法 - Google Patents
一种基于lstm-cnn和icbam长短期特征提取的铝电解槽温预测方法 Download PDFInfo
- Publication number
- CN116307246A CN116307246A CN202310369675.2A CN202310369675A CN116307246A CN 116307246 A CN116307246 A CN 116307246A CN 202310369675 A CN202310369675 A CN 202310369675A CN 116307246 A CN116307246 A CN 116307246A
- Authority
- CN
- China
- Prior art keywords
- long
- term
- data
- short
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 title claims abstract description 64
- 229910052782 aluminium Inorganic materials 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005868 electrolysis reaction Methods 0.000 title claims abstract description 44
- 238000000605 extraction Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 230000007774 longterm Effects 0.000 claims abstract description 38
- 238000004519 manufacturing process Methods 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims abstract description 5
- 210000004027 cell Anatomy 0.000 claims description 51
- 238000011176 pooling Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 239000003792 electrolyte Substances 0.000 claims description 8
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 238000002759 z-score normalization Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- KRHYYFGTRYWZRS-UHFFFAOYSA-M Fluoride anion Chemical compound [F-] KRHYYFGTRYWZRS-UHFFFAOYSA-M 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000000415 inactivating effect Effects 0.000 claims description 2
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000002203 pretreatment Methods 0.000 claims description 2
- 238000010187 selection method Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 25
- 238000007792 addition Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004411 aluminium Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 229910016569 AlF 3 Inorganic materials 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000003723 Smelting Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910001610 cryolite Inorganic materials 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 150000004673 fluoride salts Chemical class 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Electrolytic Production Of Metals (AREA)
Abstract
本发明公开了一种基于LSTM‑CNN和ICBAM长短期特征提取的铝电解槽温预测方法，采用LSTM‑CNN作为影响槽温的长期特征提取方法，首先对数据用LSTM提取长时间相关特征，然后再用CNN提取数据间的局部相关特征，从而得到基于长周期数据的长期深度特征。采用基于2D‑CNN和1D‑CNN双流卷积分别提取阳极电流和槽电压特征，然后基于ICBAM对双流特征进行注意力加权融合，得到槽温短期深度特征。为了更好的融合铝电解生产过程中的长期特征和短期特征这两种语义和尺度不一样的特征，利用AAW中的多尺度注意力模块，充分考虑了特征图中的全局信息与局部信息，从而能够提升模型预测的准确率。
Description
技术领域
本发明涉及冶炼领域，具体为一种基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法。
背景技术
铝电解技术是通过冰晶石-氧化铝熔盐电解法，以氧化铝(Al2O3)作为原料，以熔融冰晶石(NaF·AlF3)作为电解质，以碳素体作为阳极和阴极，通入强大的直流电后，温度到达950℃-970℃，在电解槽内的两极上进行电化学反应后得到铝液。槽温是指电解质温度，电解质温度是整个铝电解生产反应时的温度，其对保证生产效益，提高电解槽寿命，维持电解槽热场平衡，提高电流效率具有重要的意义。由于实际的工业生产环境是一个强磁场、高温、高湿、含腐蚀气体及粉尘的复杂环境，目前在线测量槽温十分困难，且槽壳内温度较高，传统的接触式测温设备无法长期工作，导致实际生产中的电解质温度测量成本高、精度低，且其测量的数值受环境影响以及人为读数的影响较大。对铝电解生产数据进行分析并提取槽温预测相关特征，从而高效、准确地对槽温进行预测，可提高铝电解生产过程的生产效率，对实现铝电解过程的精细化智能控制具有重要意义。
铝电解槽温预测是一个涉及到多参数多特征的复杂问题。目前文献主要通过基于数据驱动的软测量方法对槽温进行建模和预测，其涉及的输入变量主要包括铝水平、电解质水平、氧化铝浓度等采样周期为一天一次的工艺数据，利用支持向量机和BP神经网络等监督方法对槽温进行预测。但是，实际的铝电解生产过程是具有时序特点的，数据间的时序相关性也是用于槽温预测所必须考虑的特征信息。另外由于铝电解生产过程时滞大、噪声强、高耦合，因此原始的槽温数据具有较的高复杂度，如果采用单一的神经网络预测模型对原始槽温进行预测会造成精度不高。
发明内容
本发明的目的在于提供一种基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，包括如下步骤：
步骤一、选择得到原始铝电解的预测输入数据；预测输入数据包括长周期数据、短周期数据和对应的槽温；按照时间序列收集预测输入数据并并进行归一化预处理，然后划分为训练集和测试集；
步骤二、建立LSTM-CNN和ICBAM长短期特征提取网络；LSTM-CNN和ICBAM长短期特征提取网络包括LSTM-CNN模型、ICBAM模型和AAW模型；
步骤三、将训练集输入LSTM-CNN和ICBAM长短期特征提取网络进行训练，得到训练好的LSTM-CNN和ICBAM长短期特征提取网络，其中，训练集中的长周期数据输入LSTM-CNN模型提取槽温的长期深度特征，训练集中的短周期数据输入ICBAM模型提取槽温的短期深度特征，通过AAW模型对长期深度特征和短期深度特征进行融合短期深度特征进行融合得到融合特征；
步骤四、采用测试集对训练好的LSTM-CNN和ICBAM长短期特征提取网络进行测试，若预测误差达到预设要求，则得到最终的LSTM-CNN和ICBAM长短期特征提取网络，否则收集原始铝电解的预测输入数据重新进行步骤三；
步骤五、提取现有的铝电解的预测输入数据输入最终的LSTM-CNN和ICBAM长短期特征提取网络，预测得到当前的槽温。
进一步的改进，所述预测输入数据包括日平均电压、氧化铝浓度、系列电流、出铝量、分子比和铝水平；其中日平均电压、系列电流、氧化铝浓度、出铝量、分子比、铝水平为长周期数据；槽电压以及阳极电流为短周期数据。
进一步的改进，所述预测输入数据的选择方法如下：
短周期数据只有槽电压以及阳极电流，因此不进行选择；
然后选取影响槽温变化的长周期输入变量，将影响槽温变化的长周期输入变量进行归一化预处理，然后使用随机森林特征选择模型选择得到综合评分选择关键输入特征作为预测输入数据：
A.得到影响槽温变化的长周期输入变量的名称集合FN和特征集D，随机森林特征选择模型的决策树数目为N，特征集D的维度记为M；对特征集D进行i＝1,2,…,N次重采样得到数据集Di，未被抽中的样本称为袋外数据，其用来作为验证集测试随机森林特征选择模型的泛化性能；
B.对于i＝1,2,…,N，在Di样本集上训练决策树Ti，袋外数据集为
并在基于Ti上对/>
进行预测，计算袋外数据误差errOOBi；Di样本集即采样得到的第i个数据集；
C.对于j＝1,2,…,M，对
中的特征Xj，其中i指第i次采样，j指第j个特征，进行随机扰动，扰动后的袋外数据集为/>
然后基于Ti对/>
进行预测，统计扰动后的袋外数据误差为errOOBij；
D.特征Xj的重要性为
最终输入变量特征重要性评分集合为FD＝{(FN1,FI1),(FN2,FI2),…,(FNM,FIM)}。
进一步的改进，影响槽温变化的长周期输入变量包括日平均电压、系列电流、铝水平、电解质水平、出铝量、氟盐添加量、氟盐添加次数、氧化铝浓度、分子比、针振和电压摆动作。
进一步的改进，所述归一化预处理的方法如下：
1.1剔除缺少主要数据的空缺数据项和明显不符合实际情况的数据项；
1.2对预测输入数据进行无量纲标准化处理，具体实施步骤如下：
使用z-score标准化对铝电解生产过程中的预测输入数据进行预处理，对于预测输入数据中某个变量的样本序列x1,x2,...xi,...,xn，z-score标准化的公式如下：
式中xi表示样本序列的第i个采样值，zi表示经过z-score标准化之后的数据，μ表示x1,x2,...xi,...,xn的均值，σ表示x1,x2,...xi,...,xn的标准差；原始数据经过z-score标准化处理后，变量被缩放到均值为0，方差为1的分布中。
进一步的改进，所述步骤三中，长周期数据输入LSTM-CNN模型提取槽温的长期深度特征的步骤如下：
3.1.1)将长周期数据输入LSTM模型中，经过两层LSTM之后得到趋势特征再经过一层Reshape层提升数据维度，使之满足后续CNN的输入数据维度；
3.1.2)将LSTM层输出的趋势特征输入CNN模块，通过二维卷积充分提取长周期数据和槽温间的深度关联，然后再通过Dropout层使神经元随机失活以降低过拟合概率，再通过池化层得到有关槽温的长期深度特征记为XLF。
进一步的改进，所述步骤三中，短周期数据输入ICBAM模型提取槽温的短期深度特征的步骤如下：
3.2.1)用1D-CNN对槽电压提取深度时序特征并且用2D-CNN对24维阳极电流提取时间和空间特征，然后经过Dropout层和池化层之后再由广播相加的方式进行初步融合得到特征图；
3.2.1)通过ICBAM模块的通道注意力和空间注意力对特征图进行注意力加权：对输入的特征图分别进行全局最大池化和全局平局池化，公式为
其中，
为经过全局最大池化后的向量，/>
为经过全局平均池化后的向量，c为特征图的通道数为c，fc(a，b)为特征图的某一个通道下，位置为(a，b)的元素值，M为特征图的高度，N为特征图的宽度；
然后分别对
和/>
两次全连接操作和一次激活操作得到FMax和FAvg，FMax为将
经过两次全连接和一次激活操作得到的向量，FAvg为将/>
经过两次全连接和一次激活操作得到的向量；
M(F)＝φ(f([AvgPool(F)；MaxPool(F)；AvgPool(F)+MaxPool(F)])) (4)
式中φ为sigmoid激活操作，f为卷积操作，M(F)为经过空间注意力加权之后的权值,AvgPool(F)为对输入的特征图在通道维度进行平均池化，MaxPool(F)为对输入的特征图在通道维度进行最大池化；M(F)与新的特征图F相乘得到短期深度特征XSF。
进一步的改进，所述步骤三中，AAW对长短期深度特征进行融合的步骤如下：
3.3.1)将长期深度特征XLF和短期深度特征XSF输入紧凑性融合模块，计算方式如下：
其中
和Max分别表示元素求和、元素求积以及元素求最大值；XS为将XLF和XSF经过逐点相加后的融合特征，XP为将XLF和XSF经过逐点相乘后的融合特征，XM为将XLF和XSF经过逐点取最大值后的融合特征；
然后通过拼接的方式将XS、XP、XM堆叠在一起形成特征图XF＝[XS,XP,XM]；然后为了以较少的参数改变特征通道数并自适应地消除特征间的差异，将特征图XF输入到卷积核大小为1×1的卷积块中XC＝F(XF)＝fReLU(fBN(fConv(XF)))，其中fConv为1×1卷积操作，fBN为批量归一化BN，fReLU为ReLU激活操作；XC为经过卷积块操作之后的特征图，F(XF)为对XF进行卷积块操作；
3.3.2)将紧凑性融合模块的输出XC输入到全局与局部注意力模块，经过1×1的卷积块操作后的得到的局部特征表示L(X)的计算为：
L(X)＝fBN(PWConv2(fReLU(fBN(PWConv1(X)))))，
其中，PWConv1和PWConv2分别为卷积核大小为C/r×C×1×1和C×C/r×1×1的卷积操作，X＝XC，fBN为batchnormal标准化操作，fReLU为ReLU激活函数；
通过将XC在每个通道上分别经过全局最大池化和全局平均池化后，再分别通过1×1卷积块得到两个特征向量，再将两个特征向量相加得到全局特征表示G(X)，全局特征表示G(X)经过全局和局部注意力融合后得到的细化特征X′：
最终AAW模型的计算公式为：
式中Y表示为长短期自适应融合特征，其大小为C×W×H，Fu表示为紧凑性融合模块；M(Fu(XLF,XSF))为长期特征的融合权重，1-M(Fu(XLF,XSF))为短期特征的融合权重，为FU表示紧凑性融合模块，XLF和XSF分别代表长期深度特征和短期深度特征；
M(Fu(XLF,XSF))和1-M(Fu(XLF,XSF))均为0到1之间实数，从而使得特征融合网络模型能够在长期特征和短期特征之间进行自适应加权融合。
进一步的改进，训练集和测试集均包含多个样本数据；每个样本数据均包括长周期数据和短周期数据，其中每个样本数据中，长周期数据选择预测点之前一周的数据，短周期数据选择预测点之前2小时的数据；长周期数据的采样周期为一天，短周期数据的采样周期为2min。
与现有技术相比，本发明的有益效果是：
1.通过对原始铝电解生产数据进行输入特征选择来选取关键特征，并根据铝电解生产过程中的数据特点，以及它们与槽温之间的耦合关系，提出了分别针对长周期数据和短周期数据的特征提取方法。对于长周期工艺数据，它们对槽温的影响在于总体趋势的时序变化影响，通过LSTM-CNN模型，依次提取了影响槽温变化的趋势特征以及深度特征。另外，针对短周期的槽电压和阳极电流数据，通过1DCNN和2DCNN依次提取它们的浅层特征，然后通过ICBAM提取它们的深度特征，得到它们对于影响槽温波动的细节信息。最后出于考虑多尺度数据对于槽温变化的不同影响，提出基于AAW的自适应注意力加权的特征融合方法，从而能够同时把握长期特征和短期特征对于槽温的影响，提高模型预测的准确率。
2.综合考虑了铝电解生产过程中的长周期数据和短周期数据对槽温变化的影响，一方面比传统的槽温软测量方法更多地考虑了数据间的时序信息，另一方面比传统的预测方法考虑了多尺度的特征信息，预测精度更高，便于在工程实际中进一步推广，指导操作变量的调整，实现优化控制。
附图说明
图1是本发明的流程图；
图2是本发明的网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明中一种基于长短期特征提取和自适应特征融合的铝电解槽温预测方法，该方法包括以下步骤：
S1：对原始铝电解生产数据进行预处理
由于铝电解生产过程中各参数变量之间是强耦合、互相关的，大多数工艺变量都和槽温存在一定程度的非线性关联。但是这些数据可能由于设备故障，噪音干扰或数据记录错误等原因，出现空缺或明显不符合实际情况的数据，因此需要对这些数据进行预处理，详细步骤如下：
(1)剔除缺少主要数据的空缺数据项和明显不符合实际情况的数据项；
(2)由于不同的铝电解过程数据蕴含不同的物理含义，其量纲和数值范围也有所不同，因此需要对其进行无量纲标准化处理，具体实施步骤如下：
使用z-score标准化对铝电解生产过程数据进行预处理，该方法基于原始数据样本的均值与标准差对数据进行缩放，其适用于可能有不在正常取值范围之内的异常数据的情况。对于某个变量的样本序列x1,x2,...xi,...,xn，z-score标准化的公式如下：
式中xi表示为经过原始数据，zi表示经过z-score标准化之后的数据，μ表示原始数据的均值，σ表示原始数据的标准差。原始数据经过z-score标准化处理后，变量被缩放到均值为0，方差为1的分布中。
S2：用经过预处理之后的数据建立随机森林特征选择模型，根据综合评分选择关键输入特征，降低数据冗余。
根据铝电解生产经验知识，选取电压、电流、铝水平、电解质水平、出铝量、氟盐添加量、氟盐添加次数、氧化铝浓度、分子比、针振、摆动作为影响槽温变化的输入变量。这些参数变量之间是强耦合、互相关的，若把它们都当作槽温的预测模型的输入，则将会造成维数灾难问题，使模型的预测效率降低。因此选择标准、合适的数据特征作为模型的输入能对预测效果产生事半功倍的效果。考虑模型拟合效果和训练时间，将随机森林决策树的数量设置为100，并使用均方误差作为误差评估函数。具体步骤如下：
(1)对于输入特征变量名称集合FN，特征集记为D，决策树数目为N，特征集D的维度记为M。对原始数据进行i＝1,2,…,N次重采样得到数据集Di，从未被抽中的样本则被称为袋外数据(out-of-bag,OOB)，其用来替代验证集来测试模型的泛化性能，而且可以用来度量输入特征的重要性，从而进行排序实现特征选择。
(2)对于i＝1,2,…,N，在Di样本集上训练决策树Ti，袋外数据集为
并在基于Ti上对/>
进行预测，计算袋外数据误差errOOBi。
(3)对于j＝1,2,…,M，对
中的特征Xj进行随机扰动，扰动后的袋外数据集为
然后基于Ti对/>
进行预测，统计扰动后的袋外数据误差为errOOBij。
(4)特征Xj的重要性为
最终输入变量特征重要性评分集合为FD＝{(FN1,FI1),(FN2,FI2),...,(FNM,FIM)}。
(5)通过选择重要性评分位于中位数之前的变量，同时重要性评分的总和需要到到0.8，最终确定评分前6的变量为最终的特征输入变量，即电压、氧化铝浓度、电流、出铝量、分子比、铝水平。
S3：使用LSTM-CNN模型提取槽温的长期深度特征
(1)LSTM适用于处理时间序列相关问题，将选取的变量以时序数据的格式输入LSTM模块中，经过输入门、输出门、遗忘门进行信息传播得到趋势特征。经过两层LSTM之后再经过一层Reshape层提升数据维度，使之满足后续CNN的输入数据维度。
(2)将LSTM层输出的趋势特征输入CNN模块，通过二维卷积充分提取铝电解中各类数据和槽温间的深度关联，然后再通过Dropout层使神经元随机失活以降低过拟合概率，再通过池化层调整特征图维度得到有关槽温的长期深度特征。
S4：使用ICBAM模型提取槽温的短期深度特征
(1)用1D-CNN对槽电压提取深度时序特征并且用2D-CNN对24维阳极电流提取时间和空间特征，经过Dropout层和池化层之后再由广播相加的方式对它们进行初步融合。
(2)通过ICBAM模块的通道注意力和空间注意力对短期深度特征进行注意力加权，对输入的特征图分别进行全局最大池化和全局平局池化，公式为
然后分别对/>
和/>
两次全连接操作和一次激活操作得到FMax和FAvg，即/>
式中，/>
为ReLU激活函数，W1和W2为全连接的权值，并将它们进行逐点相加。然后空间注意力机制是对通道进行压缩，在通道维度分别进行了全局平均池化和全局最大池化，其计算过程为
M(F)＝φ(f([AvgPool(F)；MaxPool(F)；AvgPool(F)+MaxPool(F)])) (4)
式中φ为sigmoid激活操作，f为卷积操作。
S5：通过AAW对长短期深度特征进行融合
(1)将长短期深度特征输入紧凑性融合模块，XLF和XSF分别为提取出的槽温相关的长期特征和短期特征，计算方式如下：
其中
和Max分别表示元素求和、元素求积以及元素求最大值。然后通过拼接的方式将它们堆叠在一起XF＝[XS,XP,XM]。然后为了以较少的参数改变特征通道数并自适应地消除特征间的差异，将特征图XF输入到卷积核大小为1×1的卷积块中XC＝F(XF)＝fReLU(fBN(fConv(XF)))，其中fConv为1×1卷积操作，fBN为批量归一化BN，fReLU为ReLU激活操作。
(2)将紧凑性融合模块的输出输入到全局与局部注意力模块，经过1×1的卷积块操作后的局部特征表示L(X)的计算为L(X)＝fBN(PWConv2(fReLU(fBN(PWConv1(X)))))，全局特征表示G(X)则为分别通过全局最大池化和全局平均池化后再经过1×1卷积块，最后将两部分相加得到的特征图，最终经过全局和局部注意力融合后得到的细化特征计算为
其中M(X)大小为C×H×W，它表示生成的注意力权值，σ表示sigmoid激活函数，/>
表示广播相加，/>
为按元素相乘。最终AAW模型的计算公式为
式中Y表示为长短期自适应融合特征，其大小为C×W×H，Fu表示为紧凑性融合模块。M(Fu(XLF,XSF))为长期特征的融合权重，1-M(Fu(XLF,XSF))为短期特征的融合权重，它们均为0到1之间实数，从而使得特征融合网络模型能够在长期特征和短期特征之间进行自适应加权融合。
S6：通过模型训练对槽温进行预测
(1)长周期数据包括平均电压、平均电流、氧化铝浓度、出铝量、分子比、铝水平，这些数据采样周期为一天，一共包含730条数据。短周期数据包括槽电压以及阳极电流数据，它们的采样周期为2min，取槽温预测点前2h的数据作为一条样本，则一共包含43800条数据，按照8:2的比例划分训练集和测试集。
(2)为了评估验证所提出方法的预测性能，采用了不同的评价指标作为判断模型好坏的判据，它们分别为均方根误差RMSE＝2.716、平均绝对误差MAE＝2.128、平均绝对百分比误差MAPE＝0.2277％，因此其具有良好的预测能力。
本发明提出一种基于长短期特征提取和自适应特征融合的铝电解槽温预测方法，首先利用铝电解生产过程中的长周期工艺数据，通过LSTM-CNN提取影响槽温的长期特征，同时利用槽电压和阳极电流短周期数据，通过基于通道和空间注意力机制的ICBAM模块提取影响槽温的短期特征。最后通过基于自适应注意力加权的特征融合模块将长短期特征加权融合，得到最终的用于槽温预测的深度特征。通过全面综合考虑各类数据对于槽温变化的影响和权重，槽温预测准确率可进一步提高。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，包括如下步骤：
步骤一、选择得到原始铝电解的预测输入数据；预测输入数据包括长周期数据、短周期数据和对应的槽温；按照时间序列收集预测输入数据并并进行归一化预处理，然后划分为训练集和测试集；
步骤二、建立LSTM-CNN和ICBAM长短期特征提取网络；LSTM-CNN和ICBAM长短期特征提取网络包括LSTM-CNN模型、ICBAM模型和AAW模型；
步骤三、将训练集输入LSTM-CNN和ICBAM长短期特征提取网络进行训练，得到训练好的LSTM-CNN和ICBAM长短期特征提取网络，其中，训练集中的长周期数据输入LSTM-CNN模型提取槽温的长期深度特征，训练集中的短周期数据输入ICBAM模型提取槽温的短期深度特征，通过AAW模型对长期深度特征和短期深度特征进行融合短期深度特征进行融合得到融合特征；
步骤四、采用测试集对训练好的LSTM-CNN和ICBAM长短期特征提取网络进行测试，若预测误差达到预设要求，则得到最终的LSTM-CNN和ICBAM长短期特征提取网络，否则收集原始铝电解的预测输入数据重新进行步骤三；
步骤五、提取现有的铝电解的预测输入数据输入最终的LSTM-CNN和ICBAM长短期特征提取网络，预测得到当前的槽温。
2.如权利要求1所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，所述预测输入数据包括日平均电压、氧化铝浓度、系列电流、出铝量、分子比和铝水平；其中日平均电压、系列电流、氧化铝浓度、出铝量、分子比、铝水平为长周期数据；槽电压以及阳极电流为短周期数据。
3.如权利要求1所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，所述预测输入数据的选择方法如下：
短周期数据只有槽电压以及阳极电流，因此不进行选择；
然后选取影响槽温变化的长周期输入变量，将影响槽温变化的长周期输入变量进行归一化预处理，然后使用随机森林特征选择模型选择得到综合评分选择关键输入特征作为预测输入数据：
A.得到影响槽温变化的长周期输入变量的名称集合FN和特征集D，随机森林特征选择模型的决策树数目为N，特征集D的维度记为M；对特征集D进行i＝1,2,…,N次重采样得到数据集Di，未被抽中的样本称为袋外数据，其用来作为验证集测试随机森林特征选择模型的泛化性能；
B.对于i＝1,2,…,N，在Di样本集上训练决策树Ti，袋外数据集为
并在基于Ti上对
进行预测，计算袋外数据误差errOOBi；Di样本集即采样得到的第i个数据集；
C.对于j＝1,2,…,M，对
中的特征Xj，其中i指第i次采样，j指第j个特征，进行随机扰动，扰动后的袋外数据集为/>
然后基于Ti对/>
进行预测，统计扰动后的袋外数据误差为errOOBij；
D.特征Xj的重要性为
最终输入变量特征重要性评分集合为FD＝{(FN1,FI1),(FN2,FI2),...,(FNM,FIM)}。
4.如权利要求3所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，影响槽温变化的长周期输入变量包括日平均电压、系列电流、铝水平、电解质水平、出铝量、氟盐添加量、氟盐添加次数、氧化铝浓度、分子比、针振和电压摆动作。
5.如权利要求1所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，所述归一化预处理的方法如下：
1.1剔除缺少主要数据的空缺数据项和明显不符合实际情况的数据项；
1.2对预测输入数据进行无量纲标准化处理，具体实施步骤如下：
使用z-score标准化对铝电解生产过程中的预测输入数据进行预处理，对于预测输入数据中某个变量的样本序列x1,x2,...xi,...,xn，z-score标准化的公式如下：
式中xi表示样本序列的第i个采样值，zi表示经过z-score标准化之后的数据，μ表示x1,x2,...xi,...,xn的均值，σ表示x1,x2,...xi,...,xn的标准差；原始数据经过z-score标准化处理后，变量被缩放到均值为0，方差为1的分布中。
6.如权利要求1所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，所述步骤三中，长周期数据输入LSTM-CNN模型提取槽温的长期深度特征的步骤如下：
3.1.1)将长周期数据输入LSTM模型中，经过两层LSTM之后得到趋势特征再经过一层Reshape层提升数据维度，使之满足后续CNN的输入数据维度；
3.1.2)将LSTM层输出的趋势特征输入CNN模块，通过二维卷积充分提取长周期数据和槽温间的深度关联，然后再通过Dropout层使神经元随机失活以降低过拟合概率，再通过池化层得到有关槽温的长期深度特征记为XLF。
7.如权利要求1所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，所述步骤三中，短周期数据输入ICBAM模型提取槽温的短期深度特征的步骤如下：
3.2.1)用1D-CNN对槽电压提取深度时序特征并且用2D-CNN对24维阳极电流提取时间和空间特征，然后经过Dropout层和池化层之后再由广播相加的方式进行初步融合得到特征图；
3.2.1)通过ICBAM模块的通道注意力和空间注意力对特征图进行注意力加权：对输入的特征图分别进行全局最大池化和全局平局池化，公式为
其中，
为经过全局最大池化后的向量，/>
为经过全局平均池化后的向量，c为特征图的通道数为c，fc(a，b)为特征图的某一个通道下，位置为(a，b)的元素值，M为特征图的高度，N为特征图的宽度；
然后分别对
和/>
两次全连接操作和一次激活操作得到FMax和FAvg，FMax为将/>
经过两次全连接和一次激活操作得到的向量，FAvg为将/>
经过两次全连接和一次激活操作得到的向量；
M(F)＝φ(f([AvgPool(F)；MaxPool(F)；AvgPool(F)+MaxPool(F)])) (4)
式中φ为sigmoid激活操作，f为卷积操作，M(F)为经过空间注意力加权之后的权值,AvgPool(F)为对输入的特征图在通道维度进行平均池化，AvgPool(F)为对输入的特征图在通道维度进行最大池化；M(F)与新的特征图F相乘得到短期深度特征XSF。
8.如权利要求1所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，所述步骤三中，AAW对长短期深度特征进行融合的步骤如下：
3.3.1)将长期深度特征XLF和短期深度特征XSF输入紧凑性融合模块，计算方式如下：
其中
和Max分别表示元素求和、元素求积以及元素求最大值；XS为将XLF和XSF经过逐点相加后的融合特征，XP为将XLF和XSF经过逐点相乘后的融合特征，XM为将XLF和XSF经过逐点取最大值后的融合特征；
然后通过拼接的方式将XS、XP、XM堆叠在一起形成特征图XF＝[XS,XP,XM]；然后为了以较少的参数改变特征通道数并自适应地消除特征间的差异，将特征图XF输入到卷积核大小为1×1的卷积块中XC＝F(XF)＝fReLU(fBN(fConv(XF)))，其中fConv为1×1卷积操作，fBN为批量归一化BN，fReLU为ReLU激活操作；XC为经过卷积块操作之后的特征图，F(XF)为对XF进行卷积块操作；
3.3.2)将紧凑性融合模块的输出XC输入到全局与局部注意力模块，经过1×1的卷积块操作后的得到的局部特征表示L(X)的计算为：
L(X)＝fBN(PWConv2(fReLU(fBN(PWConv1(X)))))，
其中，PWConv1和PWConv2分别为卷积核大小为C/r×C×1×1和C×C/r×1×1的卷积操作，X＝XC，fBN为batchnormal标准化操作，fReLU为ReLU激活函数；
通过将XC在每个通道上分别经过全局最大池化和全局平均池化后，再分别通过1×1卷积块得到两个特征向量，再将两个特征向量相加得到全局特征表示G(X)，全局特征表示G(X)经过全局和局部注意力融合后得到的细化特征X′：
最终AAW模型的计算公式为：
式中Y表示为长短期自适应融合特征，其大小为C×W×H，Fu表示为紧凑性融合模块；M(Fu(XLF,XSF))为长期特征的融合权重，1-M(Fu(XLF,XSF))为短期特征的融合权重，为FU表示紧凑性融合模块，XLF和XSF分别代表长期深度特征和短期深度特征；
M(Fu(XLF,XSF))和1-M(Fu(XLF,XSF))均为0到1之间实数，从而使得特征融合网络模型能够在长期特征和短期特征之间进行自适应加权融合。
9.如权利要求1所述的基于LSTM-CNN和ICBAM长短期特征提取的铝电解槽温预测方法，其特征在于，训练集和测试集均包含多个样本数据；每个样本数据均包括长周期数据和短周期数据，其中每个样本数据中，长周期数据选择预测点之前一周的数据，短周期数据选择预测点之前2小时的数据；长周期数据的采样周期为一天，短周期数据的采样周期为2min。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369675.2A CN116307246A (zh) | 2023-04-10 | 2023-04-10 | 一种基于lstm-cnn和icbam长短期特征提取的铝电解槽温预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369675.2A CN116307246A (zh) | 2023-04-10 | 2023-04-10 | 一种基于lstm-cnn和icbam长短期特征提取的铝电解槽温预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116307246A true CN116307246A (zh) | 2023-06-23 |
Family
ID=86825785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310369675.2A Pending CN116307246A (zh) | 2023-04-10 | 2023-04-10 | 一种基于lstm-cnn和icbam长短期特征提取的铝电解槽温预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116307246A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094360A (zh) * | 2023-10-18 | 2023-11-21 | 杭州同花顺数据开发有限公司 | 一种用户表征提取方法、装置、设备及存储介质 |
| CN117708716A (zh) * | 2024-02-05 | 2024-03-15 | 敏博科技(武汉)有限公司 | 基于回归和时序融合的光伏发电功率/量预测方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819256A (zh) * | 2021-03-08 | 2021-05-18 | 重庆邮电大学 | 一种基于注意力机制的卷积时序房价预测方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN115101136A (zh) * | 2022-05-31 | 2022-09-23 | 北京科技大学 | 一种大型铝电解槽全局阳极效应预测方法 |
-
2023
- 2023-04-10 CN CN202310369675.2A patent/CN116307246A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN112819256A (zh) * | 2021-03-08 | 2021-05-18 | 重庆邮电大学 | 一种基于注意力机制的卷积时序房价预测方法 |
| CN115101136A (zh) * | 2022-05-31 | 2022-09-23 | 北京科技大学 | 一种大型铝电解槽全局阳极效应预测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094360A (zh) * | 2023-10-18 | 2023-11-21 | 杭州同花顺数据开发有限公司 | 一种用户表征提取方法、装置、设备及存储介质 |
| CN117708716A (zh) * | 2024-02-05 | 2024-03-15 | 敏博科技(武汉)有限公司 | 基于回归和时序融合的光伏发电功率/量预测方法及设备 |
| CN117708716B (zh) * | 2024-02-05 | 2024-05-10 | 敏博科技(武汉)有限公司 | 基于回归和时序融合的光伏发电功率预测方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116307246A (zh) | 一种基于lstm-cnn和icbam长短期特征提取的铝电解槽温预测方法 | |
| Khan et al. | Batteries state of health estimation via efficient neural networks with multiple channel charging profiles | |
| Ma et al. | A hybrid transfer learning scheme for remaining useful life prediction and cycle life test optimization of different formulation Li-ion power batteries | |
| CN110751318B (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
| CN114676742A (zh) | 一种基于注意力机制和残差网络的电网异常用电检测方法 | |
| CN113917334B (zh) | 基于进化lstm自编码器的电池健康状态估计方法 | |
| CN112288137A (zh) | 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置 | |
| CN115099296A (zh) | 基于深度学习算法的海浪高度预测方法 | |
| CN115291124A (zh) | 一种容量预测方法及装置 | |
| CN114580262A (zh) | 一种锂离子电池健康状态估计方法 | |
| CN116258087B (zh) | 冰铜品位软测量方法、装置、电子设备及存储介质 | |
| CN117154263A (zh) | 锂电池梯次利用充放电系统及控制方法 | |
| CN116842358A (zh) | 一种基于多尺度卷积和自适应特征融合的软测量建模方法 | |
| CN113469013B (zh) | 一种基于迁移学习和时间序列的电机故障预测方法及系统 | |
| CN115759343A (zh) | 一种基于e-lstm的用户电量预测方法和装置 | |
| CN115275977A (zh) | 一种用电负荷预测方法及装置 | |
| CN114330485A (zh) | 基于pls-svm-ga算法的电网投资能力预测方法 | |
| Sarajcev et al. | Wide & Deep Machine Learning Model for Transformer Health Analysis | |
| CN117829822B (zh) | 一种电力变压器故障预警方法及系统 | |
| CN113988215B (zh) | 一种配电网计量柜状态检测方法及系统 | |
| CN116644562B (zh) | 一种新能源电站运维费用评估系统 | |
| CN115687899B (zh) | 基于高维度纺纱数据的混合特征选择方法 | |
| CN114841059A (zh) | 一种湿法炼锌除钴过程关键指标预测方法和系统 | |
| CN116956696A (zh) | 一种基于改进ssa算法优化svr模型的水质预测方法 | |
| CN117313794A (zh) | 基于boa-lstm算法的变压器顶层油温预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |