CN113537539B - 一种基于注意力机制的多时间步供热用气量预测模型 - Google Patents
一种基于注意力机制的多时间步供热用气量预测模型 Download PDFInfo
- Publication number
- CN113537539B CN113537539B CN202010292974.7A CN202010292974A CN113537539B CN 113537539 B CN113537539 B CN 113537539B CN 202010292974 A CN202010292974 A CN 202010292974A CN 113537539 B CN113537539 B CN 113537539B
- Authority
- CN
- China
- Prior art keywords
- model
- time
- data
- prediction
- lstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 10
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims abstract 4
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims abstract 4
- 238000012549 training Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及AMS‑LSTM预测模型，其主要技术特点是：提出一种供热用气量预测模型，该模型将时间步作为模型优化的一个超参数，并基于贝叶斯超参数优化算法，对时间步进行优化选择。为了进一步提升模型的预测精度，根据注意力机制构建了引入注意力机制的AMS‑LSTM预测模型，并通过测试集数据验证模型的准确性。本发明设计合理，为了验证模型的准确性，采用10分钟时间尺度的供热数据作为实验的数据集。通过RMSE和MAPE两个评价标准对AMS‑LSTM模型和LSTM模型在不同时间步的预测效果进行评估。结果发现，无论是10分钟时间尺度还是1小时时间尺度，本发明提出的模型都有不错的预测效果。本发明对供热领域的用气量预测有很好的适用性，可以更有效地进行用气量预测，从而有效地利用能源。
Description
技术领域
本发明属于供热领域的时序数据预测，涉及一种基于注意力机制的多时间步LSTM的时间序列预测模型。
背景技术
现在时间序列预测是热门的研究方向之一。时间序列就是按照时间顺序记录的一组数据，普遍存在于交通、金融、物流、科学工业等诸多领域，如天气数据的变化、股票价格序列的变化以及电力负荷的变化等，它反映了事物随着时间推移而产生状态上的变化与发展规律。时间序列数据在变化过程中都有某种特定的规律性。
时间序列数据挖技术就是从大量的时间序列数据记录中获取研究对象内在隐含未知的，但是应用价值高的、具有强烈时间特性的信息，并根据不同行业的需求对时间序列进行趋势的预测，指导人们日常的生活和工业生产等行为。
对于复杂的时间序列预测问题来说，考虑多时间步的历史数据对预测效果可能有更好的提升。对于特征序列的时间步长选择是一个关键问题，考虑更多的时间步长预测能考虑更多的信息进而得到更好的预测效果，但时间步长增大会导致在模型训练时耗费更多的时间，冗余的时间步长数据也会降低预测精准度。此外，基于不同时间步长的预测模型，输入数据的维度与格式会有所不同，模型的训练的时间也会有很大差异。而时间步长这一参数不能通过训练过程进行优化，因为在训练模型时，会根据设定的时间步长，对时间序列的数据进行一定格式的处理，再通过神经网络每次训练得到相应的模型。因此可以将时间步长作为一个待调优的超参数进行调优，以得到更加合适的预测模型。
基于机器学习或深度学习的时间序列预测算法中包含了许多的参数，这些参数有的是可以通过模型训练进行优化的，如神经网络中的权重。神经网络由众多的神经元组成，在进行训练时，每一次迭代优化会更新每一个神经元的权重以减少损失函数的值。对于如神经网络的权重这样可以通过迭代的训练进行更新优化，这种称之为模型的参数，然而模型训练迭代优化不能更新所有的参数，这部分被称之为超参数。这些训练好的参数就是这个算法的模型。而超参数优化的目的是找到给定机器学习算法或神经网络模型的最优超参数组合，使得该算法返回在验证集上测量的最佳性能。
然而对于超参数优化来说，评估目标函数以找到最优的超参数组合的过程代价比较大。对于手动调参来说，往往需要根据开发人员的经验，通过观测训练过程中或者在验证模型过程中损失函数在数值上发生的变化评估判断训练状态，在测试过程中算验证相应的评估分数并根据分数对该超参数组合进行评估。每个超参数都有一定的选择范围，而不同超参数的组合其需要评估的数量往往比较大，所花费的时间代价也会很大。
网格搜索作为目前使用最为广泛的超参数寻找算法，它会规定超参数一定的搜索范围，并通过多次循环遍历在相应的范围里确定最优的超参数组合。对于网格搜索，如果对每个参数给出一个较大的搜索范围，并且搜索的步长比较小的话，可以找到全局的最优超参数组合。网格搜索相比于手动调参，更为简单高效，能节省开发人员在模型调参花费的时间成本。
随机搜索会从相应的分布中采样一定数量的超参数。与网格搜索相比，它会在寻找最优超参数花费更少的时间。如果采样的样本集比较大，也可以找到使得全局最优的超参数组合设置，或是其近似值。相比网格搜索，更能节省开发人员调参花费的成本。
贝叶斯超参数优化会根据过去的评估结果，并使用这些结果形成概率模型，将超参数映射到相应的目标函数上得到得分概率。这种概率模型被称作目标函数的“代理”，表示为p(y|x).对于贝叶斯优化方法，代理比目标函数更容易进行优化。贝叶斯参数优化通常先建立目标函数的代理概率模型，然后找到在代理函数上表现最佳的超参数，并将这些超参数应用于真正的目标函数上，从而更新最新的代理模型，当达到设置的最大迭代次数时，停止对代理模型的更新。贝叶斯方法通过选择下一组超参数在代理函数上的表现，来评估实际的目标函数，最终得到最佳的超参数组合。
目前，在机器翻译和图像描述生成等领域，注意力机制已经取得了巨大的成功。一般的神经网络机器翻译模型采用的是Encoder-Decoder的方式，也就是“编码-解码”的方式进行序列到序列的转换。而输入序列的所有信息都需要保存在编码向量中，通过编码向量进行有效的解码，对于长序列来说先前的信息传递中会有所丢失。在注意力机制被引入之后，输入序列的每个信息都能够得到很好的储存，到了解码时就可以很容易地对相关的信息进行选择。既可以避免对输入序列所包含的全部信息进行传递，又使得输入序列的信息直接传递到解码过程的每一步。而对于图像生成领域，也可以采用“编码-解码”的方式进行。其编码器可以为一个卷积神经网络，提取图像的高级特征表示为编码中间向量，解码器可以为一个循环神经网络，初始输入向量为编码中间向量，生成图像描述的文本。而利用注意力机制可以获取前几个关键单词的信息和来自图像的信息，这样可以进一步提升模型的准确度。而对于时间序列预测来说，注意力机制可以理解为一种资源分配机制，可以通过对输入时间步赋予不同的权重，突出更加重要信息的影响，使模型更易学习序列中不同时间步长的相互依赖的关系。
基于以上研究方法的分析，本发明提出引入注意力机制的多时间步长输入的LSTM供热用气量预测模型，来实现对用气量的预测拟合。
发明内容
本发明是对供热用气量数据进行预测，首先考虑到更多时间步的历史数据对预测效果可能有更好的提升，但对于时间步的选择比较困难。时间步长增大会导致在模型训练时耗费更多的时间，冗余的时间步长数据也会降低预测精准度。而时间步长这一参数不能通过训练过程进行优化，模型会根据确定好的时间步长来确定模型的输入数据的格式，再通过神经网络训练得到相应的模型。因此可以考虑将输入的时间步长作为模型调节的超参数，并通过贝叶斯优化算法对其进行优化选择。本发明选用LSTM神经网络作为预测模型，由于输入的历史数据为多时间步长，因此可以在LSTM神经网络模型的基础上引入基于时间步的注意力机制进一步提高多时间步输入模型的预测效果。
一种基于注意力机制的多时间步供热用气量预测模型，包含以下步骤：
步骤1：对进行空值数据处理以及无效数据处理，划分好训练集和测试集，并按照不同的时间步长，构造预测模型的输入。
步骤2：选用LSTM模型构造供热用气量的预测模型，并在LSTM单元结构中，引入对不同时间步的注意力机制，模型的输入为室外气温、循环泵出口压力的前T个时间步的历史数据，模型的输出为下一时刻的供热用气量。
步骤3：构建网络模型后，利用贝叶斯超参数优化算法对输入的时间步长T进行选择，得到最终的预测模型。
步骤4：初始化模型参数，包括生成最终的预测模型的网络权重和偏置。
步骤5：将训练好的模型保存，并输入测试集数据，得到最终的预测结果
附图说明
图1一种基于注意力机制的多时间步供热用气量预测模型流程图
图2引入基于时间步的注意力机制的LSTM结构图
图3各时间步评估分数曲线图
图4引入注意力机制模型与LSTM模型RMSE结果对比图
具体实施方式
步骤1：实验数据的采集与预处理，并按照不同的时间步长，构造预测模型的输入。
在本实例中，采用的数据为供热季2018年1月1日至2018年1月28日的用气量数据，共40320条有效数据。其中，选用前3周的原始数据作为训练集用于模型训练，原始数据其余的数据作为测试集验证模型的可行性，对供热用气量进行预测。
对于模型输入的时间序列可以表示为
X＝{X1 T，…，XT T} 式(1)
其中，T表示的是时间步长，即模型是利用前T时刻X的数据作为预测模型的输入，得到T+1时刻的供热用气负荷yT+1而每一个时刻T的输入数据XT可以表示为
XT＝{x1，…，xn} 式(2)
其中，XT表示为T时刻的时间序列数据片段，而xn表示T时刻每一个特征的观测值，n则表示模型考虑的特征个数。
由于后续需要对时间步长进行选择处理，为方便处理，设计程序通过输入指定的时间步长，得到最终处理好的数据。
步骤2：选用LSTM模型构造供热用气量的预测模型，并在LSTM单元结构中，引入对不同时间步的注意力机制
模型选用LSTM模型作为基础模型，通过多序列的LSTM输入建模后，考虑到供热用气负荷预测建模需要前序时间段序列中的重要信息，因此模型需要学习不同时刻的信息对于长期预测所起的关键性作用，以进一步增强对供热用气负荷的预测的能力。因此本文考虑基于时间步引入注意力机制，注意力机制的引入主要是LSTM模型结构进行了优化，基于引入注意力机制的Encoder-Decoder模型设计思想，由于不同时刻的隐藏层状态被关注程度是不同的，故引入基于时间的注意力机制构建供热时间序列预测的神经网络模型。
输入序列X首先经过LSTM单元得到隐藏层H，对于每一个时间步都有：
ht，ct＝LSTM(ht-1，ct-1) 式(3)
其中ht，ct分别表示当前时刻t的模型隐藏层状态以及输入数据的记忆状态。注意力机制层的输入为经过LSTM网络层激活处理的输出向量H，根据权重分配原则计算不同时刻向量对应的概率，不断更新迭代出较优的权重参数矩阵。注意力机制层的权重系数计算公式可表示为
et＝μtanh(ωht+b) 式(4)
αt＝softmax(et) 式(5)
式中：et表示第t时刻由LSTM网络层输出向量ht所决定的注意力概率分布值；μ和ω为权重系数；b为偏置系数；注意力机制层在第t时刻的输出由st表示。输出层的输入为注意力机制层的输出。输出层通过全连接层进行计算出输出，可表示为
yt＝Sigmoid(ω0st+b0) 式(7)
这里yt表示为预测的输出值，ω0为权重向量，b0为偏差向量。
步骤3：利用贝叶斯超参数优化算法对输入的时间步长T进行选择，得到最终的预测模型。
对于预测模型，确立了合理的时间步就能确定输入数据的维数与格式。因此合理选择时间步长对预测模型有重要的影响，时间步选取的长度过短，预测模型不能考虑更多时刻的信息，预测精准度较低，如果时间步选取的长度过长，模型的训练难度会增大。时间步长不会随着训练过程发生变化，因此可将其看作模型的超参数，利用上面内容介绍到的贝叶斯超参数优化方法选择合理的时间步长。这里选定MSE函数所为优化的目标函数，并利用式(8)计算模型的评估分数。
s＝1-mse 式(8)
其中，mse表示该时间步长模型在验证集得到的MSE，s表示模型的评估分数，评估分数越高表示模型的预测效果越好，根据分数确定最优的时间步长，由此确定最终的预测模型。
步骤4：将训练数据输入到神经网络进行训练，训练好后的模型进行保存
对于整个的训练过程，模型采用反向传播算法，在梯度优化方面本发明采用Adam算法作为模型的梯度优化算法，相比于随机梯度下降SGD(Stochastic Gradient Descent)法，Adam每次迭代参数的学习步长都有一个确定的范围，不会产生较大的梯度波动，参数比较稳定。模型中的目标损失函数为均方误差函数MSE(Mean-Square Error)，即
上式中，N为训练集中样本总数量，yt为t时刻用气负荷的真实值，
为t时刻的用气负荷的预测值。
为了避免模型出现过拟合现象，采用dropout技术，dropout是指在深度神经网络训练学习的过程中，把神经网络单元以一定的概率随机丢弃，即将该神经元输入输出置0，这部分神经单元在训练过程不参与反向传播，但其权值仍然保留。
步骤5：输入测试数据对模型进行检测，验证其预测及曲线拟合的效果
本发明采用MAPE(Mean Absolute Percentage Error)平均绝对百分误差与RMSE(Root Mean Square Error)均方分误差作为模型准确性的评价标准，MAPE与RMSE的公式表达如下：
式(10)和式(11)中yi，为i时刻的用气量数据真实值，
为i时刻经模型得到的预测值，n为测试集中的数据总量。对于预测模型来说，MAPE和RMSE的值越小代表预测的效果越好。
Claims (1)
1.一种基于注意力机制的多时间步供热用气量预测方法，其特征在于，包含以下步骤：
步骤1.对原始数据中的空值数据和无效数据进行处理，划分好训练集和测试集，并按照不同的时间步长，构造预测模型的输入；采用的数据为距当前时刻D日的时间范围内的原始数据作为初始数据，对供热用气量进行预测；
完成数据采集后，对实际数据中的空值和无效数据进行处理；
由于后续需要对时间步长进行选择处理，设计程序通过输入指定的时间步长，得到最终处理好的不同时间步的数据；
对处理后的数据，按照时间范围先后的3∶1划分为训练集和测试集两部分；
步骤2.选用LSTM模型构造供热用气量的预测模型，并在LSTM单元结构中，引入对不同时间步的注意力机制，模型的输入为室外气温、循环泵出口压力的前T个时间步的历史数据，模型的输出为下一时刻的供热用气量；
由于不同时刻的隐藏层状态被关注成都是不同的，故引入基于时间的注意力机制构建供热时间序列预测的神经网络模型，即基于引入注意力机制的Encoder-Decoder模型涉及思想；
输入序列X首先经过LSTM单元得到隐藏层H，对于每一个时间步都有：
ht，ct＝LSTM(ht-1，ct-1) 式(1)
其中ht，ct分别表示当前时刻t的模型隐藏层状态以及输入数据的记忆状态；注意力机制层的输入为经过LSTM网络层激活处理的输出向量H，根据权重分配原则计算不同时刻向量对应的概率，不断更新迭代出较优的权重参数矩阵；注意力机制层的权重系数计算公式可表示为
et＝μtanh(ωht+b) 式(2)
αt＝softmax(et) 式(3)
式中：et表示第t时刻由LSTM网络层输出向量ht所决定的注意力概率分布值；μ和ω为权重系数；b为偏置系数；αt表示et经过softmax函数处理的输出，它表示将一个数值向量归一化为一个概率分布向量，且各个概率之和为1；注意力机制层在第t时刻的输出由st表示，输出层的输入为注意力机制层的输出；输出层通过全连接层进行计算出输出，可表示为
yt＝Sigmoid(ω0st+b0) 式(5)
这里yt表示为预测的输出值，ω0为权重向量，b0为偏差向量；
步骤3.构建网络模型后，利用贝叶斯超参数优化算法对输入的时间步长T进行选择，得到最终的预测模型；对于预测模型，利用贝叶斯超参数优化方法选择合理的时间步长，这里选定MSE函数所为优化的目标函数，并利用式(6)计算模型的评估分数；
s＝1-mse 式(6)
其中，mse表示该时间步长模型在验证集得到的MSE，s表示模型的评估分数，评估分数越高表示模型的预测效果越好，根据分数确定最优的时间步长，由此确定最终的预测模型；
步骤4.初始化模型参数，包括生成最终的预测模型的网络权重和偏置；对于整个的训练过程，模型采用反向传播算法，在梯度优化方面采用Adam算法作为模型的梯度优化算法，相比于随机梯度下降SGD法，Adam每次迭代参数的学习步长都有一个确定的范围，不会产生较大的梯度波动，参数比较稳定，模型中的目标损失函数为均方误差函数MSE，即
上式中，N为训练集中样本总数量，yt为t时刻用气负荷的真实值，
为t时刻的用气负荷的预测值；
为了避免模型出现过拟合现象，采用dropout技术，dropout是指在深度神经网络训练学习的过程中，把神经网络单元以一定的概率随机丢弃，即将该神经元输入输出置0，这部分神经单元在训练过程不参与反向传播，但其权值仍然保留；
步骤5.将训练好的模型保存，并输入测试集数据，得到最终的预测评价结果；采用MAPE平均绝对百分误差与RMSE均方分误差作为模型准确性的评价标准，MAPE与RMSE的公式表达如下：
式(8)和式(9)中yi，为i时刻的用气量数据真实值，
为i时刻经模型得到的预测值，n为测试集中的数据总量，对于预测模型来说，MAPE和RMSE的值越小代表预测的效果越好。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010292974.7A CN113537539B (zh) | 2020-04-14 | 2020-04-14 | 一种基于注意力机制的多时间步供热用气量预测模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010292974.7A CN113537539B (zh) | 2020-04-14 | 2020-04-14 | 一种基于注意力机制的多时间步供热用气量预测模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113537539A CN113537539A (zh) | 2021-10-22 |
| CN113537539B true CN113537539B (zh) | 2023-04-07 |
Family
ID=78088552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010292974.7A Active CN113537539B (zh) | 2020-04-14 | 2020-04-14 | 一种基于注意力机制的多时间步供热用气量预测模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537539B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239973A (zh) * | 2021-12-21 | 2022-03-25 | 内蒙古弘睿节能科技有限公司 | 基于深度学习的换热站热负荷短期预测方法及预测系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN109243172A (zh) * | 2018-07-25 | 2019-01-18 | 华南理工大学 | 基于遗传算法优化lstm神经网络的交通流预测方法 |
| CN109902862A (zh) * | 2019-02-13 | 2019-06-18 | 北京航空航天大学 | 一种融合时间注意力机制的时间序列预测系统 |
| CN110276439A (zh) * | 2019-05-08 | 2019-09-24 | 平安科技（深圳）有限公司 | 基于注意力机制的时间序列预测方法、装置及存储介质 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN110445646A (zh) * | 2019-07-30 | 2019-11-12 | 广东工业大学 | 一种基于注意力机制和流量预测模型的资源预留方法 |
-
2020
- 2020-04-14 CN CN202010292974.7A patent/CN113537539B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN109243172A (zh) * | 2018-07-25 | 2019-01-18 | 华南理工大学 | 基于遗传算法优化lstm神经网络的交通流预测方法 |
| CN109902862A (zh) * | 2019-02-13 | 2019-06-18 | 北京航空航天大学 | 一种融合时间注意力机制的时间序列预测系统 |
| CN110276439A (zh) * | 2019-05-08 | 2019-09-24 | 平安科技（深圳）有限公司 | 基于注意力机制的时间序列预测方法、装置及存储介质 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN110445646A (zh) * | 2019-07-30 | 2019-11-12 | 广东工业大学 | 一种基于注意力机制和流量预测模型的资源预留方法 |
Non-Patent Citations (1)
| Title |
|---|
| "一种基于重要点的时间序列分段算法";孙志伟等;《计算机工程与应用》;20180930;第54卷(第18期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113537539A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian | Short-term wind speed prediction based on LMD and improved FA optimized combined kernel function LSSVM | |
| CN111191841B (zh) | 一种电力负荷预测方法、装置、计算机设备及存储介质 | |
| CN109142171B (zh) | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 | |
| JP5888640B2 (ja) | 太陽光発電予測装置、太陽光発電予測方法及び太陽光発電予測プログラム | |
| CN110059867B (zh) | 一种swlstm结合gpr的风速预测方法 | |
| CN111027772A (zh) | 基于pca-dbilstm的多因素短期负荷预测方法 | |
| CN111861013A (zh) | 一种电力负荷预测方法及装置 | |
| CN116721537A (zh) | 基于gcn-ipso-lstm组合模型的城市短时交通流预测方法 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN115860177A (zh) | 基于组合式机器学习模型光伏发电功率预测方法及其应用 | |
| CN116644970A (zh) | 一种基于vmd分解和叠层深度学习的光伏功率预测方法 | |
| CN113935513A (zh) | 一种基于ceemdan的短期电力负荷预测方法 | |
| CN116451556A (zh) | 一种混凝土坝变形观测量统计模型构建方法 | |
| CN116702831A (zh) | 一种考虑数据大量丢失的混合短期风电功率预测方法 | |
| CN113360848A (zh) | 一种时序数据预测方法及装置 | |
| CN113537539B (zh) | 一种基于注意力机制的多时间步供热用气量预测模型 | |
| CN115062528A (zh) | 一种针对工业过程时序数据的预测方法 | |
| CN117291069A (zh) | 一种基于改进de与注意力机制的lstm污水水质预测方法 | |
| CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及系统 | |
| CN115481788A (zh) | 相变储能系统负荷预测方法及系统 | |
| CN115796327A (zh) | 一种基于vmd和iwoa-f-gru模型的风电功率区间预测方法 | |
| CN115293406A (zh) | 基于CatBoost和Radam-LSTM的光伏发电功率预测方法 | |
| CN113191526A (zh) | 一种基于随机敏感度的短期风速区间多目标优化预测方法及系统 | |
| CN112183814A (zh) | 一种短期风速预测方法 | |
| Wang et al. | Optimization of Convolutional Long Short-Term Memory Hybrid Neural Network Model Based on Genetic Algorithm for Weather Prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |