CN110717577A - 一种注意区域信息相似性的时间序列预测模型构建方法 - Google Patents

一种注意区域信息相似性的时间序列预测模型构建方法 Download PDF

Info

Publication number
CN110717577A
CN110717577A CN201910849154.0A CN201910849154A CN110717577A CN 110717577 A CN110717577 A CN 110717577A CN 201910849154 A CN201910849154 A CN 201910849154A CN 110717577 A CN110717577 A CN 110717577A
Authority
CN
China
Prior art keywords
time
vector
similarity
time step
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910849154.0A
Other languages
English (en)
Inventor
刘志伟
王帮海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910849154.0A priority Critical patent/CN110717577A/zh
Publication of CN110717577A publication Critical patent/CN110717577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据挖掘领域，更具体地，涉及一种注意区域信息相似性的时间序列预测模型构建方法。本发明主要通过注意力机制关注先前时间步区域信息与当前时间步区域信息的相似度，并使用长短期神经网络中先前所有时间步的加权融合向量与当前时间步模型预测输出及当前时间步的LSTM状态向量作为模型下一个时间步时间序列预测操作的输入。本发明通过长短期神经网络LSTM结合注意区域信息的注意力机制进行时间序列值的预测，相比现有技术中的传统回归方法和一般LSTM神经网络方法，本发明的预测结果具有更高的准确性，模型也更具鲁棒性。

Description

一种注意区域信息相似性的时间序列预测模型构建方法
技术领域
本发明涉及数据挖掘领域，更具体地，涉及一种注意区域信息相似性的时间序列预测模型构建方法。
背景技术
随着大数据时代来临、机器学习算法进一步发展以及人工智能技术日渐成熟，对时间序列数据信息进行深入有效地挖掘，是企业运用数据信息的一个发展方向。如何利用公司所掌握的时间序列数据信息合理有效地为公司自身管理进行决策服务，逐渐成为了各公司关注的焦点。
从对现有的研究成果中分析发现，对于时间序列预测问题，大多数学者通常会选择传统的回归模型(如GM(1,1)，指数平滑等模型)或LSTM神经网络模型去解决实际问题。对于传统的回归模型，在处理高维数据时，很多时候需要通过增加特征数量的方法来实现提高模型拟合度的目的。与此同时，也导致了模型易过拟合的问题。并且，由于现实数据中会存在不少的噪声，传统的回归模型抗噪能力并不强。对于一般的LSTM神经网络模型，通常会把LSTM中的最后一步更新的状态(state)作为下一步时间序列的输入信息。虽然最后更新的状态可以被认为存储了前面步骤所获取的所有信息，但经过大量的实验分析显示，最后一步更新的state存储的信息是有限的。在使用LSTM神经网络进行下一个时间值的预测过程中，每一个预测过程都和之前的输入没有关系了，只与最后一个更新的state有关，但由于state中存储的信息有限，最终会导致模型预测的结果与实际结果值相比偏差较大。
发明内容
为了解决现有技术在时间序列预测领域中，一般的LSTM神经网络模型的预测结果与实际结果值相比偏差较大的不足，本发明提供了一种注意区域信息相似性的时间序列预测模型构建方法。
为解决上述技术问题，本发明的技术方案如下：
一种注意区域信息相似性的时间序列预测模型构建方法，包括以下步骤：
步骤S1：采集时间序列数据，将采集到的时间序列数据进行标准化处理；
步骤S2：将标准化处理后的时间序列数据按先后顺序输入到长短期神经网络LSTM中，获取并保存长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量；
步骤S3：使用卷积神经网络CNN对长短期神经网络LSTM中每个时间步之前连续的多个状态向量进行卷积运算，得到与每一个时间步相对应的区域信息表征向量；
步骤S4：计算时间步之间所对应的区域信息表征向量的相似度，并根据相识度对区域信息表征向量赋予不同的权值；
步骤S5：将区域信息表征向量的权值映射为0～1之间的实数，并保证所有权值映射后的值的和为1；
步骤S6：将每个时间步的状态向量与对应时间步映射后的权值进行加权融合操作，得到最终的注意力表征向量，完成注意区域信息相似性的时间序列预测模型的构建；
步骤S7：使用损失函数以及优化器对权值进行优化，将注意区域信息相似性的时间序列预测模型运算过程中的损失降到最小。
优选的，在步骤S1中，进行标准化处理的方式为采用归一化处理，即：
Figure BDA0002196323420000021
其中，为归一化后的时间序列数据，xi为原始的时间序列数据，xmax、xmin分别表示当前时间序列数据的最大值和最小值。
优选的，在步骤S2中，长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量为：
ht＝LSTM(ht-1,xt) (3)
其中，ht为当前时间步输入更新状态，ht-1为上一时间步输入更新状态，xt为当前时间步输入数据特征值。
优选的，在步骤S3中进行卷积运算时，超出卷积神经网络运算输入的部分用0进行补齐，一个时间步的区域信息抽取公式表示如下：
Vector t＝CNN(ht-T,ht-T+1,...,ht) (4)
其中，T为自定义的一个时间跨步，ht-T表示与当前时间步相差T个时间跨步的时间步，Vector t代表对一个时间跨步信息进行卷积计算后得到的区域信息表征向量。
优选的，在步骤S4中，通过注意力机制自动关注时间步t与上一个时间步t-1之间的区域信息表征向量，使用余弦相似度计算公式计算出时间步t区域信息表征向量与时间步t-1之间的区域信息表征向量相似度，对于相似度更高的区域信息表征向量，则该区域信息表征向量对应时间步LSTM状态向量自动赋予更大的权值，具体的公式表示为：
St＝cos(Vectort,Vectorn) (5)
其中，cos(·)为余弦相似度计算函数，St为相似度，下标n表示当前时刻，即需要预测下一时刻信息的上一个当前时刻，下标t表示前面第t个时间跨步；
Figure BDA0002196323420000031
其中，αt为长短期神经网络对应时间步t的状态向量权值，Sj代表每个时间步计算得到的相似度，St为t时间步的相似度。
优选的，在步骤S6中，进行加权融合操作的具体步骤如下：每个时间步的长短期神经网络状态向量与对应时间步的权值相乘，然后再对t时间步以t-1时间步之间所有加权后的状态向量进行向量加和，得出最终的注意力信息表征向量，该表征向量作为t+1时间步进行预测操作的输入信息，具体的状态向量加权融合操作的具体公式表示为：
Ct＝αtht (7)
Figure BDA0002196323420000032
优选的，步骤S7中，损失函数采用均方误差公式，具体表达公式为：
其中，MSE表示损失函数，xpredict,i为模型的输出的结果，xlabel,i为模型的输出的结果对应的真实值。
优选的，在步骤S7中，优化器采用Rmsprop优化器。
与现有技术相比，本发明技术方案的有益效果是：
本发明主要通过注意力机制关注先前时间步区域信息与当前时间步区域信息的相似度，并使用长短期神经网络中先前所有时间步的加权融合向量与当前时间步模型预测输出及当前时间步的LSTM状态向量作为模型下一个时间步时间序列预测操作的输入。本发明通过长短期神经网络LSTM结合注意区域信息的注意力机制进行时间序列值的预测，相比现有技术中的传统回归方法和一般LSTM神经网络方法，本发明的预测结果具有更高的准确性，模型也更具鲁棒性。
附图说明
图1为本发明的方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种注意区域信息相似性的时间序列预测模型构建方法，包括以下步骤：
步骤S1：采集时间序列数据，将采集到的时间序列数据进行标准化处理；
步骤S2：将标准化处理后的时间序列数据按先后顺序输入到长短期神经网络LSTM中，获取并保存长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量；
步骤S3：使用卷积神经网络CNN对长短期神经网络LSTM中每个时间步之前连续的多个状态向量进行卷积运算，得到与每一个时间步相对应的区域信息表征向量；
步骤S4：计算时间步之间所对应的区域信息表征向量的相似度，并根据相识度对区域信息表征向量赋予不同的权值；
步骤S5：将区域信息表征向量的权值映射为0～1之间的实数，并保证所有权值映射后的值的和为1；
步骤S6：将每个时间步的状态向量与对应时间步映射后的权值进行加权融合操作，得到最终的注意力表征向量，完成注意区域信息相似性的时间序列预测模型的构建；
步骤S7：使用损失函数以及优化器对权值进行优化，将注意区域信息相似性的时间序列预测模型运算过程中的损失降到最小。
作为一个优选的实施例，在步骤S1中，进行标准化处理的方式为采用归一化处理，即：
其中，
Figure BDA0002196323420000052
为归一化后的时间序列数据，xi为原始的时间序列数据，xmax、xmin分别表示当前时间序列数据的最大值和最小值。
作为一个优选的实施例，在步骤S2中，长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量为：
ht＝LSTM(ht-1,xt) (3)
其中，ht为当前时间步输入更新状态，ht-1为上一时间步输入更新状态，xt为当前时间步输入数据特征值。
作为一个优选的实施例，在步骤S3中进行卷积运算时，超出卷积神经网络运算输入的部分用0进行补齐，一个时间步的区域信息抽取公式表示如下：
Vector t＝CNN(ht-T,ht-T+1,...,ht) (4)
其中，T为自定义的一个时间跨步，ht-T表示与当前时间步相差T个时间跨步的时间步，Vector t代表对一个时间跨步信息进行卷积计算后得到的区域信息表征向量。
作为一个优选的实施例，在步骤S4中，通过注意力机制自动关注时间步t与上一个时间步t-1之间的区域信息表征向量，使用余弦相似度计算公式计算出时间步t区域信息表征向量与时间步t-1之间的区域信息表征向量相似度，对于相似度更高的区域信息表征向量，则该区域信息表征向量对应时间步LSTM状态向量自动赋予更大的权值，具体的公式表示为：
St＝cos(Vectort,Vectorn) (5)
其中，cos(·)为余弦相似度计算函数，St为相似度，下标n表示当前时刻，即需要预测下一时刻信息的上一个当前时刻，下标t表示前面第t个时间跨步；
Figure BDA0002196323420000061
其中，αt为长短期神经网络对应时间步t的状态向量权值，Sj代表每个时间步计算得到的相似度，St为t时间步的相似度。
作为一个优选的实施例，在步骤S6中，进行加权融合操作的具体步骤如下：每个时间步的长短期神经网络状态向量与对应时间步的权值相乘，然后再对t时间步以t-1时间步之间所有加权后的状态向量进行向量加和，得出最终的注意力信息表征向量，该表征向量作为t+1时间步进行预测操作的输入信息，具体的状态向量加权融合操作的具体公式表示为：
Ct＝αtht (7)
Figure BDA0002196323420000062
作为一个优选的实施例，步骤S7中，损失函数采用均方误差公式，具体表达公式为：
其中，MSE表示损失函数，xpredict,i为模型的输出的结果，xlabel,i为模型的输出的结果对应的真实值。
作为一个优选的实施例，在步骤S7中，优化器采用Rmsprop优化器。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，包括以下步骤：
步骤S1：采集时间序列数据，将采集到的时间序列数据进行标准化处理；
步骤S2：将标准化处理后的时间序列数据按先后顺序输入到长短期神经网络LSTM中，获取并保存长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量；
步骤S3：使用卷积神经网络CNN对长短期神经网络LSTM中每个时间步之前连续的多个状态向量进行卷积运算，得到与每一个时间步相对应的区域信息表征向量；
步骤S4：计算时间步之间所对应的区域信息表征向量的相似度，并根据相识度对区域信息表征向量赋予不同的权值；
步骤S5：将区域信息表征向量的权值映射为0～1之间的实数，并保证所有权值映射后的值的和为1；
步骤S6：将每个时间步的状态向量与对应时间步映射后的权值进行加权融合操作，得到最终的注意力表征向量，完成注意区域信息相似性的时间序列预测模型的构建；
步骤S7：使用损失函数以及优化器对权值进行优化，将注意区域信息相似性的时间序列预测模型运算过程中的损失降到最小。
2.根据权利要求1所述的一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，在步骤S1中，进行标准化处理的方式为采用归一化处理，即：
Figure FDA0002196323410000011
其中，
Figure FDA0002196323410000012
为归一化后的时间序列数据，xi为原始的时间序列数据，xmax、xmin分别表示当前时间序列数据的最大值和最小值。
3.根据权利要求2所述的一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，在步骤S2中，长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量为：
ht＝LSTM(ht-1,xt) (3)
其中，ht为当前时间步输入更新状态，ht-1为上一时间步输入更新状态，xt为当前时间步输入数据特征值。
4.根据权利要求3所述的一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，在步骤S3中进行卷积运算时，超出卷积神经网络运算输入的部分用0进行补齐，一个时间步的区域信息抽取公式表示如下：
Vectort＝CNN(ht-T,ht-T+1,...,ht) (4)
其中，T为自定义的一个时间跨步，ht-T表示与当前时间步相差T个时间跨步的时间步，Vectort代表对一个时间跨步信息进行卷积计算后得到的区域信息表征向量。
5.根据权利要求4所述的一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，在步骤S4中，通过注意力机制自动关注时间步t与上一个时间步t-1之间的区域信息表征向量，使用余弦相似度计算公式计算出时间步t区域信息表征向量与时间步t-1之间的区域信息表征向量相似度，对于相似度更高的区域信息表征向量，则该区域信息表征向量对应时间步LSTM状态向量自动赋予更大的权值，具体的公式表示为：
St＝cos(Vectort,Vectorn) (5)
其中，cos(·)为余弦相似度计算函数，St为相似度，下标n表示当前时刻，即需要预测下一时刻信息的上一个当前时刻，下标t表示前面第t个时间跨步；
Figure FDA0002196323410000021
其中，αt为长短期神经网络对应时间步t的状态向量权值，Sj代表每个时间步计算得到的相似度，St为t时间步的相似度。
6.根据权利要求5所述的一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，在步骤S6中，进行加权融合操作的具体步骤如下：每个时间步的长短期神经网络状态向量与对应时间步的权值相乘，然后再对t时间步以t-1时间步之间所有加权后的状态向量进行向量加和，得出最终的注意力信息表征向量，该表征向量作为t+1时间步进行预测操作的输入信息，具体的状态向量加权融合操作的具体公式表示为：
Ct＝αtht (7)
Figure FDA0002196323410000031
7.根据权利要求6所述的一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，步骤S7中，损失函数采用均方误差公式，具体表达公式为：
Figure FDA0002196323410000032
其中，MSE表示损失函数，xpredict,i为模型的输出的结果，xlabel,i为模型的输出的结果对应的真实值。
8.根据权利要求1所述的一种注意区域信息相似性的时间序列预测模型构建方法，其特征在于，在步骤S7中，优化器采用Rmsprop优化器。
CN201910849154.0A 2019-09-09 2019-09-09 一种注意区域信息相似性的时间序列预测模型构建方法 Pending CN110717577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910849154.0A CN110717577A (zh) 2019-09-09 2019-09-09 一种注意区域信息相似性的时间序列预测模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910849154.0A CN110717577A (zh) 2019-09-09 2019-09-09 一种注意区域信息相似性的时间序列预测模型构建方法

Publications (1)

Publication Number Publication Date
CN110717577A true CN110717577A (zh) 2020-01-21

Family

ID=69209719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910849154.0A Pending CN110717577A (zh) 2019-09-09 2019-09-09 一种注意区域信息相似性的时间序列预测模型构建方法

Country Status (1)

Country Link
CN (1) CN110717577A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021255515A1 (en) 2020-06-15 2021-12-23 Universidade Do Porto Multi-convolutional attention unit for multivariable time series analysis
CN116384454A (zh) * 2023-02-08 2023-07-04 大连理工大学 一种基于fpga的长短期记忆网络硬件加速方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021255515A1 (en) 2020-06-15 2021-12-23 Universidade Do Porto Multi-convolutional attention unit for multivariable time series analysis
CN116384454A (zh) * 2023-02-08 2023-07-04 大连理工大学 一种基于fpga的长短期记忆网络硬件加速方法
CN116384454B (zh) * 2023-02-08 2023-09-29 大连理工大学 一种基于fpga的长短期记忆网络硬件加速方法

Similar Documents

Publication Publication Date Title
CN107844560B (zh) 一种数据接入的方法、装置、计算机设备和可读存储介质
CN113837308B (zh) 基于知识蒸馏的模型训练方法、装置、电子设备
WO2023116111A1 (zh) 一种磁盘故障预测方法及装置
CN113033622A (zh) 跨模态检索模型的训练方法、装置、设备和存储介质
CN115374948B (zh) 量子神经网络的训练方法、数据处理方法、设备及介质
CN114494784A (zh) 深度学习模型的训练方法、图像处理方法和对象识别方法
CN115511012B (zh) 一种最大熵约束的类别软标签识别训练方法
CN115688920A (zh) 知识抽取方法、模型的训练方法、装置、设备和介质
CN110717577A (zh) 一种注意区域信息相似性的时间序列预测模型构建方法
CN112632227A (zh) 简历匹配方法、装置、电子设备、存储介质和程序产品
CN113569955A (zh) 一种模型训练方法、用户画像生成方法、装置及设备
CN111126629A (zh) 模型的生成方法、刷单行为识别方法、系统、设备和介质
CN117314666A (zh) 一种财务风险识别方法、装置、设备及存储介质
CN116756638A (zh) 电动车用电负荷需求检测方法、装置、设备及存储介质
CN115294405B (zh) 农作物病害分类模型的构建方法、装置、设备及介质
CN116468945A (zh) 一种变电站的检测方法、装置、设备及存储介质
CN115952928A (zh) 一种短期电力负荷预测方法、装置、设备及存储介质
CN111626315A (zh) 模型训练方法、对象识别方法、装置、介质及电子设备
CN112966108B (zh) 检测数据和训练分类模型的方法、装置、设备和存储介质
CN113947195A (zh) 模型确定方法、装置、电子设备和存储器
CN114490965A (zh) 问题处理方法、装置、电子设备和存储介质
Jerome et al. Forecasting and anomaly detection on application metrics using lstm
CN114943330A (zh) 一种神经网络模型的训练方法、装置、设备及存储介质
CN115205733A (zh) 视频识别方法、装置、设备、系统及存储介质
CN117235646A (zh) 异常交易识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121

RJ01 Rejection of invention patent application after publication