CN117076931B - 一种基于条件扩散模型的时间序列数据预测方法和系统 - Google Patents

一种基于条件扩散模型的时间序列数据预测方法和系统 Download PDF

Info

Publication number
CN117076931B
CN117076931B CN202311315844.0A CN202311315844A CN117076931B CN 117076931 B CN117076931 B CN 117076931B CN 202311315844 A CN202311315844 A CN 202311315844A CN 117076931 B CN117076931 B CN 117076931B
Authority
CN
China
Prior art keywords
data
time sequence
noise
dynamic time
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311315844.0A
Other languages
English (en)
Other versions
CN117076931A (zh
Inventor
张天翔
张毅思
李江昀
王怡婷
庄培显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202311315844.0A priority Critical patent/CN117076931B/zh
Publication of CN117076931A publication Critical patent/CN117076931A/zh
Application granted granted Critical
Publication of CN117076931B publication Critical patent/CN117076931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于条件扩散模型的时间序列数据预测方法和系统，包括：将训练集内天动态时序数据，经过特征编码器得到高维动态时序数据；搭建以条件输入Transformer为主干的条件扩散模型，将训练集内天高维动态时序数据作为加噪数据，以及天的高维动态时序数据与静态数据融合后的条件特征，输入条件扩散模型进行训练；将待预测的第一动态时序数据升维后的高维动态时序数据与第一静态数据融合后的条件特征，输入条件扩散模型，执行去噪操作，预测高维动态时序特征输入特征解码器，获得预测的第二动态时序数据。本发明支持长时间维度建模，构建识别精度高泛化性好的产量预测方法。

Description

一种基于条件扩散模型的时间序列数据预测方法和系统
技术领域
本发明涉及时间序列数据预测技术领域，特别是指一种基于条件扩散模型的时间序列数据预测方法和系统。
背景技术
时间序列数据（比如页岩油产量数据、每天的电网负荷数据、天气温度相关数据等）的预测，例如页岩油产量数据的预测，具有较长的时间依赖性，过去的产量数据对未来的产量变化有着重要影响，而传统的预测方法难以有效捕捉到这种长期依赖性，而且传统迭代预测序列模型存在误差积累问题。此外，很多时间序列数据，例如页岩油产量数据，存在非线性关系的复杂因素影响问题和样本数量少的问题，因此亟需一种有效的时间序列数据预测方法。
发明内容
本发明提供了一种基于条件扩散模型的时间序列数据预测方法和系统，用以解决现有技术存在的问题，所述技术方案如下：
一方面，提供了一种基于条件扩散模型的时间序列数据预测方法，包括：
S1、收集并预处理历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据；
S2、将预处理后的历史数据划分为训练集与验证集，并将所述训练集的动态时序数据划分多组时间步；
S3、搭建特征处理模型，包括特征编码器与特征解码器，使用所述动态时序数据进行自编码、解码训练，将所述训练集内时间步的动态时序数据，经过训练完成的特征编码器进行特征升维，得到高维动态时序数据；
S4、搭建以条件输入Transformer为主干网络的条件扩散模型，将训练集内天的高维动态时序数据作为条件扩散模型的加噪数据，以及/>天的高维动态时序数据与对应的静态数据融合后作为条件特征，输入条件扩散模型进行模型训练；
S5、将待预测的第一动态时序数据升维后的高维动态时序数据与对应的第一静态数据融合后作为条件特征，输入训练完成的条件扩散模型，执行去噪操作，得到预测的高维动态时序特征，将所述预测的高维动态时序特征输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
另一方面，提供了一种基于条件扩散模型的时间序列数据预测系统，所述系统包括：
收集预处理模块，用于收集并预处理历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据；
划分模块，用于将预处理后的历史数据划分为训练集与验证集，并将所述训练集的动态时序数据划分多组时间步；
第一搭建模块，用于搭建特征处理模型，包括特征编码器与特征解码器，使用所述动态时序数据进行自编码、解码训练，将所述训练集内时间步的动态时序数据，经过训练完成的特征编码器进行特征升维，得到高维动态时序数据；
第二搭建模块，用于搭建以条件输入Transformer为主干网络的条件扩散模型，将训练集内天的高维动态时序数据作为条件扩散模型的加噪数据，以及天的高维动态时序数据与对应的静态数据融合后作为条件特征，输入条件扩散模型进行模型训练；
预测模块，用于将待预测的第一动态时序数据升维后的高维动态时序数据与对应的第一静态数据融合后作为条件特征，输入训练完成的条件扩散模型，执行去噪操作，得到预测的高维动态时序特征，将所述预测的高维动态时序特征输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，所述指令由所述处理器加载并执行以实现上述基于条件扩散模型的时间序列数据预测方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有指令，所述指令由处理器加载并执行以实现上述基于条件扩散模型的时间序列数据预测方法。
本发明提供的技术方案带来的有益效果至少包括：
1）本发明提出了一种条件输入Transformer为主干网络的条件扩散模型，能够支持长时间维度的建模，构建训练一个识别精度高、泛化性好的产量预测方法。
2）传统的扩散生成式模型只适用于图像任务的构建和处理，通过本发明的模型可以实现对时间序列数据的学习和预测，拥有更强的序列信息提取能力，提高了计算效率。
3）本发明的条件扩散模型生成过程中存在随机性和不确定性，从而在预测过程中能够生成多样性的特征，模拟真实数据中的不确定性和噪声，增加模型的鲁棒性。
4）本发明的模型相比传统时序预测模型，在模型内部对所有时间下的特征计算关联性，同时输出所有时间的预测值，不需要依靠预测值来进行下一时间的预测，避免了累计误差的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于条件扩散模型的时间序列数据预测方法流程图；
图2是本发明实施例提供的特征处理模型结构图；
图3是本发明实施例提供的条件输入Transformer基本结构图；
图4是本发明实施例提供的条件扩散模型训练阶段结构图；
图5是本发明实施例提供的条件扩散模型预测阶段结构图；
图6是本发明实施例提供的整体页岩油产量预测算法结构图；
图7是本发明实施例提供的一种基于条件扩散模型的时间序列数据预测系统框图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，本发明实施例提供了一种基于条件扩散模型的时间序列数据预测方法，包括：
S1、收集并预处理历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据；
S2、将预处理后的历史数据划分为训练集与验证集，并将所述训练集的动态时序数据划分多组时间步；
S3、搭建特征处理模型，包括特征编码器与特征解码器，使用所述动态时序数据进行自编码、解码训练，将所述训练集内时间步的动态时序数据，经过训练完成的特征编码器进行特征升维，得到高维动态时序数据；
S4、搭建以条件输入Transformer为主干网络的条件扩散模型，将训练集内天的高维动态时序数据作为条件扩散模型的加噪数据，以及/>天的高维动态时序数据与对应的静态数据融合后作为条件特征，输入条件扩散模型进行模型训练；
S5、将待预测的第一动态时序数据升维后的高维动态时序数据与对应的第一静态数据融合后作为条件特征，输入训练完成的条件扩散模型，执行去噪操作，得到预测的高维动态时序特征，将所述预测的高维动态时序特征输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
下面结合图2-图6，以页岩油产量数据的预测为例，来详细说明本发明实施例提供的一种基于条件扩散模型的时间序列数据预测方法，包括：
S1、收集并预处理历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据；
收集页岩油不同油井以及不同开采时间的历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据，所述动态时序数据主要包括油井产量数据，也包括油嘴油压等随时间变化的动态数据；所述静态数据主要包括在生产过程中保持静态的地质参数和人工参数等施工数据。
对历史数据进行预处理，包括但不限于根据不同的开采工艺，将历史数据按照相应的工艺不同进行拆分；检测并去除空数据以及那些远离整体产量分布曲线的异常值等。
其他的动态时序数据，比如可以为每天的电网负荷数据、天气温度相关数据，静态数据比如可以是电器设备、地理位置等相应的数据。
S2、将预处理后的历史数据划分为训练集与验证集，并将所述训练集的动态时序数据划分多组时间步；
预处理后划分数据集为训练集和验证集，并将训练集的动态时序数据划分多组时间步，其中/>将作为条件扩散模型的条件特征的一部分，将作为条件扩散模型用于训练时加噪的数据。
S3、搭建特征处理模型，包括特征编码器与特征解码器，使用所述动态时序数据进行自编码、解码训练，将所述训练集内时间步的动态时序数据，经过训练完成的特征编码器进行特征升维，得到高维动态时序数据；
可选地，如图2所示，所述特征编码器通过全连接上采样层与非线性层ReLU进行上采样操作，实现数据（图2中的产量数据）重构和特征升维；所述特征解码器通过全连接下采样层与非线性层ReLU进行下采样操作，将升维的特征重新拟合为动态时序数据（图2中的产量预测数据）；
所述S3中的自编码、解码训练包括：
将所述训练集中的所述动态时序数据输入所述特征编码器，对于所述特征解码器的输出计算MSE损失，优化模型内部权重，最终得到对所述动态时序数据的特征升维和解码降维的映射关系。
S4、搭建以条件输入Transformer为主干网络的条件扩散模型，将训练集内天的高维动态时序数据作为条件扩散模型的加噪数据，以及/>天的高维动态时序数据与对应的静态数据融合后作为条件特征，输入条件扩散模型进行模型训练；
可选地，所述条件输入Transformer，通过多头自注意力层提取并融合条件特征与带有高斯噪声的数据的特征信息，并通过条件扩散模型的训练过程学习由特征信息到噪声分布的映射关系，输出预测的高斯噪声；
如图3所示，所述条件输入Transformer，将条件扩散模型的带有马尔科夫噪声的数据作为线性层的输入，对线性层的输出进行层标准化，同时将条件扩散模型的条件特征Xc经过多层感知机编码，对多层感知机输出的条件特征与参数相乘后，与线性层标准化后的结果拼接，将拼接后的结果并行输入第一个残差网络的查询、键与值特征映射层后，通过多头注意力层计算输出，所述输出，与多层感知机输出的条件特征经过参数/>相乘后的结果相加，并与第一个残差网络的输入进行残差相加后作为第二个残差网络的输入，多层感知机输出的条件特征与参数/>相乘后，与第二个残差网络的输入经过层标准化层后的输出相加，输入前馈神经网络的输出，与多层感知机输出的条件特征和参数/>相乘后的结果相加，之后与第二个残差网络的输入进行残差相加，作为第二个残差网络的输出，所述输出经过层标准化后作为整个条件输入Transformer的输出，也就是条件扩散模型的高斯噪声预测值。
可选地，如图4所示，所述S4的模型训练，分为前向加噪过程和噪声预测学习过程；
所述前向加噪过程，包括：
将训练集内天的高维动态时序数据（图4中的升维产量特征）作为/>，/>服从分布/>，记为/>；
通过T个时间步阶段的马尔可夫过程向添加方差为/>的高斯噪声，此处/>为模型预先设定的超参数，得到一系列经噪声叠加后的带有马尔科夫噪声的数据样本，此时/>可以看作为独立分布的高斯噪声，其中/>的分布由通过重参数化采样后得到，/>，表示在给定/>的情况下/>的样本分布，均服从高斯分布，计算公式如式(1.1)所示：
(1.1)
其中为标准矩阵，/>表示正态分布，前向加噪过程产生的样本/>与/>将作为训练阶段噪声预测学习过程的标签；
对于每个时间步，所述噪声预测学习过程，包括：
通过所述条件输入Transformer学习由条件特征与带有高斯噪声的数据，预测对应时间步添加的噪声，所述条件输入Transformer的输出为对应时间步所添加的噪声的预测值；
对于第T时间步，所述条件输入Transformer的输入，为由原始高维动态时序数据序列逐步加噪后获得的近似各向同性的带有高斯噪声的数据，以及条件特征，输出为预测的噪声，记为/>，通过公式(1.2)得到所述时间步去噪的结果；
(1.2)
在训练过程中，使用前向加噪过程中得到的噪声特征分布，对公式(1.2)得到的去噪结果进行监督，使用KL散度作为损失函数迭代优化模型参数，公式如式(1.3)所示；
(1.3) 。
其他时间步，和第T时间步类似。
S5、将待预测的第一动态时序数据升维后的高维动态时序数据与对应的第一静态数据融合后作为条件特征，输入训练完成的条件扩散模型，执行去噪操作，得到预测的高维动态时序特征，将所述预测的高维动态时序特征输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
可选地，如图5所示，所述S5，具体包括：
将随机高斯噪声序列和所述条件特征Xc，输入训练完成的条件扩散模型，随机高斯噪声序列作为初始/>，执行逆向生成过程，所述条件输入Transformer预测添加的噪声/>，通过公式(1.2)进行去噪计算得到/>，将/>作为下一次迭代的输入，重复T次迭代过程得到预测的高维动态时序特征/>，将/>输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
如图6所示，本发明实施例使用划分好的训练集在搭建的条件扩散模型中进行训练，保存训练好的模型参数配置以及权重，在验证集上生成预测产量特征，使用S3中训练完成的特征解码器对/>解码得到最终的产量预测值，进行模型效果的验证以及测试。
验证测试后，本发明实施例可以使用训练完成的条件扩散模型对待预测的第一动态时序数据（比如第1-10天的产量数据）进行预测得到第二动态时序数据（比如第11-20天的产量数据）。
本发明实施例通过对Transformer模型进行与扩散模型改进并组合，包括对于Transformer引入新的条件输入，并使用条件输入Transformer模型来替代传统扩散模型中仅能处理图像的U-Net模型，以更好地处理长序列预测问题（比如页岩油产量预测）。同时，本发明实施例提出了一种基于条件输入Transformer的条件扩散模型，充分利用条件特征、去噪特征并借由本身具有因果关系的马尔科夫去噪过程来获取页岩油序列中的数据相关度、时间依赖度，对噪声特征进行去噪来预测产量特征能够充分利用序列中的相关性和时间依赖性，提高模型的预测性能和泛化能力。此外，模型与传统基于解码器进行预测的模型不同，不依靠解码器得到的预测值进行迭代预测，减少解码器带来的累计误差的影响，提高模型的鲁棒性和稳定性，从而在长序列预测任务中取得更好的效果。
如图7所示，本发明实施例还提供了一种基于条件扩散模型的时间序列数据预测系统，所述系统包括：
收集预处理模块710，用于收集并预处理历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据；
划分模块720，用于将预处理后的历史数据划分为训练集与验证集，并将所述训练集的动态时序数据划分多组时间步；
第一搭建模块730，用于搭建特征处理模型，包括特征编码器与特征解码器，使用所述动态时序数据进行自编码、解码训练，将所述训练集内时间步的动态时序数据，经过训练完成的特征编码器进行特征升维，得到高维动态时序数据；
第二搭建模块740，用于搭建以条件输入Transformer为主干网络的条件扩散模型，将训练集内天的高维动态时序数据作为条件扩散模型的加噪数据，以及/>天的高维动态时序数据与对应的静态数据融合后作为条件特征，输入条件扩散模型进行模型训练；
预测模块750，用于将待预测的第一动态时序数据升维后的高维动态时序数据与对应的第一静态数据融合后作为条件特征，输入训练完成的条件扩散模型，执行去噪操作，得到预测的高维动态时序特征，将所述预测的高维动态时序特征输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
可选地，所述特征编码器通过全连接上采样层与非线性层ReLU进行上采样操作，实现数据重构和特征升维；所述特征解码器通过全连接下采样层与非线性层ReLU进行下采样操作，将升维的特征重新拟合为动态时序数据；
所述第一搭建模块，具体用于：
将所述训练集中的所述动态时序数据输入所述特征编码器，对于所述特征解码器的输出计算MSE损失，优化模型内部权重，最终得到对所述动态时序数据的特征升维和解码降维的映射关系。
可选地，所述条件输入Transformer，通过多头自注意力层提取并融合条件特征与带有高斯噪声的数据的特征信息，并通过条件扩散模型的训练过程学习由特征信息到噪声分布的映射关系，输出预测的高斯噪声；
所述条件输入Transformer，将条件扩散模型的带有马尔科夫噪声的数据作为线性层的输入，对线性层的输出进行层标准化，同时将条件扩散模型的条件特征Xc经过多层感知机编码，对多层感知机输出的条件特征与参数相乘后，与线性层标准化后的结果拼接，将拼接后的结果并行输入第一个残差网络的查询、键与值特征映射层后，通过多头注意力层计算输出，所述输出，与多层感知机输出的条件特征经过参数/>相乘后的结果相加，并与第一个残差网络的输入进行残差相加后作为第二个残差网络的输入，多层感知机输出的条件特征与参数/>相乘后，与第二个残差网络的输入经过层标准化层后的输出相加，输入前馈神经网络的输出，与多层感知机输出的条件特征和参数/>相乘后的结果相加，之后与第二个残差网络的输入进行残差相加，作为第二个残差网络的输出，所述输出经过层标准化后作为整个条件输入Transformer的输出，也就是条件扩散模型的高斯噪声预测值。
可选地，所述第二搭建模块，具体用于：进行前向加噪过程和噪声预测学习过程；
所述前向加噪过程，包括：
将训练集内天的高维动态时序数据作为/>，/>服从分布/>，记为/>；
通过T个时间步阶段的马尔可夫过程向添加方差为/>的高斯噪声，此处/>为模型预先设定的超参数，得到一系列经噪声叠加后的带有马尔科夫噪声的数据样本，此时/>可以看作为独立分布的高斯噪声，其中/>的分布由/>通过重参数化采样后得到，/>，表示在给定/>的情况下/>的样本分布，均服从高斯分布，计算公式如式(1.1)所示：
(1.1)
其中为标准矩阵，/>表示正态分布，前向加噪过程产生的样本/>与/>将作为训练阶段噪声预测学习过程的标签；
对于每个时间步，所述噪声预测学习过程，包括：
通过所述条件输入Transformer学习由条件特征与带有高斯噪声的数据，预测对应时间步添加的噪声，所述条件输入Transformer的输出为对应时间步所添加的噪声的预测值；
对于第T时间步，所述条件输入Transformer的输入，为由原始高维动态时序数据序列逐步加噪后获得的近似各向同性的带有高斯噪声的数据，以及条件特征，输出为预测的噪声，记为/>，通过公式(1.2)得到所述时间步去噪的结果；
(1.2)
在训练过程中，使用前向加噪过程中得到的噪声特征分布，对公式(1.2)得到的去噪结果进行监督，使用KL散度作为损失函数迭代优化模型参数，公式如式(1.3)所示；
(1.3)。
可选地，所述预测模块，具体用于：
将随机高斯噪声序列和所述条件特征，输入训练完成的条件扩散模型，随机高斯噪声序列作为初始，执行逆向生成过程，所述条件输入Transformer预测添加的噪声，通过公式(1.2)进行去噪计算得到/>，将/>作为下一次迭代的输入，重复T次迭代过程得到预测的高维动态时序特征/>，将/>输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
本发明实施例提供的一种基于条件扩散模型的时间序列数据预测系统，其功能结构与本发明实施例提供的一种基于条件扩散模型的时间序列数据预测方法相对应，在此不再赘述。
图8是本发明实施例提供的一种电子设备800的结构示意图，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）801和一个或一个以上的存储器802，其中，所述存储器802中存储有指令，所述指令由所述处理器801加载并执行以实现上述基于条件扩散模型的时间序列数据预测方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于条件扩散模型的时间序列数据预测方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于条件扩散模型的时间序列数据预测方法，其特征在于，所述方法包括：
S1、收集并预处理页岩油不同油井以及不同开采时间的历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据，所述动态时序数据包括油井产量数据和其他随时间变化的动态数据；所述静态数据包括在生产过程中保持静态的施工数据；
S2、将预处理后的历史数据划分为训练集与验证集，并将所述训练集的动态时序数据划分多组时间步；
S3、搭建特征处理模型，包括特征编码器与特征解码器，使用所述动态时序数据进行自编码、解码训练，将所述训练集内时间步的动态时序数据，经过训练完成的特征编码器进行特征升维，得到高维动态时序数据；
S4、搭建以条件输入Transformer为主干网络的条件扩散模型，将训练集内天的高维动态时序数据作为条件扩散模型的加噪数据，以及天的高维动态时序数据与对应的静态数据融合后作为条件特征，输入条件扩散模型进行模型训练；
S5、将待预测的第一动态时序数据升维后的高维动态时序数据与对应的第一静态数据融合后作为条件特征，输入训练完成的条件扩散模型，执行去噪操作，得到预测的高维动态时序特征，将所述预测的高维动态时序特征输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据，所述第一动态时序数据为第一产量数据，所述第二动态时序数据为第二产量数据；
所述条件输入Transformer，通过多头自注意力层提取并融合条件特征与带有高斯噪声的数据的特征信息，并通过条件扩散模型的训练过程学习由特征信息到噪声分布的映射关系，输出预测的高斯噪声；
所述条件输入Transformer，将条件扩散模型的带有马尔科夫噪声的数据作为线性层的输入，对线性层的输出进行层标准化，同时将条件扩散模型的条件特征Xc经过多层感知机编码，对多层感知机输出的条件特征与参数相乘后，与线性层标准化后的结果拼接，将拼接后的结果并行输入第一个残差网络的查询、键与值特征映射层后，通过多头注意力层计算输出，所述输出，与多层感知机输出的条件特征经过参数/>相乘后的结果相加，并与第一个残差网络的输入进行残差相加后作为第二个残差网络的输入，多层感知机输出的条件特征与参数/>相乘后，与第二个残差网络的输入经过层标准化层后的输出相加，输入前馈神经网络的输出，与多层感知机输出的条件特征和参数/>相乘后的结果相加，之后与第二个残差网络的输入进行残差相加，作为第二个残差网络的输出，所述输出经过层标准化后作为整个条件输入Transformer的输出，也就是条件扩散模型的高斯噪声预测值。
2.根据权利要求1所述的方法，其特征在于，所述特征编码器通过全连接上采样层与非线性层ReLU进行上采样操作，实现数据重构和特征升维；所述特征解码器通过全连接下采样层与非线性层ReLU进行下采样操作，将升维的特征重新拟合为动态时序数据；
所述S3中的自编码、解码训练包括：
将所述训练集中的所述动态时序数据输入所述特征编码器，对于所述特征解码器的输出计算MSE损失，优化模型内部权重，最终得到对所述动态时序数据的特征升维和解码降维的映射关系。
3.根据权利要求1所述的方法，其特征在于，所述S4的模型训练，分为前向加噪过程和噪声预测学习过程；
所述前向加噪过程，包括：
将训练集内天的高维动态时序数据作为/>，/>服从分布/>，记为；
通过T个时间步阶段的马尔可夫过程向添加方差为/>的高斯噪声，此处/>为模型预先设定的超参数，得到一系列经噪声叠加后的带有马尔科夫噪声的数据样本，此时/>看作为独立分布的高斯噪声，其中/>的分布由通过重参数化采样后得到，/>，表示在给定/>的情况下/>的样本分布，均服从高斯分布，计算公式如式(1.1)所示：
(1.1)
其中为标准矩阵，/>表示正态分布，前向加噪过程产生的样本/>与/>将作为训练阶段噪声预测学习过程的标签；
对于每个时间步，所述噪声预测学习过程，包括：
通过所述条件输入Transformer学习由条件特征与带有高斯噪声的数据，预测对应时间步添加的噪声，所述条件输入Transformer的输出为对应时间步所添加的噪声的预测值；
对于第T时间步，所述条件输入Transformer的输入，为由原始高维动态时序数据序列逐步加噪后获得的近似各向同性的带有高斯噪声的数据，以及条件特征，输出为预测的噪声，记为/>，通过公式(1.2)得到所述时间步去噪的结果；
(1.2)
在训练过程中，使用前向加噪过程中得到的噪声特征分布，对公式(1.2)得到的去噪结果进行监督，使用KL散度作为损失函数迭代优化模型参数，公式如式(1.3)所示；
(1.3)。
4.根据权利要求3所述的方法，其特征在于，所述S5，具体包括：
将随机高斯噪声序列和所述条件特征，输入训练完成的条件扩散模型，随机高斯噪声序列作为初始，执行逆向生成过程，所述条件输入Transformer预测添加的噪声，通过公式(1.2)进行去噪计算得到/>，将/>作为下一次迭代的输入，重复T次迭代过程得到预测的高维动态时序特征/>，将/>输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
5.一种基于条件扩散模型的时间序列数据预测系统，其特征在于，所述系统包括：
收集预处理模块，用于收集并预处理页岩油不同油井以及不同开采时间的历史数据，所述历史数据包括随时间变化的动态时序数据和对应的不随时间变化的静态数据，所述动态时序数据包括油井产量数据和其他随时间变化的动态数据；所述静态数据包括在生产过程中保持静态的施工数据；
划分模块，用于将预处理后的历史数据划分为训练集与验证集，并将所述训练集的动态时序数据划分多组时间步；
第一搭建模块，用于搭建特征处理模型，包括特征编码器与特征解码器，使用所述动态时序数据进行自编码、解码训练，将所述训练集内时间步的动态时序数据，经过训练完成的特征编码器进行特征升维，得到高维动态时序数据；
第二搭建模块，用于搭建以条件输入Transformer为主干网络的条件扩散模型，将训练集内天的高维动态时序数据作为条件扩散模型的加噪数据，以及/>天的高维动态时序数据与对应的静态数据融合后作为条件特征，输入条件扩散模型进行模型训练；
预测模块，用于将待预测的第一动态时序数据升维后的高维动态时序数据与对应的第一静态数据融合后作为条件特征，输入训练完成的条件扩散模型，执行去噪操作，得到预测的高维动态时序特征，将所述预测的高维动态时序特征输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据，所述第一动态时序数据为第一产量数据，所述第二动态时序数据为第二产量数据；
所述条件输入Transformer，通过多头自注意力层提取并融合条件特征与带有高斯噪声的数据的特征信息，并通过条件扩散模型的训练过程学习由特征信息到噪声分布的映射关系，输出预测的高斯噪声；
所述条件输入Transformer，将条件扩散模型的带有马尔科夫噪声的数据作为线性层的输入，对线性层的输出进行层标准化，同时将条件扩散模型的条件特征Xc经过多层感知机编码，对多层感知机输出的条件特征与参数相乘后，与线性层标准化后的结果拼接，将拼接后的结果并行输入第一个残差网络的查询、键与值特征映射层后，通过多头注意力层计算输出，所述输出，与多层感知机输出的条件特征经过参数/>相乘后的结果相加，并与第一个残差网络的输入进行残差相加后作为第二个残差网络的输入，多层感知机输出的条件特征与参数/>相乘后，与第二个残差网络的输入经过层标准化层后的输出相加，输入前馈神经网络的输出，与多层感知机输出的条件特征和参数/>相乘后的结果相加，之后与第二个残差网络的输入进行残差相加，作为第二个残差网络的输出，所述输出经过层标准化后作为整个条件输入Transformer的输出，也就是条件扩散模型的高斯噪声预测值。
6.根据权利要求5所述的系统，其特征在于，所述特征编码器通过全连接上采样层与非线性层ReLU进行上采样操作，实现数据重构和特征升维；所述特征解码器通过全连接下采样层与非线性层ReLU进行下采样操作，将升维的特征重新拟合为动态时序数据；
所述第一搭建模块，具体用于：
将所述训练集中的所述动态时序数据输入所述特征编码器，对于所述特征解码器的输出计算MSE损失，优化模型内部权重，最终得到对所述动态时序数据的特征升维和解码降维的映射关系。
7.根据权利要求5所述的系统，其特征在于，所述第二搭建模块，具体用于：进行前向加噪过程和噪声预测学习过程；
所述前向加噪过程，包括：
将训练集内天的高维动态时序数据作为/>，/>服从分布/>，记为/>；
通过T个时间步阶段的马尔可夫过程向添加方差为/>的高斯噪声，此处/>为模型预先设定的超参数，得到一系列经噪声叠加后的带有马尔科夫噪声的数据样本，此时/>看作为独立分布的高斯噪声，其中/>的分布由通过重参数化采样后得到，/>，表示在给定/>的情况下/>的样本分布，均服从高斯分布，计算公式如式(1.1)所示：
(1.1)
其中为标准矩阵，/>表示正态分布，前向加噪过程产生的样本/>与/>将作为训练阶段噪声预测学习过程的标签；
对于每个时间步，所述噪声预测学习过程，包括：
通过所述条件输入Transformer学习由条件特征与带有高斯噪声的数据，预测对应时间步添加的噪声，所述条件输入Transformer的输出为对应时间步所添加的噪声的预测值；
对于第T时间步，所述条件输入Transformer的输入，为由原始高维动态时序数据序列逐步加噪后获得的近似各向同性的带有高斯噪声的数据，以及条件特征，输出为预测的噪声，记为/>，通过公式(1.2)得到所述时间步去噪的结果；
(1.2)
在训练过程中，使用前向加噪过程中得到的噪声特征分布，对公式(1.2)得到的去噪结果进行监督，使用KL散度作为损失函数迭代优化模型参数，公式如式(1.3)所示；
(1.3)。
8.根据权利要求7所述的系统，其特征在于，所述预测模块，具体用于：
将随机高斯噪声序列和所述条件特征，输入训练完成的条件扩散模型，随机高斯噪声序列作为初始，执行逆向生成过程，所述条件输入Transformer预测添加的噪声，通过公式(1.2)进行去噪计算得到/>，将/>作为下一次迭代的输入，重复T次迭代过程得到预测的高维动态时序特征/>，将/>输入S3中训练完成的特征解码器，获得最终预测的第二动态时序数据。
CN202311315844.0A 2023-10-12 2023-10-12 一种基于条件扩散模型的时间序列数据预测方法和系统 Active CN117076931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311315844.0A CN117076931B (zh) 2023-10-12 2023-10-12 一种基于条件扩散模型的时间序列数据预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311315844.0A CN117076931B (zh) 2023-10-12 2023-10-12 一种基于条件扩散模型的时间序列数据预测方法和系统

Publications (2)

Publication Number Publication Date
CN117076931A CN117076931A (zh) 2023-11-17
CN117076931B true CN117076931B (zh) 2024-01-12

Family

ID=88704494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311315844.0A Active CN117076931B (zh) 2023-10-12 2023-10-12 一种基于条件扩散模型的时间序列数据预测方法和系统

Country Status (1)

Country Link
CN (1) CN117076931B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312777B (zh) * 2023-11-28 2024-02-20 北京航空航天大学 基于扩散模型的工业设备时间序列生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625947A (zh) * 2020-05-20 2020-09-04 国网能源研究院有限公司 一种分布式能源发展规模预测方法、设备及介质
US11599972B1 (en) * 2021-12-22 2023-03-07 Deep Render Ltd. Method and system for lossy image or video encoding, transmission and decoding
CN116308854A (zh) * 2022-08-30 2023-06-23 电子科技大学 一种基于概率扩散的信息级联流行度预测方法及系统
CN116415152A (zh) * 2023-04-21 2023-07-11 河南大学 用于人体动作识别的基于扩散模型的自监督对比学习方法
CN116701877A (zh) * 2023-06-28 2023-09-05 米塔碳(杭州)智能科技有限公司 一种基于条件扩散模型的风机异常值修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230095092A1 (en) * 2021-09-30 2023-03-30 Nvidia Corporation Denoising diffusion generative adversarial networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625947A (zh) * 2020-05-20 2020-09-04 国网能源研究院有限公司 一种分布式能源发展规模预测方法、设备及介质
US11599972B1 (en) * 2021-12-22 2023-03-07 Deep Render Ltd. Method and system for lossy image or video encoding, transmission and decoding
CN116308854A (zh) * 2022-08-30 2023-06-23 电子科技大学 一种基于概率扩散的信息级联流行度预测方法及系统
CN116415152A (zh) * 2023-04-21 2023-07-11 河南大学 用于人体动作识别的基于扩散模型的自监督对比学习方法
CN116701877A (zh) * 2023-06-28 2023-09-05 米塔碳(杭州)智能科技有限公司 一种基于条件扩散模型的风机异常值修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Efficient Transformer for Remote Sensing Image Segmentation;Zhiyong Xu 等;《Remote sensing》;全文 *
Scalable Diffusion Models with Transformers;William Peebles 等;《arXiv:2212.09748》;全文 *
创新扩散模型的研究综述;刘超;王君祥;宋海荣;;科技管理研究(第05期);全文 *
基于深度学习的时间序列预测算法研究与应用;王素;《中国优秀硕士学位论文》;全文 *

Also Published As

Publication number Publication date
CN117076931A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN111784041B (zh) 一种基于图卷积神经网络的风电功率预测方法及系统
CN103049792B (zh) 深层神经网络的辨别预训练
CN117076931B (zh) 一种基于条件扩散模型的时间序列数据预测方法和系统
Dolatabadi et al. Hybrid deep learning-based model for wind speed forecasting based on DWPT and bidirectional LSTM network
CN112508265A (zh) 面向业务流程管理的时间与活动多任务预测方法及系统
Li et al. Deep spatio-temporal wind power forecasting
Park et al. Missing-insensitive short-term load forecasting leveraging autoencoder and LSTM
Li et al. GMM-HMM-based medium-and long-term multi-wind farm correlated power output time series generation method
Kosana et al. Hybrid wind speed prediction framework using data pre-processing strategy based autoencoder network
KR20210133751A (ko) 인공신경망 기반 전력시장 가격 예측 시스템
CN116433223A (zh) 基于双域稀疏Transformer模型的变电站设备故障预警方法及设备
CN117421595A (zh) 一种基于深度学习技术的系统日志异常检测方法及系统
CN116596150A (zh) 基于多分支自注意力的Transformer霍克斯过程模型的事件预测方法
CN112241802A (zh) 一种风电功率的区间预测方法
CN114550014A (zh) 道路分割方法及计算机装置
CN117458440A (zh) 基于关联特征融合的生成式电力负荷预测方法及系统
CN117388709A (zh) 一种基于鲸鱼优化核极限学习机的储能电池故障诊断方法
CN116415990A (zh) 一种基于云计算的自助数据分析方法、系统及存储介质
Bosma et al. Estimating solar and wind power production using computer vision deep learning techniques on weather maps
CN116258504A (zh) 银行客户关系管理系统及其方法
CN115168864A (zh) 一种基于特征交叉的智能交叉合约漏洞检测方法
Li et al. LSTM-based ensemble learning for time-dependent reliability analysis
CN117688367B (zh) 一种基于即时学习的风力发电超短期功率预测方法及装置
CN115267883B (zh) 地震响应预测模型训练及预测方法、系统、设备及介质
CN117034780B (zh) 一种基于深度学习的多尺度次季节降水量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant