CN115687860A - 融合神经微分方程的对抗自编码器不完备数据预测方法 - Google Patents

融合神经微分方程的对抗自编码器不完备数据预测方法 Download PDF

Info

Publication number
CN115687860A
CN115687860A CN202211356570.5A CN202211356570A CN115687860A CN 115687860 A CN115687860 A CN 115687860A CN 202211356570 A CN202211356570 A CN 202211356570A CN 115687860 A CN115687860 A CN 115687860A
Authority
CN
China
Prior art keywords
data
encoder
time
initial state
incomplete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211356570.5A
Other languages
English (en)
Inventor
刘树波
常卓卿
蔡朝晖
涂国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211356570.5A priority Critical patent/CN115687860A/zh
Publication of CN115687860A publication Critical patent/CN115687860A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种融合神经微分方程的对抗自编码器不完备数据预测方法，该方法在生成对抗网络的基础上引入自编码器、神经微分方程等结构。自编码器可以对高维度、高稀疏、噪声大、不完备时间序列进行降维和整体特征提取；神经微分方程可以较好地对系统动力学进行建模。本发明利用自编码器中编码器学习不完备时间序列隐藏特征并提取隐藏层的初始状态，生成器(解码器)中的神经微分方程则根据初始状态在指定时刻生成隐藏状态来提高自编码器时间序列预测能力，生成器中的全连接模块将生成的隐藏状态恢复成完整数据。本发明可以更加高精度地对不完备时间序列数据进行恢复，并且也可以有效地对未来数据进行预测。

Description

融合神经微分方程的对抗自编码器不完备数据预测方法
技术领域
本发明属于计算机领域，尤其涉及一种融合神经微分方程的对抗自编码器不完备时间序列预测方法。
背景技术
物联网和传感器技术的成熟，使应用在各个领域，产生大量含有时间标签的数据，称为时间序列数据，如气象数据、医疗健康数据、股票走势数据、网站访问量等。这些时间序列数据通常随时间推移而变化，并展现了一定的变化率，充分分析这些数据并挖掘其隐含信息具有重大意义和实用价值。
然而，不完备数据是时间序列分析中经常遇到的问题之一。一方面，不完备数据指的是数据缺失问题。由于传感器设备无人值守、能源资源有限的特点以及网络连接非持续等多方面因素限制，数据传输面临着严峻的考验，常常出现丢失数据现象。另一方面，不完备数据是由数据采样时间不规则造成的，如医疗健康数据中的不同指标(如患者心跳、体温、血压、血氧、血糖等)有着不同的采集频率，数据采集的频率往往与采集成本、病人实际的身体状况以及不同生理特征基于时间的变化等因素有关，医生将根据自身经验和与病人所患疾病相关的变量进行监测，这就致使时间序列数据的采样时间是非均匀的。
目前，人工智能和大数据技术被认为是数据分析最有效方法，然而，数据分析的准确性建立在优质的数据质量，不完备时间序列数据的分析建模仍存在一定的困难。传统非均匀采样时间序列的处理方法是将不均匀的采样时间划分为间隔均等的采样时间，重新划分的时间点上不存在采样数据则视为缺失数据。对于数据缺失的问题，处理方法包括直接删除法以及基于统计学或机器学习方法的数据填充方法。当数据缺失量较小时，直接删除数据可以进行正常数据分析；当数据缺失量较大时，缺失信息严重会导致数据分析效果很差。而基于统计学和机器学习的数据填充方法未能考虑时间序列中的数据时间关联关系，难以取得精准的填充效果。
近年来，生成对抗网络的成熟，202011072927.8“一种基于生成对抗网络高速列车量测数据缺失重建的方法”提出了基于生成对抗网络的高速列车量测数据缺失重建的方法，这种方法在生成高速列车离散数据时很难使随机噪声中产生样本服从原始数据分布，并且很难到达纳什均衡，导致梯度消失。202110533285.5“一种基于注意力机制的时序数据缺失值插补方法”公开了一种结合注意力机制和生成对抗网络的缺失数据插补的方法，这些方法都很难在不完备数据集下预测未来数据。
发明内容
本发明针对现有技术的不足，提供一种融合神经微分方程的对抗自编码器不完备时间序列预测方法，解决传统生成对抗网络以随机变量作为输入用于填充缺失数据需要大量时间、效率低的问题，此外，通过使用神经微分方程可以通过预测任意时刻的隐藏状态来完成数据预测。
本发明的技术方案为一种融合神经微分方程的对抗自编码器不完备时间序列预测方法，包括：
所述融合神经微分方程的对抗自编码器包括由编码器、中间层和生成器(解码器)构成的自编码器以及初始状态判别器和数据判别器；所述自编码器中编码器用于对学习不完备时间序列隐藏状态得到中间层初始状态；所述自编码器中生成器用于生成期望时刻的隐藏状态并进行数据恢复；所述初始状态用于约束隐藏层的初始状态先验分布，将其与预先设定的正态分布进行匹配，并进行反向传播训练；数据判别器用于对所述重建的时间序列数据进行判断，并进行反向传播训练；
所述一种融合神经微分方程的对抗自编码器不完备时间序列预测方法，包括以下步骤：
采集时间序列数据，获取不完备数据矩阵，时间间隔矩阵，预测时间矩阵以及对应完备矩阵；
将上述矩阵输入训练后的编码器和生成器，获取预测后的时间序列数据；
其中，生成器的训练包括：
随机生成一个服从正态分布矩阵，其维度大小与中间层初始状态矩阵相同，输入至生成器，基于神经微分方程机制预测生成期望时刻隐藏动态，全连接网络解码获取完整时间序列；
将预测的完整的时间序列输入数据判别器，基于损失函数，对生成器进行反向传播训练；
其中，将不完备时间序列数据和预测的完整的时间序列数据输入数据判别器，基于损失函数，对数据判别器进行反向传播训练；
所述自编码器包括编码器、中间层和解码器，其训练包括：
将不完备数据输入至编码器，获得隐藏层初始状态，隐藏层初始状态输入至生成器，基于神经微分方程机制预测生成期望时刻隐藏动态，全连接网络解码获取完整时间序列数据；
将预测生成的完整数据和对应时间完备矩阵基于均方误差计算损失；再通过初始状态判别器，对中间层的初始状态先验分布做约束，计算损失值；基于两者损失和对编码器和生成器进行反向传播训练；
其中，将不完备数据输入至编码器取得的隐藏层初始状态以及随机生成服从正态分布的相同大小的初始状态输入至初始状态判别器，基于损失函数，对初始状态判别器进行反向传播训练。
进一步的，融合神经微分方程的对抗自编码器预测时间区间内完备时间序列数据包括：
编码器根据数据根据预设维度为d时间长度为m的不完备时间序列X，输出维度为l的中间层初始向量z0；
生成器根据中间层初始状态向量z0和预测时间矩阵T生成每一时刻隐藏状态zt，全连接将隐藏状态Z解码恢复数据
Figure BDA0003920110140000031
进一步的，所述根据不完备时间序列数据X进行数据插值或预测，获取完备时间序列数据
Figure BDA0003920110140000032
包括：
时间感知编码器建立在长短期记忆网络基础上，仍然具有三个门分别是遗忘门ft、输入门it和输出门ot，其前一时刻的记忆细胞Ct-1被分为长期记忆细胞
Figure BDA0003920110140000033
和短期记忆细胞
Figure BDA0003920110140000034
短期记忆细胞
Figure BDA0003920110140000035
通过神经网络获取
Figure BDA0003920110140000036
其中，ωs为权重，bs为偏置。引入时间衰减函数
Figure BDA0003920110140000037
用于修饰短期记忆细胞
Figure BDA0003920110140000038
以捕捉不规则的时间动态变化，其中
Figure BDA0003920110140000039
为时间间隔，e为固定常数。折中后的短期记忆细胞
Figure BDA00039201101400000310
为
Figure BDA00039201101400000311
长期记忆细胞通过前一时刻的记忆细胞Ct-1和短期记忆细胞
Figure BDA00039201101400000312
的差值获取
Figure BDA00039201101400000313
通过将长期记忆细胞和折中后的短期记忆相加，则得到了前一时刻的时间调整记忆细胞C′t-1
Figure BDA00039201101400000314
通过将时间调整记忆细胞C′t-1替换传统长短期记忆网络前一时刻的记忆细胞Ct-1，可以得到每一时刻的隐藏状态ht，计算公式如下：
Figure BDA00039201101400000315
Figure BDA00039201101400000316
Figure BDA00039201101400000317
Figure BDA0003920110140000041
Figure BDA0003920110140000042
ht＝ot*tanh(Ct)
vf，vi，vo，vc，uf，ui，uo和uc为网络训练得到的权重矩阵，bf，bi，bo和bc为偏置，σ为sigmoid函数，tanh为双曲线正切函数。权重矩阵采用均匀分布初始化，偏置则初始化设为1。
获取隐藏状态矩阵H，初始状态z0的均值μz和方差
Figure BDA0003920110140000043
通过对最后时刻的隐藏状态hM做线性变换获得。
Figure BDA0003920110140000044
Figure BDA0003920110140000045
将初始状态z0输入至生成器，通过神经微分方程生成t1，t2，…，tT时刻的隐藏状态z1，z2，…，zT。
z1，z2，…，zr＝ODESolve(z0，fθ，t0，t1：r)
通过多层感知器网络对隐藏状态Z进行解码来完成缺失数据的插值或者未来数据预测。
进一步的，所述对数据判别器、初始状态判别器和自编码器网络的训练包括：
利用损失函数训练数据判别器：
Figure BDA0003920110140000046
其中，E为期望函数，Dx(X)为对原始不完备数据判断为真的概率值，Dx(Dec(zp))为对预测的完备数据判定为真的概率值；
利用损失函数训练初始状态判别器：
Figure BDA0003920110140000047
其中，E为期望函数，Dz(zp)为对生成服从正态分布的初始状态判断为真的概率值，Dz(E(X))为对编码器对不完备数据编码判定为真的概率值；
利用联合初始状态判别器约束和重建损失训练自编码器，其中α和β为超参数：
Lrecon＝α·(X′-Dec(E(X)))2+β·E[[log(Dx(Dec(zp)))]]
本发明的一种融合神经微分方程的对抗自编码器不完备时间序列预测方法，利用生成对抗网络、自编码器，结合神经微分方程机制，提出了一种融合神经微分方程的对抗自编码器不完备时间序列预测方法。经过对抗训练，该方法可以生成符合原始不完备时间序列分布的新数据，通过神经微分方程，也可以对未来数据进行预测。通过上述方法，可以提升不完备时间序列预测的准确性。
附图说明
图1是本发明实施例的一种融合神经微分方程的对抗自编码器不完备时间序列预测模型训练方法的流程图。
图2是本发明实施例的融合神经微分方程的对抗自编码器的结构图。
图3是本发明实施例的融合神经微分方程的对抗自编码器的编码器结构图。
图4是本发明实施例的融合神经微分方程的对抗自编码器的生成器结构图。
具体实施方式
本发明主要基于自编码器、生成对抗网络和神经微分方程，考虑不完备时间序列的时间关系，提出的一种融合神经微分方程的对抗自编码器不完备时间序列预测模型方法及系统。本方法充分考虑了相邻时间变量的不同时间间隔，通过时间感知长短期记忆网络来学习不完备时间序列数据隐藏特征。本发明获得的不完备数据预测结果更加科学，更加准确。
下面将结合实施例中的附图对本发明的技术方案进行清晰、完整地阐述。显然，所描述的实施例仅仅是用于清晰地阐明本发明的技术方案，而并不受此来限制本发明的保护范围。
本发明以KDD CUP 2018 Dataset数据集为例，详细地阐明该方法对不完备时间序列进行数据预测的过程。该数据集选取了北京地区十一个气象观测站从2017年1月1日到2017年12月30日的空气质量数据，数据每隔一小时监测一次，其中，主要检测了PM 2.5，PM10，一氧化碳、温度等十二个指标。
如图1所示，一种融合神经微分方程的对抗自编码器不完备时间序列预测方法，所述不完备时间序列分析预测模型训练包括以下步骤：
步骤1：获取气象历史时间序列数据；
步骤1.1：由于多元气象时间序列受到外部因素影响，以及不同指标存在量纲和数量级的影响。因此，需将多元气象数据进行线性归一化处理，使其值转换至[0，1]区间来提高模型训练速度和模型性能；
步骤1.2：将上述处理好的时间序列划分为时间长度为m的固定大小，使其满足后续神经网络输入数据需求。因此，数据的形状为B×m×12，其中B为批大小，m为序列时间长度，12为多元序列监测指标个数；
步骤1.3：由于上述处理数据为完备数据集，因此，需要随机摒弃其中10％，20％，...，70％的数据，来制造不同缺失率的不完备时间序列。
步骤1.4：根据上述的不完备时间序列矩阵构建时间间隔矩阵ΔT，st表示时间戳，
Figure BDA0003920110140000061
表示时间间隔，
Figure BDA0003920110140000062
为掩码矩阵，计算公式如下：
Figure BDA0003920110140000063
步骤1.5：构建预测时间矩阵T，可以是原始时间矩阵，用于缺失数据恢复；可以扩展包含未来时间点，用于未来数据预测；
步骤1.6：根据预测时间构建真实完备矩阵X′，用于计算重构误差。
步骤2：按照图1构造融合神经微分方程的对抗自编码器不完备时间序列预测模型，包括一个自编码器和两个判别器；自编码器包括一个由时间感知长短期记忆网络构成的编码器、中间层和一个由神经微分方程和全连接构成的解码器；判别器则包括一个由全连接构成的初始状态判别器以及一个由时间感知长短期记忆网络构成的数据判别器；
步骤2.1：按照图3搭建自编码器的编码器，其中编码器包括时间感知长短期记忆网络和全连接网络两个部分。将长度为m的不完备时序数据X输入编码器E，输出初始状态z0，即
z0＝E(X)
为了充分学习不完备时间序列数据矩阵中数据之间的不规则时间间隔，采用一种时间感知长短期记忆网络对不完备时间序列数据矩阵进行编码来学习多元变量每个时间点的隐藏状态，时间感知长短期记忆网络仍然包括三个门：遗忘门ft、输入门it和输出门ot，但是前一时刻的记忆细胞Ct-1被分为长期记忆细胞
Figure BDA0003920110140000064
和短期记忆细胞
Figure BDA0003920110140000065
短期记忆细胞
Figure BDA0003920110140000066
通过神经网络获取，引入时间衰减函数
Figure BDA0003920110140000067
对时间间隔矩阵
Figure BDA0003920110140000068
进行编码，其用来修饰短期记忆细胞
Figure BDA0003920110140000069
来捕捉不规则的时间动态变化，折中后的短期记忆细胞为
Figure BDA00039201101400000610
而长期记忆细胞通过前一时刻的记忆细胞Ct-1和短期记忆细胞
Figure BDA00039201101400000611
的差值获取。通过将长期记忆细胞和折中后的短期记忆相加，则得到了前一时刻的时间调整记忆细胞C′t-1。通过将时间调整记忆细胞C′t-1替换传统长短期记忆网络前一时刻的记忆细胞Ct-1，可以得到每一时刻的隐藏状态ht，计算公式如下：
Figure BDA00039201101400000612
Figure BDA0003920110140000071
Figure BDA0003920110140000072
Figure BDA0003920110140000073
Figure BDA0003920110140000074
Figure BDA0003920110140000075
Figure BDA0003920110140000076
Figure BDA0003920110140000077
Figure BDA0003920110140000078
ht＝ot*tanh(Ct)
ωs，vf，vi，vo，vc，uf，ui，uo和uc为网络训练得到的权重矩阵，bs，bf，bi，bo和bc为偏置，σ为sigmoid函数，tanh为双曲线正切函数。权重矩阵采用均匀分布初始化，偏置则初始化设为1。编码器的初始输入向量C0和h0则设置为0。
原始不完备时间序列长度为m，输入至编码器后，得到m个隐藏状态h1，h2，...，hm。取隐藏状态的最后一时刻状态hm，输入至全连接网络做线性变换，获取l维的隐藏状态z0的均值和方差
Figure BDA0003920110140000079
最后。
步骤2.2：按照图4搭建自编码器的生成器，其中生成器包括神经常微分方程和全连接网络两个部分。通过初始状态z0生成预测时间矩阵t1，t2，…，tT对应时间下l维的隐藏状态z1，z2，…，zT。最后通过全连接做线性变化，将隐藏状态解码。
Figure BDA00039201101400000710
这里将神经网络和常微分方程进行结合，使用神经微分方程对隐藏状态系统动力学进行建模。常微分方程假设时间t∈[0，T]是连续变量，对这段时间进行无限细分，则微分形式如下：
Figure BDA00039201101400000711
f表示导数，通常可以用神经网络进行学习，z(t)表示l维隐藏状态，θ表示学习参数，本发明选用一个简单全连接网络。当需要计算某一期望时刻的隐藏状态，若给出初始时刻0和期望时刻T，则可以对上述微分方程进行积分计算，如下
z(T)＝z(0)+∫0 Tf(z(t)，t；θ)dt
构建神经微分方程采用一种自适应性的ODEsolver，其相对容忍度和绝对容忍度采取默认容忍度范围是Tol＝1e-3，选择精确度更高Dopris数值方法的作为本发明常微分方程外推求解器，计算过程如下：
z1，z2，…，zT＝ODESolve(z0，fθ，t0，t1：T)
其中，z0为初始状态，fθ为隐藏状态导数，t0为初始时间，t1：T为预测时间。再通过全连接模块，对隐藏状态进行解码。
步骤2.3：搭建一个由时间感知长短期记忆网络和sigmoid函数构成的数据判别器Dx，将预测的完整时间序列
Figure BDA0003920110140000084
和原始不完备时间序列X输入到数据判别器中，通过判别器输出一个概率值，其代表该数据为真实序列的概率。通过生成器和判别器的对抗训练，可以提高预测数据的准确性。
步骤2.4：搭建一个由全连接网络和sigmoid函数构成的初始状态判别器Dz，将编码器输出的编码初始状态E(X)和抽取一个服从正态分布的初始状态z0到初始状态判别器中，通过判别器输出一个概率值，其代表该初始状态为正态分布的概率。通过初始状态判别器，可以将编码器的输出约束到正态分布上。
步骤3：将真实不完备时间序列和生成器生成的完备数据输入至所述的数据判别器，完成数据判别器Dx训练，利用损失函数
Figure BDA0003920110140000081
Figure BDA0003920110140000082
其中，E为期望函数，Dx(X)为对原始不完备数据判断为真的概率值，Dx(Dec(zp))为对预测的完备数据判定为真的概率值，zp为随机生成矩阵，zp的维度大小与z0相同且服从正态分布的先验分布
Figure BDA0003920110140000083
步骤4：生成器旨在根据随机生成的初始状态zp生成完备数据来欺骗数据判别器Dx，利用损失函数LDec：
LDec＝E[log(Dx(Dec(zp)))]
其中，E为期望函数，Dx(Dec(zp))为对预测的完备数据判定为真的概率值，zp为随机生成矩阵；
步骤5：利用初始状态判别器初始状态判别器Dz对隐藏层初始状态的先验分布进行约束，使其服从正态分布，利用损失函数
Figure BDA0003920110140000091
Figure BDA0003920110140000092
其中，
Figure BDA0003920110140000093
为初始状态判别器损失函数，E为期望函数，Dz(zp)为对生成服从正态分布的初始状态判断为真的概率值，Dz(E(X))为对编码器对不完备数据编码判定为真的概率值；编码器进行编码能力训练，以混淆初始状态判别器，使编码器的输出与设定的正态分布无限接近。
步骤6：联合初始状态判别器Dz约束和重建损失，迭代训练更新编码器E和生成器Dec；
步骤6.1：为了保证重建数据的准确性，通过均方误差(MSE)来构建重建损失Lerror：
Lerror＝(X′-Dec(E(X)))2
其中，E为编码器，Dec为解码器，X′为真实完备数据；
步骤6.2：对编码器的输出初始状态进行限制，使其服从正态分布，通过构建损失函数
Figure BDA0003920110140000094
Figure BDA0003920110140000095
步骤6.3：结合先验分布对抗损失因素，通过最小化两者损失之和Lrecon，使编码器E和生成器Dec生成数据更加逼近真实值，其中α和β为超参数。
Figure BDA0003920110140000096
步骤7，利用训练好的融合神经微分方程的对抗自编码器不完备时间序列预测模型输出预测结果。
综上所述，本发明所述的不完备时间序列预测方法以生成对抗网络为基本框架。传统的生成对抗网络的生成器采用一种随机向量作为时间序列的填充，这种方法消耗大量时间为时间序列匹配最优的数据向量，从而导致效果数据插补效率低。
为了提高时间序列插补的效率，本发明采用一种自编码器，通过使用一种时间感知长短期记忆网络对不完备时间序列进行编码，从而得到低维特征向量表达，通过低维特征向量来重构完整的时间序列。
而且这种传统自编码器，只能对缺失数据进行插值，不能预测未来数据。为了解决这个问题，本发明在自编码器中融合神经微分方程技术，通过神经微分方程生成任意指定时间隐藏状态，然后进行解码。这种办法可以对不完备时间序列数据进行插值处理，也可以预测未来数据。
以上所描述的具体实施例仅仅起到本发明的举例说明作用，对于本技术领域的技术人员来说，可以在不脱离本发明的技术前提下，对所描述的具体实施例进行修改或者补充，这些改变应视为本发明的保护范围。

Claims (9)

1.一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于，包含以下步骤：
步骤1，采集不完备时间序列数据，基于采集的不完备时间序列，对不完备时间序列数据进行归一化处理得到不完备数据矩阵X、时间间隔矩阵ΔT、预测时间矩阵T以及预测时间下对应的真实完备数据X′；
步骤2，构建融合神经微分方程的对抗自编码器不完备时间序列预测模型，其包含一个由编码器E、中间隐藏层和生成器Dec三部分组成的自编码器框架以及初始状态判别器Dz和数据判别器Dx；
步骤3，将真实不完备时间序列X和生成器生成的完备数据
Figure FDA0003920110130000011
输入至所述的数据判别器，完成数据判别器Dx训练；
步骤4，随机生成的初始状态zp，生成器Dec生成完备数据集欺骗数据判别器Dx，完成生成器Dec训练；
步骤5，利用初始状态判别器Dz对隐藏层初始状态z0的先验分布进行约束，使其服从正态分布，训练初始状态判别器Dz；
步骤6，联合初始状态判别器Dz约束和重建损失Lerror，迭代训练更新编码器E和生成器Dec；
步骤7，利用训练好的融合神经微分方程的对抗自编码器不完备时间序列预测模型输出预测结果。
2.根据权利要求1所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征所在于：所构造的对抗自编码器具体包括：
所述编码器包括时间感知长短期记忆网络和全连接网络，编码器学习多元变量中的每个变量的隐藏特征，得到隐藏层的初始状态；
所述生成器包含一个神经微分方程和一个全连接网络，神经微分方程根据隐藏层的初始状态可以推测任意指定时刻的隐藏状态，再通过全连接网络进行解码；
所述初始状态判别器包含一个全连接网络和一个归一化层，对隐藏层的初始状态的先验分布进行约束；
所述数据判别器包含一个时间感知长短期记忆网络和一个归一化层，对解码器即生成器的输出进行约束，使解码器的输出与真实数据更加接近。
3.根据权利要求2所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于：对抗自编码器中的编码器采用一种时间感知长短期记忆网络来学习多元变量的隐藏状态，并采用全连接网络学习初始状态，具体包括：
将长度为m的不完备时序数据X输入编码器E，输出初始状态z0，即
z0＝E(X)
时间感知长短期记忆网络包括三个门：遗忘门ft、输入门it和输出门ot，但是在新的网络中前一时刻的记忆细胞Ct-1被分为长期记忆细胞
Figure FDA0003920110130000021
和短期记忆细胞
Figure FDA0003920110130000022
短期记忆细胞
Figure FDA0003920110130000023
通过简单的神经网络线性变化获取，引入时间衰减函数
Figure FDA0003920110130000024
对时间间隔矩阵
Figure FDA0003920110130000025
进行编码，其用来修饰短期记忆细胞
Figure FDA0003920110130000026
来捕捉不规则的时间动态变化，折中后的短期记忆细胞记为
Figure FDA0003920110130000027
而长期记忆细胞通过前一时刻的记忆细胞Ct-1和短期记忆细胞
Figure FDA0003920110130000028
的差值获取，通过将长期记忆细胞和折中后的短期记忆相加，则得到了前一时刻的时间调整记忆细胞C′t-1，通过将时间调整记忆细胞C′t-1替换传统长短期记忆网络前一时刻的记忆细胞Ct-1，可以得到每一时刻的隐藏状态ht，计算公式如下：
Figure FDA0003920110130000029
Figure FDA00039201101300000210
Figure FDA00039201101300000211
Figure FDA00039201101300000212
Figure FDA00039201101300000213
Figure FDA00039201101300000214
Figure FDA00039201101300000215
Figure FDA00039201101300000216
Figure FDA00039201101300000217
ht＝ot*tanh(Ct)
ωs，vf，vi，vo，vc，uf，ui，uo和uc为权重矩阵，bs，bf，bi，bo和bc为偏置，σ为sigmoid函数，tanh为双曲线正切函数，权重矩阵采用均匀分布初始化，偏置则初始化设为1。编码器的初始输入向量C0和h0则设置为0；
原始不完备时间序列长度为m，输入至编码器后，得到m个隐藏状态h1,h2,…,hm，取隐藏状态的最后一时刻状态hm，输入至全连接网络做线性变换，最后获取l维的隐藏状态z0的均值和方差
Figure FDA0003920110130000031
4.根据权利要求2所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于：对抗自编码器中的生成器包括神经常微分方程和全连接网络两个部分，通过初始状态z0生成预测时间矩阵t1,t2,…,tT对应时间下l维的隐藏状态z1,z2,…,zT，最后通过全连接做线性变化，将隐藏状态解码；
Figure FDA0003920110130000032
这里将神经网络和常微分方程进行结合，使用神经微分方程对隐藏状态系统动力学进行建模，常微分方程假设时间t∈[0,T]是连续变量，对这段时间进行无限细分，则微分形式如下：
Figure FDA0003920110130000033
f表示导数，可以用神经网络进行学习，z(t)表示l维隐藏状态，θ表示学习参数，选用一个简单全连接网络，当需要计算某一期望时刻的隐藏状态，若给出初始时刻0和期望时刻T，则可以对上述微分方程进行积分计算，如下
z(T)＝z(0)+∫0 Tf(z(t),t；θ)dt
构建神经微分方程采用一种自适应性的ODEsolver，其相对容忍度和绝对容忍度采取默认容忍度范围是Tol＝1e-3，选择精确度更高Dopris数值方法的作为常微分方程外推求解器，计算过程如下：
z1,z2,…,zT＝ODESolve(z0,fθ,t0,t1:T)
其中，z0为初始状态，fθ为隐藏状态导数，t0为初始时间，t1:T为预测时间，再通过全连接模块，对隐藏状态进行解码。
5.根据权利要求1所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于：步骤3中利用损失函数
Figure FDA0003920110130000034
对数据判别器进行训练；
Figure FDA0003920110130000041
其中，
Figure FDA0003920110130000042
为数据判别器损失函数，E为期望函数，Dx(X)为对原始不完备数据判断为真的概率值，Dx(Dec(zp))为对预测的完备数据判定为真的概率值，zp为随机生成矩阵。
6.根据权利要求1所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于：步骤4中利用损失函数LDec对生成器进行训练；
LDec＝E[log(Dx(Dec(zp)))
其中，LDec为生成器损失函数，E为期望函数，Dx(Dec(zp))为对预测的完备数据判定为真的概率值，zp为随机生成矩阵。
7.根据权利要求1所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于：步骤5中利用损失函数
Figure FDA0003920110130000043
对初始状态判别器进行训练；
Figure FDA0003920110130000044
其中，
Figure FDA0003920110130000045
为初始状态判别器损失函数，E为期望函数，Dz(zp)为对生成服从正态分布的初始状态判断为真的概率值，Dz(E(X))为对编码器对不完备数据编码判定为真的概率值。
8.根据权利要求1所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于：步骤6的具体实现方式如下；
步骤6.1，为了保证重建数据的准确性，通过均方误差MSE来构建重建损失Lerror：
Lerror＝(X′-Dec(E(X)))2
其中，E为编码器，Dec为解码器，X′为真实完备数据；
步骤6.2，对编码器的输出初始状态进行限制，使其服从正态分布，通过构建损失函数
Figure FDA0003920110130000046
Figure FDA0003920110130000047
步骤6.3，结合先验分布对抗损失因素，通过最小化两者损失之和Lrecon，使编码器E和生成器Dec生成数据更加逼近真实值，
Figure FDA0003920110130000048
其中α和β为超参数。
9.根据权利要求1所述的一种融合神经微分方程的对抗自编码器不完备数据预测方法，其特征在于：步骤1中的不完备时间序列数据为气象历史时间序列数据。
CN202211356570.5A 2022-11-01 2022-11-01 融合神经微分方程的对抗自编码器不完备数据预测方法 Pending CN115687860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211356570.5A CN115687860A (zh) 2022-11-01 2022-11-01 融合神经微分方程的对抗自编码器不完备数据预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211356570.5A CN115687860A (zh) 2022-11-01 2022-11-01 融合神经微分方程的对抗自编码器不完备数据预测方法

Publications (1)

Publication Number Publication Date
CN115687860A true CN115687860A (zh) 2023-02-03

Family

ID=85047305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211356570.5A Pending CN115687860A (zh) 2022-11-01 2022-11-01 融合神经微分方程的对抗自编码器不完备数据预测方法

Country Status (1)

Country Link
CN (1) CN115687860A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363878A (zh) * 2023-05-26 2023-06-30 云南大学 基于连续动态常微分方程的交通流量预测系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363878A (zh) * 2023-05-26 2023-06-30 云南大学 基于连续动态常微分方程的交通流量预测系统及方法
CN116363878B (zh) * 2023-05-26 2023-08-11 云南大学 基于连续动态常微分方程的交通流量预测系统及方法

Similar Documents

Publication Publication Date Title
Xie et al. Variational autoencoder bidirectional long and short-term memory neural network soft-sensor model based on batch training strategy
Sun et al. Short-term multi-step wind power forecasting based on spatio-temporal correlations and transformer neural networks
Li et al. DCT-GAN: dilated convolutional transformer-based GAN for time series anomaly detection
CN110046252B (zh) 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法
CN111966998B (zh) 基于变分自动编码器的口令生成方法、系统、介质和设备
Zeng et al. Satellite telemetry data anomaly detection using causal network and feature-attention-based lstm
CN109886496B (zh) 一种基于气象信息的农产量预测方法
CN113486578A (zh) 一种工业过程中设备剩余寿命的预测方法
CN115687860A (zh) 融合神经微分方程的对抗自编码器不完备数据预测方法
CN112365033B (zh) 一种风电功率区间预测方法、系统及存储介质
CN113298131B (zh) 一种基于注意力机制的时序数据缺失值插补方法
Li et al. Variational auto-encoders based on the shift correction for imputation of specific missing in multivariate time series
CN114022311A (zh) 基于时序条件生成对抗网络的综合能源系统数据补偿方法
CN114841072A (zh) 一种基于差分融合Transformer的时序预测方法
CN112163020A (zh) 一种多维时间序列异常检测方法及检测系统
CN115759461A (zh) 一种面向物联网的多元时间序列预测方法及系统
CN116596150A (zh) 基于多分支自注意力的Transformer霍克斯过程模型的事件预测方法
CN116398418A (zh) 核电循环水泵在线异常监测及辨识方法
Yao et al. Multivariate time-series prediction in industrial processes via a deep hybrid network under data uncertainty
Manikandan et al. Deepq: Residue analysis of localization images in large scale solid state physical environments
Yang et al. A prediction model of aquaculture water quality based on multiscale decomposition
Hu et al. Spatiotemporal generative adversarial imputation networks: An approach to address missing data for wind turbines
Feng et al. Stream-flow forecasting based on dynamic spatio-temporal attention
CN113866391A (zh) 深度学习模型预测因素解释方法及其在土壤含水量预测中的应用
Xin et al. An enhanced feature extraction based long short-term memory neural network for wind power forecasting via considering the missing data reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination