CN109816008A - 一种基于长短期记忆网络的天文大数据光变曲线异常预测方法 - Google Patents

Abstract

本发明公开一种基于长短期记忆网络(LSTM)的天文大数据光变曲线异常检测方法，该方法旨在解决天文数据中光变曲线的异常由于其瞬时性导致不好检测问题。该方法以地面广角相机阵列(GWAC)通过观测获得的大量光变曲线数据为基础作为训练样本和测试样本，同时构建由LSTM单元链接而成的神经网络，通过不断的训练网络模型从而得到以该网络特有的方式得到的输出值。本发明通过迭代训练不断更新各单元的权重，使得全局达到最优；训练完毕后，只需将测试样本输入网络就能得到该样本序列的下一个预测值。

Description

一种基于长短期记忆网络的天文大数据光变曲线异常预测 方法

技术领域

本发明属于天文大数据处理技术领域，即涉及一种基于长短期记忆网络的天文大数据光变曲线异常预测方法。

背景技术

天文学研究中经常会处理大量的通过调查生成并整合而成的大型数据集。例如近期中国和法国联合进行的天文卫星项目SVOM。该项目的主要目的是检测宇宙中的伽马射线暴现象。SOVM项目中的地面广角照相机阵列(GWAC)用于宇宙中的光线数据进行测量并生成天文光变曲线的数据集。这个系统包括36个广角相机，每个相机直径有18厘米，22厘米的焦距和4k*4k的CCD探测器。CCD探测器对于400到800纳米的波长范围非常敏感。该相机列阵能获得总共超过5000平方度内的图像。GWAC相机阵列可以每15秒拍摄一次图像(包括10秒的曝光时间和5秒的读数)。GWAC相机阵列产生数据的速度大约为每秒钟85MB。因此其能产生大量的数据。GWAC相机阵列是世界上第一个专用于短时间尺度调查的望远镜。考虑到数据处理需求的数量之大以及用于异常检测的天文光变曲线的具体性质，已经存在的用于处理实时数据的时间序列分析方法是有限的。因此找到一个高效且准确的异常检测的方法尤为重要。

长短期记忆型网络(Long Short-Term Memory，LSTM)，是RNN的一种特殊变体，是为了解决RNN神经网络模型可能产生的梯度爆炸或梯度消失问题所被提出的。RNN神经网络模型因为其可能产生梯度爆炸或梯度消失问题导致其不能直接用于应用领域。由于LSTM模型是特殊的RNN模型，其必定是用于解决RNN所解决的输入之间有前后联系的问题，即LSTM模型是有记忆的。LSTM模型图如图1所示。LSTM对每个神经模块进行了改进，设计了细胞状态C，忘记门层(决定C丢弃Ct-1的哪些信息，)，输入门层(决定往C中填入什么信息)等组成元素。通过这四层结构，上个模块的输入信息会被忘记和添加，并最终通过运算得到新的细胞状态以及当前模块的输出。这些结构中的权重值会随着学习而不断调整直到输出符合要求为止，从而达到筛选信息，控制数据流动，决定信息是否通过，模拟推理过程的目的。

随着人工智能的不断发展和火热，越来越多的开发框架问世，Keras是由Python编写的基于theano/TensorFlow的深度学习框架，其中包含了大量的预先包装好的网络类型，包括二维和三维卷积网络，短期和长期的网络等常用网络。Keras的设计原则包括用户友好，模块性，易扩展性以及与Python合作等。

综合以上几段对相关技术的介绍和分析，光变曲线异常预测问题本质上是对时间序列(宇宙中的光线亮度随时间变化序列)的预测。鉴于对光变曲线的研究方法相较其他领域较少，并且由于数据量巨大的特点不易进行处理，需要提出一种以LSTM神经网络模型为模型，依靠天文望远镜获取的大量数据作为数据集的对光变曲线异常预测的方法。

发明内容

本发明的目的在于提供一种基于长短期记忆网络(LSTM神经网络)的天文光变曲线异常预测算法，为提前预测具有瞬时性的异常变化并根据预测进行观察提供了一种可行方案。

根据本发明的一个方面，提供了一种由基本LSTM单元组成的神经网络模型的构建方法，包括从文件中读取数据；处理这些数据，将它们“变形”成符合LSTM神经网络模型的标准的输入数据模型，制作成时间序列形式的训练样本；初始化LSTM模型，设置LSTM模型中的参数和权重等。

根据本发明的另一方面，提供了一种把样本输入LSTM网络模型，让其学习序列规律，调整各个门控单元权重并优化全局的训练方法和迭代式的滚动预测方法，包括用调整好的输入网络的训练样本进行训练并计算损失函数；以损失函数作自变量用适应性矩估计(Adaptive moment estimation，Adam)算法进行全局优化；迭代训练，重复以上两步并定时保存调整好的模型，以及进而以测试样本为输入，用“最终版”网络模型迭代输出天文光变曲线的预测值。

综上所述，一种基于长短期记忆网络的天文光变曲线异常预测方法，包括如下步骤：

S1、从文件里取出数据，对数据做预先处理，形成符合LSTM神经网络模型输入形式的历史时间序列；

S2、构建LSTM神经网络模型，设置网络模型的格式以及必要的参数，调整模型，使其能够正确，有效地处理输入的样本并返回结果；

S3、迭代地向这个模型中导入训练样本，计算损失函数，并以此为基础进行全局优化，不断提取训练样本的特征以及数值与时序的关系，直至迭代结束；

S4、训练阶段结束后，向模型中导入测试样本，迭代输出未来数个时间步待预测指标的数值，形成预测值时间序列。根据精度进行调整，直到精度符合预期要求。

本发明的有益效果如下：

本发明所述技术方案能够解决由于天文光变曲线异常出现的瞬时性以及天文光变曲线自身的不规律性所导致的异常预测困难问题。通过本发明可以提前预知异常发生的时间，能够让观测者在异常发生前做好充分准备，能够提升研究的效率。将该方案和其他方案横向比较可以发现该方案学习时间更短且精度更高，还能避免可能出现的梯度消失等情况，以上使得该方案在预测时有着极大的优势。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明：

图1是基于长短期记忆网络(LSTM神经网络模型)的天文光变曲线异常预测方法的流程图；

图2是长短期记忆网络(LSTM神经网络模型)基本单元的内部结构图；

图3是根据本发明一个实施例的经Dropout优化后的单层LSTM神经网络结构示意图；

图4是根据本发明一个实施例的LSTM神经网络结构图；

图5是根据本发明一个实施例的光变曲线预测结果示意图；

图6是根据本发明一个实施例的光变曲线预测误差示意图。

具体实施方式

下面对本发明的实施流程和注意事项做进一步阐述。算法用python语言编写，导入了kears、数据分析包pandas、数值计算扩展包numpy和用来绘制图像的matplotlib.pyplot。

S1、从文件里取出数据，做预先处理，形成历史时间序列。

历史数据常常存放在csv格式的文件中。要想对序列进行预测，所要做的第一步就是从文件中读出历史数据，形成一条时间序列。通过调用pandas中的方法可以得到历史数据并将重点数据即天文光变曲线数据进行提取。

由于天文望远镜获得的数据会存在量纲不同且两极分化严重等问题，这些问题将导致学习过程不收敛从而得不到想要的结果，因此需要将数据进行归一化操作。数据归一化是通过将数据进行按比例的缩放，是指落入一个特定的小的区域。也可用于去除数据的单位限制，将其转化为无量纲的纯数值，以便于不同单位过量级的数据进行对比和加权。数据归一化的方法有很多，例如直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。数据归一化的好处有很多，例如可以提升模型的收敛速度，提升模型的精度，防止模型发生梯度爆炸等。最常用的数据归一化方法是是min-max标准化和z-score标准化。在本实验中应用的是min-max标准化方法。Min-max标准化也称0-1标准化，线性函数归一化或离差标准化，是对原始数据进行线性变化使其结果落在[0,1]区间，其转换函数是：

其中max为样本数据的最大值，min为样本数据的最小值。

接下来将数据集增维，将其变为符合LSTM神经网络模型的输入格式，即[samples,timesteps,features]格式的三维矩阵。而后将数据按比例分为训练集与测试集，例如在本发明中将数据集的62％设置为训练集，剩下的38％为测试集。

S2、构建LSTM神经网络模型，设置必要的参数，使其能够正确，有效地处理输入的样本并返回结果。

在模型开始学习前，有些参数需要预先设定好取值。本算法设计的超参数有十个，分别是输入层维度input_size、输出层维度output_size、单批次训练样例数batch_size、单层LSTM单元个数num_unit、时间步time_step、迭代训练次数epochs、激活函数activation、损失函数loss、优化函数optimizer以及测试样本数n_train。

其中重点应注意batch_size的取值，batch_size表示单词输入网络的样本数量，若样本数量过大，则可能导致收敛速度减慢，容易陷入局部最优的问题，但过小的样本数量又会导致训练的稳定性变差。因此batch-size的大小应当适中，不应过大或过小。本发明应用的优化函数为Adam。Adam优化器综合了AdaGrad和RMSProp两种优化算法的优点。主要优点有8点：实现简单且对内存需求少；参数更新不受梯度的变换影响；超参数无需调整或只需微调；更新的步长步长能被限制在一定的范围内；能自然地实现步长退火过程；能应用于大规模的数据及参数场景；适用于不稳定的目标函数；适用于解决梯度稀疏或存在很大噪声的问题。综合来说Adam优化器为现阶段工作性能比较优秀的优化器。在预先设置好神经网络的各个基本参数后，搭建适合预测光变曲线的LSTM神经网络。

S3、迭代地向这个模型中导入训练样本，计算损失函数，并以此为基础进行全局优化。

训练前首先调用S2中设计的网络模型函数。LSTM预测模型包括LSTM隐含层、输入全连接层和输出全连接层，LSTM预测算法如下：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t·tanh(C_t)

其中C_t表示t时刻记忆细胞状态；h_t为t时间点LSTM单元的所有输出；tanh和σ分别是正切激活函数和Sigmoid激活函数；i_t,f_t,o_t分别是t时间点输入门、遗忘门和输出门的计算方法。

通过上述LSTM预测模型，可根据光变曲线时间序列输入特征数据，得到预测结果。其中对LSTM网络的训练是迭代进行的，共有epoch次，实质上就是以下操作的循环：

1)从训练集中取出第一批batch_size个样本；

2)将提取出的数据集输入LSTM模型，获得预测结果；

3)根据预测结果采用均方误差法(MSE，mean squared error)计算损失loss：

预测问题实质是一个回归问题，其中pred是根据输入的长度为batch_size的数据集预测出的预测数据集，tag为原数据集；

4)初始化一个Adam优化器，对每一个参数计算自适应的学习率，除了存储一个指数衰减的历史平方梯度的平均v_t，Adam同时还保存一个历史梯度的指数衰减均值m_t，而参数β₁、β₂∈[0,1)控制了这些移动均值指数的衰减率。计算loss的梯度，然后把梯度应用到变量上，更新系统权重，具体实施步骤如下所示：

m_t＝β₁m_t-1+(1-β₁)g_t

5)从训练集中取出下一批batch_size个样本重复以上操作；

6)当训练集中数据全部按batch_size大小被取出后，开始下一次迭代。

S4、训练阶段结束后，向模型中导入测试样本，迭代输出未来数个时间步待预测指标的数值，形成预测值时间序列。根据精度进行调整，直到精度符合预期要求。

经过以上三步的迭代和调整，LSTM神经网络模型已被调整为较好的状态，可以进行对时间序列的预测。首先将在第二步中规划好的测试集导入调整好的LSTM神经网络模型，LSTM神经网络模型即可自动预测出未来数据。

预测值的精准程度可通过平面坐标系中两个序列图线的拟合度直观得出。如果精度不够高，则不断调整参数，重复S1-S5，直至两图线的拟合度以及误差值令人满意为止。

在做光变曲线训练预测模型时，相对于传统数学模型，LSTM神经网络的应用能加快处理效率和预测精度，将所有原始数据引入训练并自动生成预测模型，在不改变原始数据结构及含义的基础上实现了对光变曲线数据的预测和分析。LSTM神经网络不依赖历史负荷数据，能够预测更大时间步长的负荷数据，预测周期的增长并不会影响预测数据的准确性，通过利用不断更迭的光变曲线数据输入LSTM神经网络中，不断生成新的预测模型，大大提高预测结果的实时性，同时缩小误差。

下面从下面通过具体实施例对上述实施例进行进一步补充说明和对上述实施例的优点进行验证。

在本发明的一个具体实施例中，获取小型GWAC观测到的2767条光曲线的数据作为样本，其中前1716个样本为训练数据，后1051个样本为测试数据。Dropout-RNN预测效果(区间＝30秒)条数据，采样频率为15秒一个采样点，选取前62％的数据作为训练数据，后38％的数据作为测试数据。

考虑到大规模神经网络耗时长，容易出现过拟合问题，因此本文引入了Dropout方法。Dropout是指在深层学习网络的训练过程中，根据一定的概率从网络中临时丢弃神经网络的隐含单元。在训练级别，Dropout方法向隐含层训练网络的每个神经元添加概率流。当在该层上施加概率为q的Dropout时，隐含层H中的神经元服从Bernoulli方程r^j～Bernoulli(q)，用Dropout方法处理的隐含层用乘积激活神经元。Dropout仅用于前向连接，而不用于循环连接，一旦选择的节点作为丢弃节点，则该节点用于前向处理的输出被设置为0。对于反向过程，该节点的权重和偏差不参与更新。经过交叉验证，当DRNN隐含节点的丢弃率等于0.4时，随机生成的网络结构最大。提出了建立四层LSTM的Dropout-RNN，并采用跳出法防止过拟合，优化神经网络。在这项工作中使用的RNN示出了第一层的详细图像，如图3所示。

经过Dropout优化的RNN的基础上，我们提出使用Adam优化算法基于光变曲线数据迭代地更新DRNN的网络权重。Adam优化算法是随机梯度下降算法的扩展式，随机梯度下降保持单一的学习率α更新所有的权重，学习率在训练过程中并不会改变。而Adam为不同的参数设计独立的自适应性学习率，算法容易实现，并且有很高的计算效率和较低的内存需求。Adam对每一个参数都计算自适应的学习率。除了存储一个指数衰减的历史平方梯度的平均v_t，Adam同时还保存一个历史梯度的指数衰减均值m_t。而参数β₁、β₂∈[0,1)控制了这些移动均值指数的衰减率。

m_t＝β₁m_t-1+(1-β₁)g_t

m_t和v_t分别是对梯度的一阶矩(均值)和二阶矩(非确定的方差)的估计。当m_t和v_t初始化为0向量时，Adam的作者发现它们都偏向于0，尤其是在初始化的步骤和当衰减率很小的时候(例如β₁、β₂趋向于1)。

通过计算偏差校正(bias-corrected)的一阶矩和二阶矩估计来抵消偏差。

正如我们在Adadelta和RMSprop中看到的那样，他们利用上述的公式更新参数，由此生成了Adam的更新规则来更新模型的参数θ。

本文提出了建立四层LSTM，并采用Dropout法防止过拟合，优化神经网络。如图4所示。

最后本发明实施通过与在光变曲线预测时间序列中应用较广泛的其他预测方法进行比对，常见的光变曲线时间序列预测的方法主要有支持综合自回归移动平均法(ARIMA)、一般递归神经网络(RNN)法等，通过比较预测精度，突出Dropout-RNN算法在光变曲线时间序列预测方面的实用性。具体的精度评价指标包括均方根误差(RMSE)、均绝对百分比误差(MAPE)、PRED-(25)、R²预测精度和均方根对数误差(RMSLE)。并用它们来测量预测结果，比较DRNN、RNN和ARIMA方法对光曲线的预测能力。各个指标的计算公式如下：

利用上述采样频率为15秒钟的数据，进行对比算法的验证，所得预测结果如表1所示，预测效果如图5所示。

图6可以更加清晰看出，DRNN方法的预测准确度在星体亮度发生异常的点比其他两种方法更加准确，误差率更低。

显然，本发明的上述实施过程仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (2)

1.一种基于长短期记忆网络的对天文光变曲线的异常预测方法，其特征在于，该方法包括如下步骤：

S1、从文件里取出数据，对数据做预先处理，形成符合LSTM神经网络模型输入形式的历史时间序列；

S2、构建LSTM神经网络模型，设置网络模型的格式以及参数；

S3、迭代地向这个模型中导入训练样本，计算损失函数，并以此为基础进行全局优化，不断提取训练样本的特征以及数值与时序的关系，直至迭代结束；

S4、训练阶段结束后，向模型中导入测试样本，迭代输出未来数个时间步待预测指标的数值，形成预测值时间序列；同时根据精度进行调整，直到精度符合预期要求。

2.如权利要求1所述的基于长短期记忆网络的天文大数据光变曲线异常预测方法，其特征在于，S3具体为：

对LSTM网络的训练是迭代进行的，共有epoch次，进行以下操作的循环：

1)从训练集中取出第一批batch_size个样本；

2)将提取出的数据集输入LSTM模型，获得预测结果；

3)根据预测结果采用均方误差法(MSE，meansquarederror)计算损失loss：

其中，pred是根据输入的长度为batch_size的数据集预测出的预测数据集，tag为原数据集；

4)初始化一个Adam优化器，对每一个参数计算自适应的学习率，存储一个指数衰减的历史平方梯度的平均v_t以及历史梯度的指数衰减均值m_t，而参数β₁、β₂∈[0,1)控制了这些移动均值指数的衰减率；计算loss的梯度，然后把梯度应用到变量上，更新系统权重，具体实施步骤如下所示：

m_t＝β₁m_t-1+(1-β₁)g_t

5)从训练集中取出下一批batch_size个样本重复以上操作；

6)当训练集中数据全部按batch_size大小被取出后，开始下一次迭代。