CN106548016A - 基于张量时域相关性分解模型的时间序列分析方法 - Google Patents

Abstract

一种基于张量时域相关性分解模型的时间序列分析方法，包括：将时间序列编码为张量；将最初的张量变换为一个维度减少的形式；对获得的维度减少形式的张量应用自回归模型去保持时域上的连续性；动态学习上述过程更新结果直到算法收敛，结果达到最优。本发明的基于张量时域相关性分解模型的时间序列分析方法，通过在张量分解的框架中引入时域相关性模型可以各项异性的对时间序列的空域维度以及时域维度同时进行处理，在去除时间序列空域中的噪声和冗余信息的同时，控制了时间序列时域信息之间的内在联系，保持了时间序列在时域上的连续性。本发明提升了对时间序列进行预测的准确性，尤其是针对高维度的时间序列预测问题。

Description

基于张量时域相关性分解模型的时间序列分析方法

技术领域

本发明涉及一种时间序列分析方法。特别是涉及一种将张量分解技术与时域相关性模型相结合对时间序列进行预测的基于张量时域相关性分解模型的时间序列分析方法。

背景技术

可接触的数据近些年在数量、速度以及种类方面正在以指数级的方式增长，这种增长的趋势在科学界正面临着各种各样的挑战，在可接触的数据当中一种重要的数据表现形式就是时间序列。时间序列就是在一段时间内由一组连续的测量值组成的一系列数据点。在过去的十年时间中，挖掘时间序列已经成为一个非常有前景的研究领域。对时间序列的分析任务主要包括以下几种：预测、监测、反馈控制、异常检测、聚类、分类以及分割；涵盖了环境学、生态学、生物学、生物医学、气象学、计算机视觉、经济学等诸多领域。

建模和预测时间序列数据已经成为当前时间序列分析的一个主流方向。时间序列预测就是依据以前的观察值去预测一个系统的演变行为。在对时间序列进行分析中主要面临着三种挑战：语境制约、时域平滑性和数据高维度。语境制约是指许多真实的时间序列数据受到语境信息的影响，尤其是针对感官网络时间序列的分析。时域平滑性指的是沿着时间维度相邻观察值之间的相关性。数据高维度主要是指时间序列数据是由高维的数组组成的。时间序列数据的数学结构形式不仅仅局限于向量和矩阵的形式，而且也包括多维度的数据形式例如张量。张量是高阶向量和矩阵的一种概括形式，对向量和矩阵提供了一种非常有用的表现形式，例如可以用四阶的张量时间序列去对气象学上的时空网格海洋数据进行建模，张量的四个维度分别表示纬度、经度、高度和时间。

当前已经提出了大量的技术去分析时间序列，主要可以分为含参数的方法和无参数的方法两大类。含参数的方法假设依赖于充足的先验知识潜在的时间序列模型可以用一个含有未知参数的参数模型去描述。相比之下，无参数的方法通过在没有任何特定结构下估计谱线密度、条件均值、高阶条件矩和条件密度去减少参数估计的过程。然而，最普遍的将张量时间序列数据迁移成向量或者矩阵的方法不仅容易造成维数灾难，而且也会破坏数据结构造成相邻数据间关系信息的遗失。

在近些年随着张量分解技术的完善和日趋成熟，已经提出了许多基于张量分解技术去分析张量时间序列的方法。这些方法可以保存时间序列的高维数据结构信息不造成信息的丢失，也可以解决语境制约的问题。同时由于自回归模型在处理大范围的时间序列结构数据时展现了强有力的优越性和灵活性。

发明内容

本发明所要解决的技术问题是，提供一种能够保持时间序列在时域上的连续性的基于张量时域相关性分解模型的时间序列分析方法。

本发明所采用的技术方案是：一种基于张量时域相关性分解模型的时间序列分析方法，包括如下步骤：

1)将时间序列编码为张量；

2)将最初的张量变换为一个维度减少的形式；

3)对获得的维度减少形式的张量应用自回归模型去保持时域上的连续性；

4)动态学习步骤2)～3)更新结果直到算法收敛，结果达到最优。

步骤1)包括：将N+1维的时间序列X，表示为一个N+1阶的张量形式其中I₁,I₂,…,I_N表示时间序列中除时间维度外的其他维度，T表示时间序列的时间维度，用X_t表示X的第t个时间切片。

步骤2)包括：利用张量Tucker分解去提取最初的时间序列中潜在的变量或者成分用于捕获时间序列最显著的特征并移除数据中的冗余信息，具体是寻找N个映射矩阵去建立潜在张量Y的第t个时间切片Y_t和时间序列X第t个时间切片X_t之间的联系，形式如下：

步骤3)包括：

(1)对潜在张量Y的时域依赖性进行建模，引入m阶自回归模型AR(m)去保存潜在张量Y的时间连续性：

其中ε_t是高斯白噪声满足ε_t～N(0,Σ_t)，N为高斯分布，Σ_t是白噪声的协方差张量满足Σ_t＝Var(ε_t)，Var表示方差形式，是自回归模型的模型参数；

(2)基于m阶自回归模型函数得到以下的噪音协方差张量表达式：

(3)采用最大似然估计法去估计自回归模型的模型参数得到基于噪音协方差张量的Yule-Waler方程：

(4)通过利用自回归模型去最大化真实观测值与预测值之间的协方差相关性，得到以下的目标函数：

该式中Cov(Y_t|.)测量真实潜在张量与预测潜在张量之间的条件协方差相关性，为了尽可能多的保存信息并控制未知变量的尺度，是目标函数的正交性限制条件。

(5)只要估计出了自回归模型的模型参数噪音协方差张量的累积范数由下式计算得出：

(6)用噪音协方差张量的累积范数代替目标函数，最优化的问题转化为如下形式：

(7)为了最小化预测误差，将以下的目标函数：

拓展为：

式中是权重参数用来去平衡预测误差与张量重构误差；

(8)求解目标函数：

令则的等价形式可以表示为：

式中

将式写成Y_t(n)-U_n(X_t×_(-n){U})_(n)的形式，并表示则：

最终的目标函数重新写为如下的形式：

采用拉格朗日乘子法以及交替梯度下降法对最终的目标函数最小化：首先固定映射矩阵U₁,U₂,…,U_n-1,U_n+1,…U_N，目标函数关于映射矩阵U_n的偏导数由下式得出：

映射矩阵U_n其中1≤n≤N，由下式得出：

步骤4)具体是在最后将步骤2)和步骤3)整合到一个动态学习框架中使步骤2)和步骤3)的学习过程随着时间进行更新，直到结果达到最优。

本发明的基于张量时域相关性分解模型的时间序列分析方法，通过在张量分解的框架中引入时域相关性模型可以各项异性的对时间序列的空域维度以及时域维度同时进行处理，在去除时间序列空域中的噪声和冗余信息的同时，控制了时间序列时域信息之间的内在联系，保持了时间序列在时域上的连续性。本发明提升了对时间序列进行预测的准确性，尤其是针对高维度的时间序列预测问题。

附图说明

图1是本发明基于张量时域相关性分解模型的时间序列分析方法的流程图；

图2是本发明实验结果示意图；

图3是发明中自回归模型参数m与预测误差的关系图；

图4是本发明算法的收敛性与算法迭代次数的关系图；

图5是本发明权重参数与预测误差之间的关系。

具体实施方式

下面结合实施例和附图对本发明的基于张量时域相关性分解模型的时间序列分析方法做出详细说明。

本发明的基于张量时域相关性分解模型的时间序列分析方法，通过在张量分解的框架中引入时域相关性模型可以各项异性的对时间序列的空域维度以及时域维度同时进行处理，在去除时间序列空域中的噪声和冗余信息的同时，控制了时间序列时域信息之间的内在联系，保持了时间序列在时域上的连续性。本发明提升了对时间序列进行预测的准确性。

如图1所示，本发明的基于张量时域相关性分解模型的时间序列分析方法，包括如下步骤：

1)将时间序列编码为张量；包括：

将N+1维的时间序列X，表示为一个N+1阶的张量形式其中I₁,I₂,…,I_N表示时间序列中除时间维度外的其他维度，T表示时间序列的时间维度，用X_t表示X的第t个时间切片。

2)将最初的张量变换为一个维度减少的形式；包括：

利用张量Tucker分解去提取最初的时间序列中潜在的变量或者成分用于捕获时间序列最显著的特征并移除数据中的冗余信息，具体是寻找N个映射矩阵去建立潜在张量Y的第t个时间切片Y_t和时间序列X第t个时间切片X_t之间的联系，形式如下：

3)对获得的维度减少形式的张量应用自回归模型去保持时域上的连续性；包括：

(1)对潜在张量Y的时域依赖性进行建模，引入m阶自回归模型AR(m)去保存潜在张量Y的时间连续性：

其中ε_t是高斯白噪声满足ε_t～N(0,Σ_t)，N为高斯分布，Σ_t是白噪声的协方差张量满足Σ_t＝Var(ε_t)，Var表示方差形式，是自回归模型的模型参数；

(2)基于m阶自回归模型函数得到以下的噪音协方差张量表达式：

(3)采用最大似然估计法去估计自回归模型的模型参数得到基于噪音协方差张量的Yule-Waler方程：

(4)通过利用自回归模型去最大化真实观测值与预测值之间的协方差相关性，得到以下的目标函数：

该式中Cov(Y_t|·)测量真实潜在张量与预测潜在张量之间的条件协方差相关性，为了尽可能多的保存信息并控制未知变量的尺度，是目标函数的正交性限制条件。

(5)只要估计出了自回归模型的模型参数噪音协方差张量的累积范数由下式计算得出：

(6)用噪音协方差张量的累积范数代替目标函数，最优化的问题转化为如下形式：

(7)为了最小化预测误差，将以下的目标函数：

拓展为：

式中是权重参数用来去平衡预测误差与张量重构误差；

(8)求解目标函数：

令则的等价形式可以表示为：

式中

将式写成Y_t(n)-U_n(X_t×_(-n){U})_(n)的形式，并表示则：

最终的目标函数重新写为如下的形式：

采用拉格朗日乘子法以及交替梯度下降法对最终的目标函数最小化：首先固定映射矩阵U₁,U₂,…,U_n-1,U_n+1,…U_N，目标函数关于映射矩阵U_n的偏导数由下式得出：

映射矩阵U_n其中1≤n≤N，由下式得出：

4)动态学习步骤2)～3)更新结果直到算法收敛，结果达到最优。

是在最后将步骤2)和步骤3)整合到一个动态学习框架中使步骤2)和步骤3)的学习过程随着时间进行更新，直到结果达到最优。

下面以一个具体的实验来验证本发明基于张量时域相关性分解模型的时间序列分析方法的有效性，详见下文描述：

实验采用的是来自于海洋浮标测绘的真实海平面温度数据库(SST)，该数据通过在太平洋的海面上投放了一批浮标采集而来。该项任务花费了10年的时间去建立最终在1994年完成，采集到的海洋数据每天都要向美国国家海洋和大气管理局(NOAA)的轨道卫星中上传数次。在本发明中所用到的数据是5×6的海平面温度网格，该温度的测量范围为西经180度北纬5度到西经110度南纬5度，测量时间从1994年4月26日上午7时到1994年7月19日上午3时总共包含了2000个时间点。在本发明中将前1940个时间点作为训练集，去预测后60个时间点。实验结果如图2所示，其中AR、ARMA、LDS为含参数的时间序列分析方法，MLDS为含参数基于张量分解的时间序列分析方法，MOAR为不含参数基于张量分解并对时间序列时域进行相关性处理的时间序列分析方法，MOAR与本发明的主要区别在于没有对预测误差进行最小化的限制。通过图2可以看出，本发明的方法明显的优于传统的时间序列分析方法，预测误差减少的许多。同时本发明中所需调节的参数只有自回归模型参数m和权重参数要比传统的方法效率提升很多。

图3是发明中自回归模型参数m与预测误差的关系图，当自回归模型参数m＝12时本发明的实验结果达到最优；

图4是本发明算法的收敛性与算法迭代次数的关系图，从图4中可以看出本发明的方法具有很好的收敛性。

Claims (5)

1.一种基于张量时域相关性分解模型的时间序列分析方法，其特征在于，包括如下步骤：

1)将时间序列编码为张量；

2)将最初的张量变换为一个维度减少的形式；

3)对获得的维度减少形式的张量应用自回归模型去保持时域上的连续性；

4)动态学习步骤2)～3)更新结果直到算法收敛，结果达到最优。

2.根据权利要求1所述的基于多线性自回归模型的时间序列分析方法，其特征在于，步骤1)包括：将N+1维的时间序列X，表示为一个N+1阶的张量形式其中I₁,I₂,…,I_N表示时间序列中除时间维度外的其他维度，T表示时间序列的时间维度，用X_t表示X的第t个时间切片。

3.根据权利要求1所述的基于多线性自回归模型的时间序列分析方法，其特征在于，步骤2)包括：利用张量Tucker分解去提取最初的时间序列中潜在的变量或者成分用于捕获时间序列最显著的特征并移除数据中的冗余信息，具体是寻找N个映射矩阵去建立潜在张量Y的第t个时间切片Y_t和时间序列X第t个时间切片X_t之间的联系，形式如下：

$\begin{array}{c}{Y}_t=X_t\×{U_1}_1\×{U_2}_2\×...\×{U_N}_N\\ =X_t\underset{i=1}{\overset{N}{\Π}}\×{U_i}_i\end{array}---\left(1\right).$

4.根据权利要求1所述的基于多线性自回归模型的时间序列分析方法，其特征在于，步骤3)包括：

(1)对潜在张量Y的时域依赖性进行建模，引入m阶自回归模型AR(m)去保存潜在张量Y的时间连续性：

$\begin{array}{c}{Y}_t=\underset{k=1}{\overset{m}{\Σ}}{a}_k{Y}_{t-k}+{\mathrm{\ϵ}}_t\\ =\underset{k=1}{\overset{m}{\Σ}}{a}_k{X}_{t-k}\×{U_1}_1\×{U_2}_2\×\mathrm{...}\×{U_N}_N+{\mathrm{\ϵ}}_t\\ =\underset{k=1}{\overset{m}{\Σ}}{a}_k{X}_{t-k}\underset{i=1}{\overset{N}{\Π}}\×{U_i}_i+{\mathrm{\ϵ}}_t\end{array}---\left(2\right)$

其中ε_t是高斯白噪声满足ε_t～N(0,Σ_t)，N为高斯分布，Σ_t是白噪声的协方差张量满足Σ_t＝Var(ε_t)，Var表示方差形式，是自回归模型的模型参数；

(2)基于m阶自回归模型函数得到以下的噪音协方差张量表达式：

$\begin{array}{c}{\mathrm{\ϵ}}_t=Y_t-\underset{k=1}{\overset{m}{\Σ}}{a}_k{Y}_{t-k}\\ =(X_t-\underset{k=1}{\overset{m}{\Σ}}{a}_k{X}_{t-k})\underset{i=1}{\overset{N}{\Π}}\×{U_i}_i\end{array}---\left(3\right)$

(3)采用最大似然估计法去估计自回归模型的模型参数得到基于噪音协方差张量的Yule-Waler方程：

$\underset{k=1}{\overset{m}{\&Sigma;}}{a}_k(\underset{t=1}{\overset{T}{\&Sigma;}}<Y_{t-k},Y_{t-l}>)=\underset{t=1}{\overset{T}{\&Sigma;}}<Y_t,Y_{t-l}>---\left(4\right)$

(4)通过利用自回归模型去最大化真实观测值与预测值之间的协方差相关性，得到以下的目标函数：

$\begin{array}{c}\underset{\{U_1,U_2,\mathrm{...},U_N\}}{\max }\underset{t=2}{\overset{T}{\&Sigma;}}Cov\left(Y_t\right|Y_{t-1},Y_{t-2},\mathrm{...},Y_{t-m})\\ \begin{array}{cc}s.t.& UU_i^T{}_i=E,i=1,\mathrm{...},N\end{array}\end{array}---\left(5\right)$

该式中Cov(Y_t|·)测量真实潜在张量与预测潜在张量之间的条件协方差相关性，为了尽可能多的保存信息并控制未知变量的尺度，i＝1,…,N是目标函数的正交性限制条件。

(5)只要估计出了自回归模型的模型参数噪音协方差张量的累积范数由下式计算得出：

$\underset{t=2}{\overset{T}{\&Sigma;}}\left|\right|{\mathrm{\&epsiv;}}_t|{|}_F^2=\underset{t=2}{\overset{T}{\&Sigma;}}||(X_t-\underset{k=1}{\overset{m}{\&Sigma;}}{a}_k{X}_{t-k})\underset{i=1}{\overset{N}{\&Pi;}}\&times;{U_i}_i|{|}_F^2---\left(6\right)$

(6)用噪音协方差张量的累积范数代替目标函数，最优化的问题转化为如下形式：

$\begin{array}{c}\underset{\left\{U_i\right\},\left\{a_k\right\}}{\min }\underset{t=2}{\overset{T}{\&Sigma;}}\left|\right|(X_t-\underset{k=1}{\overset{m}{\&Sigma;}}{a}_k{X}_{t-k})\underset{i=1}{\overset{N}{\&Pi;}}\&times;{U_i}_i|{|}_F^2\\ \begin{array}{cc}s.t.& U_i{U}_i^T=E,i=1,\mathrm{...},N\end{array}\end{array}---\left(7\right)$

(7)为了最小化预测误差，将以下的目标函数：

$\underset{\left\{U_i\right\}}{min}\underset{t=1}{\overset{T}{\&Sigma;}}\left|\right|Y_t-X_t\underset{i=1}{\overset{N}{\&Pi;}}\&times;{U_i}_i|{|}_F^2---\left(8\right)$

拓展为：

式中是权重参数用来去平衡预测误差与张量重构误差；

(8)求解目标函数：

令则的等价形式可以表示为：

式中

将式写成Y_t(n)-U_n(X_t×_(-n){U})_(n)的形式，并表示则：

$\left|\right|Y_t-X_t\underset{i=1}{\overset{N}{\&Pi;}}\&times;{U_i}_i|{|}_F^2=||Y_{t\left(n\right)}-U_n{G}_n^t|{|}_F^2---\left(11\right)$

最终的目标函数重新写为如下的形式：

采用拉格朗日乘子法以及交替梯度下降法对最终的目标函数最小化：首先固定映射矩阵U₁,U₂,…,U_n-1,U_n+1,…U_N，目标函数关于映射矩阵U_n的偏导数由下式得出：

映射矩阵U_n其中1≤n≤N，由下式得出：

5.根据权利要求1所述的基于多线性自回归模型的时间序列分析方法，其特征在于，步骤4)具体是在最后将步骤2)和步骤3)整合到一个动态学习框架中使步骤2)和步骤3)的学习过程随着时间进行更新，直到结果达到最优。