CN111310117A

CN111310117A - 一种基于张量火车分解模型的交通大数据填充方法

Info

Publication number: CN111310117A
Application number: CN202010058620.6A
Authority: CN
Inventors: 谭华春; 丁璠; 王梵晔; 蒋竺希; 伍元凯; 李琴
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2020-01-19
Filing date: 2020-01-19
Publication date: 2020-06-19
Anticipated expiration: 2040-01-19
Also published as: CN111310117B

Abstract

本发明公开了一种基于张量火车分解模型的交通大数据填充方法，该方法包括：构建包含5个交通数据维度的五维张量模型；通过L2正则约束，构建初始基于张量火车分解模型的填充模型；对所述填充模型中进行共轭梯度优化，获得每个核向量的优化后的填充模型；或对所述的填充模型，进行迹范数优化，得到最终填充模型；通过所述第一填充模型和／或第二填充模型，进行交通大数据填充。本发明提供的方法能够提高数据填充的精度，在高丢失率下能够保持填充稳定性。

Description

一种基于张量火车分解模型的交通大数据填充方法

技术领域

本发明属于交通领域，具体涉及一种基于张量火车分解的交通大数据填充方法。

背景技术

自大数据的快速发展以来，海量数据的获取为交通领域带来了极大的机遇与挑战，现代计算机技术与传统的交通技术的结合，更是催生出一系列智能交通产业，2017年，“互联网+交通”的模式在各大城市如雨后春笋般开展起来。然而，大数据产业需要完成健康的数据作为支持，在实际生活中，由于检测设备、传输设备的故障或恶劣天气的影响等，使得原始交通数据中存在不同程度的丢失现象，给交通数据的分析和深层次的挖掘带来不利影响。

张量是高维数据的天然表达，尤其适用于多维，多模态，多关系数据的表达和分析，因此张量模型被广泛应用于图像处理，能源以及交通等学科。将数据构建成张量模型并通过张量填充补全缺失数据，已成为大数据分析领域的学术热点问题之一。张量分解是张量填充问题的主要方法之一，张量分解用一系列核张量和因子矩阵的乘积来近似原始张量，这些因子矩阵和核张量是原始张量在不同子空间的投影，通过选择合适的子空间，使这些投影具有某种意义，能提取出原始张量的某些特征。同时，对于存在数据缺失的原始张量，也可通过对子空间的分析计算，估计出原始张量对应位置的缺失值。现存的张量分解算法大都基于张量的平行因子分解(CP分解)和张量的高阶奇异值分解(Tucker分解)。由于CP分解模型不能很好表征数据导致分解不稳定，而Tucker分解在高维数据的应用上计算量较大，不合适高维数据的分解，现正展开对于张量火车分解模型(TT分解)的研究。

张量火车分解模型将一个高阶张量分解成一系列稀疏互联的低阶张量(例如二维矩阵和三维张量)，这些低阶张量互相由彼此相对应的一条边界连着。对于一个d阶张量来说，对其进行张量火车分解后，其每个元素如下所示：

其中

是一个r_k-1×r_k的根据维度参数索引的矩阵，这些矩阵相乘后，大小变为r₀×r_d，由此可以推出r₀＝r_d＝1，这也是张量火车的边界条件。对比张量CP分解的定义，张量火车的每个核可以看成一个块化的秩一张量。与CP分解不同的是，r_k可以作为附属矩阵的秩进行计算。上述式子的索引表达式形式如下：

张量火车分解的核张量g_k实际上是个大小为r_k-1×i_k×r_k三阶张量，其元素为

由于边界条件r₀＝r_d＝1，第一个核张量的最后一个核张量实际上是矩阵。这个分解可以用一个线性张量网络来表示，图2描述了一个四阶张量火车分解的张量网络图。r_k被称为张量火车分解的秩(TT-rank)，

被称作张量火车分解的核张量。

张量火车分解模型的展开方式同一般张量展开方式不同，一般张量的展开都是沿着某一维度进行n模式展开，而张量火车分解模型由于秩r_k的限制，并且其最多只出现2次，不同维度间存在线性连接关系，因此张量火车分解模型的展开式如下所示：

模型展开后的矩阵大小为

即沿k模式展开后，矩阵的行大小为原始张量从第一维度到第k维度的枚举计算，矩阵的列大小为k维到最后一个维度的枚举计算。

关于张量填充的研究现在正处于初始阶段，刘霁等人将迹范数从矩阵上推广到张量上，提出了高精度低秩张量填充算法HaLRTC，该方法引入n个附属矩阵

将这n个附属矩阵分别按每个维度进行展开使其等于原张量的各个模式展开，从而将原张量的各个模式展开矩阵互相分离，使其分别求解时，不互相影响。采用增广拉格朗日乘子法进行优化求解，将优化所得各模式展开按一定权重求和即得所求张量。其目标函数如下所示：

高精度低秩张量填充算法在待填充张量具有极强的低秩特性时，对张量的填充结果精度更高。

Johann A.Bengua于2016年提出了基于张量火车分解的简单低秩张量填充算法(SiLRTC_TT)。通过对张量的n模式展开分别加权求迹，从而分离出原张量各个模式的展开矩阵，而基于张量火车分解的迹范数填充算法则是对每个张量火车展开矩阵加迹范数约束，使模型具有较低的TT秩。之后将约束条件进行松弛处理，允许模型具有一定噪音，再通过批量梯度下降方式进行求解，其目标函数如下所示：

发明内容

为解决上述问题，本发明公开了一种基于张量火车分解模型的交通大数据填充方法，能够提高数据填充的精度，在高丢失率下能够保持填充稳定性。

为达到上述目的，本发明的技术方案如下：

一种基于张量火车分解模型的交通大数据填充方法，该方法可以包括：

构建包含5个交通数据维度的五维张量模型；

通过L2正则约束，构建初始基于张量火车分解模型的填充模型；

对所述填充模型中进行共轭梯度优化，获得每个核向量的优化后的第一填充模型，或对所述填充模型进行迹范数优化，得到第二填充模型；

通过所述第一填充模型或所述第二填充模型，进行交通大数据填充。

优选的，所述五维张量模型为：

其中，L＝7表示检测点数，W＝8表示周，D＝7表示天，T＝288表示时刻，Y＝3表示年。

优选的，所述通过L2正则约束，构建初始基于张量火车分解模型的填充模型；的函数为：

式(8)中，

为待填充的多维张量，

为

的张量火车分解因子，α_k为正则项系数，用于权衡目标函数中每个核张量的比重。

优选的，所述对所述填充模型中进行共轭梯度优化，获得每个核向量的优化后的第一填充模型，包括：

分别对第一个核张量和最后一个核张量通过矩阵求偏导进行优化；

对中间核张量进行共轭梯度优化；

优选的，对所述第一个核张量优化包括：

先通过右乘操作固定其余待求核张量，得到带优化核张量

和固定部分

将其它核张量视为一个常数，最终目标函数化为以下形式：

对目标函数关于

进行求导得到导数为

令导数等于0，获得优化后的核张量：

其中(.)^-1上标表示对矩阵的求逆运算。

优选的，对中间核张量优化具体为：

对待求核张量进行左乘和右乘操作，用于固定其他核张量，得到变化后的公式:

将待求核张量的第二模式展开上乘以一个单位矩阵，使

变为

使其形式同三阶Tucker分解，得到：

将张量

和张量

做一个向量化处理，将这两个张量拉长成两个大小为

的列向量x和g；

根据克劳尼克积将变量V和U进行结合固定，得到矩阵

目标函数：

其中，x为向量化后的待求张量，对应式(12)中的

g为向量化后的待求核张量，对应式(12)中的

L为

在三个模式上的因子矩阵的克劳内克乘积。

优选的，对最后一个核张量优化包括：

进行最后一个核张量的左乘操作固定其余函数，化简得到目标函数如下：

将目标函数导数为0，得到最后核张量的解：

优选的，所述对所述填充模型，进行迹范数优化，得到第二填充模型；包括：

对每个火车分解的核张量都加上一个低秩约束，以使得张量火车分解的每个核张量都具有低秩特征；

引入两个拉格朗日乘子β和

将目标函数所带约束与目标函数整合，获得增广拉格朗日函数：

利用最小化迹范数问题的闭式解直接进行求解。

本发明的有益效果是：

本专利提出一种基于张量火车分解模型的交通大数据填充方法，通过L2正则和迹范数正则对核张量进行约束寻优，并以此表征原始张量，实现对原始张量缺失数据的估计填充。求解时，设计推导了不同的优化求解方法。第一种优化方法针对算法加速，对模型进行约束松弛，并引入共轭梯度法进行优化求解，利用共轭梯度法的步收敛性快速收敛至最优值；第二种优化方法针对自适应秩约束，通过最小化核张量的迹范数对核张量进行低秩约束，规避了手动调秩。之后选用增广拉格朗日法转化目标函数的约束，并采用局部线性法将目标函数转化为迹范数求解通式，从而获得最优解。本发明提供的方法能够提高数据填充的精度，在高丢失率下能够保持填充稳定性。

附图说明

图1是本发明中基于张量火车分解模型的交通大数据填充方法流程图；

图2是现有技术张量火车分解模型示意图；

图3是固定其余核张量时进行的右乘操作示意图；

图4是固定中间核张量时同时进行的左乘和右乘操作示意图；

图5是各填充算法在不同丢失率下的算法精度效果对比图，其中，LRSE值越低，说明填充精度越高；

图6是各填充算法在80％的丢失率下分别对4维张量和5维张量进行填充的精度效果对比图，其中，MAE值越小说明填充精度越高。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

如图所示，本发明所述的一种基于张量火车分解模型的交通大数据填充方法，通过L2正则和迹范数正则对核张量进行约束寻优，并以此表征原始张量，实现对原始张量缺失数据的估计填充。求解时，设计推导了不同的优化求解方法。第一种优化方法针对算法加速，对模型进行约束松弛，并引入共轭梯度法进行优化求解，利用共轭梯度法的步收敛性快速收敛至最优值；第二种优化方法针对自适应秩约束，通过最小化核张量的迹范数对核张量进行低秩约束，规避了手动调秩。之后选用增广拉格朗日法转化目标函数的约束，并采用局部线性法将目标函数转化为迹范数求解通式，从而获得最优解。本专利公开的张量填充方法可用图1中的流程图来表示。

本发明实施例提供的交通大数据填充方法，可以包括：构建包含5个交通数据维度的五维张量模型；通过L2正则约束，构建初始基于张量火车分解模型的填充模型；对所述填充模型中进行共轭梯度优化，获得每个核向量的优化后的第一填充模型，或对所述优化填充模型，进行迹范数优化，得到第二填充模型；通过第一填充模型或第二填充模型进行交通大数据填充。本发明提供的方法能够提高数据填充的精度，在高丢失率下能够保持填充稳定性。

以下结合附图，对本发明的实施例做进一步详细阐述。

步骤一、张量模型构建

由于路段交通数据包含了检测点、时刻、天、周、年5个维度，这里将交通数据构建成一个五维张量，如下所示：

其中，L＝7表示检测点数，W＝8表示周，D＝7表示天，T＝288表示时刻，Y＝3表示年。同时，为了验证后文针对数据丢失问题提出的基于张量火车分解的填充方法，这里再建一个四维交通数据张量模型作为对照组，该张量仅包含一年内的交通信息，并未将年维度的交通信息进行考虑，模型如下所示：

其中，L＝7表示检测点数，W＝8表示周，D＝7表示天，T＝288表示时刻。

步骤二、张量填充模型构建

针对张量填充问题，对每个核张量都加上L2正则约束，防止模型中存在过大的参数影响整个模型，保证每个核函数不会对模型产生较大影响。本发明提出的基于张量火车分解的填充问题等价于解决以下最小化问题：

式(8)中，

为待填充的d维张量，

为

的张量火车分解因子，α_k为正则项系数，权衡目标函数中每个核张量的比重，α_k的值越大，对其对应核张量的约束性也越强。

步骤三：基于共轭梯度法的优化求解或基于迹范数约束的优化求解

首先，详细讨论基于共轭梯度法的优化求解。

1)对第一个核张量进行优化时，先通过右乘操作固定其余待求核张量，得到带优化核张量

和固定部分

如图3所示。此时目标函数最小值点只与

有关，此时将其它核张量视为一个常数，在优化时常数不影响整个式子的最小值点，因此在优化目标里省略对常数部分的描述，最终目标函数化为以下形式：

由于所求目标函数是在矩阵上的优化，因此这里直接采用闭式解求解就能取得最优值，直接对目标函数关于

进行求导得到导数为

令导数等于0，可求的优化后的核张量：

其中(.)^-1上标表示对矩阵的求逆运算。

2)对中间核张量进行优化时，先对待求核张量进行左乘和右乘操作，用于固定其他核张量，如图4所示。变化后的公式如下所示：

将待求核张量的第二模式展开上乘以一个单位矩阵，即使

变为

使其形式同三阶Tucker分解，得到如下形式：

求解该目标函数时首先将张量

和张量

都做一个向量化处理，将这两个张量拉长成两个大小为

的列向量x和g，根据克劳尼克积将变量V和U进行结合固定，得到矩阵

此时，目标函数如下所示：

其中，x为向量化后的待求张量，对应式(12)中的

g为向量化后的待求核张量，对应式(12)中的

L为

在三个模式上的因子矩阵的克劳内克乘积。经过变化，式(13)可化简为如下公式：

对比共轭梯度法求解的一般形式

可以发现原始目标函数化为了关于g的一般二次型函数，其中：

A＝2（L^TL+α_kI)

b＝－２x^TL

c＝x^Tx (15)

用共轭梯度法的求解通式即可求得核张量

所有中间核张量的求法都一致，唯一的区别是每次迭代前都要重新计算V和U。

3)对最后一个核张量进行优化的方法同第一个核张量的优化类似，首先进行最后一个核张量的左乘操作固定其余函数，化简得到目标函数如下：

将目标函数导数为0得到最后核张量的解如下所示：

其次，详细讨论采用基于迹范数约束的优化求解方法。

为保证张量火车分解的每个核张量都具有低秩特征，对每个火车分解的核张量都加上一个低秩约束得到目标函数如式(18)所示：

对目标函数，采用增广拉格朗日法进行求解时，将引入两个拉格朗日乘子β和

将目标函数所带约束与目标函数整合，所得增广拉格朗日函数如下所示：

1)对

进行优化时，同样固定其余核张量，化简得到目标函数如下所示：

此时将目标函数中不可微的部分进行分离得到由两个函数组成的目标函数，如下所示：

其中，

此时采用局部线性化方式来将函数

化为二次展开式，如下所示：

式中，

表示在前一次迭代取得最优值后的

值，

是函数f₂的变量。之后函数化简成二次型函数形式，得到如下公式：

其中

为

在

处的导数，

的导函数如下所示：

综上，得到关于

的优化目标函数如下所示：

对于该目标函数，可以用求解最小化迹范数问题的闭式解直接进行求解，

的最优值为：

其中，τ为利普西斯常数。

利普西斯常数的确定可以根据其定义来推导：若存在常数τ＞0，能够满足所有不等式||f(x₁)-f(x₂)||≤τ||x₁-x₂||，则函数f(x)满足利普西斯条件，且τ称为利普西斯常数。

因此，利普西斯常数为：

τ＝σ₁(2γ₁I+2βAA^T) (27)。

2)中间核函数

的进行优化

求解中间核张量

时，需要固定

两边的所有核张量。通过左乘和右乘得到左右两边的分解因子分别为

和

此时，带求解的核张量

是一个大小为r_k×I_k×r_k+1的三阶张量，用增广拉格朗日法进行求解，约束项变为：

之后，再通过克罗内克积将左右两边的因子矩阵合并成一个固定值，则式(28)中

项则化简为矩阵

将化简项中

用A来代替，则目标函数变为如下形式：

式(4.45)与式(4.27)具有完全相同的形式，因此对于中间张量

的求解，采用的方法同对的求解方法。

3)对

进行优化

固定其余核函数得到待求目标函数即为如下所示：

观察待求解的目标函数可发现，求解

与求解

的目标函数具有极其相似的形式，唯一不同的是固定核张量与待求核张量的位置的互换，因此采用同样的方法进行求解，仍旧将目标函数中的不可微项分离，得到如下公式：

之后，对

用局部线性化方式进行处理，将原函数化简成一个关于

的二次标准方程函数，如下公式所示：

对式(4.37)中的

关于

进行求导，得到导函数：

综上，得到关于

的优化目标函数如下所示：

对于该目标函数，用求解最小化迹范数问题的闭式解求解，得到：

其中利普西斯常数为：

τ＝σ_d(2γ_dI+2βA^TA) (36)

以下可以通过实验效果图，对比展示本发明提供的交通大数据填充方法的效果：

在真实数据上进行实验，将张量填充方法应用于丢失交通数据上以验证实际恢复效果，将完整交通数据作为对照组，随机将原始交通数据以一定比例进行丢失并进行填充。数据的丢失率设置为从0.1到0.9以0.1的跨度递增，具体精度衡量指标包括平均绝对误差(MAE)、相对错误率(LRSE)，速度衡量指标为总体运行时间和单步运行时间。

分别对HaLRTC张量填充方法、SiLRTC填充方法和本发明提出的张量填充方法进行实验对比，分别从速度和精度两个方面评估填充效果。速度结果如表1和表2所示，可以看出本发明所提出模型通过共轭梯度法进行优化，在速度有了极大的提升，同时面对高维数据填充速度有极大的优势。表3、图5和图6则展示了填充精度结果，可以看出针对不同维度数据进行填充的效果，可以看出，本发明所提的方法在高丢失率的数据填充精度上有了极大的提高，在极高丢失率下也能保证填充的稳定性，同时数据维度对填充精度的影响也较小，十分适用于高维数据的填充。

表1 80％丢失率下4种算法训练时间对比

表2针对不同维度张量进行填充的时间对比

表3在80％的丢失率下各算法误差对比

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。