CN108010320B - 一种基于自适应时空约束低秩算法的路网交通数据的补全方法 - Google Patents

Abstract

本发明公开了一种基于自适应时空约束低秩算法的路网交通数据的补全方法，其能够使得补全的数据的精准度在数据丢失率较大时大幅提高，尤其对不同时空丢失模式下的交通数据修复具有很好的应用效果。该方法包括步骤：(1)构造路网交通数据的时空数据矩阵；(2)对时空数据矩阵进行因子矩阵分解，引入无约束低秩修复方法；(3)加入交通数据的时序变化特性和空间相似特性作为时空约束项，更精确的对缺失点进行补全。

Description

一种基于自适应时空约束低秩算法的路网交通数据的补全 方法

技术领域

本发明属于图像处理和智能交通的技术领域，具体地涉及一种基于自适应时空约束低秩算法的路网交通数据的补全方法。

背景技术

交通状态信息对于出行者及交通监控中心非常重要，尤其是在规避和缓解交通拥堵方面。通过对交通状态信息的获知，出行者可以优化自身出行线路并缩短出行时间，交通监控中心能够提供给出行者有效的交通引导。与此同时，多媒体服务和互联网友好型的便携设备的出现大大的促进了交通网络的不断发展，如感应线圈检测器、微波检测器、视频监测摄像头和GPS浮动车等。一般静态探测器比如地下感应线圈和监控摄像头已经广泛地使用于大多城市中，用以收集并提供交通信息，像北京市已经布置超过20000的环形线圈检测器。而动态的浮动车在交通信息的采集方面更为高效，主要得益于其车辆的机动性和GPS设备的普用性，且避免了在城市每条道路上布置静态检测器的高成本。通过以上不同类型的交通检测器，智能交通系统可以进行多种不同类型交通信息(流量、速度、密度等)的实时收集和分析。

然而，现代交通网络系统的不断扩展，数据收集要求更为详细，而以上所提及的这些数据采集设备均存在一定程度的数据缺失问题。具体来说，静态检测器一般会因硬件设备故障、天气影响、传输错误和传感器噪声等原因产生偶发异常和缺失，浮动车采集数据则常因车辆少、分布不均和轨迹覆盖率不全面等原因导致记录有限。因此也造成了一定程度的数据空缺问题，这严重影响了智能交通系统的分析能力。因此在处理交通问题前，我们必须进行有效地交通数据缺失补全。

当前存在很多数据插值算法用于交通数据的缺失修复，传统方法包括历史插值、样条/回归插值法，他们大多以数据向量的形式进行插值，近年来出现了以矩阵形式提高对缺失数据补全的方法，一些研究者提出了基于低秩的方法。经典的矩阵补全任务是指依据一个矩阵中的部分观测数据来预测其丢失的数据，它广泛的应用于图像恢复、图像去噪等。这些数据的内部结构具有很强的全局相关性，因此，一些研究人员开始了对数据样本集进行整体约束的研究，如低秩约束或核范数。低秩约束作为一种较为特殊的稀疏约束已被J.Wright、Y.Ma等人应用在矩阵补全模型中并取得了非常好的实验效果，该模型要求所研究的带有数据缺失的矩阵具有低秩性，通过对矩阵中的元素经过某种线性(非线性)运算后得到的值来对矩阵进行补全。然而，传统的低秩约束算法是对重构样本全局做低秩约束，缺乏局部样本间的联系，主要指交通网络的时空特征，比如路网拓扑，数据时间序列特征，故导致其在对交通数据的重构方面获取的精度有限，具体表现在当数据缺失率较高时，恢复精度差。

事实上，尽管探测器采集到的交通数据是离散的，但从空间和时间的角度来看，同一时间段内的相邻路段采集到的交通数据是相似的(空间相关性)，同一路段的连续时间段内采集到的交通数据是相似的(时间相关性)。时间相关性主要需考虑小时之间关系、时段之间的关系以及变化特点，比如平滑的或突变的，而空间相关性，不仅仅表现在相邻的路段之间，而且存在于非直接相邻路段间，它们具有相同的道路物理属性特征，信号控制设置和区域土地属性等。但是这些相关性在以前的插补方法中并没有充分或同时考虑到。因此，我们在利用交通数据分析交通问题前，需要一种能够尽可能准确的数据补全算法来将交通数据中的丢失数据进行补全。

发明内容

本发明的技术解决问题是：克服现有交通数据补全技术的不足，提供一种基于自适应时空约束低秩算法的路网交通数据的补全方法，其能够使得补全的数据的精准度在数据丢失率较大时大幅提高。

本发明的技术解决方案是：这种基于自适应时空约束低秩算法的路网交通数据的补全方法，该方法包括以下步骤：

步骤1、构造路网交通数据的时空数据矩阵；

步骤2、对时空数据矩阵进行因子矩阵分解，引入无约束低秩修复方法；

步骤3、加入交通数据的时序变化特性和空间相似特性作为时空约束项，更精确的对缺失点进行补全。

本发明将低秩表示模型应用到了交通数据补全中，通过对交通数据矩阵进行矩阵分解，得到动态时间变化环境特征因子矩阵和静态空间路段特征描述因子矩阵，对因子矩阵分别加入交通数据的时间序列变化特性和空间自适应相似性作为其中的约束项，使得数据子空间内具有相似性约束，因此补全的精准度大幅提高，克服了常规方法的缺陷，尤其针对连续的时空丢失情况。

附图说明

图1是根据本发明的基于自适应时空约束低秩算法的路网交通数据的补全方法的流程图；

图2是浮动车路段平均速度随机丢失模式补全NMAE；

图3是线圈检测路段平均速度随机丢失模式补全NMAE；

图4是线圈检测路段流量随机丢失模式补全NMAE；

图5是浮动车路段平均速度空间连续丢失模式补全NMAE；

图6是线圈检测路段平均速度空间连续丢失模式补全NMAE；

图7是线圈检测路段流量空间连续丢失模式补全NMAE；

图8是浮动车路段平均速度时间连续丢失模式补全NMAE；

图9是线圈检测路段平均速度时间连续丢失模式补全NMAE；

图10是线圈检测路段流量时间连续丢失模式补全NMAE。

具体实施方式

通过对交通数据矩阵的分析，发现它不仅具有全局的低秩特点，同时具有较强的时间和空间特性，因此在引入低秩算法的同时，对原始矩阵做因子分解，并根据其时间维和空间维特征引入时空约束。

如图1所示，这种基于自适应时空约束低秩算法的路网交通数据的补全方法，该方法包括以下步骤：

(1)构造路网交通数据的时空数据矩阵；

(2)对时空数据矩阵进行因子矩阵分解，引入无约束低秩修复方法；

(3)加入交通数据的时序变化特性和空间相似特性作为时空约束项，更精确的对缺失点进行补全。

本发明将低秩表示模型应用到了交通数据补全中，构造路网交通数据时空矩阵，其中行代表连续的时间片，列代表无特定顺序排列的整个路网所有空间路段，矩阵元素值可表示特定路段在特定时间片下的交通参数值(流量、速度、密度等)。同时，由于路网交通事件等原因造成的异常也体现为矩阵中的噪声，且其具有明显的稀疏特性。当矩阵中元素存在缺失时，我们即可利用这种矩阵全局的低秩特性及局部的稀疏特性来实现矩阵中缺失值的修复工作。

基于低秩理论的矩阵填充工作假定原始数据矩阵是低秩的，其模型可描述为以下的优化问题：

s.t.P_Ω(X)＝M (11)

其中，M＝[m₁,m₂,...,m_n]∈R^m×n为含有噪声和数据缺失的待补全数据矩阵,m为路段个数，n为连续的时间间隔数(m,n为变量M的维度)。P_Ω()为位置映射算子，满足P_Ω(X)＝P⊙X，

通过将对矩阵秩最小求解松弛为矩阵的核范数，我们可以得到以下优化问题：

s.t.P_Ω(X)＝M (12)

其中，M＝[m₁,m₂,...,m_n]∈R^m×n为含有噪声和数据缺失的待补全数据矩阵,m为路段个数，n为连续的时间间隔数(m,n为变量M的维度)；

这种基本的低秩矩阵填充算法应用于交通数据的修复，但并没有完全考虑数据时间变化特性及路网的空间性，因此重构效果一般，尤其是当缺失率较高时。考虑到核范数求解的高复杂性，引入了矩阵分解的方法以近似逼近核范数。因此本发明将首先对交通矩阵进行物理意义上的时空分解，将原始交通矩阵看作为目标路段对象[O₁,O₂,...,O_m]在时间域T＝[T₁,T₂,...,T_n]内的表示，则因子矩阵U＝[u₁,u₂,...,u_m]∈R^r×m表示为潜在的局部空间对象特征矩阵，它的每一列对应不同路段的静态描述；特征空间维度k*m；因子矩阵V＝[v₁,v₂,...,v_n]∈R^r×n表示为潜在全局环境特征特征矩阵，它的每一列对应不同路段在不同时间间隔上的状态表达，特征空间维度k*n。因此原始矩阵可看作为静态路段对象特征和动态时间变化环境特征的相互作用。通过矩阵分解近似逼近核范数的方法，并去除约束，我们得到以上问题的近似求解：

式中，

为矩阵重构误差,

为核范数的线性分解。

在这种全局低秩约束条件的同时，基于因子矩阵的交通含义，通过充分考虑交通矩阵的时间变化特性及空间相似性特征对缺失矩阵做局部约束，从而使整体矩阵恢复效果更加准确。基于数据时间变化上的连续性，同时兼顾其突变的特性，我们对因子矩阵V相邻时间点数据做差分处理，引入l₁范数对差分项进行误差度量。同时基于路网路段之间的空间相似性考虑，引入图理论的拉普拉斯正则化约束，自适应求解相似路段邻域空间，进而完成对相似路段间误差度量。联合时间约束和空间约束，最终模型定义为以下形式：

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (1)

其中，矩阵A∈R^m×m为邻接矩阵，a_ij表示矩阵元素，用于度量空间对象特征因子矩阵间的相似性，L_A∈R^m×m为根据邻接矩阵计算的拉普拉斯矩阵。‖VT‖₁为时间差分误差项，tr(UL_AU^T)和

项为空间相似性度量约束项，λ₁,λ₂,λ₃,λ₄分别为各项平衡参数。矩阵T∈R^{n ×(n-1)}是一个托普利兹矩阵，矩阵的对角线元素上下层元素分别为-1和1，用于对时间变化模式因子矩阵做平滑差分约束，形式如下：

使用增广拉格朗日算法对公式(1)进行求解，引入辅助变量以方便求解，令Q＝U^TV,W＝U,Z＝V,S＝ZT,则公式(1)可重新写为：

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0,Q＝U^TV,W＝U,Z＝V,S＝ZT (2)

构造公式(2)的增广拉格朗日乘子函数为

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (3)

其中，<B,C≥tr(B^TC)，G₁,G₂,G₃和G₄是拉格朗日乘子，μ>0是误差项的权重；

采用交替方向乘子法(ADMM)对模型的各个变量(Q,U,V,W,Z,S,A)进行优化求解,其中Q,W,Z,S为引入的辅助变量，满足Q＝U^TV,W＝U,Z＝V,S＝ZT；U,V为重构矩阵分解后的空间因子矩阵和时间因子矩阵，则补全后的矩阵为U^TV，T为时间约束托普利兹矩阵。

优化前,即t＝0，需要对各个变量进行初始化，所有变量均为全0矩阵。

当t>0时，随后根据分解后的多个子问题对各个变量进行交替求解，Q^t+1，U^t+1，V^t+1，W^t+1，Z^t+1，S^t+1，A^t+1为下一步迭代所得变量估计。将公式(3)拆分为公式(4)、(5)、(6)、(7)、(8)、(9)、(10)七个子问题：

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (10)

下面具体说明以上方法。

1.交通数据的自适应时空低秩补全模型

基于传统低秩补全方法的交通数据修复并没有完全考虑数据时间变化特性及路网的空间性，因此重构效果一般，尤其是当缺失率较高时。因此本文将首先对交通矩阵进行物理意义上的时空分解，并基于因子矩阵的交通含义，从交通数据的时间变化特征及空间相似性特征来进行大规模路网交通数据修复。因此我们引入交通数据在时间域上的平滑变化特性及空间序列的相似性来解决交通数据的修复问题。

①时间变化特性

真实路网的交通数据往往体现了时间连续性的特征，然后现代交叉口的信号控制以及交通管制措施使得网络交通数据存在突然变化特性。这是由城市交通网络本身的特性决定，因而即使在同一路段的相邻点上其速度和流量值具有差异性。考虑这种时间变化上的连续性，同时兼顾其突变的特性，我们对相邻时间点数据做差分处理，因此针对我们的模型而有

注意到‖X_j-X_j-1‖₂＝‖U^Tv_j-U^Tv_j-1‖₂≤‖U‖₂‖v_j-v_j-1‖₂≤‖U‖₂‖v_j-v_j-1‖₁，因此它可以通过‖v_j-v_j-1‖₂→0或‖v_j-v_j-1‖₁→0来保证。

基于以上讨论，我们计算原始模型因子矩阵V中的每两项的标准差分v_j-v_j-1，此外考虑到1范数相对于2范数来说具有对噪声点的包容性和鲁棒性，因此我们采用1范数来对目标范数进行时间约束，模型公式为：

其中，最后一个正则项定义

其中λ₁，λ₂为对应项的非负权重，时间差分矩阵为T＝Toeplitz(0,1,-1)，定义为以下形式：

②自适应空间相似性

传统方法一般是通过计算数据序列之间的距离来判断数据之间的相似性，同时也有根据路网空间拓扑关系来捕捉路段交通参数的相似性，但由于路网交通参数变化不仅受限于路网拓扑，同时受限于各种未知因素的影响，如土地使用属性、车道数，道路等级，天气等因素，且数据本身存在缺失，因此根据历史拓扑和固定权重方式计算相似性是不准确的。我们引入了一个基于图理论的拉普拉斯正则化算子：

其中，L_A＝D-A表示拉普拉斯矩阵，D∈R^n×n它是一个对角矩阵，对角元素满足

上式用于构造拉普拉斯矩阵，能够通过数据样本直接学习。在我们的问题中用于计算静态空间对象特征矩阵列之间的距离，距离越小给予越大权重。其中a_ij通过欧式距离进行设定，反映序列间的连接概率，捕捉数据的局部几何结构。

本发明采用的方法并非固定邻接矩阵A的方式，通过自适应求解邻接矩阵A的方式来描述数据空间静态样本间的关系，其自适应求解公式为：

约束A^T1^m＝1^m和a_ij≥0保证了矩阵A的概率属性，即A中行和或列和为1，通过对上式进行代数变换，我们得到以下的约束：

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (17)

其中，λ₃和λ₄是对应项的平衡参数。联合上一步骤的时间约束，最终模型即为以下形式：

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (1)

上式即自适应时空约束低秩模型，通过以上模型我们能够自适应选择同目标路段最为相似的k个路段作为其空间邻域，它们可能有相同的道路等级、车道数或通行能力等特征，通过全局低秩约束及时空局部约束最终完成对缺失点数据的准确补全。

2.优化算法

在这部分中，我们将讨论如何高效得求解目标公式(1)。

使用增光拉格朗日算法对公式(1)进行求解，引入辅助变量以方便求解，令Q＝U^TV,W＝U,Z＝V,S＝ZT,则公式(1)可重新写为：

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0,Q＝U^TV,W＝U,Z＝V,S＝ZT (2)

构造公式(2)的增广拉格朗日乘子函数为

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (3)

其中，<B,C≥tr(B^TC)，G₁,G₂,G₃和G₄是拉格朗日乘子，μ>0是误差项的权重；将公式(3)拆分为七个子问题，交替更新来优化问题：

1)固定U,V,A,W,Z,S，通过(4)式更新Q:

对式(4)进行求导，并令其倒数为0，则获得Q的闭合解：

其中

P是位置矩阵。

2)同理，更新U,V,W,Z，固定其它变量，同求解变量相关的子问题均是二次项，因此通过对式(5)、(6)、(7)、(8)进行求导，获得各个变量的闭合解：

其中，r是分解秩。同理得到V,W,Z的闭合解：

3)固定U,V,A,W,Z,Q，通过式(9)更新S:

令

则闭合解为：

S^t+1＝sign(J^t)max{|J^t|-η^t,0}. (23)

4)固定U,V,W,S,Z,Q，通过式(10)更新A:

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (10)

这个问题可以分离成一系列更小的独立问题：

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (24)

其中矩阵D^t中每一个元素d_ij ^t定义如下：

其中W_i ^t+1代表W^t+1的第i列，因此矩阵A^t+1中第i列对应的闭合解通过它的k个最近邻获得：

其中

是列向量d_i ^t的第j个元素，

近似于d_i ^t向量的升序排列值，对任何列U，算子(U)₊表示将U中的负元素变为0，保留其它元素。最终我们调整A^t+1使其对称：

5)更新拉格朗日乘子G₁,G₂,G₃,G₄,μ:

μ^t+1＝min(ρμ^t,μ^max) (32)

其中ρ>1为常数，μ^max是μ的上界。一旦最终收敛条件被满足，我们就可以获得最终恢复后的数据U^TV。

为了测试本发明提出的算法的性能，我们在3中不同类型的数据中进行恢复实验，数据包括北京GPS测路段平均速度数据，及北京市环形线圈测得速度数据、流量数据。所有实验都在matlab 2014a环境中运行，工作站配置为Intel Core i7-4770K 3.5GHz CPU和16G RAM。为了便于对补全精度的评估，采用标准平均绝对误差(NMAE)误差计算的方法：

其中，M是真实矩阵，

为估计得矩阵。

为了证明本发明提出的算法的优势，在实验中将本算法与已有的交通数据补全算法非负矩阵分解(Nonnegative Matrix Factorization,记为NMF)、稀疏正则SVD分解(Sparsity Regularized SVD,记为SRSVD)、稀疏正则矩阵分解(Sparsity RegularizedMatrix Factorization,记为SRMF)、低秩矩阵拟合算法(Low-rank Matrix Fittingalgorithm,记为LMaFit)进行了对比。共设置了三组实验，包括随机丢失模式、按行连续丢失模式和按列连续丢失模式。每组实验分别随机丢失2％到98％的已有数据，实验结果如图2-10所示。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (2)

1.一种基于自适应时空约束低秩算法的路网交通数据的补全方法，其特征在于，该方法包括以下步骤：

步骤(1)、构造路网交通数据的时空数据矩阵；

步骤(2)、对时空数据矩阵进行因子矩阵分解，引入无约束低秩修复方法；

步骤(3)、加入交通数据的时序变化特性和空间相似特性作为时空约束项，更精确的对缺失点进行补全；

其中，步骤(2)、(3)结合的带有时空约束项的低秩表示模型为公式(1)

其中，M＝[m₁,m₂,…,m_n]∈R^m×n为含有噪声和数据缺失的待补全数据矩阵,m为路段个数，n为连续的时间间隔数；U＝[u₁,u₂,…,u_m]∈R^r×m表示为潜在的局部空间对象特征矩阵，它的每一列对应不同路段的静态描述；V＝[v₁,v₂,…,v_n]∈R^r×n表示为潜在全局环境特征特征矩阵，它的每一列对应不同路段在不同时间间隔上的状态表达，矩阵A∈R^m×m为邻接矩阵，a_ij表示矩阵元素，用于度量空间对象特征因子矩阵间的相似性，L_A∈R^m×m为根据邻接矩阵计算的拉普拉斯矩阵，

为矩阵重构误差，

为核范数的线性分解，||VT||₁为时间差分误差项，tr(UL_AU^T)和

项为空间相似性度量约束项，λ₁,λ₂,λ₃,λ₄分别为各项平衡参数，矩阵T∈R^n×(n-1)是一个托普利兹矩阵，矩阵的对角线元素上下层元素分别为-1和1，用于对时间变化模式因子矩阵做平滑差分约束，形式如下：

2.根据权利要求1所述的基于自适应时空约束低秩算法的路网交通数据的补全方法，其特征在于：使用增光拉格朗日算法对公式(1)进行求解，引入辅助变量以方便求解，令Q＝U^TV,W＝U,Z＝V,S＝ZT,则公式(1)可重新写为：

构造公式(2)的增广拉格朗日乘子函数为

s.t.A^T1^m＝1^m,A＝A^T,a_ij≥0 (3)

其中，<B,C≥tr(B^TC)，G₁,G₂,G₃和G₄是拉格朗日乘子，μ>0是误差项的权重；

采用交替方向乘子法(ADMM)对模型的各个变量(Q,U,V,W,Z,S,A)进行优化求解,其中Q,W,Z,S为引入的辅助变量，满足Q＝U^TV,W＝U,Z＝V,S＝ZT；U,V为重构矩阵分解后的空间因子矩阵和时间因子矩阵，则补全后的矩阵为U^TV，T为时间约束托普利兹矩阵；

优化前,即t＝0，需要对各个变量进行初始化，所有变量均为全0矩阵；

当t>0时，随后根据分解后的多个子问题对各个变量进行交替求解，Q^t+1，U^t+1，V^t+1，W^t+1，Z^t+1，S^t+1，A^t+1为下一步迭代所得变量估计；

将公式(3)拆分为公式(4)、(5)、(6)、(7)、(8)、(9)、(10)七个子问题：

Images