CN102819682A - 一种多阈值空间相关的浮动车数据清洗和修复算法 - Google Patents

Abstract

本发明涉及一种多阈值空间相关的浮动车数据清洗和修复算法，该算法将浮动车对一路段的若干天的采集数据合成一数据矩阵，在以天为单位初步筛选数据矩阵中的缺失数据和异常数据后，根据三西格玛过滤法则进一步清除数据矩阵中的异常数据，然后根据缺失数据的类型，用加权平均法和指数平滑法分别结合路段的空间相似特性对缺失数据进行修复，最后用主成分重建方法修复浮动车数据中的高频噪声扰动，从而在不增加浮动车数量和额外处理设备的情况下，对浮动车的规律性车速信息进行充分挖掘，有效地改善了浮动车的数据质量。本发明可以用于浮动车规律性数据的清洗和修复工作，为后续的交通规划和交通辨识提供可靠的数据。

Description

一种多阈值空间相关的浮动车数据清洗和修复算法

技术领域

本发明涉及一种浮动车数据处理方法，特别是关于一种多阈值空间相关的浮动车数据清洗和修复算法。

背景技术

浮动车因其具有覆盖范围广、采集数据精度高、实时性强等优点在动态交通数据的采集中得以广泛应用。但浮动车的流动性大,在非车流高峰时段不能覆盖所有路段，并且由于无线通信数据传输会出现数据包丢失的现象，容易导致浮动车采集数据发生错误或缺失，从而影响交通状态测量的准确性。有文献指出目前浮动车采集的交通数据50%左右都存在数据错误或丢失的问题，而直接应用这些质量有问题的数据会给后续的交通辨识和交通控制带来不稳定的安全隐患。因此，为获得精确的动态交通数据，浮动车数据的清洗和修复显得尤为重要。

交通领域中，交通流数据一般包含车速、流量、占有率等信息。对交通流数据的清洗和修复通常是利用不同属性之间的相关性对单一属性缺失数据进行有效补齐。但是浮动车数据只包含车速信息，因此不能采用上述交通流机理检测错误数据。当前对浮动车数据的处理多采用线性插值法或历史平均方法进行修复，修复精度较低。此外，也有方法提出结合线圈、摄像头等传感器数据来提高浮动车数据质量，但是由于目前传感器不能覆盖所有路段，因此这种方法需要增加大基础设施的投入，成本较高。

发明内容

针对上述问题，本发明的目的是提供一种多阈值空间相关的浮动车数据清洗和修复算法，该算法能够在不增加浮动车数量和额外处理设备的情况下，通过挖掘浮动车的规律性车速信息，对浮动车数据中的缺失数据、异常数据和噪声数据进行清洗修复，从而提高浮动车的数据质量，为后续的交通规划奠定基础。

为实现上述目的，本发明采取以下技术方案：一种多阈值空间相关的浮动车数据清洗和修复算法，其包括以下步骤：

1）将浮动车采集的一路段若干天的数据合成一原始数据矩阵，所述原始数据矩阵中日期相同、时刻不同的车速数据构成日期向量，时刻相同、日期不同的车速数据构成时刻向量；

2）以天为单位对步骤1）获得的原始数据矩阵中的缺失数据和异常数据进行筛选：

2.1）为原始数据矩阵的每一时刻向量设置一置信区间；

2.2）对每一日期向量中的车速数据进行辨识及过滤：

如果车速数据小于等于零，则作为缺失数据归零；

如果车速数据未在其所在时刻向量的置信区间内，则作为异常数据；

2.3）检验每一日期向量中缺失数据个数，连续缺失数据个数和连续异常数据个数：

如果一日期向量中缺失数据个数大于预设的数据缺失阈值，或者连续缺失数据个数大于预设的数据连续缺失阈值，或者连续异常数据个数大于预设的数据连续异常阈值，则将整个日期向量删除；

所述连续缺失数据是指该缺失数据的前一时刻或后一时刻数据也缺失；所述连续异常数据是指该异常数据的前一时刻或后一时刻数据也异常；

2.4）经过筛选后的原始数据矩阵成为异常数据矩阵；

3）根据三西格玛准则对步骤2）获得的异常数据矩阵中的异常数据进行清洗：

3.1）对异常数据矩阵中的每一时刻向量进行正态分布检验：

如果时刻向量呈非正态分布，则对其实施近似正态变换；

3.2）根据三西格玛准则求出每一时刻向量的置信区间；

3.3）对每一日期向量中的每一车速数据进行辨识：

如果车速数据偏离其所在时刻向量的置信区间，则作为异常数据归零；

3.4）经过清洗后的异常数据矩阵成为缺失数据矩阵；

4）对步骤3）获得的缺失数据矩阵中的缺失数据进行修复：

4.1）对缺失数据矩阵中的每个缺失数据进行判断：

如果缺失数据是孤立缺失数据，用加权平均法修复，进入步骤4.2）；

如果缺失数据是连续缺失数据，用指数平滑法修复，进入步骤4.3）；

4.2）用路段的空间相似特性修复车速数据，并将其与加权平均法的车速修复结果作加权平均，获得的结果作为孤立缺失数据的最终修复值；

4.3）用路段的空间相似特性修复车速数据，并将其与指数平滑法的车速修复结果作加权平均，获得的结果作为连续缺失数据的最终修复值；

4.4）经过修复后的缺失数据矩阵成为噪声数据矩阵；

5）用主成分重建方法对步骤4）获得的噪声数据矩阵中的噪声数据进行修复：

5.1）计算噪声数据矩阵的主成分矩阵；

5.2）计算主成分累积贡献率；

5.3）当主成分累积贡献率大于给定的贡献率阈值时，用主成分重建方法获得浮动车修复数据矩阵，结束。

上述步骤2.1）中，每一时刻向量的置信区间的置信度设定为85%，相应的，每一时刻向量的置信区间为

为时刻向量的平均值，σ_j为时刻向量的向量标准差。

上述步骤4.1）中，所述指数平滑法为二次指数平滑法。

上述步骤3.1）中，对非正态分布的时刻向量实施如下的近似正态变换：

$x_{i,j}^{\left(\mathrm{\γ}\right)}=\left\{\begin{array}{cc}\frac{x_{i,j}^{\mathrm{\γ}}}{\mathrm{\γ}}& \mathrm{\γ}\≠0\\ \ln \left(x_{i,j}\right)& \mathrm{\γ}=0\end{array}\right.$

上式中，x_i,j是近似正态变换前的矩阵元素，

为近似正态变换后的矩阵元素，γ为正态变换指数因子，γ通过求解下式l(γ)的最大值获得，

$l\left(\mathrm{\γ}\right)=-\frac{M^{\′}}{2}\ln \left(\frac{1}{M^{\′}}\underset{i=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{(x_{i,j}^{\left(\mathrm{\γ}\right)}-{\stackrel{\‾}{X}}_j^{\left(\mathrm{\γ}\right)})}^2\right)+(\mathrm{\γ}-1)\underset{i=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\ln \left(x_{i,j}\right),$

是呈近似正态分布的时刻向量X_j ^(γ)的平均值，

上述步骤5.3）中，贡献率阈值为95%。

本发明由于采取上述技术方案，具有以下优点：1、本发明由于采用多阈值控制方法和基于正态变换的三西格玛法则对浮动车数据进行清洗，因此能够保证不剔除正常数据的情况下，对浮动车数据中的异常数据进行精确的辨识和过滤。2、本发明由于采用加权平均法和指数平滑法对缺失数据进行补全，因此与现有技术中采用历史平均和线性插值的传统方法相比，可以利用时间序列的趋势性，减少相邻时刻的数据波动对修复值的影响。3、本发明由于在加权平均法和指数平滑法的基础上，还利用相邻路段的空间拓扑特性，通过相邻路段的交通状态相关性对缺失数据进行修复，因此与现有技术相比，数据修复精度明显提高。4、本发明由于采用主成分重建方法修复浮动车数据中的高频噪声，充分利用时间序列的规律性与趋势性，挖掘浮动车的规律性车速信息，从而在保持车速数据正常的瞬变特性的基础上，获得更加平滑、波动更小的曲线，有效地提高了浮动车的数据质量。本发明可以用于浮动车规律性数据的清洗和修复工作，为后续的交通规划和交通辨识提供可靠的数据。

附图说明

图1是本发明的算法流程示意图；

图2是本发明的数据初步筛选流程示意图；

图3是本发明的异常数据清洗流程示意图；

图4是本发明的缺失数据修复流程示意图；

图5是本发明的噪声数据修复流程示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

浮动车以路段为单位进行数据采集，每过一段时间间隔采集一个数据点，一路段若干天的浮动车数据可以合成一原始数据矩阵X：

上式中，M为采集数据的天数，N为每天的数据采集量；数据矩阵X的行向量X_i<x_i，1,x_i，2,…,x_ij,…,x_i，N＞表示相同日期、不同时刻的车速数据，简称日期向量，列向量X_j<x_1，j,x_2，j，…,x_ij,…,x_M，j>表示相同时刻、不同日期的车速数据，简称时刻向量，其中i为日期序号，j为时刻序号，x_i，j为第i天j时刻的车速数据。

本发明需要对数据矩阵中的每一个元素进行分析：当车速数据小于或等于零时为缺失数据；当一缺失数据前一时刻或后一时刻数据也缺失时，该缺失数据为连续缺失数据；当一车速数据严重偏离其分布的中心时为异常数据；当一异常数据前一时刻或后一时刻数据也异常时，该异常数据为连续异常数据。其中，判断车速数据是否为异常数据可以借助时刻向量的置信区间进行。

如图1所示，本发明通过以下四个步骤，对浮动车数据中的（连续）缺失数据和（连续）异常数据进行清洗和修复：

1、数据初步筛选；

2、根据三西格玛法则清洗异常数据；

3、修复缺失数据；

4、用主成分重建方法修复噪声数据。

如图2所示，浮动车数据初步筛选流程是以天为单位对原始数据矩阵X中的缺失数据和异常数据进行筛选，具体包括以下步骤：

1）初始化原始数据矩阵每一时刻向量的置信区间：

1.1）初始化时刻序号j=1；

1.2）判断j>N是否成立：

若成立，则进入步骤2）；

否则进入步骤1.3)；

1.3）求时刻向量X_j的平均值

向量标准差σ_j和置信度为一给定值C的置信区间；

其中，置信度C可以根据经验设定为85%，相应的，时刻向量的置信区间为 $[{\stackrel{\&OverBar;}{X}}_j-1.44{\mathrm{\&sigma;}}_j,{\stackrel{\&OverBar;}{X}}_j+\mathrm{1,44}{\mathrm{\&sigma;}}_j].$

1.4）j增加1，返回步骤1.2）；

2）对每一日期向量中的车速数据进行辨识及过滤：

2.1）初始化日期序号i＝1，时刻序号j=1；

2.2）判断i＞M是否成立：

若成立，则进入步骤2.14)；

否则进入步骤2.3)；

2.3）判断j>N是否成立：

若成立，则i增加1，j初始化为1，返回步骤2.2)；

否则进入步骤2.4）；

2.4）将记录每天缺失数据个数的参数Nⁱ、记录每天连续缺失数据个数的参数N^c和记录每天连续异常数据个数的参数N^e全部初始化为0，将异常数据序号d初始化为1；

2.5）判断x_i，j<0是否成立：

若成立，则x_i，j=0，x_i，j为缺失数据，Nⁱ增加1，进入步骤2.7）；

否则进入步骤2.6）；

2.6）判断x_i，j=0是否成立：

若成立，则x_i，j为缺失数据，Nⁱ增加1，进入步骤2.7）；

否则进入步骤2.8）；

2.7）判断x_i，j-1<=0或x_i，j＋1<=0是否成立，也即判断x_i，j的前一时刻或后一时刻的数据是否缺失：

若x_i，j-1<=0或x_i，j＋1<=0，则x_i，j为连续缺失数据，N^c和N^e均增加1，进入步骤2.10）；

否则N^c重置为0，进入步骤2.9），判断x_i，j是否为连续异常数据；

2.8）判断x_i，j是否在时刻向量X_j的置信区间内：

若x_i，j在时刻向量X_j的置信区间内，则x_i，j为正常数据，N^e重置为0，进入步骤2.10）；

否则x_i，j为异常数据，进入步骤2.9），判断x_i，j是否为连续异常数据；

2.9）判断j-d＝1是否成立：

若成立，则x_i，j为连续异常数据，N^e增加1，更新d＝j，进入步骤2.10）；

否则N^e重置为1，更新d＝j，进入步骤2.10）；

2.10）将Nⁱ与一给定的数据缺失阈值N^i(t)比较：

若Nⁱ＞N^i(t)，进入步骤2.13）；

否则进入步骤2.11）；

2.11）将N^c与一给定的数据连续缺失阈值N^c(t)比较：

若N^c＞N^c(t)，进入步骤2.13）；

否则进入步骤2.12）；

2.12）将N^e与一给定的数据连续异常阈值N^e(t)比较：

若N^e>N^e(t)，进入步骤2.13）；

否则j增加1，返回步骤2.3）；

2.13）i增加1，j重置为1，返回步骤2.2）；

2.14）结束数据初步筛选流程，原始数据矩阵X变为M′行N列的异常数据矩阵X′：

进入异常数据清洗流程。

其中，由于有些天的数据因不符合要求被整体删除，导致异常数据矩阵X′的行数可能小于原始数据矩阵的行数，因此有M≧M′。相应的，日期向量X_i更新为<x_i，1,x_i,2,…,x_i，j，…,x_i，N＞，时刻向量X_j更新为<x_1，j,x_2，j,…,x_i,j…,x_M′，j>。

上述步骤2.10）～2.12）中，缺失数据阈值N^i(t)可以预设为0.1N，连续缺失数据阈值N^c(t)可以预设为0.05N，连续异常数据阈值N^e(t)可以预设为0.03N。

如图3所示，数据初步筛选完成后，浮动车异常数据清洗流程首先对异常数据矩阵X′中的每个时刻向量建立概率模型，对其中概率不符合正态分布的时刻向量进行近似正态变换，然后根据三西格玛过滤法则对异常数据矩阵X′中的异常数据进行进一步清洗，具体包括以下步骤：

1）初始化时刻序号j=1；

2）判断j>N是否成立：

若成立，则进入步骤13）；

否则将正态分布标志f初始化为0，进入步骤3）；

3）判断异常数据矩阵X′中时刻向量X_j是否符合正态分布：

若X_j符合正态分布，f置为1，进入步骤6）；

否则进入步骤4）；

4）对时刻向量X_j实行近似正态变换，近似正态变换方法如下所示：

$x_{i,j}^{\left(\mathrm{\&gamma;}\right)}=\left\{\begin{array}{cc}\frac{x_{i,j}^{\mathrm{\&gamma;}}}{\mathrm{\&gamma;}}& \mathrm{\&gamma;}\&NotEqual;0\\ \ln \left(x_{i,j}\right)& \mathrm{\&gamma;}=0\end{array}\right.$

上式中，

为近似正态变换后的矩阵元素，γ为正态变换指数因子，γ可以通过求解下式l(γ)的最大值获得：

$l\left(\mathrm{\&gamma;}\right)=-\frac{M^{\&prime;}}{2}\ln \left(\frac{1}{M^{\&prime;}}\underset{i=1}{\overset{M^{\&prime;}}{\mathrm{\&Sigma;}}}{(x_{i,j}^{\left(\mathrm{\&gamma;}\right)}-{\stackrel{\&OverBar;}{X}}_j^{\left(\mathrm{\&gamma;}\right)})}^2\right)+(\mathrm{\&gamma;}-1)\underset{i=1}{\overset{M^{\&prime;}}{\mathrm{\&Sigma;}}}\ln \left(x_{i,j}\right),$

其中

是呈近似正态分布的时刻向量X_j ^(γ)的平均值，

为减少计算量，γ可以在区间（0,5）内取值；

5）计算呈近似正态分布的时刻向量的X_j ^(γ)的向量标准差σ_j ^(γ)，根据三西格玛准则求出相应的置信区间

进入步骤7）；

6）更新呈正态分布的时刻向量X_j的平均值

和向量标准差σ_j，根据三西格玛准则求出相应的置信区间

进入步骤7）；

7）初始化日期序号i＝1；

8）判断日期序号i＞M′是否成立：

若成立，则i置为1，j增加1，返回步骤2）；

否则进入步骤9）；

9）判断正态分布标志f是否为1：

若成立，进入步骤10）；

否则进入步骤11）；

10）判断x_i，j是否在置信区间内：

若x_i，j在置信区间

内，进入步骤12）；

否则x_i，j为异常数据，x_i，j=0，进入步骤12）；

11）判断

是否在置信区间

内：

若

在置信区间

内，进入步骤12）；

否则

为异常数据，x_i，j=0，进入步骤12）；

12）i增加1，返回步骤8）；

13）结束异常数据清洗流程，异常数据矩阵X′成为缺失数据矩阵（行数和列数没有改变），进入修复缺失数据流程。

如图4所示，异常数据清洗完成后，缺失数据矩阵中的缺失数据主要分为两类：一类是孤立缺失数据；另一类是连续缺失数据。为了提高数据修复精度，可以采用加权平均法修复孤立缺失数据和指数平滑法修复连续缺失数据。此外，由于考虑到相邻路段日期向量的相关性，即一路段与其上下游路段的相关系数较大，与其平行路段的相关系数较小，且随着路段之间距离的增大，相关系数会随之减少，因此本发明将加权平均法和指数平滑法分别结合路段与其邻接路段的空间相似特性对路段的车速数据进行修复，具体包括以下步骤：

1）初始化日期序号i＝1；

2）判断日期序号i＞M′是否成立：

若成立，则进入步骤14）；

否则进入步骤3）；

3）初始化时刻序号j=1；

4）判断j>N是否成立：

若成立，则i增加1，j置为1，返回步骤2）；

否则将连续缺失标志E初始化为0，进入步骤5）；

5）判断x_i，j=0是否成立：

若成立，进入步骤6）；

否则j增加1，返回步骤4）；

6）判断x_i，j-1=0或x_i，j＋1=0是否成立：

若x_i，j-1=0或x_i，j＋1=0，则x_i，j为连续缺失数据，E置为1，进入步骤8）；

否则进入步骤7）；

7）用加权平均法修复孤立缺失数据，修复公式如下：

${\hat{x}}_{i,j}^{\left(m\right)}=\frac{1}{W}\underset{t=-T^{\&prime;}}{\overset{T^{\&prime;}}{\mathrm{\&Sigma;}}}{w}_t\&CenterDot;x_{i,j+t}$ (t≠0)，

上式中，

为使用了加权平均法的车速修复结果，其中（m）为一标志，表明该方法为一数学方法修复；w_t为加权系数，W为所有加权系数之和，T′为修复数据所用相邻数据的最大间隔；x_i,j+t离缺失数据x_i，j越远，加权系数w_t的值越小，进入步骤10）；

8）用指数平滑法修复连续缺失数据，此处采用二次指数平滑法（也可以用三次或四次指数平滑法，不限于此），修复公式如下所示：

${\hat{x}}_{i,j+r}^{\left(m\right)}=a_j+b_j\&CenterDot;r$ (r=0,1,…,R-1)，

上式中，

为使用了指数平滑法的车速修复结果，其中（m）意义同上，表明该方法为一数学方法；r为缺失数据累计序号，R为连续缺失数据个数，a_j，b_j为中间变量，分别由下式确定：

$\left\{\begin{array}{c}{a}_j={2Q}_j^{\left(1\right)}-Q_j^{\left(2\right)}\\ b_j=\frac{\mathrm{\&alpha;}}{1-\mathrm{\&alpha;}}(Q_j^{\left(1\right)}-Q_j^{\left(2\right)})\end{array}\right.,$

上式中，α为平滑系数，α∈(0,1)，

为一次指数平滑值，为二次指数平滑值，其值分别由下式确定：

$Q_j^{\left(1\right)}={\mathrm{\&alpha;x}}_{i,j}+(1-\mathrm{\&alpha;})Q_{j-1}^{\left(1\right)}$

；

$Q_j^{\left(2\right)}={\mathrm{\&alpha;Q}}_j^{\left(1\right)}+(1-\mathrm{\&alpha;})Q_j^{\left(2\right)}$

9）初始化r＝0,判断E=1是否成立：

若成立，则进入步骤10）；

否则R更新为1，进入步骤10）；

10）判断r＞R-1是否成立：

若成立，则j增加R，返回步骤4）；

否则进入步骤11）；

11）利用道路邻接路段的空间相似特性修复路段的车速数据，修复方法如下：

${\hat{x}}_{i,j+r}^{\left(s\right)}=\underset{h=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{\&beta;}}_h\&CenterDot;x_h(j+r)$ $\left(\begin{array}{cc}r=0& (E=0)\\ r=\mathrm{0,1},\&CenterDot;\&CenterDot;\&CenterDot;,R& (E=1)\end{array}\right),$

上式中，

为利用了路段空间相似特性的车速修复结果，H为当前修复路段的相邻路段总数，x_h(j+r)为当前修复路段的第h条相邻路段j+r时刻的车速数据；当E=0时，也即缺失数据为孤立缺失数据时，r=0；当E=1时，也即缺失数据为连续缺失数据时，r=0,1，…，R；权值系数β_h由下式确定：

β_h=g_h/G(H)，

上式中，g_h为缺失数据的路段与相邻路段的相关系数，G(H)为缺失数据路段与所有相邻路段的相关系数之和，进入步骤12）；

12）根据缺失数据的类型，将相应数学方法的车速修复结果与路段空间相似特性的车速修复结果作加权平均，从而获得缺失数据的最终修复值x_i，j+r：

$x_{i,j+r}=k_1\&CenterDot;{\hat{x}}_{i,j+r}^{\left(m\right)}+k_2\&CenterDot;{\hat{x}}_{i,j+r}^{\left(s\right)}$ $\left(\begin{array}{cc}r=0& (E=0)\\ r=\mathrm{0,1},\&CenterDot;\&CenterDot;\&CenterDot;,R& (E=1)\end{array}\right),$

上式中，k₁和k₂分别为数学方法的车速修复结果和路段空间相似特性的车速修复数据的加权系数；

13）r增加1，返回步骤10）；

14）结束修复缺失数据流程，缺失数据矩阵成为噪声数据矩阵X″（行数和列数没有改变），进入修复噪声数据流程。

上述步骤7）中，相邻数据的最大间隔T′可以设定为3，相应的加权系数w_t分别取0.7,0.2,0.1。

上述步骤8）中，指数平滑系数α可以取经验值0.5。

上述步骤11）中，g_h可以设定为缺失数据矩阵中早于当天所有天数相关系数的均值。

上述步骤12）中，k₁和k₂可以分别取经验值0.7和0.3。

如图5所示，修复缺失数据完成后，为使浮动车数据的周期性交通特性更加明显，本发明采用主成分重建方法对噪声数据矩阵X″中的噪声数据进行修复，所述噪声数据是指不能反映交通特性的高频扰动。主成分重建方法可以同时处理多日数据，并能利用时间序列的规律性与趋势性，在降低处理的数据量的同时提高数据的处理精度，具体包括以下步骤：

1）更新噪声数据矩阵X″中每个时刻向量X_j的平均值

并将其代入下式获取噪声数据矩阵X″的协方差矩阵S：

$S=\frac{1}{N-1}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}(X_j-{\stackrel{\&OverBar;}{X}}_j){(X_j-{\stackrel{\&OverBar;}{X}}_j)}^T$

上式中，符号T表示矩阵转置。

2）计算噪声数据矩X″阵的主成分矩阵Y：

上式中，矩阵U为协方差矩阵S的M′个顺次递减特征值λ₁≥λ₂≥…≥λ_m…≥λ_M’所对应的正交单位特征向量矩阵,其中m为主成分序号。

3）初始化主成分序号m=1，将主成分累积贡献率Z初始化为0；

4）计算主成分矩阵Y的第m主成分贡献率Z_m：

$Z_m={\mathrm{\&lambda;}}_m/\underset{i=1}{\overset{M^{\&prime;}}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i,$

5）更新主成分累积贡献率Z=Z+Z_m；

6）将Z与一给定的贡献率阈值Z^t进行比较：

若Z>Z^t,则进入步骤7）；

否则m增加1，返回步骤4）；

7）重建数据矩阵X^F：

上式中，U^-1为矩阵U的逆矩阵，前p个主成分贡献率大于Z^t，则利用前p个主成分重建数据矩阵；

8）结束，重建数据矩阵X^F即为本发明所要获取的浮动车修复数据矩阵。

上述步骤6）中，贡献率阈值Z^t可以根据经验设定为95%。

上述各实施例仅用于说明本发明，其中具体实施方式可以有所变换，如将相同日期、不同时刻的车速数据构成原始数据矩阵的列向量，将相同时刻、不同日期的车速数据构成原始数据矩阵的行向量，随后各步骤也随之变换，因此凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (7)

1.一种多阈值空间相关的浮动车数据清洗和修复算法，其包括以下步骤：

1）将浮动车采集的一路段若干天的数据合成一原始数据矩阵，所述原始数据矩阵中日期相同、时刻不同的车速数据构成日期向量，时刻相同、日期不同的车速数据构成时刻向量；

2）以天为单位对步骤1）获得的原始数据矩阵中的缺失数据和异常数据进行筛选：

2.1）为原始数据矩阵的每一时刻向量设置一置信区间；

2.2）对每一日期向量中的车速数据进行辨识及过滤：

如果车速数据小于等于零，则作为缺失数据归零；

如果车速数据未在其所在时刻向量的置信区间内，则作为异常数据；

2.3）检验每一日期向量中缺失数据个数，连续缺失数据个数和连续异常数据个数：

如果一日期向量中缺失数据个数大于预设的数据缺失阈值，或者连续缺失数据个数大于预设的数据连续缺失阈值，或者连续异常数据个数大于预设的数据连续异常阈值，则将整个日期向量删除；

所述连续缺失数据是指该缺失数据的前一时刻或后一时刻数据也缺失；所述连续异常数据是指该异常数据的前一时刻或后一时刻数据也异常；

2.4）经过筛选后的原始数据矩阵成为异常数据矩阵；

3）根据三西格玛准则对步骤2）获得的异常数据矩阵中的异常数据进行清洗：

3.1）对异常数据矩阵中的每一时刻向量进行正态分布检验：

如果时刻向量呈非正态分布，则对其实施近似正态变换；

3.2）根据三西格玛准则求出每一时刻向量的置信区间；

3.3）对每一日期向量中的每一车速数据进行辨识：

如果车速数据偏离其所在时刻向量的置信区间，则作为异常数据归零；

3.4）经过清洗后的异常数据矩阵成为缺失数据矩阵；

4）对步骤3）获得的缺失数据矩阵中的缺失数据进行修复：

4.1）对缺失数据矩阵中的每个缺失数据进行判断：

如果缺失数据是孤立缺失数据，用加权平均法修复，进入步骤4.2）；

如果缺失数据是连续缺失数据，用指数平滑法修复，进入步骤4.3）；

4.2）用路段的空间相似特性修复车速数据，并将其与加权平均法的车速修复结果作加权平均，获得的结果作为孤立缺失数据的最终修复值；

4.3）用路段的空间相似特性修复车速数据，并将其与指数平滑法的车速修复结果作加权平均，获得的结果作为连续缺失数据的最终修复值；

4.4）经过修复后的缺失数据矩阵成为噪声数据矩阵；

5）用主成分重建方法对步骤4）获得的噪声数据矩阵中的噪声数据进行修复：

5.1）计算噪声数据矩阵的主成分矩阵；

5.2）计算主成分累积贡献率；

5.3）当主成分累积贡献率大于给定的贡献率阈值时，用主成分重建方法获得浮动车修复数据矩阵，结束。

2.如权利要求1所述的一种多阈值空间相关的浮动车数据清洗和修复算法，其特征在于：所述步骤2.1）中，每一时刻向量的置信区间的置信度设定为85%，相应的，每一时刻向量的置信区间为

为时刻向量的平均值，σ_j为时刻向量的向量标准差。

3.如权利要求1所述的一种多阈值空间相关的浮动车数据清洗和修复算法，其特征在于，所述步骤4.1）中，所述指数平滑法为二次指数平滑法。

4.如权利要求2所述的一种多阈值空间相关的浮动车数据清洗和修复算法，其特征在于，所述步骤4.1）中，所述指数平滑法为二次指数平滑法。

5.如权利要求1或2或3或4所述的一种多阈值空间相关的浮动车数据清洗和修复算法，其特征在于，所述步骤3.1）中，对非正态分布的时刻向量实施如下的近似正态变换：

$x_{i,j}^{\left(\mathrm{\&gamma;}\right)}=\left\{\begin{array}{cc}\frac{x_{i,j}^{\mathrm{\&gamma;}}-1}{\mathrm{\&gamma;}}& \mathrm{\&gamma;}\&NotEqual;0\\ \ln \left(x_{i,j}\right)& \mathrm{\&gamma;}=0\end{array}\right.$

上式中，x_i,j是近似正态变换前的矩阵元素，

为近似正态变换后的矩阵元素，γ为正态变换指数因子，γ通过求解下式l(γ)的最大值获得，

$l\left(\mathrm{\&gamma;}\right)=-\frac{M^{\&prime;}}{2}\ln \left(\frac{1}{M^{\&prime;}}\underset{i=1}{\overset{M^{\&prime;}}{\mathrm{\&Sigma;}}}{(x_{i,j}^{\left(\mathrm{\&gamma;}\right)}-{\stackrel{\&OverBar;}{X}}_j^{\left(\mathrm{\&gamma;}\right)})}^2\right)+(\mathrm{\&gamma;}-1)\underset{i=1}{\overset{M^{\&prime;}}{\mathrm{\&Sigma;}}}\ln \left(x_{i,j}\right),$

是呈近似正态分布的时刻向量X_j ^(γ)的平均值，

6.如权利要求1或2或3或4所述的一种多阈值空间相关的浮动车数据清洗和修复算法，其特征在于：所述步骤5.3）中，贡献率阈值为95%。

7.如权利要求5所述的一种多阈值空间相关的浮动车数据清洗和修复算法，其特征在于：所述步骤5.3）中，贡献率阈值为95%。

Images