CN103064974A - 基于时空分析的交通流数据清洗方法 - Google Patents

Abstract

本发明公开了一种基于时空分析的交通流数据清洗方法，包括脏数据存储模块、干净数据存储模块和运算模块，其中：所述脏数据存储模块，对实时接收到的交通流信息不加改变的按照固定格式进行存储；所述运算模块，按照固定时间间隔从脏数据存储模块中提取最新数据，同时从干净数据库中提取与之在时间和空间存在匹配关系的数据，进行运算；所述干净数据存储模块，对运算模块运算完毕后的数据按照固定格式进行存储。本发明通过简化交通流数据清洗过程，采用用时间与空间并行分析方法，从而方便、快捷、准确的进行交通流数据清洗工作。在简化交通流数据清洗过程，提供交通流数据清洗质量方面，具有实际工程运用价值。

Description

基于时空分析的交通流数据清洗方法

技术领域

本发明属属于数据处理领域，尤其涉及一种基于时空分析的交通流数据清洗系统和方法。

背景技术

随着城市交通压力的不断上升，智能交通系统在城市交通管理与控制体系中发挥着越来越重要的作用。而交通流基础数据库的正确性、完整性以及可靠性，则是整个智能交通系统高效运转的基础保障。然后现有的交通采集系统、信息传输系统在对数据的采集、传输及存储操作中存在着很多问题，容易产生脏数据，如检测装置失灵，数据发送失败等等。这些脏数据可能会导致智能交通系统决策失败甚至错误。因此必须在数据提取应用前对脏数据进行有效的处理，保障交通流基础数据库的数据质量。

在这一领域内，国内外已经有了不少相关研究及工程应用产品。传统的交通流数据清洗过程通常包括数据属性分析、确定清洗方案、检验清洗结果、脏数据清洗以及数据更新5个阶段，且为了应付脏数据出行的不同情况，如数据错误、数据丢失、数据漂移等，需要进行相应的处理，处理过程繁琐。同时在进行脏数据清洗时，到目前为止也已出现了一系列相应的技术方法与手段，主要可分为两大类：以统计学为基础的预测模型和以智能算法为主要研究手段形成的预测模型。但是前一类方法包括卡尔曼滤波模型、参数回归模型、时间序列模型等，仅考虑采用历史因素为数据进行处理，不适于时变的复杂系统，精度较低；后一类方法包括状态相空间重构模型、小波分解模型、神经网络、支持向量机等，方法过于复杂，不适于实际应用。

发明内容

发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于时空分析的交通流数据清洗方法，本发明改善传统的交通流数据清洗过程，使其简洁明了，同时改进脏数据清洗时的技术手段，使其监督方法的能够兼顾算法复杂性与结果精确性，是本发明主要解决的问题。

技术方案：为实现上述发明目的，本发明采用以下技术方案：一种基于时空分析的交通流数据清洗方法，包括脏数据存储模块、干净数据存储模块和运算模块，其中：

所述脏数据存储模块，对实时接收到的交通流信息不加改变的按照固定格式进行存储；

所述运算模块，按照固定时间间隔从脏数据存储模块中提取最新数据，同时从干净数据库中提取与之在时间和空间存在匹配关系的数据，进行运算；

所述干净数据存储模块，对运算模块运算完毕后的数据按照固定格式进行存储。

所述脏数据存储模块中接收的交通流信息为包括13个字段的49位的十进制代码，其中各字段名称及其长度位数如下：

检测器序号，日期，时间，第一车道流量，第二车道流量，第三车道流量，第四车道流量，第五车道流量，第六车道流量，第七车道流量，第八车道流量，第九车道流量，第十车道流量；前述各字段的长度位数依次分别为：5位、8位、6位、3位、3位、3位、3位、3位、3位、3位、3位、3位和3位。

所述运算模块的运算方法如下：

首先，运算模块每隔T0时间从脏数据存储模块中遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的数据，分别为{A₁,A₂,A₃,…,A_m}，同时在干净数据存储模块中，遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的4条数据，分别记为{B₁ ¹,B₁ ²,B₁ ³,B₁ ⁴)，(B₂ ¹,B₂ ²,B₂ ³,B₂ ⁴)，(B₃ ¹,B₃ ²,B₃ ³,B₃ ⁴)，…，(B_m ¹,B_m ²,B_m ³,B_m ⁴)}；其中任意A_i或者B_i ^j均为长度49位的十进制代码，i和j为自然整数；

A_i={ID,DATE,TIME，LANE[1]，LANE[2]，LANE[3]，LANE[4]，LANE[5]，LANE[6]，LANE[7]，LANE[8]，LANE[9]，LANE[10]}

根据空间位置关系，定义检测器周围1km范围内检测器为相关检测器，若第k个检测器的相关检测器分为为第K₁,k₂,…,k_n,则在进行数据清洗时，对第k个检测器进行如下运算：

C_k·Id＝A_k·ID

C_k·DATE=B_k ¹.DATE

C_k·TIME=B_k ¹.TIME+T0

其中，C_k为与A_k，B_k有相同量纲的临时变量，l＝1,2,3,...,10

在计算得到Ck·LANE[l],l=1,2,3,….,10后进一步进行如下运算：

如果A_k·TIME<C_k·TIME,则说明发生数据丢失；

如果A_k·TIME>=C_k·TIME，则说明数据未丢失，可能发生数据漂移，进入下一级判断；

逐条车道l比较，A_k·LANE[l]是否属于区间(0.5*C_k·LANE[l],1.5*C_k·LANE[1])，

如果属于，则C_k·LANE[1]=A_k·LANE[1]；

当所有车道均判断完毕后，继续进行下一个检测器的相应运算，当遍历所有m个检测器，完成如上运算过程后，将Ck所有数据存入干净数据存储模块。

有益效果：与现有技术相比，本发明具有以下优点:通过简化交通流数据清洗过程，采用时间与空间并行分析方法，从而方便、快捷、准确的进行交通流数据清洗工作。改善传统的交通流数据清洗过程，使其简洁明了，同时改进脏数据清洗时的技术手段，使其监督方法的能够兼顾算法复杂性与结果精确性，是本发明主要解决的问题。

附图说明

图1为本发明所述基于时空分析的交通流数据清洗方法的工作流程示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于时空分析的交通流数据清洗方法，包括存储原始交通流数据的脏数据存储模块、存储清洗完毕交通流数据的干净数据存储模块和进行数据清洗的运算模块；所述存储原始交通流数据的脏数据存储模块对实时接收到的交通流信息不加改变的按照固定格式进行存储，进行数据清洗的运算模块按照固定时间间隔从脏数据存储模块中提取最新数据，同时从干净数据库中提取与之在时间与空间存在匹配关系的数据，进行运算，运算完毕后将数据按固定格式存 储进存干净数据存储模块。

所述存储原始交通流数据的脏数据存储模块，实时接收交通流信息，包括日期，时间，检测器序号，第一车道流量，第二车道流量，第三车道流量，第四车道流量，第五车道流量，第六车道流量，第七车道流量，第八车道流量，第九车道流量，第十车道流量进行存储，存数格式如表1所示。每条信息被存储为一则长度49位的十进制代码，如表1所示。

表1数据存储格式

以2012年10月23日11时30分30秒，第236号检测器数据为例，如表2所示，

表2数据存储实例

字段名称	数值	字段名称	数值
				ID	00236	LANE[5]	0
DATE	20121023	LANE[6]	11
				TIME	113030	LANE[7]	12
LANE[1]	13	LANE[8]	12
				LANE[2]	22	LANE[9]	11
LANE[3]	0	LANE[10]	13
				LANE[4]	11

所述进行数据清洗的运算模块以及存储清洗完毕交通流数据的干净数据存 储模块，每隔30秒时间从脏数据存储模块中遍历所有2549个检测器序号ID，并分别提取相同ID的数据中时刻最新的数据，分别为{A₁,A₂,A₃,…,A₂₅₄₉}，同时在干净数据存储模块中，遍历所有2549个检测器序号ID，并分别提取相同ID的数据中时刻最新的4条数据，分别记为{B₁ ¹,B₁ ²,B₁ ³,B₁ ⁴),(B₂ ¹,B₂ ²,B₂ ³,B₂ ⁴),(B₃ ¹,B₃ ²,B₃ ³,B₃ ⁴),…,(B₂₅₄₉ ¹,B₂₅₄₉ ²,B₂₅₄₉ ³,B₂₅₄₉ ⁴)}。其中任意A_i或者B_i ^j均为长度49位的十进制代码，即：

A_i={ID,DATE,TIME，LANE[1]，LANE[2]，LANE[3]，LANE[4]，LANE[5]，LANE[6]，LANE[7]，LANE[8]，LANE[9]，LANE[10]}

根据空间位置关系，定义检测器周围1km范围内检测器为相关检测器。则第236号检测器的相关检测器分为为第227,231,…,289,则在进行数据清洗时，对第236个检测器进行如下运算：

C_k·ID＝A_k·ID

C_k·DATE=B_k ¹.DATE

C_k·TIME=B_k ¹.TIME+T0

其中l＝1,2,3,...，10

在计算得到Ck.LANE[l],l=1,2,3,….,10后进一步进行如下运算：

逐条车道l比较，A_k·LANE[l]是否属于区间(0.5*C_k·LANE[l],1.5*C_k·LANE[l])

如果属于，则C_k·LANE[l]=A_k·LANE[l].

当所有车道均判断完毕后，继续进行下一个检测器的相应运算，当遍历所有m个检测器，完成如上运算过程后，将Ck所有数据取整后存入干净数据存储模块，数据提取及数据清洗运算结果如表3所示。

表3数据提取及数据清洗运算结果

。

Claims (3)

1.一种基于时空分析的交通流数据清洗方法，其特征在于:包括脏数据存储模块、干净数据存储模块和运算模块，其中：

所述脏数据存储模块，对实时接收到的交通流信息不加改变的按照固定格式进行存储；

所述运算模块，按照固定时间间隔从脏数据存储模块中提取最新数据，同时从干净数据库中提取与之在时间和空间存在匹配关系的数据，进行运算；

所述干净数据存储模块，对运算模块运算完毕后的数据按照固定格式进行存储。

2.根据权利要求1所述基于时空分析的交通流数据清洗方法，其特征在于：所述脏数据存储模块中接收的交通流信息为包括13个字段的49位的十进制代码，其中各字段名称及其长度位数如下：

检测器序号，日期，时间，第一车道流量，第二车道流量，第三车道流量，第四车道流量，第五车道流量，第六车道流量，第七车道流量，第八车道流量，第九车道流量，第十车道流量；前述各字段的长度位数依次分别为：5位、8位、6位、3位、3位、3位、3位、3位、3位、3位、3位、3位和3位。

3.根据权利要求1所述基于时空分析的交通流数据清洗方法，其特征在于：所述运算模块的运算方法如下：

首先，运算模块每隔T0时间从脏数据存储模块中遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的数据，分别为{A₁,A₂,A₃,…,A_m}，同时在干净数据存储模块中，遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的4条数据，分别记为{(B₁ ¹,B₁ ²,B₁ ³,B₁ ⁴)，(B₂ ¹,B₂ ²,B₂ ³,B₂ ⁴)，(B₃ ¹,B₃ ²,B₃ ³,B₃ ⁴)，…，(B_m ¹,B_m ²,B_m ³,B_m ⁴)}；其中任意A_i或者B_i ^j均为长度49位的十进制代码，i和j为自然整数；

A_i={ID,DATETIME，LANE[1]，LANE[2]，LANE[3]，LANE[4]，LANE[5]，LANE[6]，LANE[7]，LANE[8]，LANE[9]，LANE[10]}

根据空间位置关系，定义检测器周围1km范围内检测器为相关检测器，若第k个检测器的相关检测器分为为第k₁,k₂,…,k_n,则在进行数据清洗时，对第k个检测器进行如下运算：

C_k·ID＝A_k·ID

C_k·DATE=B_k ¹.DATE

C_k·TIME=B_k ¹·TINE+T0

其中， C_k为与A_k，B_k有相同量纲的临时变量，l＝1,2,3,...,10

在计算得到Ck.LANE[l],l=1,2,3,….,10后进一步进行如下运算：

如果A_k·TIME<C_k·TIME,则说明发生数据丢失；

如果A_k·TIME>=C_k·TIME，则说明数据未丢失，可能发生数据漂移，进入下一级判断；

逐条车道l比较，A_k·LANE[l]是否属于区间(0.5*C_k·LANE[l],1.5*C_k·LANE[l])，

如果属于，则C_k·LANE[l]=A_k·LANE[l]；

当所有车道均判断完毕后，继续进行下一个检测器的相应运算，当遍历所有m个检测器，完成如上运算过程后，将Ck所有数据存入干净数据存储模块。

Images