CN104731970A - 高速公路多源异构数据的数据质量评价与控制方法 - Google Patents

Abstract

本发明公开了一种高速公路多源异构数据的数据质量评价与控制方法，首先构建时空数据统一感知数据格式；识别原始数据延时并进行时间点修正；接下来进行完整性程度评判，识别出同时间段上空间缺失数据并标记，包括检测器未检测到的数据以及不完整的数据；之后对数据记录根据交通特性进行准确性评判，识别出错误数据并标记；然后评判数据参数是否符合一致性；再利用时空相关性的对数据质量标志位为0的进行多维数据修复；最后更新数据库；本发明的优点是充分利用多源信息资源，从准确性、一致性、完整性、实时性四个方面确保交通数据的质量，并结合高速公路实际利用时空相关性对多维数据修复，为后续交通信息融合奠定基础。

Description

高速公路多源异构数据的数据质量评价与控制方法

技术领域

本发明涉及数据处理领域，特别是涉及一种高速公路多源异构数据的数据质量评价与控制方法。

背景技术

高速公路多源异构数据的数据质量评价指标的选择是反映数据质量好坏的关键因素，也是数据控制的前提。高速公路上通过检测器采集到的交通数据，由于设备故障、传输中断、事件发生、天气因素等方面的原因将不可避免的出现错误和丢失的情况，为了准确反映实际的交通状况并满足用户的数据应用需求，必须对原始数据进行质量的评价与控制，保证数据的准确性、一致性、完整性以及实时性，为交通规划、管理和控制以及交通诱导等应用领域提供良好的数据基础。

目前，已有的方法主要用于评价和控制缺失数据以及错误数据，评价方法较为简单，评价原理基本相同。从使用效果上看，已有成果存在准确率偏低、误判率偏高，且容易将异常交通状态数据评价为错误数据等问题。

发明内容

本发明的目的是为了解决现有对高速公路上采集到的数据处理存在的技术的不足，而提供一种高速公路多源异构数据的数据质量评价与控制方法，本发明提供了通过本方法保证交通数据的后续应用。

本发明对于交通流的基本三参数即流量、速度以及占有率进行数据分析，具体步骤为：

步骤一、构建时空数据：统一多源异构感知数据数据格式，定义时刻t，n个不同类型的数据源对监测对象产生的m维感知数据集，即称为多源异构感知数据，表示为Dc＝{dc₁，dc₂，…，dc_n}，其中dc_i＝{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i，1，parameter_i，2，…，parameter_i，k，M_i}，其中TypeNo表示类型编号，LaneNo表示车道编号，DetectorNo表示检测器序号，date表示日期，t_i表示数据采集时间，parameter_i，m表示第m交通数据参数，k为检测器可以输出的交通信息参数最大数目，M为质量标志，默认为1。TypeNo，LaneNo，DetectorNo，date，t_i共同构成数据记录主键。

步骤二、实时判别并修正时间点：针对检测器上传到数据中心的原始交通数据进行实时性评判，识别出延时数据并进行时间点修正，保证每条数据记录的时间点均在规定的标准时间下，将一天24小时以各检测器检测周期为时间间隔划分为标准时间周期。

步骤三、判别数据是否空间完整：针对检测器上传至数据中心并已经过时间点修正的数据记录，进行完整性程度评判，识别出同时段空间缺失数据并标记，包括检测器未检测到的数据以及单条数据的记录字段值不完整的数据。

步骤四、判别数据与指标范围是否准确，针对已经过完整性判别的存在的数据记录进行准确性评判，识别出错误数据并标记。

步骤五、在经过上述步骤后，对于保留下来为标记的数据要进行进一步检验，评判数据参数是否满足一致性，对不满足一致性的数据进行删除并标记，为最后的控制做准备。

步骤六、基于时空维度的数据修复，利用考虑时空相关性的多维数据修复方法对数据质量性标志位为0的数据记录进行修复，首先对故障数据相关数据、相关序列进行提取；接下来进行相关系数的计算；确定相关数据与故障数据的权重，最终计算得故障数据的重构值：

步骤七、依据步骤二、步骤三、步骤四和步骤五的故障数据的记录，利用步骤六的重构值更新历史数据库。

本发明的有益效果：本发明是将高速公路段上的每一个交通检测器数据时空域下的时间维度与每一个交通检测器自身所在的空间位置叠加获得的基于时空的四维数据空间数据进行有效的评控确保数据的准确性、一致性、完整性、实时性，为交通数据后续应用提供可靠保证。

附图说明

图1为本发明实施例的多源交通信息质量评判与控制方法流程图；

图2为本发明时空控制修复数据流程图。

具体实施方式

请参阅图1和图2所示，为本发明的实施例，本实施例所采用的技术方案考虑到多源交通信息的复杂性，仅对于交通流的基本三参数即流量、速度以及占有率进行数据分析。将一天24小时按相同的步长划分为不同的时刻t，在本实例中的步长按检测器类型，对于线圈、视频、北斗/GPS浮动车分别取为60s、50s、100s三种。如果按60s划分，那么第一个时刻为0时1分，第二个时刻为0时2分，……,以此类推，从而将一天24小时划分为1440个时刻，在每个时刻t时时读取各检测器采集到的原始交通数据。

步骤一、构建时空数据，统一多源异构感知数据数据格式，定义时刻t，n个不同类型的数据源对监测对象产生的m维感知数据集，即称为多源异构感知数据，表示为Dc＝{dc₁，dc₂，…，dc_n}，其中dc_i＝{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i，1，parameter_i，2，…，parameter_i，k，M_i}，其中TypeNo表示类型编号，LaneNo表示车道编号，DetectorNo表示检测器序号，date表示日期，t_i表示数据采集时间，parameter_i，m表示第m交通数据参数，k为检测器可以输出的交通信息参数最大数目，M为质量标志，默认为1。TypeNo，LaneNo，DetectorNo，date，t_i共同构成数据记录主键。

步骤二、实时判别并修正时间点，针对检测器上传到数据中心的原始交通数据进行实时性评判，识别出延时数据并进行时间点修正，保证每条数据记录的时间点均在规定的标准时间下。将一天24小时以各检测器检测周期为时间间隔划分为标准时间周期t_v。

1、对单一检测器数据，对检测器类型为TypeNo的检测器号为DetectorNo的t_a时刻数据进行实时判别，提取数据表中Data矩阵即由相同检测器时间连续三条记录组成。

{TypeNo，LaneNo，DetectorNo，date，t_a-1，Parameter_a-1，M_a-1}

{TypeNo，LaneNo，DetectorNo，date，t_a，Parameter_a，M_a}

{TypeNo，LaneNo，DetectorNo，date，t_a+1，Parameter_a+1，M_a+1}其中Parameter_a为交通参数parameter_a，1，parameter_a，2，…，parameter_a，k总称。

t_v+i为t_a+i最邻近的标准时间点，u_La+i表示第a+i个左偏的点与最邻近标准时刻的时间差，u_Ra+i表示第a+i个右偏的点与最邻近标准时刻的时间差，i＝-1，0，-1。设是左偏和右偏的限值，针对不同单源检测器不同，参数选取为检测器周期t_S三分之一时段，对于Ⅰ类：感应线圈选定为60s，Ⅱ类：视频检测选定为50s，Ⅲ类：北斗/GPS浮动车选定为100s。

2、if $t_a\∈(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ and $t_{a-1}\∉(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ and $t_{a+1}\∉(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R}),$ 则满足条件的t_a惟一，则输出规范记录时间t_a为标准时间点t_v，其他数据保持不变，t_a时刻记录保存为{TypeNo，LaneNo，DetectorNo，date，t_v，Parameter，1}，结束Step 2，执行Step 3；

3、if表明输入数据不属于用户定义的限值范围，删除记录，保存记录{TypeNo，DetectorNo，LaneNo，date，tv，0，0}，即同时完成了时间点的修正工作，结束Step 2，执行Step 3；

4、if $t_a\∈(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ and $t_{a-1}\∈(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ and $t_{a+1}\∉(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ 即存在2个时间记录在时间区域中，则标准时间点t_v时刻对应的数据值定义为 $\stackrel{\‾}{{\mathrm{Parameter}}_v}=\frac{{\mathrm{\Σ}}_{j=1}^z{\mathrm{Parameter}}_{a+1-j}}{2}$

输出规范记录时间t_a为标准时间点t_v，保存记录为{TypeNo，LaneNo，DetectorNo，date，t_v，1}，删除t_a-1时刻记录，结束Step 2，执行步骤三。

5、if $t_a\∈(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ and $t_{a-1}\∈(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ and $t_{a+1}\∈(t_v-\stackrel{\‾}{u_L},t_v+\stackrel{\‾}{u_R})$ 即存在3个时间记录在时间区域中，则标准时间点t_v时刻对应的数据值定义为

$\stackrel{\‾}{{\mathrm{Parameter}}_v}=\frac{{\mathrm{\Σ}}_{j=1}^3{\mathrm{Parameter}}_{a+2-j}}{3}$

输出规范记录时间t_a为标准时间点t_v，t_a时刻记录保存为{TypeNo，DetectorNo，LaneNo，date，t_v，1}，删除t_a-1时刻记录和t_a+1时刻记录，结束步骤二，执行步骤三；

步骤三、判别数据是否空间完整，针对检测器上传至数据中心并已经过时间点修正的数据记录，进行完整性程度评判，识别出同时间段空间缺失数据并标记，包括检测器未检测到的数据以及单条数据的记录字段值不完整的数据。

1、对同类检测器数据，对检测器类型为TypeNo的t时刻数据进行完整程度判别，提取数据表中Data矩阵即由相同时间物理连续的相邻检测器三条记录组成。

{TypeNo，LaneNo，DetectorNo_a-1，date，t，Parameter_a-1，M_a-1}

{TypeNo，LaneNo，DetectorNo_a，date，t，Parameter_a，M_a}

{TypeNo，LaneNo，DetectorNo_a+1，date，t，Parameter_a+1，M_a+1}其中Parameter为交通参数parameter₁，parameter₂，…，parameter_k总称。

2、if提取记录数目为3，则数据完整，输出规范记录数据保持不变，结束步骤三，执行步骤四；

3、if提取记录数目小于3表明t时刻存在空间检测其数据缺失，对应缺失数据DetectorNo_i检测器，保存记录{TypeNo，LaneNo，DetectorNo_i，date，t，Parameter_i，0}，存在记录数据保持不变，结束步骤三，执行步骤四；

步骤四、判别数据与指标范围是否准确，针对已经过完整性判别的存在的数据记录进行准确性评判，识别出错误数据并标记。

1、对单一检测器数据，对检测器号为DetectorNo的数据依据时间顺序，提取数据表中Data一条条记录。

{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i,1，parameter_i,2，…，parameter_i,k，M_i}，规定parameter_i,1，parameter_i,2，parameter_i,3分别指定划分描述流量q、时间占有率o、车辆平均速度v。

2、交通参量间的逻辑规则判定

(1)、if parameter_i,1≠0 and parameter_i,3＝＝0，表明数

据不满足逻辑规则，删除记录，结束步骤四，重新提取下一条数据执行步骤二；

(2)、if parameter_i,1＝＝0 and parameter_i,3＝＝0 and parameter_i,2≠0，表明数据不满足逻辑规则，删除记录，结束步骤四，重新提取下一条数据执行步骤二；

(3)、if parameter_i,1＝＝0 and parameter_i,3＝＝0 and if parameter_i,2＝＝1，表明数据可能表示状态完全停车，保持记录不变，结束步骤四中的2，执行步骤四中的3；

(4)、if parameter_i,1＝＝0 and parameter_i,3≠0，表明数据不满足逻辑规则，删除记录，结束步骤四，重新提取下一条数据执行步骤二；

3、数据与交通参量的合理阈值比较

(1)、参数parameter_i,1判定，if parameter_i,1<0 or parameter_i,1>f_c*C*T/60，则表明数据不满足合理阈值，删除记录，结束步骤四，重新提取下一条数据执行步骤二；其中C为道路通行能力高速公路推荐指标1800veh/h；T为数据采集的时间间隔，对于Ⅰ类：感应线圈选定为3min，Ⅱ类：视频检测选定为2.5min，Ⅲ类：北斗/GPS浮动车选定为5min，f_c为修正系数取1.3。

(2)、参数parameter_i,3判定，if parameter_i,3<0 or parameter_i,3>f_v*v_l，则表明数据不满足合理阈值，删除记录，结束步骤四，重新提取下一条数据执行步骤二；其中：v_l为高速公路限制速度为200km/h；f_v为修正系数取1.5。

(3)、参数parameter_i,2判定，if parameter_i,2<0 or parameter_i,2>1，则表明数据不满足合理阈值，删除记录，结束步骤四，重新提取下一条数据执行步骤二。

步骤五、评判数据参数是否一致性

1、单源数据多参数的一致性判定

(1)对单一检测器数据，对检测器号为DetectorNo的数据依据时间顺序，提取数据表中Data一条记录。{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i,1，parameter_i,2，…，parameter_i,k，M_i}，规定parameter_i,1，parameter_i,2，parameter_i,3分别指定划分描述流量q、时间占有率o、车辆平均速度v。

(2)、if ${\mathrm{parameter}}_{i,1}>a\&CenterDot;{\mathrm{parameter}}_{i,2}^2+b\&CenterDot;{\mathrm{parameter}}_{i,2}+k_s\&CenterDot;{\mathrm{\&sigma;}}_s,$ 则修改记录质量标志标志{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i,1，parameter_i,2，…，parameter_i,k，0}，结束步骤五，执行步骤六；

(3)、if ${\mathrm{parameter}}_{i,1}<a\&CenterDot;{\mathrm{parameter}}_{i,2}^2+b\&CenterDot;{\mathrm{parameter}}_{i,2}-k_s\&CenterDot;{\mathrm{\&sigma;}}_s,$ 则修改记录质量标志标志{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i,1，parameter_i,2，…，parameter_i,k，0}，结束步骤五，执行步骤六，其中a,b为模型的参数；σ_s为流量的标准偏差；k_s为标准偏差的修正系数。

2、多源数据单参数进行一致性评判

(1)、对同类检测器数据，对同一日期date，同一t时刻，同一车道LaneNo的交通参数Parameter_a,j的n种检测器类型TypeNo多源数据单参数数据进行一致性判别，提取数据表中Data矩阵即由相同时间相同截面相关检测器的n组记录组成。

{TypeNo，LaneNo，DetectorNo_i-n+1，date，t，parameter_i-n+1,1，parameter_i-n+1,2，…，parameter_i-k+1,k，M_i-k+1}……{TypeNo，LaneNo，DetectorNo_i，date，t，parameter_i,1，parameter_i,2，…，parameter_i,k，M_i}

(2)、计算 $\stackrel{\&OverBar;}{{\mathrm{parameter}}_j}=\frac{1}{n}\underset{i}{\overset{i-n+1}{\mathrm{\&Sigma;}}}{\mathrm{parametea}}_{i,j},{\mathrm{\&sigma;}}_j^2=\frac{1}{n}\underset{i}{\overset{i-n+1}{\mathrm{\&Sigma;}}}{({\mathrm{parameter}}_{i,j}-\stackrel{\&OverBar;}{{\mathrm{parameter}}_j})}^2$

(3)、比较与找到较大差值的下标a，计算把计算值与格拉布斯表给出的临界值Gp(n)比较，P为置信概率，if Ga>Gp(n)，则修改记录质量标志标志{TypeNo，LaneNo，DetectorNo_a，date，t，parameter_a,1，parameter_a,2，…，parameter_a,k，0}，结束步骤五，执行步骤六；否则保持记录，结束步骤五，执行步骤六。

步骤六、基于时空维度的数据修复，利用考虑时空相关性的多维数据修复方法对数据质量性标志位为0的数据记录进行修复，其步骤为：

1、故障数据相关数据的提取

数据表dc_i＝{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i，1，parameter_i，2，…，parameter_i，k，M_i}中，例如TypeNo类检测器LaneNo_i车道DetectorNo_k编号位置处在日期date_j时刻t_i出现流量Q/速度V/占有率O的故障数据，记作parameter_i，k(TypeNo，LaneNo_i,DetectorNo_k，date_j，t_i，0)。

该故障数据的相关数据分别为：时间相关数据parameter_it₁(TypeNo，LaneNo_i,DetectorNo_k，date_j，t_i-1，M)，parameter_it₂(TypeNo，LaneNo_i,DetectorNo_k,date_j，t_i+1,M)，parameter_it₃(TypeNo，LaneNo_i,DetectorNo_k,date_j-1，t_i,M)，parameter_it₄(TypeNo，LaneNo_i,DetectorNo_k,date_j+1，t_i,M)，parameter_it₅(TypeNo，LaneNo_i,DetectorNo_k,date_j-7，t_i,M)，parameter_it₆(TypeNo，LaneNo_i,DetectorNo_k,date_j+7，t_i,M)；空间相关数据parameter_is₁(TypeNo，LaneNo_i-1,DetectorNo_k,date_j，t_i,M)，parameter_is₂(TypeNo，LaneNo_i+1,DetectorNo_k,date_j，t_i,M)，parameter_is₃(TypeNo，LaneNo_i,DetectorNo_k-1,date_j，t_i,M)，parameter_is₄(TypeNo，LaneNo_i,DetectorNo_k+1,date_j，t_i，M)。

2、故障数据相关序列的提取

故障数据所在时间数据序列记为(TypeNo，date_j，t_i，M)，所在空间数据序列记为(TypeNo，LaneNo_i,DetectorNo_k,M)。

依据上文相关序列的选择方法，时间相关数据序列分别为(TypeNo，LaneNo_i,date_j，t_i-1，,M)，(TypeNo，LaneNo_i,date_j，t_i+1，,M)，(TypeNo，LaneNo_i,date_j-1，t_i，,M)，(TypeNo，LaneNo_i,date_j+1，t_i，,M)，(TypeNo，LaneNo_i,date_j-7，t_i，,M)，(TypeNo，LaneNo_i,date_j+7，t_i，M)，空间相关数据序列分别为(TypeNo，LaneNo_i-1,DetectorNo_k,M)，(TypeNo，LaneNo_i+1,DetectorNo_k,M)，(TypeNo，LaneNo_i,DetectorNo_k-1,M)，(TypeNo，LaneNo_i,DetectorNo_k+1,M)。

3、相关系数的计算

将参与相关系数计算的向量中的缺失数据成对删除，则各序列数据的标记位将统一为1，各序列重新记为X*，由剩余数据构成的向量X*分别与Xt、Xs依据公式(25)公式(26)进行相关系数的计算。表示如下

$r_{\mathrm{tm},t}=\frac{\mathrm{cov}(X_{\mathrm{tm}}^{*},X_t)}{\sqrt{{\mathrm{\&sigma;}}_{X_{\mathrm{tm}}}}\&CenterDot;\sqrt{{\mathrm{\&sigma;}}_{X_t}}}=\frac{\mathrm{\&Sigma;}(X_{\mathrm{tm}}^{*}-{\stackrel{\&OverBar;}{X}}_{\mathrm{tm}})(X_t-{\stackrel{\&OverBar;}{X}}_t)}{\sqrt{\mathrm{\&Sigma;}{(X_m^{*}-{\stackrel{\&OverBar;}{X}}_{\mathrm{tm}})}^2\mathrm{\&Sigma;}{(X_t-{\stackrel{\&OverBar;}{X}}_t)}^2}},m=\mathrm{1,2,3,4,5,6}$

$r_{\mathrm{sn},s}=\frac{\mathrm{cov}(X_{\mathrm{sn}}^{*},X_s)}{\sqrt{{\mathrm{\&sigma;}}_{X_{\mathrm{sn}}}}\&CenterDot;\sqrt{{\mathrm{\&sigma;}}_{X_s}}}=\frac{\mathrm{\&Sigma;}(X_{\mathrm{sn}}^{*}-{\stackrel{\&OverBar;}{X}}_{\mathrm{sn}})(X_s-{\stackrel{\&OverBar;}{X}}_s)}{\sqrt{\mathrm{\&Sigma;}{(X_{\mathrm{sn}}^{*}-{\stackrel{\&OverBar;}{X}}_{\mathrm{sn}})}^2\mathrm{\&Sigma;}{(X_s-{\stackrel{\&OverBar;}{X}}_s)}^2}},n=\mathrm{1,2,3,4}$

由此得出10组相关数据Data_l分别对应的相关系数r_l值分别为r_tm,t(m＝1,2,3,4,5,6)，r_sn,s(n＝1,2,3,4)。

4、确定相关数据Data_l与故障数据的相关权重w_l为

计算得故障数据的重构值Data为

5、依据步骤二、步骤三、步骤四和步骤五的故障数据的记录，利用步骤六的重构值更新历史数据库。

Claims (1)

1.一种一种高速公路多源异构数据的数据质量评价与控制方法，包括以下步骤：

步骤一、构建时空数据：统一多源异构感知数据数据格式，定义时刻t，n个不同类型的数据源对监测对象产生的m维感知数据集，即称为多源异构感知数据，表示为Dc＝{dc₁，dc₂，…，dc_n}，其中dc_i＝{TypeNo_i，LaneNo_i，DetectorNo_i，date，t_i，parameter_i，1，parameter_i，2，…，parameter_i，k，M_i}，其中i为感知数据记录标号，且i<n，TypeNo表示类型编号，LaneNo表示车道编号，DetectorNo表示检测器序号，date表示日期，t_i表示数据采集时间，parameter_i，m表示第m交通数据参数，k为检测器可以输出的交通信息参数最大数目，M为质量标志，默认为1。TypeNo，LaneNo，DetectorNo，date，t_i共同构成数据记录主键。

步骤二、实时判别并修正时间点：针对检测器上传到数据中心的原始交通数据进行实时性评判，识别出延时数据并进行时间点修正，保证每条数据记录的时间点均在规定的标准时间下，将一天24小时以各检测器检测周期为时间间隔划分为标准时间周期。

步骤三、判别数据是否空间完整：针对检测器上传至数据中心并已经过时间点修正的数据记录，进行完整性程度评判，识别出同时段空间缺失数据并标记，包括检测器未检测到的数据以及单条数据的记录字段值不完整的数据。

步骤四、判别数据与指标范围是否准确，针对已经过完整性判别的存在的数据记录进行准确性评判，识别出错误数据并标记。

步骤五、在经过上述步骤后，对于保留下来未标记的数据要进行进一步检验，评判数据参数是否满足一致性，对不满足一致性的数据进行删除并标记，为最后的控制做准备。

步骤六、基于时空维度的数据修复，利用考虑时空相关性的多维数据修复方法对数据质量性标志位为0的数据记录进行修复，首先对故障数据相关数据、相关序列进行提取；接下来进行相关系数的计算；确定相关数据与故障数据的权重，最终计算得故障数据的重构值：

步骤七、依据步骤二、步骤三、步骤四和步骤五的故障数据的记录，利用步骤六的重构值更新历史数据库。