CN109360415A - 一种道路交通流异常数据识别方法 - Google Patents

Abstract

本发明提供了一种道路交通流异常数据识别方法，该方法首先剔除无效的交通流数据，然后利用阈值法、交通流参数之间的一致性关系及数理统计理论，以在线和离线两种方式，分别从微观和宏观角度识别交通流异常数据。本发明的优点是：充分利用固定式交通调查设备采集的数据，利用交通流理论和数理统计理论，对交通流异常数据进行有效识别，在线识别方法能标记错误数据字段，能够实时监测交通流数据质量，保证数据的有效性，离线统计指标从宏观角度体现数据质量的稳定程度，判断交通调查设备的工作状态，对于检验交通流数据有效性，数据质量评价及交通调查设备维护具有实际意义。

Description

一种道路交通流异常数据识别方法

技术领域

本发明属于道路交通领域,具体涉及一种道路交通流异常数据识别方法。

背景技术

交通流数据包含交通流的时空分布特性，是分析道路通行能力、交通管理、交通流预测、交通事故探测的重要依据。公路固定式交通调查设备易受恶劣天气及道路施工等因素影响，采集的交通调查数据精度主要依赖于调查设备设施的传输稳定性，导致调查数据质量较差。若直接使用这些数据会降低交通决策的准确度，因此交通调查数据必须进行质量控制。

传统的交通流异常数据识别方法有：1)阈值法；2)交通流理论组合检验法。

阈值法包括单参数阈值、组合参数定义阈值等方法。组合参数定义阈值识别错误数据的方法，通过建立交通流量、速度、密度三参数之间的关系模型，定义各交通参数的合理值域，超出取值范围的交通数据就是错误数据。

交通流理论组合检验法是分析收集到的交通流数据后发现，除正常的交通量、车速和时间占有率外，还有其他五种类型的交通参数组合：交通量和车速等于0，时间占有率大于0；车速和时间占有率等于0，交通量大于0；车速等于0.交通量和时间占有率大于0；车速大于0，交通量和时间占有率等于0；交通量等于0，车速和时间占有率大于0，这些组合均不符合交通流理论，为错误数据。

其中，单参数阈值法独立评价各交通参数可能导致数据质量评价过于片面，而组合参数定义阈值适合交通流变化平稳，交通参数关系显著的路段。

交通流理论组合检验法能有效地识别出不符合交通流理论的数据，但是该方法所保留的正确数据组合：交通流、车速和时间占有率都等于0，不能区分是真实情况还是设备故障导致数据传输错误而显示为0值。

发明内容

本发明的目的是提供一种道路交通流异常数据识别方法，通过本方法对大范围的交通流数据进行实时的异常识别，并通过离线评价数据质量的稳定程度来判别交通调查设备的工作状态。

为达到上述目的，本发明的技术方案是提供了一种道路交通流异常数据识别方法，其特征在于：步骤为：

步骤1：读取交通调查设备所采集的数据，该数据包含数据时刻t、当前设备的站点编号、设备编号、车道编号、流量V、速度S、时间占有率O。

步骤2：识别当前时刻t所述交通流数据的有效性，当数据的站点编号、设备编号、车道编号符合《关于加强公路交通情况调查设备技术管理的指导意见(厅规划字[2007]52号)》中的《“固定式交调设备技术条件”和“固定式交调设备与数据服务中心通讯协议”》，数据的时刻t为规定的数据采集时间时，该数据是有效的交通流数据，若为有效数据则执行步骤3，否则丢弃该数据。

步骤3：在线识别当前时刻t所述有效交通流数据的异常情况，并标记异常数据字段。

步骤3.1：识别当前时刻t所述有效交通流数据的缺失数据，并将缺失数据所对应的交通调查设备定义为目标设备i，流量V、速度S、时间占有率O三个字段均被标记为异常数据字段。

步骤3.2：以当前时刻t为起点，时刻t-24h为终点，利用这两时刻间24小时时间段的历史数据，字段j为流量V、速度S、时间占有率O中任意一个，计算目标设备i字段j 的历史数据的方差，若任意字段j的方差为0则识别字段j为异常数据，并进入步骤3.4，若三个参数的方差都大于0，则进入步骤3.3。其中σ_j ²是待检测字段j的24小时历史数据的方差，X_hj表示待检测字段j24小时历史数据，是字段j在24小时内的均值，n是字段j在24小时内的记录数。当σ_f ²＝0时，字段j为异常数据字段。

步骤3.3：识别每条交通调查数据是否符合交通流理论。只有当数据为流量 V＞0、速度S＞0、时间占有率O≥0或流量V＝0、速度S＝0、时间占有率O＝0的组合形式时，才是符合交通流的正常待检测数据并进入步骤3.4，其余组合情况均为异常数据，且流量V、速度S、时间占有率O三个字段均为异常数据字段。

步骤3.4：利用阈值识别异常数据。在采集间隔t₀分钟内，步骤3.3的待检测数据超过阈值，则视为异常数据。利用道路的行政等级和双向车道数进行道路等级划分，根据不同的道路等级，采用相对应的阈值。道路分为国道双车道，国道多车道、省道双车道、省道多车道、县道双车道、县道多车道，超过阈值字段为异常数据字段。

其中V_it是道路类型i的流量阈值(veh/lane)，V_ic表示道路类型i的理想通行能力(veh/h/lane)，t₀为交通调查设备的数据采集间隔(min)，f为修正系数，一般取1.5。

S_it＝S_im×f，其中S_it是道路类型i的速度阈值(km/h)，S_im表示道路类型i的最大限制运行速度(km/h)，f为修正系数，一般取1.5。

任何道路类型的时间占有率O的阈值为100％。

步骤3.5：计算交通调查设备i在历史数据中的一个时间段内每个时刻流量V的历史均值，若设备i在时刻t采集到的数据为时间占有率O＝0、流量V＝0、速度S＝0，而在时刻t设备i的流量V的历史均值大于3veh，则流量V、速度S、时间占有率O三个字段均为异常数据字段。

步骤4：计算离线统计指标，识别目标交通调查设备是否出现异常的工作状态。

步骤4.1：利用在时间范围T内的历史数据，计算缺失数据量占理论上应该采集到的数据量的百分比，当缺失率L_im＞12.5％时，交通调查设备i的工作状态判定为可疑。其中，I_im为交通调查设备i的数据缺失率，D_m表示时间范围T内交通调查设备i未采集到数据的数量，D_t表示在时间范围T内该交通调查设备理论上应该采集到的数据量。

步骤4.2：利用在时间范围T内的历史数据，利用步骤3.2～步骤3.5所述的异常数据计算交通调查数据的错误率，若错误率I_if＞30％，则交通调查设备i的工作状态判定为可疑。其中，I_if表示交通调查设备i的数据错误率，D_f表示时间范围T内根据步骤3.2～步骤3.5所方法所筛选出的异常数据量，D_t则表示该时段内交通调查设备i理论上采集到的数据数量。

步骤4.3：利用在时间范围T和上一个T周期内的历史数据，计算平均日交通流量变化率，若平均日交通流量变化率P_iy＞30％，则交通调查设备i的工作状态判定为可疑，计算公式为：其中，P_iy表示周期T的平均日交通流量变化率，AADT表示当前统计周期T的平均日交通流量，AADT_c则表示上一个统计周期T的平均日交通流量。

本发明的有点是：针对交通流数据可能出现的错误情况，利用交通流理论和统计方法，对实时交通流数据进行异常识别，避免异常数据对数据分析结果带来的不利影响，提高数据准确度。并且异常识别具体到数据字段，有效地保留了可利用的数据信息。根据数据的缺失率、错误率、平均日交通流量变化率三项指标的可疑情况估计交通调查设备的工作状态是否异常，有效提高交通调查设备的检修和维护效率，从根源提高数据质量。

附图说明

图1是在线异常数据识别流程图；

图2是流量的原始数据与异常数据对比图；

图3是速度的原始数据与异常数据对比图；

图4是时间占有率的原始数据与异常数据对比图。

具体实施方式

为了使本技术领域的人员更好地理解本发明，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清除、完整地描述。在下面文字中所记录的交通参数是指流量V、速度S、时间占有率O中的一种。本实例中采用的数据采集标准是按照北京市《“固定式交调设备技术条件”和“固定式交调设备与数据服务中心通讯协议”》规定进行采集。本领域技术人员可选择任意选择符合当地相关部门制定的规范标准，和任意种类的交通调查设备。

根据本发明实施例，提供了一种道路交通流异常数据识别方法，步骤为：

步骤1、本实例中的数据时刻t是从零点开始，将每天以5分钟的步长对一天24 小时进行划分。即第一条数据的时刻为0时5分，第二个时刻是0时10分，……，以此类推，从而将一天24小时分为288个时刻，在每个时刻t读取交通调查设备采集到的交通流数据，该数据包含数据时刻t、当前设备的站点编号、设备编号、车道编号、流量、速度、时间占有率。

在交通调查设备投入使用的第一个月，将上述交通流数据存入数据库中，作为历史数据以备后续步骤中使用。历史数据库到底记录多长时间跨度内的数据根据交通调查设备来确定，如果设备工作一年后设备的检测精度明显下降，则以一年为时间跨度，如果设备工作半年后设备的检测精度明显下降，则以半年为时间跨度，以此类推。若无上述经验信息，至少以一个月为时间跨度。

步骤2、识别当前时刻t所述交通流数据的有效性，判断数据的站点编号、车道编号是否符合“固定式交调设备技术条件”和“固定式交调设备与数据服务中心通讯协议”，数据的时刻t是否为规定的数据采集时间。以上条件全部满足的数据才能进入下一步骤。

公路交调观测站的站点编号为12-15位，排列规则即字母含义如下：

表1

单车道编号规则为，上行01，下行03。二车道以上公路车道编号规则为，上行方向从内至外按11、12、13……连续编号；下行按31、32、33……连续编号。

数据的时刻t应当为第一条数据的时刻为0时5分，第二个时刻是0时10分，……，以此类推。

步骤3、在线识别当前时刻t所述有效交通流数据的异常情况，并标记异常数据字段。

步骤3.1、在每个时刻的有效交通流数据量应当是固定值，若某个时刻的有效数据量小于固定值，则可判定该时刻的交通流数据缺失。同时检查有效数据的所有字段是否有为空集的情况，若某个字段为空集，则判定这条数据为缺失数据。

步骤3.2、以当前时刻t为起点，时刻t-24h为终点，利用这两时刻间24小时时间段内的历史数据，分别计算交通参数(流量V、速度S、时间占有率O)数据的方差，若某参数的方差为0，则判定该参数为异常字段，该条数据进入步骤3.4，若所有参数的方差均大于0，则进入步骤3.3。针对每条数据的交通参数而言，参数方差的计算公式为：

其中σ_j ²是待检测交通参数j的24小时历史数据的方差，X_ij表示交通参数j(流量V、速度S、时间占有率O)24小时历史数据，是该交通参数在24 小时内的均值，n是该变量的记录数。当σ_j ²＝0时，交通参数j为异常数据字段。

步骤3.3、识别每条交通调查数据是否符合交通流理论。根据对交通流理论研究，并结合交通调查设备采集的数据进行分析，归纳出以下两种类型的交通参数组合形式为符合交通流理论的交通流数据，具体如表2所示：

组合编号	组合形式
		1	V＞0、S＞0、O≥0
2	V＝0、S＝0、O＝0

符合交通流理论的数据并进入步骤3.4，其余组合情况均为异常数据，且流量V、速度S、时间占有率O三个交通参数均为异常数据字段。

步骤3.4、识别每条数据是否超出异常大的值。通过对道路通行能力和交通调查设备采集的数据进行分析，各交通参数的阈值确定规则如下：其中V_it是道路类型i的流量阈值(veh/lane)，V_ic表示道路类型i的理想通行能力(veh/h/lane)，f为修正系数，一般取1.5；S_it＝S_im×f，其中S_it是道路类型i的速度阈值(km/h)，S_im表示道路类型i的最大限制运行速度(km/h)，f为修正系数，一般取1.5；任何道路类型的时间占有率O的阈值为100％。数值超出阈值范围的交通参数为异常字段。

在本次实例中t₀＝5min，交通参数阈值的建议值如表3所示：

表3

步骤3.5、根据历史数据计算某个时间段内每个时刻的交通流量参数的历史均值。由于本实施案例中步骤1所述的理由，该时间跨度取一年。交通流量参数的历史均值的计算方式为，将一年内的每一天按照工作日(星期一至星期五)、双休日(星期六、星期天)及节假日分为三类。其中将工作日内的每一天按照星期一至星期五的类别进行划分，双休日内的每一天按照星期六和星期天划分，那么某个交通调查设备的交通流量历史均值的计算公式为：

其中，表示交通调查设备j一年内在k类日期中星期w的在时刻t的交通流量均值。如果k是第三类日期，则w＝0，即不区分是星期几。

时刻t交通参数时间占有率O＝0、流量V＝0、速度S＝0的数据，如果该数据对应的则流量V、速度S、时间占有率O三个字段均为异常数据字段。

步骤4、计算一段时间范围T内的离线统计指标，识别目标交通调查设备是否出现异常的工作状态。此处的时间范围T与所述步骤1中的时间跨度不同，时间范围T可由本领域技术人员根据交通调查设备工作状态的评价周期确定。

步骤4.1、一段时间范围T内的数据经过上述步骤3.1的处理后，识别出缺失的大数据。数据缺失率的计算公式为：

其中，I_im为交通调查设备i的数据缺失率，D_m表示时间范围 T内交通调查设备i缺失数据的数量，D_t表示在时间范围T内交通调查设备i在理论上应该采集到的数据量。若缺失率l_im＞12.5％，则交通调查设备i的工作状态判定为可疑。

步骤4.2、一段时间范围T内的数据经过上述步骤的处理后，得到标记了异常字段的数据，带有标记的数据均为错误数据，错误率的计算公式为：

其中，I_if表示交通调查设备i的数据错误率，D_f表示时间范围 T内带有标记的数据量，D_t则表示该时段内交通调查设备i理论上采集到的数据数量。若错误率L_if＞30％，则交通调查设备i的工作状态判定为可疑。

用在时间范围T和上一个T周期内的历史数据，计算平均日交通流量变化率，计算公式如下：

其中，P_y表示周期T的平均日交通流量变化率，AADT表示当前统计周期T的平均日交通流量，AADT_c则表示上一个统计周期T的平均日交通流量。若周期T的平均日交通流量变化率P_y＞30％，则交通调查设备i的工作状态判定为可疑。

如图2至图4所示，分别为采用本发明提供的方法后，流量、速度及时间占有率的原始数据和异常数据的对比图。字段流量和速度的异常情况基本一致，而时间占有率为恒定值，未被识别出异常的流量和速度数据仍为有效的正确数据，可用以进行数据分析。结合离线评价指标I_im＝23.94％，I_if＝76.06％，P_y＝4.52％，考虑设备的传输和对时间占有率数据的采集可能存在异常工作情况。

Claims (3)

1.一种道路交通流异常数据识别方法,其特征在于，包括如下步骤；

步骤1：读取交通调查设备所采集的数据，该数据包含数据时刻t、当前设备的站点编号、设备编号、车道编号、流量V、速度S、时间占有率O；

步骤2：识别当前时刻t所述交通流数据的有效性，当数据的站点编号、设备编号、车道编号符合本技术领域的规范或技术协议，数据的时刻t为规定的数据采集时间时，该数据是有效的交通流数据，若为有效数据则执行步骤3，否则丢弃该数据；

步骤3：在线识别当前时刻t所述有效交通流数据的异常情况，并标记异常数据字段；

步骤4：离线计算统计指标，识别目标交通调查设备是否出现异常的工作状态。

2.根据权利要求1所述的一种道路交通流异常数据识别方法，其特征在于，所述的步骤3中识别有效交通流数据的异常情况的步骤包括：

步骤3.1：识别当前时刻t所述有效交通流数据的缺失数据，并将缺失数据所对应的交通调查设备定义为目标设备i，流量V、速度S、时间占有率O三个字段均被标记为异常数据字段；

步骤3.2：以当前时刻t为起点，时刻t-24h为终点，利用这两时刻间24小时时间段的历史数据，字段j为流量V、速度S、时间占有率O中任意一个，计算目标设备i字段j的历史数据的方差，若任意字段j的方差为0则识别字段j为异常数据，并进入步骤3.4，若三个参数的方差都大于0，则进入步骤3.3；

其中σ_j ²是待检测字段j的24小时历史数据的方差，X_hf表示待检测字段j24小时历史数据，是字段j在24小时内的均值，n是字段j在24小时内的记录数；当σ_j ²＝0时，字段j为异常数据字段；

步骤3.3：识别每条交通调查数据是否符合交通流理论；只有当数据为流量V＞0、速度S＞0、时间占有率O≥0或流量V＝0、速度S＝0、时间占有率O＝0的组合形式时，才是符合交通流的正常待检测数据并进入步骤3.4，其余组合情况均为异常数据，且流量V、速度S、时间占有率O三个字段均为异常数据字段；

步骤3.4：利用阈值识别异常数据；在采集间隔t₀分钟内，步骤3.3的待检测数据超过阈值，则视为异常数据；利用道路的行政等级和双向车道数进行道路等级划分，根据不同的道路等级，采用相对应的阈值；超过阈值字段为异常数据字段；

其中V_it是道路类型i的流量阈值，单位为veh/lane，V_ic表示道路类型i的理想通行能力，单位为veh/h/lane，t₀为交通调查设备的数据采集间隔，单位为min，f为修正系数，取1.5；

S_it＝S_im×f，其中S_it是道路类型i的速度阈值，单位为km/h，S_im表示道路类型i的最大限制运行速度，单位为km/h，f为修正系数，取1.5；

任何道路类型的时间占有率O的阈值为100％；

步骤3.5：计算交通调查设备i在历史数据中的一个时间段内每个时刻流量V的历史均值，若设备i在时刻t采集到的数据为时间占有率O＝0、流量V＝0、速度S＝0，而在时刻t设备i的流量V的历史均值大于3veh，则流量V、速度S、时间占有率O三个字段均为异常数据字段。

3.根据权利要求1所述的一种道路交通流异常数据识别方法，其特征在于，所述的步骤4识别目标交通调查设备i是否出现异常的工作状态的步骤包括：

步骤4.1：利用在时间范围T内的历史数据，计算缺失数据量占理论上应该采集到的数据量的百分比，当缺失率I_im＞12.5％时，交通调查设备i的工作状态判定为可疑：

其中，I_im为交通调查设备i的数据缺失率，D_m表示时间范围T内交通调查设备i未采集到数据的数量，D_t表示在时间范围T内该交通调查设备理论上应该采集到的数据量；

步骤4.2：利用在时间范围T内的历史数据，利用步骤3.2～步骤3.5所述的异常数据计算交通调查数据的错误率，若错误率I_if＞30％，则交通调查设备i的工作状态判定为可疑；

其中，I_if表示交通调查设备i的数据错误率，D_f表示时间范围T内根据步骤3.2～步骤3.5所方法所筛选出的异常数据量，D_t则表示该时段内交通调查设备i理论上采集到的数据数量；

步骤4.3：利用在时间范围T和上一个T周期内的历史数据，计算平均日交通流量变化率，若平均日交通流量变化率P_ty＞30％，则交通调查设备i的工作状态判定为可疑，计算公式为：

其中，P_ty表示周期T的平均日交通流量变化率，AADT表示当前统计周期T的平均日交通流量，AADT_a则表示上一个统计周期T的平均日交通流量。