CN110852516A - 基于大数据信息熵交通流检测设备数据质量判别方法 - Google Patents

Abstract

本发明涉及一种基于大数据信息熵交通流检测设备数据质量判别方法，其特征在于，包括以下步骤：获取目标区域内各条车道的交通流检测设备车道线圈某一历史时间段内各天的5分钟交通流量的数据样本S，利用聚类模型根据车道线圈单日流量总和这一属性将数据样本S中的5分钟交通流量聚类为M个簇；将5分钟交通流量分为J个等级，按天计算每个簇5分钟周期流量先验分布概率P；将待判别数据质量的检测设备x⁽ⁱ⁾的日流量之和以及得到的相对熵DKL作为输入，通过已经训练好的神经网络分类器计算后，即可判别该检测设备x⁽ⁱ⁾的数据质量异常与否。

Description

基于大数据信息熵交通流检测设备数据质量判别方法

技术领域

本发明涉及一种基于大数据信息熵的交通流检测设备数据质量智能判别方法，属于智能交通应用技术领域。

背景技术

随着交通信息化技术发展，实现了大规模、自动化、实时交通信息采集，尤其是交通流数据，为交通诱导、管理与研判提供了良好条件。但由于数据采集设备可能会发生损坏等原因，导致采集的数据存在各种质量问题，使得数据不能反映实际的交通状况并满足用户的数据应用需求。因此，通过交通大数据，运用信息熵和聚类等相关算法，对交通流检测设备采集的数据质量进行在线、自适应、准确判别，有重要价值和意义。

发明内容

本发明目的是：提供一种对交通流数据质量进行判别的方法，剔除异常数据，从而为研判准确率和管理效率提供保障，缓解城市拥堵等交通问题。

为了达到上述目的，本发明的技术方案是提供了一种基于大数据信息熵交通流检测设备数据质量判别方法，其特征在于，包括以下步骤：

步骤1、获取目标区域内各条车道的交通流检测设备车道线圈某一历史时间段内各天的5分钟交通流量的数据样本S，统计所有N个车道线圈的每日流量，并按照每日流量对数据样本S进行分类，利用聚类模型根据车道线圈单日流量总和这一属性将数据样本S中的5分钟交通流量聚类为M个簇，则对于第m个簇C^(m)有：

C^(m)＝[q(1,1,d),q(2,1,d),…,q(288,1,d)；q(1,2,d),q(2,2,d),…,q(288,2,d)；----；q(1,i,d),q(2,i,d),…,q(288,i,d)；----；q(1,N,d),q(2,N,d),…,q(288,N,d)]

式中，q(k,n,d)表示第n个车道线圈在第d天的日流量分类属于簇C^(m)的第k个5分钟交通流量，k＝1,2,…,288，n＝1,2,…,N，d＝1,2,…,D；

步骤2、将5分钟交通流量分为J个等级，按天计算每个簇5分钟周期流量先验分布概率P，将第i个簇属于第j个等级的概率定义为p(j,i)，j＝1,2,….,J，则有：

步骤3、判断待判别数据质量的检测设备x⁽ⁱ⁾：通过聚类模型计算出通过检测设备x⁽ⁱ⁾获得的5分钟交通流量所属的簇，随后计算检测设备x⁽ⁱ⁾的5分钟交通流量的概率分布Q与所属簇的概率分布P之间的相对熵DKL；

步骤4、训练用以判断数据质量为异常或正常的神经网络分类器；

步骤5、将步骤3中的待判别数据质量的检测设备x⁽ⁱ⁾的日流量之和以及步骤3得到的相对熵DKL作为输入，通过步骤4中已经训练好的神经网络分类器计算后，即可判别该检测设备x⁽ⁱ⁾的数据质量异常与否。

优选地，步骤1中，使用K-Means聚类方法对所述数据样本S进行分类。

优选地，步骤3包括以下步骤：

步骤301、计算检测设备x⁽ⁱ⁾获得的日流量之和Z，利用步骤1中所述聚类模型得到检测设备x⁽ⁱ⁾获得的5分钟交通流量所属的簇C，按照步骤2中的5分钟交通流量的J个等级计算检测设备x⁽ⁱ⁾的5分钟交通流量的概率分布Q(i)；

步骤302、计算概率分布Q(i)与检测设备x⁽ⁱ⁾所属的簇C的概率分布P(i,m,d)之间的相对熵D_KL(P(i,m,d)||Q(i))，相对熵是两个概率分布间差异的非对称性度量，在信息论中，相对熵等价于两个概率分布的信息熵的差值，如下式所示：

式中，q(k,n,d)表示第n个车道线圈在第d天的日流量分类属于簇C^(m)的第k个5分钟交通流量，k＝1,2,…,288，n＝1,2,…,N，d＝1,2,…,D

优选地，所述步骤4包括以下步骤：

步骤401、取多个已知为数据异常的检测设备作为负样本，记录负样本每天检测的数据，并标记为1；并从大数据中随机取样相同个数的正样本所记录的数据，正样本定义为正常的检测设备，标记为0，从而得到带标签的样本S；

步骤402、按照步骤3的方法对样本S中的每一个样本计算其相应的相对熵D_KL，得到的该样本的输入维度有2个特征，分别为日流量总和以及差异程度；

步骤403、根据样本的输入与对应的标签，建立神经网络分类器，并利用上一步得到的样本S中的每一个样本的2个特征以及该样本对应的标签对神经网络分类器进行训练。

本发明的优点是：

由于线圈采集设备存在各种故障类型，不同地点交通流数据存在巨大空间差异即使同一地点交通流数据也存在日期差异，传统的判别方法存在移植性差、参数标定困难等问题。本发明以大数据思想，分类挖掘流量分布特征，以信息熵方法及训练神经网络分类器，通过模型自学习，能够在复杂的环境下实现自适应判别，具有良好的推广价值。

附图说明

图1为数据质量判别方法总流程；

图2为聚类结果(显示6个簇)；

图3为单个簇包含的样本

图4为单个簇5分钟流量路网概率分布P

图5为待判别样本5分钟车道线圈概率分布Q

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

步骤1、获取目标区域内各条车道的交通流检测设备车道线圈2018年1月1日至2019年1月1日内各天的5分钟交通流量的数据样本S，统计所有N个车道线圈的每日流量，并按照每日流量对数据样本S进行分类，分类使用K-Means聚类方法，建立聚类模型。利用聚类模型根据车道线圈单日流量总和这一属性将数据样本S中的5分钟交通流量聚类为100个簇，以6个簇为例，结果见图1，每个簇包含多个样本。以图1中的某个簇为例，所包含的样本见图2。

则对于第m个簇C^(m)有：

C^(m)＝[q(1,1,d),q(2,1,d),…,q(288,1,d)；q(1,2,d),q(2,2,d),…,q(288,2,d)；----；q(1,i,d),q(2,i,d),…,q(288,i,d)；----；q(1,N,d),q(2,N,d),…,q(288,N,d)]

式中，q(k,n,d)表示第n个车道线圈在第d天的日流量分类属于簇C^(m)的第k个5分钟交通流量，k＝1,2,…,288，n＝1,2,…,N，d＝1,2,…,D；

步骤2、将5分钟交通流量分为如表1所示的14个等级：

单车道线圈5分钟流量	等级
		0-10	等级1
10-20	等级2
		20-30	等级3
30-40	等级4
		40-50	等级5
50-60	等级6
		60-70	等级7
70-80	等级8
		80-90	等级9
90-100	等级10
		100-110	等级11
110-120	等级12
		120-130	等级13
>130	等级14

表1.单个样本一天的5分钟流量层级划分

按天计算每个簇5分钟周期流量先验分布概率P，将第i个簇属于第j个等级的概率定义为p(j,i)，j＝1,2,….,J，则有：

以图1的簇为例，图1簇的概率分布见图3。

步骤3、判断待判别数据质量的检测设备x⁽ⁱ⁾：通过聚类模型计算出通过检测设备x⁽ⁱ⁾获得的5分钟交通流量所属的簇，随后计算检测设备x⁽ⁱ⁾的5分钟交通流量的概率分布Q与所属簇的概率分布P之间的相对熵DKL，包括以下步骤：

步骤301、计算检测设备x⁽ⁱ⁾获得的日流量之和Z，利用步骤1中所述聚类模型得到检测设备x⁽ⁱ⁾获得的5分钟交通流量所属的簇C，按照步骤2中的5分钟交通流量的J个等级计算检测设备x⁽ⁱ⁾的5分钟交通流量的概率分布Q(i)；

步骤302、计算概率分布Q(i)与检测设备x⁽ⁱ⁾所属的簇C的概率分布P(i,m,d)之间的相对熵D_KL(P(i,m,d)||Q(i))，相对熵是两个概率分布间差异的非对称性度量，在信息论中，相对熵等价于两个概率分布的信息熵的差值，如下式所示：

式中，P(i,d)表示(线圈i第d天概率分布)，Q(i,m)表示(线圈i所属簇m的先验概率)，P(j,i,d)表示(线圈i第d天流量等级j出现概率，Q(j,i,m)表示(线圈i所属簇m流量等级j的先验概率)。

步骤4、训练用以判断数据质量为异常或正常的神经网络分类器，包括以下步骤：

步骤401、取500个已知为数据异常的检测设备作为负样本，记录负样本每天检测的数据，并标记为1；并从大数据中随机取样500个数的正样本所记录的数据，正样本定义为正常的检测设备，标记为0，从而得到带标签的样本S，则有：

式中，

表示(第一个样本的输入数据)，

表示(第一个样本对应的标签，异常与否，取值为1或0)，

表示(第n个样本的输入数据)，

表示(第n个样本对应的标签，异常与否，取值为1或0)。

步骤402、按照步骤3的方法对样本S中的每一个样本计算其相应的相对熵D_KL，得到的该样本的输入维度有2个特征，分别为日流量总和以及差异程度；

步骤403、根据样本的输入与对应的标签，建立神经网络分类器，并利用上一步得到的样本S中的每一个样本的2个特征以及该样本对应的标签对神经网络分类器进行训练。

步骤5、将步骤3中的待判别数据质量的检测设备x⁽ⁱ⁾的日流量之和以及步骤3得到的相对熵DKL作为输入，通过步骤4中已经训练好的神经网络分类器计算后，得到结果是1或0(1代表数据质量异常、0代表数据质量正常)，即可判别该检测设备x⁽ⁱ⁾的数据质量异常与否。

Claims (4)

1.一种基于大数据信息熵交通流检测设备数据质量判别方法，其特征在于，包括以下步骤：

步骤1、获取目标区域内各条车道的交通流检测设备车道线圈某一历史时间段内各天的5分钟交通流量的数据样本S，统计所有N个车道线圈的每日流量，并按照每日流量对数据样本S进行分类，利用聚类模型根据车道线圈单日流量总和这一属性将数据样本S中的5分钟交通流量聚类为M个簇，则对于第m个簇C^(m)有：

C^(m)＝[q(1,1,d),q(2,1,d),…,q(288,1,d)；q(1,2,d),q(2,2,d),…,q(288,2,d)；----；q(1,i,d),q(2,i,d),…,q(288,i,d)；----；q(1,N,d),q(2,N,d),…,q(288,N,d)]

式中，q(k,n,d)表示第n个车道线圈在第d天的日流量分类属于簇C^(m)的第k个5分钟交通流量，k＝1,2,…,288，n＝1,2,…,N，d＝1,2,…,D；

步骤2、将5分钟交通流量分为J个等级，按天计算每个簇5分钟周期流量先验分布概率P，将第i个簇属于第j个等级的概率定义为p(j,i)，j＝1,2,….,J，则有：

步骤3、判断待判别数据质量的检测设备x⁽ⁱ⁾：通过聚类模型计算出通过检测设备x⁽ⁱ⁾获得的5分钟交通流量所属的簇，随后计算检测设备x⁽ⁱ⁾的5分钟交通流量的概率分布Q与所属簇的概率分布P之间的相对熵DKL；

步骤4、训练用以判断数据质量为异常或正常的神经网络分类器；

步骤5、将步骤3中的待判别数据质量的检测设备x⁽ⁱ⁾的日流量之和以及步骤3得到的相对熵DKL作为输入，通过步骤4中已经训练好的神经网络分类器计算后，即可判别该检测设备x⁽ⁱ⁾的数据质量异常与否。

2.如权利要求1所述的一种基于大数据信息熵交通流检测设备数据质量判别方法，其特征在于，步骤1中，使用K-Means聚类方法对所述数据样本S进行分类。

3.如权利要求1所述的一种基于大数据信息熵交通流检测设备数据质量判别方法，其特征在于，步骤3包括以下步骤：

步骤301、计算检测设备x⁽ⁱ⁾获得的日流量之和Z，利用步骤1中所述聚类模型得到检测设备x⁽ⁱ⁾获得的5分钟交通流量所属的簇C，按照步骤2中的5分钟交通流量的J个等级计算检测设备x⁽ⁱ⁾的5分钟交通流量的概率分布Q(i)；

步骤302、计算概率分布Q(i)与检测设备x⁽ⁱ⁾所属的簇C的概率分布P(i,m,d)之间的相对熵D_KL(P(i,m,d)||Q(i))，相对熵是两个概率分布间差异的非对称性度量，在信息论中，相对熵等价于两个概率分布的信息熵的差值，如下式所示：

式中，P(i,d)表示(线圈i第d天概率分布)，Q(i,m)表示(线圈i所属簇m的先验概率)，P(j,i,d)表示(线圈i第d天流量等级j出现概率，Q(j,i,m)表示(线圈i所属簇m流量等级j的先验概率)。

4.如权利要求1所述的一种基于大数据信息熵交通流检测设备数据质量判别方法，其特征在于，所述步骤4包括以下步骤：

步骤401、取多个已知为数据异常的检测设备作为负样本，记录负样本每天检测的数据，并标记为1；并从大数据中随机取样相同个数的正样本所记录的数据，正样本定义为正常的检测设备，标记为0，从而得到带标签的样本S；

步骤402、按照步骤3的方法对样本S中的每一个样本计算其相应的相对熵D_KL，得到的该样本的输入维度有2个特征，分别为日流量总和以及差异程度；

步骤403、根据样本的输入与对应的标签，建立神经网络分类器，并利用上一步得到的样本S中的每一个样本的2个特征以及该样本对应的标签对神经网络分类器进行训练。

Images