CN105070054B - 一种基于流式计算与时间窗动态优化的多源交通状态判别方法 - Google Patents

Abstract

一种基于流式计算与时间窗动态优化的多源交通状态判别方法，包括以下步骤：1)设定多源交通状态动态优化的单元时间窗UTW，调节时间窗ATW，以及平滑时间窗STW；2)以设定的单元时间窗UTW为单位滚动接收路段中所有交通数据采集设备的采集数据，并在接收完成之后将该时间窗的数据集作为输入数据流发送到流式计算系统中；3)流式计算系统将采集数据按照设备类型分别发送到不同的处理组件中；4)在每个处理组件中分别计算各个设备类型的交通状态，并将计算好的交通状态结果统一发送到动态优化组件；5)动态优化组件接收交通状态结果，对接收到的多个结果进行融合计算，输出最终的路段交通状态结果。本发明有效适用于多源交通数据采集的场合、满足海量数据。

Description

一种基于流式计算与时间窗动态优化的多源交通状态判别 方法

技术领域

本发明涉及城市智能交通技术领域的大数据处理技术，具体是一种多源交通状态判别方法

背景技术

近年来，随着信息技术的飞速发展与各地智慧城市项目建设规模的逐步提升，智慧交通项目的研发与实施也逐渐变得更加复杂，在这个变化的过程中也产生了更多的系统业务需求。与传统的交通项目相对比，新的智慧交通项目主要有以下几个方面的特点：项目生产与处理的数据量规模急剧增长，由GB级跨入TB级；智慧交通平台实时响应时间要求提高；实时交通运行评价分析算法准确性与可靠性要求较高；交通运行深度信息服务应用需求增加。其中，生产数据量的迅速增加是智慧交通新系统的重要特点，如何更好地处理大规模的数据信息也成为了各类智慧交通项目建设中的关键问题。

从系统开发的角度来看，数据量的爆炸性增长，尤其是多种数据源采集数据的同步增长的态势已经对现有智慧交通系统造成了相当大的数据流量压力。在这种情况下，亟需一种能够实现对多源海量交通数据进行及时快速处理的生产系统。而各类开源实时流式计算系统，包括Apache Storm、Apache Spark Streaming、Yahoo S4等则可以满足这种对海量数据的实时处理需求。通过将应用服务分解为多个子处理模块，并将所有的子处理模块并行地运行于流式计算系统中，可以实现应用服务的快速处理与响应。同时，在数据量持续增加的情况下，还可以根据实际需求，适当增加处理节点来实现实时处理的弹性性能扩展。不过，由于实时流式计算仍然是一种较新的概念，现阶段真正实现该技术的交通数据处理应用，尤其是在复杂的多源交通数据采集的场景下的应用较少，而且缺乏较完备的多源交通数据动态处理方案，制约了海量交通数据处理技术领域的发展。

发明内容

为了克服已有交通状态判别方法的无法适用于多源交通数据采集的场合、无法满足海量数据的处理要求的不足，本发明提供一种有效适用于多源交通数据采集的场合、满足海量数据的处理要求的多源交通数据采集的场合。

本发明解决其技术问题所采用的技术方案是：

一种基于流式计算与时间窗动态优化的多源交通状态判别方法，所述多源交通状态判别方法包括以下步骤：

1)设定多源交通状态动态优化的单元时间窗UTW，调节时间窗ATW，以及平滑时间窗STW；

2)以设定的单元时间窗UTW为单位滚动接收路段中所有交通数据采集设备的采集数据，并在接收完成之后将该时间窗的数据集作为输入数据流发送到流式计算系统中；

3)流式计算系统将采集数据按照设备类型分别发送到不同的处理组件中；

4)在每个处理组件中分别计算各个设备类型的交通状态，并将计算好的交通状态结果统一发送到动态优化组件；

5)动态优化组件接收处理组件的交通状态结果，对接收到的多个结果进行融合计算，并输出最终的路段交通状态结果，过程如下：

5.1)动态优化组件以设定的平滑时间窗STW为单位分析路段交通状态，将一天划分为SN个时间窗，

SN＝D/STW，

其中，D为一天的总时间；

5.2)在动态优化组件中设置一个包含有M个数据槽的平滑计算队列SCQ，将当前数据槽位置P_S初始化为1；

5.3)动态优化组件以UTW为单位接收上游处理组件的结果数据，将接收到的数据存放到SCQ的P_S位置对应的数据槽中；

5.4)对P_S位置对应的数据槽中的状态数据进行融合计算并输出最终的路段交通状态结果；

5.5)比较P_S与M的大小，如果有P_S＜M，则将P_S加1；如果有P_S＝M，则将队列SCQ中所有数据清空，并将P_S设置为1；

5.6)返回步骤3)，等待接收新的结果数据。

进一步，所述步骤1)中，调节时间窗ATW与平滑时间窗STW为UTW的倍数，即有

ATW＝N×UTW，

STW＝M×UTW，

其中，M,N∈[2,100]，M、N为整数。

再进一步，所述步骤2)中，各个交通数据采集设备的采集数据中包含采集时间参数，一个UTW中接收到的所有采集数据按照数据的采集时间顺序排序依次发送到流式计算系统中。

更进一步，所述步骤4)中，每种设备类型处理组件中计算交通状态的步骤为：

4.1)在处理组件中设置一个包含有N个数据槽的计算队列CQ，每一个数据槽保存一个UTW中所有的采集数据；

4.2)将当前数据槽位置P_R初始化为1；

4.3)在接收到一个新的UTW的数据集之后，移除CQ中P_R对应位置的数据槽中的数据，并将接收到的新数据集存入该数据槽；

4.4)对CQ中所有数据进行汇总计算，将计算得出的交通状态结果与有效数据统计结果发送到动态优化组件；

4.5)根据下式重新计算P_R：

P_R ^*＝(P_R+1)％N，

P_R＝P_R ^*，

其中，“％”表示取余计算；

返回步骤3)，等待接收新的数据集。

所述步骤4.4)中，对队列CQ中所有数据进行汇总计算的步骤为：

4.4.1)将P_R对应的数据槽中数据集的最后一个采集数据的采集时间确定为汇总计算截止时间t₊；

4.4.2)按照P_R+1,P_R+2,...,N,1,2,...,P_R的顺序依次遍历CQ中相应的数据槽，比较该数据槽中的最后一个采集数据的采集时间t_L与t₊的大小，如果有t_L≤t₊-ATW，则移除该数据槽中的数据；

4.4.3)对CQ中剩下的所有数据进行汇总计算，得出一个交通状态结果与一个有效数据统计结果。

所述步骤4.4)中，对队列CQ中所有数据进行汇总计算的步骤为：

4.4.1)将P_R对应的数据槽中数据集的最后一个采集数据的采集时间确定为汇总计算截止时间t₊；

4.4.2)按照P_R+1,P_R+2,...,N,1,2,...,P_R的顺序依次遍历CQ中相应的数据槽，比较该数据槽中的最后一个采集数据的采集时间t_L与t₊的大小，如果有t_L≤t₊-ATW，则移除该数据槽中的数据；

4.4.3)对CQ中剩下的所有数据进行汇总计算，得出一个交通状态结果与一个有效数据统计结果。

6、如权利要求1或2所述的基于流式计算与时间窗动态优化的多源交通状态判别方法，其特征在于：所述步骤5.4)中，融合计算的过程为：

5.4.1)根据各个交通数据采集设备的历史数据计算确定每个采集设备的历史置信度μ_C；

5.4.2)依次计算SCQ中P_S位置对应的数据槽中各个设备结果数据的优先级，优先级计算公式为

其中，λ_k为第k个设备数据的优先级；

μ_Ck为第k个设备的历史置信度；

n_k为第k个设备的有效数据统计结果；

tn_k为第k个设备的理论数据统计结果；

S_k为第k个设备的状态结果；

为数据槽中所有设备结果数据的统计均值结果；

P为数据槽中设备结果数据个数；

5.4.3)选取优先级最高的设备状态结果作为最终的路段交通状态结果。

本发明的技术构思为：本发明充分利用了流式计算系统的实时性特点，构造了基于多元时间窗动态更新的状态优化计算应用，实现了多源异构采集数据场景下交通状态的实时更新服务，通过适当调节时间窗口ATW、STW与UTW的大小，本发明可以实现任意时间维度与有效结果精度的动态交通状态优化，可扩展性好，结果有效性高。

本发明的有益效果主要表现在：有效适用于多源交通数据采集的场合、满足海量数据的处理要求。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的逻辑结构图。

图3为本发明实施例数据采集系统采集数据示意图。

图4为本发明实施例处理组件时间窗处理模式示意图。

图5为本发明实施例处理组件计算队列示意图。

图6为本发明实施例动态优化组件时间窗处理模式示意图。

图7为本发明实施例动态优化组件计算队列示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图7，一种一种基于流式计算与时间窗动态优化的多源交通状态判别方法，包括以下步骤：

1)，设定多源交通状态动态优化的单元时间窗UTW＝1min，设定N＝5，M＝3，即有调节时间窗ATW＝5×UTW＝5min，平滑时间窗STW＝3×UTW＝3min。

2)，如图2所示，本发明实施例由数据采集系统与流式计算系统构成。其中，数据采集系统部分负责接收所有实际数据采集设备传输的采集数据。设定数据采集系统中有微波、线圈、地磁、视频4种采集设备类型，即有m＝4，则流式计算系统中也相应会有4个处理组件。

如图3所示，数据采集系统的数据接收模块中包含有若干个采集设备数据集，对应于不同的采集设备。数据接收模块以设定的单元时间窗UTW(1min)为单位滚动接收数据，将不同设备的数据存放到不同的数据集中。也就是说，数据接收模块不停地接收采集数据，每隔1min的时间窗的时间，将接收到的该时间窗内数据集中的所有数据作为输入数据流发送到流式计算系统中，并在采集数据发送完成之后发送一个结束标识数据，同时清空数据集。各个交通数据采集设备的采集数据中包含采集时间参数与采集设备类型标识，数据接收模块在发送数据时以数据采集时间的先后顺序依次将数据发送到流式计算系统中。

3)，流式计算系统的数据源组件不间断地接受采集数据，并根据数据中的采集设备类型标识将接收到的采集数据按照设备类型分别发送到不同的处理组件中。由于上游数据接收模块发送数据的有序性，这里数据源组件向下游发送的数据也是时间有序的。

4)，如图4所示，处理组件以5min的调节时间窗为单位处理数据。如图5(a)所示，在每个处理组件中，设置一个包含有5个数据槽的计算队列CQ，每一个数据槽保存一个1min时间窗内所有的采集数据的数据集，数据槽位置P_R表示当前接收的数据集在CQ中的位置。处理组件启动时CQ为空，将P_R初始化设置为1。处理组件不停地接收上游数据源组件发送的数据，并将接收到的新数据集存入位置1对应的数据槽，在接收到一个结束标识数据之后，可以判断该时间窗内的数据集已经接收完成。随后对CQ中所有数据进行汇总计算。由于此时CQ中只有位置1有数据，只需要对位置1中数据进行计算处理。将计算得出的交通状态结果与有效数据统计结果发送到动态优化组件。重新计算P_R可得P_R＝(1+1)％5＝2，如图5(b)所示。

以微波处理组件为例，如图5(c)所示，经过一段时间之后，当微波处理组件正常运行到该位置时，P_R＝5，移除位置5中原有的数据集，将新接收的数据存入位置5。同样，在接收到一个结束标识数据之后，可以判断该时间窗内的数据集已经接收完成。随后对CQ中所有数据进行汇总计算。假如当前各个数据槽中的数据如下表1所示：

表1

其中，交通流数据x-x为一组包含有交通流量、速度、占有率等交通参数的数据。

首先将位置5对应的数据槽中数据集的最后一个采集数据的采集时间确定为汇总计算截止时间，即t₊＝08:40:46；

然后按照1,2,3,4,5的顺序依次遍历CQ中相应的数据槽，比较各数据槽中的最后一个采集数据的采集时间t_L与t₊的大小。由于数据槽1、数据槽2中均有t_L≤t₊-5min，移除数据槽1和数据槽2中的数据，如图5(d)所示；

使用交通状态评估算法对CQ中剩下的所有数据进行汇总计算，得出一个交通状态结果与一个有效数据统计结果。由于CQ中仍剩下有8个数据，有效数据统计结果为8。将计算所得的交通状态结果与有效数据统计结果发送到动态优化组件中。

重新计算P_R可得P_R＝(5+1)％5＝1，微波处理组件继续等待接收新的数据集，如图5(e)所示。

5)，如图6所示，动态优化组件以设定的平滑时间窗STW为单位分析路段交通状态，将一天的总时间D划分为SN个时间窗，

SN＝D/STW＝24h/3min＝480。

动态优化组件初始化时检查当前系统时间，将与当前时间所对应的下一个STW时间窗设置为初始时间窗，下一个STW时间窗指的是在当前时间之后，与当前时间的时间差最小的时间窗。本例中，当前时间为08:41:37时，下一个STW时间窗为08:42:00～08:45:00时间段表示的一天中第175个时间窗(08:42:00＝00:00:00+(175-1)×3min)。动态优化组件等到初始时间窗的起始时间(08:42:00)正式启动，并每隔3min更新一次时间窗。

如图7(a)所示，在动态优化组件中设置一个包含有3个数据槽的平滑计算队列SCQ，数据槽位置P_S表示当前处理的数据在SCQ中的位置。SCQ存储动态优化组件当前所属的STW时间窗内的所有状态结果数据。动态优化组件启动时SCQ为空，将P_S初始化设置为1。

动态优化组件每隔1min时间接收一次上游处理组件的结果数据，将接收到的数据存放到SCQ的P_S位置对应的数据槽中。

如图7(b)、7(c)所示，当动态优化组件运行到该位置时，动态优化组件将接收到的数据存入位置3对应的数据槽中。随后对位置3对应的数据槽中的状态数据进行融合计算。假定当前各个数据槽中的数据如下表2所示：

将畅通状态表示为1、繁忙状态表示为2、拥堵状态表示为3，则位置3中所有设备数据的统计均值结果为

根据各个交通数据采集设备的历史状态结果数据的准确率可以确定每个采集设备的历史置信度μ_C，设有μ_C微波＝0.86，μ_C地磁＝0.79，μ_C视频＝0.87，各设备在一个UTW时间窗(1min)内能够接收的理论数据结果数为tn_微波＝10，tn_地磁＝50，tn_视频＝5，根据优先级计算公式可得各设备的优先级结果分别为

由于λ_视频＞λ_微波＞λ_地磁，动态优化组件选择视频状态数据结果“繁忙”作为最终的路段交通状态结果，并输出该结果。

计算完成之后，比较P_S与M的大小，由于P_S＝3＝M，将队列SCQ中所有数据清空，并将P_S设置为1，动态优化组件更新时间窗，重新进入图7(a)所示位置准备下一轮状态优化计算。

以上所述的只是本发明的一种典型实例，并不能以此来限定本发明的权利范围。本发明所属技术领域的技术人员可以对本发明所描述的具体实施例做出各种各样的修改或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于流式计算与时间窗动态优化的多源交通状态判别方法，其特征在于：所述多源交通状态判别方法包括以下步骤：

1)设定多源交通状态动态优化的单元时间窗UTW，调节时间窗ATW，以及平滑时间窗STW；

2)以设定的单元时间窗UTW为单位，滚动接收路段中所有交通数据采集设备的采集数据，并在接收完成之后将该时间窗的数据集作为输入数据流发送到流式计算系统中；

3)流式计算系统将采集数据按照设备类型分别发送到不同的处理组件中；

4)在每个处理组件中分别计算各个设备类型的交通状态，并将计算好的交通状态结果统一发送到动态优化组件；

5)动态优化组件接收处理组件的交通状态结果，对接收到的多个结果进行融合计算，并输出最终的路段交通状态结果，过程如下：

5.1)动态优化组件以设定的平滑时间窗STW为单位分析路段交通状态，将一天划分为SN个时间窗，

SN＝D/STW，

其中，D为一天的总时间；

5.2)在动态优化组件中设置一个包含有M个数据槽的平滑计算队列SCQ，将当前数据槽位置P_S初始化为1；

5.3)动态优化组件以UTW为单位接收上游处理组件的结果数据，将接收到的数据存放到SCQ的P_S位置对应的数据槽中；

5.4)对P_S位置对应的数据槽中的状态数据进行融合计算并输出最终的路段交通状态结果；

5.5)比较P_S与M的大小，如果有P_S＜M，则将P_S加1；如果有P_S＝M，则将队列SCQ中所有数据清空，并将P_S设置为1；

5.6)返回步骤3)，等待接收新的结果数据。

2.如权利要求1所述的基于流式计算与时间窗动态优化的多源交通状态判别方法，其特征在于：所述步骤1)中，调节时间窗ATW与平滑时间窗STW为UTW的倍数，即有

A TW＝N×UTW，

STW＝M×UTW，

其中，M,N∈[2,100]，M、N为整数。

3.如权利要求1或2所述的基于流式计算与时间窗动态优化的多源交通状态判别方法，其特征在于：所述步骤2)中，各个交通数据采集设备的采集数据中包含采集时间参数，一个UTW中接收到的所有采集数据按照数据的采集时间顺序排序依次发送到流式计算系统中。

4.如权利要求1或2所述的基于流式计算与时间窗动态优化的多源交通状态判别方法，其特征在于：所述步骤4)中，每种设备类型处理组件中计算交通状态的步骤为：

4.1)在处理组件中设置一个包含有N个数据槽的计算队列CQ，每一个数据槽保存一个UTW中所有的采集数据；

4.2)将当前数据槽位置P_R初始化为1；

4.3)在接收到一个新的UTW的数据集之后，移除CQ中P_R对应位置的数据槽中的数据，并将接收到的新数据集存入该数据槽；

4.4)对CQ中所有数据进行汇总计算，将计算得出的交通状态结果与有效数据统计结果发送到动态优化组件；

4.5)根据下式重新计算P_R：

P_R ^*＝(P_R+1)％N，

P_R＝P_R ^*，

其中，“％”表示取余计算；

返回步骤3)，等待接收新的数据集。

5.如权利要求4所述的基于流式计算与时间窗动态优化的多源交通状态判别方法，其特征在于：所述步骤4.4)中，对队列CQ中所有数据进行汇总计算的步骤为：

4.4.1)将P_R对应的数据槽中数据集的最后一个采集数据的采集时间确定为汇总计算截止时间t₊；

4.4.2)按照P_R+1,P_R+2,...,N,1,2,...,P_R的顺序依次遍历CQ中相应的数据槽，比较该数据槽中的最后一个采集数据的采集时间t_L与t₊的大小，如果有t_L≤t₊-ATW，则移除该数据槽中的数据；

4.4.3)对CQ中剩下的所有数据进行汇总计算，得出一个交通状态结果与一个有效数据统计结果。

6.如权利要求1或2所述的基于流式计算与时间窗动态优化的多源交通状态判别方法，其特征在于：所述步骤5.4)中，融合计算的过程为：

5.4.1)根据各个交通数据采集设备的历史数据计算确定每个采集设备的历史置信度μ_C；

5.4.2)依次计算SCQ中P_S位置对应的数据槽中各个设备结果数据的优先级，优先级计算公式为

${\mathrm{\λ}}_k={\mathrm{\μ}}_{Ck}+\frac{n_k}{{\mathrm{tn}}_k}\·\frac{|S_k-\stackrel{\‾}{S}|}{\stackrel{\‾}{S}},$

$\stackrel{\‾}{S}=\frac{1}{P}\underset{k=1}{\overset{P}{\Σ}}{S}_k,$

其中，λ_k为第k个设备数据的优先级；

μ_Ck为第k个设备的历史置信度；

n_k为第k个设备的有效数据统计结果；

tn_k为第k个设备的理论数据统计结果；

S_k为第k个设备的状态结果；

为数据槽中所有设备结果数据的统计均值结果；

P为数据槽中设备结果数据个数；

5.4.3)选取优先级最高的设备状态结果作为最终的路段交通状态结果。