CN107195177B

CN107195177B - 基于分布式内存计算框架对城市交通路况的预测方法

Info

Publication number: CN107195177B
Application number: CN201610133116.1A
Authority: CN
Inventors: 程敏; 刘洋; 白童心; 须成忠
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2016-03-09
Filing date: 2016-03-09
Publication date: 2020-06-16
Anticipated expiration: 2036-03-09
Also published as: CN107195177A

Abstract

本发明公开了基于分布式内存计算框架对城市交通路况的预测方法,所述预测方法包括以下步骤:建立多线程缓冲池，并接收公共交通车辆的GPS定位装置输出的GPS数据；对GPS数据进行地图匹配,将公共交通车辆的位置信息匹配到地图上对应的路段上；对GPS数据进行横向分割，计算出每个路段在每天每个时间间隔的平均速度数据集A；根据数据集A的数据来统计出每个路段历史以来相同的时间间隔的历史平均速度，得到纵向特征数据集B；根据数据集A中的数据，计算出每个路段当前时刻往前最近一个时间间隔的多级邻域路段的平均速度，得到空间特征数据集C。

Description

基于分布式内存计算框架对城市交通路况的预测方法

技术领域

本发明涉及城市计算领域，尤其涉及一种基于分布式内存计算框架对城市交通路况的预测方法。

背景技术

城市交通路况预测是智慧城市建设的重要课题之一，它对于城市资源分配、城市交通规划，政府公共设施建设等方面有着重要的指导意义。由于城市化建设力度的加强，越来越多的人口涌入城市，这导致城市基础设施跟不上人口的增加速度，这对于个人出行以及国家交通部门进行交通秩序疏理也是一个很大的难题，因此政府、企业联合学术界正在积极寻找改善城市交通路况的措施，以加快智慧城市建设水平。

目前国内一些企业和科研机构都在积极研究这个主题，有的提出利用大量路网传感器采集车辆信息和利用视频监测设备实时拍摄车流情况；也有的提出利用历史数据建立数学模型来计算，但是方法关注点不够全面，有的只考虑到时间序列信息，有的只考虑历史时间段信息，而对于这种大数据的计算，算法模型和计算框架的计算效率至关重要,但是缺乏低硬件成本且综合全面的高效的数学模型预测方法作为引导，使得城市交通建设达不到预期目标。

目前国内外很多研究机构或企业提出的已有的路况预测方法比如：1)利用大量路网传感器或视频监测设备获取实时路况信息，然后发送到服务器端，这样所有的移动端设备都能够查询路况信息；2)通过算法模型基于历史相同时间段的交通数据来进行建模，找出规律对未来相同时间段路况信息进行估计。对于第一种方法，需要安置过多的传感器和视频监测设备，导致硬件设备成本太高，而且结果传输时延很严重，对于大数据情况下，计算效率是个很重要的因素；第二种属于数学建模方法，该方法忽略了数据的时间序列特性对未来时刻路况的影响，忽略了相邻路段的路况信息，也忽略了如周期性大型活动、车祸事件等的影响。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此本发明的目的在于提出一种基于分布式内存计算框架对城市交通路况的预测方法。

为了实现上述目的，本发明一方面实施例的基于分布式内存计算框架对城市交通路况的预测方法，所述预测方法包括以下步骤：

建立多线程缓冲池，并接收公共交通车辆的GPS定位装置并输出GPS数据；

对GPS数据进行地图匹配,将公共交通车辆的位置信息匹配到地图上对应的路段上；

对GPS数据进行横向分割，计算出每个路段在每天每个预设时间间隔的平均速度数据集A；

根据数据集A的数据来统计出每个路段历史以来相同的预设时间间隔的历史平均速度，得到纵向特征数据集B；

根据数据集A中的数据，计算出每个路段当前时刻往前最近一个预设时间间隔的多级邻域路段的平均速度，得到空间特征数据集C；

根据所述平均速度数据集A,纵向特征数据集B和空间特征数据集C建立路况预测模型，用分布式内存计算框架进行计算,得到指定路段的路况预测信息；

根据指定路段的路况预测信息，得到指定路段到当前时刻的随后预设时间间隔内的路况预测结果并输出。

本发明实施例的基于分布式内存计算框架对城市交通路况的预测方法，通过获取公共交通车辆的GPS定位装置输出的GPS数据，而不借助除定位传感器的其他设备情况下，能较准确的预测出任意指定路段当前时刻随后时间间隔内的路况信息，能节约成本且简单高效。

附图说明

图1是根据本发明基于分布式内存计算框架对城市交通路况的预测方法一实施例的流程图；

图2是根据本发明预测方法数据匹配方法一实施例的流程图；

图3是根据本发明预测方法中计算数据集A一实施例的流程图；

图4是根据本发明预测方法中计算数据集B一实施例的流程图；

图5是根据本发明预测方法中计算数据集C一实施例的流程图；

图6是根据本发明预测方法中一实施例的数据矩阵表图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于分布式内存计算框架对城市交通路况的预测方法。

图1是根据本发明一个实施例基于分布式内存计算框架对城市交通路况的预测方法的流程图。如图1所示，本发明实施例的预测方法，包括以下步骤：

步骤S11，建立多线程缓冲池，并接收公共交通车辆的GPS定位装置输出的GPS数据。

具体地，GPS定位装置即全球定位装置，目前的出租车上基本都有安装GPS定位装置(这主要是政府规定，便于采集数据用于科学研究)，该装置只要开启，那么它就能够接收21颗GPS工作卫星发射的导航定位信号，然后该装置利用自带的计算模块得到自己的地理位置坐标和实时状态(经度，纬度，速度)，再加上另外的一些字段，构成GPS实时数据(车牌号，速度、时刻，经度、纬度等,将GPS记录数据发送到指定的服务器进行收集，具体的，每30秒钟发送一条GPS记录数据到服务器。

步骤S12，对GPS数据进行地图匹配,将公共交通车辆的位置信息匹配到地图上对应的路段上。

步骤S13，对GPS数据进行横向分割，计算出每个路段在每天每个时间间隔的平均速度数据集A。

步骤S14，根据数据集A的数据来统计出每个路段历史以来相同的时间间隔的历史平均速度，得到纵向特征数据集B。

步骤S15，根据数据集A中的数据，计算出每个路段当前时刻往前最近一个时间间隔的多级邻域路段的平均速度，得到空间特征数据集C。

步骤S16，根据所述平均速度数据集A,纵向特征数据集B和空间特征数据集C建立路况预测模型，用分布式内存计算框架进行计算,得到指定路段的路况预测信息。

步骤S17，根据指定路段的路况预测信息，得到指定路段到当前时刻的随后预设时间间隔内的路况预测结果并输出。

在步骤S16中，具体的，用Spark分布式内存计算框架进行计算,得到最终的路况预测结果；这里使用了一个类似于逻辑回归的算法模型：Vr,t＝w0+w1*ar,t-1+w2*br,th+w3*cnr,t-1,其中w0～w3是模型的参数；Vr,t表示路段r在时刻t的平均速度；ar,t-1是数据集A中路段r在t时刻的前一个时间间隔内的平均速度；br,th是数据集B中路段r在t时刻所在时间间隔内的历史平均速度；cnr,t-1是数据集C中路段r的邻域路段n1,n2,n3,…,nx在t的前一个时间间隔内平均速度，通过模型公式cnr,t＝u0+u1*zt-1,1+u2*zt-1,2计算，其中u0～u2是未知参数，zt-1,k表示t-1时间间隔中r的k级邻域的平均速度。

在步骤S17中，具体的，得到了预测值Vr,t之后，可以做很多判断，包括：交通流疏理，交通事故预防，道路设施改善。例如：如果该值小于一定阈值(比如预测值小于5km/h)，说明路段不通畅，那么出行的人可以避开这些路段，绕道行驶，同时交警也可以实时去疏理交通，如果路段r长时间都处于拥堵状态，那么政府相关部门可以适当的改善交通设施(比如加宽道路、修建高架桥等)。如果该路段r在往常的t时间段都很通畅，而今天却反常地堵了很久，说明有可能发生了交通事故，应立即进行处理。

在具体实施中，根据GPS数据，更新所述平均速度数据集A，纵向特征数据集B和空间特征数据集C。

在本发明的一个实施例中，在步骤S11之后，对GPS记录数据预处理，具体还包括以下步骤：

判断所述GPS数据中当前数据是否存在车牌号丢失或速度字段丢失；

当当前数据存在车牌号丢失时，将当前的数据删除；

当当前数据存在速度字段丢失时，通过该车辆的前面多条记录的速度进行求平均值对当前数据的速度字段进行补全。

也就是说，预处理是针对字段不全或字段格式出错的记录，进行处理，包括删除记录和利用统计学方法进行字段补全，即如果是速度字段丢失，那么可以通过该车辆的前面多条记录的速度进行求平均值来补全，如果是车牌号丢失，那就不能补全，直接删除。

在本发明的一个实施例中，如图2所示，所述步骤S12具体包括以下步骤：

步骤S121，将地图数据划分为预设长度的路段，并对每个路段用唯一的路段编号进行标记；

步骤S122，将地图划分为多个预设密度的网格，并将GPS数据中的经纬度信息匹配到地图上阈值相同的经纬度所在网格以根据GPS数据包含的字段得到匹配到地图上的字段。

也就是说，地图数据中将某些很长的路分割成多个路段，而较短的路就不用切分直接当作一个路段，每个路段的长度被限制在一个阈值以内，每个路段用唯一的路段编号标记，地图数据中还标识了每个路段所在的经纬度，然后将GPS数据中的经纬度放到地图数据中去匹配，得到路段号，然后添加到车辆的GPS数据中，得到地图匹配后的GPS记录数据。

具体的，所述GPS数据包含的字段包括车牌号，运营公司，车辆经度，车辆纬度，记录时间，速度和车辆颜色，匹配到地图上的字段包括车牌号，记录时间，路段编号，车辆速度，路段经度，路段纬度，车辆经度和车辆纬度。

在本发明的一个实施例中，如图3所示，在步骤S13具体包括以下步骤：

步骤S131，根据第一预设时间值，将24小时划分为多个时间间隔，且每个两个相邻之间的时间间隔的时间步长为第二预设时间值；

步骤S132，将该路段该时间间隔的所有GPS记录数据中的速度相加得到速度之和；

步骤S133，将速度之和除以该路段该时间间隔的GPS记录数据的条数，得到每天每个时间间隔的平均速度；

步骤S134，根据每天每个时间间隔的平均速度，得到平均速度数据集A。

具体的，第一预设时间值为大于或等于1的正整数，且第一预设时间值大于第二预设时间值。在具体实施中，第一预设时间值为10分钟，当然也可以是1分钟，2分钟或5分钟，第一预设时间值越小，计算越准确，但计算难度越高。第二预设时间值为1分钟即移动步长为1分钟，移动步长也是可以修改的，也就是说，当将一天24小时分成很多个长度为10分钟的时间间隔，移动步长为1分钟，比如时间间隔为：00:00～00：10，00:01～00:11，00:02～00:12，00:03～00:13，…，然后利用统计学方法计算出每个路段在每天每个时间间隔的平均速度，即将该路段该时间间隔的所有GPS记录中的速度相加，再除以该路段该时间间隔的GPS数据条数而得到，那么平均速度数据集便是多个时间间隔的平均速度的集合，其中包含了每个路段当前时刻往前最近的一个时间间隔的路段的平均速度横向时间序列特征的数据，因为是时间间隔是以1分钟往后平移，会构成一个时间序列，所以数据集A中路段r在时刻00：00的平均速度是指路段r在时间间隔00:00到00:10之间平均速度，比如：路段r在时刻00:00对应的平均速度是指该路段在当天的时间间隔00:00～00:10平均速度。

在本发明的一个实施例中，如图4所示，在步骤S14具体包括以下步骤：

步骤S141，统计连续预设天数的一天内相同时间间隔的数据集A；

步骤S142，根据连续预设天数的数据集A中每个相同时间间隔的平均速度求平均值，得到相同时间间隔的历史平均速度；

步骤S143，根据相同时间间隔的历史平均速度，得到纵向特征数据集B。

具体的，预设天数为n,n是根据存放的数据量确定，n较大预测就会越精确。也就是说，对数据集A进行纵向切片，从数据集A统计出每个路段历史以来一天中相同时间间隔的历史平均速度，比如将某一路段在2015年11月01号至2015年11月11号之间，一共10天的时间间隔00:00～00：10之间的数据集A中放在一起进行计算；对历史n天数据以来的每个相同时间间隔的平均速度求平均值构造出纵向特征数据集B，例如在从数据集A中得知路段r在第一天00：00时刻的平均速度是2，在第二天00：00时刻的平均速度是3，在第三天00：00时刻的平均速度为5，那么路段r在00:00时刻开始的时间间隔内的历史平均速度是(2+3+5)/3，即从数据集A中，按路段编号，将该路段每天同一个时间间隔的车抽取出来，计算出这个路段上历史以来每个时间间隔的历史平均速度。

在本发明的一个实施例中，如图5所示，在步骤S15具体包括以下步骤：

步骤S151，根据地图数据中的经纬度信息，找出每个路段的多级邻域路段编号；

步骤S152，根据数据集A中的数据和多级邻域路段编号，每个路段每个相同时间间隔的多级邻域路段的平均速度；

步骤S153，根据每个路段每个相同时间间隔的多级邻域路段的平均速度，得到空间特征数据集C。

具体的，多级邻域路段一般是两级邻域路段，比如：路段r的一级邻域路段是指直接与路段r相邻的路段，路段r的二级邻域是指与路段r的一级邻域相邻的路段中除路段r和与r直接相邻以外的路段。也就是说，先根据地图数据中的经纬度信息，找出每个路段的多级邻域路段编号，其中一级邻域路段是直接相邻的路段，二级邻域路段是间接相邻的路段，以此类推，然后将数据集A中对应的邻域路段的平均速度信息添加进去，得到数据集C。

在具体实施中，利用连续四天的数据，取出路段r在10:00到10:15之间的所有GPS数据，得到数据集A和数据集B的数据矩阵表如图6所示，另外，所有的计算都是在Spark计算框架中进行的。根据图6所示的数据矩阵表计算数据集A、数据集B和数据集C的过程具体说明如下的：

1、水平方向划分计算后得到数据集A：以10分钟为时间间隔，1分钟为推进进度，计算出每个时间间隔中路段的平均速度，其中水平方向每个小方格表示一个大小为10分钟的时间间隔，其中的θij表示路段r在第i天第j个时间间隔的所有车辆GPS记录中的速度的平均值，然后同理计算出所有路段的θij，那就得到了数据集A，比如2015-11-04的数据集A包括θ11，θ12，θ13，θ14，θ15和θ16。数据集A的每一行的字段为路段编号，平均速度θij，时间间隔起始时刻t，比如1062,90.32,‘2015-11-04 10:00’。

2、得到数据集A之后，在进行垂直方向的切片，得到数据集B：如图6中的6个矩形区域，每一个矩形区域表示路段r在4天中每天相同时间间隔的平均速度，将这四个平均速度再求平均值，得到θ_j，例如θ₁＝(θ₁₁+θ₂₁+θ₃₁+θ₄₁+)/4，表示该路段在一天中第1个时间间隔的历史平均速度为θ₁，显然该例中有6个时间间隔，然后同理计算出所有路段在每个时间间隔的历史平均速度，得到数据集B。数据集B的每一行的字段为路段编号，历史平均速度θj，时间间隔起始时刻t，比如1062,90.0,‘10:00’。

3、空间划分构造数据集C(实验中选择一级和二级邻域，更多级的计算方法完全类似)。首先，根据地图数据(已有的固定的研究数据)，通过计算经纬度的差异(经纬度约接近表示实际越离得近)得到每个路段的与其直接相邻的路段，得到中间结果数据集C’,其中的字段格式为路段a的编号，路段b的编号，其中路段b是与路段a直接相邻的路段，接着对于数据集C’，按照第一列进行统计求平均值，即将第一列值相同的所有第二列的路段构成邻域路段集合，然后在数据集A中找到邻域路段集合中所有路段的平均速度，然后求出相同时间间隔的平均速度，这样就得到了一级邻域的在每个时间间隔的平均速度，放入数据集C中，C中的字段格式为路段a编号，邻域级别，路段a的一级邻域平均速度，时间间隔起始时刻t，比如：1062,1，80.32,‘2015-11-04 10:00’，接着根据数据集C’找到每个路段间接相邻的路段，得到所有的二级邻域路段，然后同样的方法，求出这些二级邻域路段在每个时间间隔的平均速度，放入数据集C中，比如1062,2，70.32,‘2015-11-04 10:00’。

最后，数据集A需要累计指定天数的历史数据，因此需要每天在之前的数据之上进行更新；数据集B是根据历史天数进行垂直切分，也需要基于历史记录每天更新；数据集C不需要多天的数据，只需利用当天的数据实时计算便可得到，因此也需要每天更新。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于分布式内存计算框架对城市交通路况的预测方法,其特征在于:所述预测方法包括以下步骤:

建立多线程缓冲池，并接收公共交通车辆的GPS定位装置输出的GPS数据；

对GPS数据进行横向分割，计算出每个路段在每天每个时间间隔的平均速度数据集A；

根据平均速度数据集A的数据来统计出每个路段历史以来相同的时间间隔的历史平均速度，得到纵向特征数据集B；

根据平均速度数据集A中的数据，计算出每个路段当前时刻往前最近一个时间间隔的多级邻域路段的平均速度，得到空间特征数据集C；

根据指定路段的路况预测信息，得到指定路段到当前时刻的随后预设时间间隔内的路况预测结果并输出；

其中：所述根据所述平均速度数据集A,纵向特征数据集B和空间特征数据集C建立路况预测模型，用分布式内存计算框架进行计算,得到指定路段的路况预测信息，包括：用Spark分布式内存计算框架进行计算,得到最终的路况预测结果：使用算法模型：Vr,t＝w0+w1*ar,t-1+w2*br,th+w3*cnr,t-1,其中w0～w3是模型的参数；Vr,t表示路段r在时刻t的平均速度；ar,t-1是数据集A中路段r在t时刻的前一个时间间隔内的平均速度；br,th是数据集B中路段r在t时刻所在时间间隔内的历史平均速度；cnr,t-1是数据集C中路段r的邻域路段n1,n2,n3,…,nx在t的前一个时间间隔内平均速度，通过模型公式cnr,t＝u0+u1*zt-1,1+u2*zt-1,2计算，其中u0～u2是未知参数，zt-1,k表示t-1时间间隔中r的k级邻域的平均速度。

2.如权利要求1所述的预测方法，其特征在于：在所述接收公共交通车辆的GPS定位装置输出的GPS数据的步骤，还包括以下步骤：

当当前数据存在车牌号丢失时，将当前的数据删除；

3.如权利要求1所述的预测方法，其特征在于：所述对GPS数据进行地图匹配,将公共交通车辆的位置信息匹配到地图上对应的路段上的步骤，具体为：

将地图数据划分为预设长度的路段，并对每个路段用唯一的路段编号进行标记；

将地图划分为多个预设密度的网格，并将GPS数据中的经纬度信息匹配到地图上阈值相同的经纬度所在网格以根据GPS数据包含的字段得到匹配到地图上的字段。

4.如权利要求3所述的预测方法，其特征在于：所述GPS数据包含的字段包括车牌号，运营公司，车辆经度，车辆纬度，记录时间，速度和车辆颜色，匹配到地图上的字段包括车牌号，记录时间，路段编号，车辆速度，路段经度，路段纬度，车辆经度和车辆纬度。

5.如权利要求1所述的预测方法，其特征在于：所述对GPS数据进行横向分割，计算出每个路段在每天每个预设时间间隔的平均速度数据集A的步骤，具体包括：

根据第一预设时间值，将24小时划分为多个时间间隔，且每个两个相邻之间的时间间隔的移动步长为第二预设时间值，其中第一预设时间值为大于或等于1的正整数，且第一预设时间值大于第二预设时间值；

将该路段该时间间隔的所有GPS记录数据中的速度相加得到速度之和；

将所述速度之和除以该路段该时间间隔的GPS记录数据的条数，得到每天每个时间间隔的平均速度；

根据每天每个时间间隔的平均速度，得到平均速度数据集A。

6.如权利要求5所述的预测方法，其特征在于：所述根据平均速度数据集A的数据来统计出每个路段历史以来相同的时间间隔的历史平均速度，得到纵向特征数据集B的步骤，具体包括：

统计连续预设天数的一天内相同时间间隔的平均速度数据集A；

根据连续预设天数的平均速度数据集A中每个相同时间间隔的平均速度求平均值，得到相同时间间隔的历史平均速度；

根据相同时间间隔的历史平均速度，得到纵向特征数据集B。

7.如权利要求5所述的预测方法，其特征在于：所述根据平均速度数据集A中的数据，计算出每个路段当前时刻往前最近一个时间间隔的多级邻域路段的平均速度，得到空间特征数据集C的步骤，其特征在于：

根据地图数据中的经纬度信息，找出每个路段的多级邻域路段编号；

根据平均速度数据集A中的数据和多级邻域路段编号，得到每个路段每个相同时间间隔的多级邻域路段的平均速度；

根据每个路段每个相同时间间隔的多级邻域路段的平均速度，得到空间特征数据集C。

8.如权利要求1所述的预测方法，其特征在于：所述预测方法还包括以下步骤，

根据GPS数据，更新所述平均速度数据集A，纵向特征数据集B和空间特征数据集C。