CN105095481B - 大规模出租车od数据可视分析方法 - Google Patents

Abstract

大规模出租车OD数据可视分析方法，包括以下步骤：消除GPS原始数据中的噪音，保证GPS点的经纬度坐标和在线地图的地理坐标系一致；通过ST‑matching算法将出租车轨迹的GPS点匹配到相应的道路上，以此校准GPS点；利用车载标志来提取出租车打车上下客信息，并且利用网格索引技术，将轨迹数据进行网格化存储；采用bin聚类，聚类完成之后，生成热度图和聚类图；通过热度图和聚类图,选择感兴趣的区域或比较有特点的区域；选择感兴趣的区域后，用可视化组件环形像素图和时空堆栈图展示O/D模式时空分析视图；使用距离投影或者方向投影打开时空堆栈图；通过高亮环形像素图一个或几个临近像素或时空堆栈图中的层来交互选择一对起始和终止区域。

Description

大规模出租车OD数据可视分析方法

技术领域

本发明设计了一个大规模出租车OD(Origin-Destination)数据可视分析方法。

背景技术

随着城市化的发展和城市人口的增加，现代大都市面临着严重的城市疾病，如交通拥堵和不理想的城市规划等。交通拥堵造成诸多的负面影响，如时间浪费、成本上升、空气污染等等。多年来，政府部门努力解决这些问题，但是，有时，只有一点点的成功。近年来，随着不同传感技术的快速进步和广泛渗透，大量的数据已成功地收集记录了城市各个方面的状态。这给解决都市问题和创建基于城市大数据分析的智能城市带来了新的机遇。以城市规划和交通管理为例，道路交通状况反映了人们的运动模式。反过来，后者显然受一个城市的功能结构的影响。例如，如果没有地铁，人们往往乘坐出租车从火车站到达机场，或者从一个站到达另一个站。当一个新的地铁线建立后，为了节省时间和金钱，乘客可能会选择先乘坐出租车到达地铁站，然后转乘地铁。更重要的是，如果必须转乘几次公交才能到达目的地，乘客很有可能会选择乘坐出租车。在这种情况下，人的因素，更具体的说是人的运动模式，发挥了核心作用，并始终是智慧城市分析方面的核心，如交通管理和城市规划等。因此，分析师要想探索和理解在不同应用场景下的人的运动模式，一套有效的工具对其非常重要。

目前，越来越多的出租车安装了GPS，从而产生了大量的出租车数据。这些数据记录了出租车的行为，反映了城市的生活方式，并且可以帮助出租车运行部门监控出租车运行状态、改进出租车的调度。以杭州出租车数据为例，这些原始数据是在2011年7月到2011年11月这个时间段收集的。约8340辆出租车的GPS数据记录被存储。通常情况下，每5到10秒传送一次出租车的位置信息。每天一辆出租车总共记录约1200万条。这使得每天400000多条轨迹，一整年总共约有14.4亿条轨迹。每条轨迹记录了出租车ID，车牌号，车辆经纬度坐标，车辆是否载客，车辆行驶方向，车辆瞬时速度。这是一个典型的Origin-Destination(OD)数据，只有起始终止信息而没有轨迹信息。然而，杭州的城市规划和交通专家目前并没有很好的工具来分析这些出租车数据。传统数据挖掘的一些算法随着数据量越来越大，算法的复杂度相对较高，处理时间也呈指数级增长，并且传统的数据挖掘结果并不能给人一个很直观的结果，往往都是一个抽象的知识。

为了解决上述缺点，一种基于大数据的可视分析应运而生，可视分析技术能将大数据中所潜在的信息通过可视化，让用户从中学习分析并结合自己的领域知识，从中更容易获取那些真正能解决问题的数据信息。

而且，对于展现OD数据分布的可视化方法有很多，其中比较有代表性的是交通流图，例如箭头图。

但是对于箭头图当数据量一大之后展现就会比较混乱，需要进行改进。本发明的方法很好的解决了这种展现错乱的问题，并且该方法为自动化比较OD模式成为了一种可能，而且其展现结果还可以作为进一步分析的一个候选图形。

以出租车OD数据为例，说明可视分析方法存在的缺点：虽然能通过单独的图进行分析，但是一般不能在一个图上进行对比分析，会增加用户分析难度。

发明内容

为了从大量的出租车GPS数据中有效的提取有用的信息，本发明提供了一种大规模出租车OD数据可视分析方法。

本发明所设计的大规模出租车OD数据可视分析方法，包括以下步骤：

1)、消除GPS原始数据中的噪音，保证GPS点的经纬度坐标和在线地图的地理坐标系一致；

2)、通过ST-matching算法将出租车轨迹的GPS点匹配到相应的道路上，以此来校准GPS点；

3)、利用车载标志来提取出租车打车上下客信息(即出租车载客轨迹的起点/终点)，并且利用网格索引技术，将轨迹数据进行网格化存储；

4)、采用bin聚类，聚类完成之后，可以生成热度图和聚类图，如图4最左边的图所示，即本文系统的OD分布全局概览视图，展示了出租车轨迹的起点/终点(即出租车轨迹的上客点/下客点)的分布情况。根据不同的时间跨度或时间区间可以生成不同的热度图及聚类图；

5)、通过热度图和聚类图,选择感兴趣的区域或比较有特点的区域；

6)、选择感兴趣的区域后，用可视化组件环形像素图(如图1)和时空堆栈图(如图2)展示O/D模式时空分析视图；在图1所示的环形像素图中，中间的环形区域即为根据上述映射方式所作的OD数据的空间分布展示；环形区域的每一个小扇形即为一个像素点；像素点在极坐标系中的位置代表该像素点是被选中区域距离为[(r-1)*2km,r*2km)之间、方向夹角在之间的那些OD信息的可视化编码；像素点的颜色深浅表明OD数据量的大小，颜色越深代表这个距离内、这个方向上的数据分布越密集；使用交互式工具，包括选择，过滤和分离来分析投影到不同维度的数据；根据距离和方向属性，O/D数据使用环形像素图(图5组件B)聚集和展示，从环形像素图可以发现有意义的像素；环形像素图可以提供数据不同的聚集尺度包括小时，天，周，月，年等的可视化表示；

7)、如果用户想进一步挖掘一定距离和方向的区域的时间特性，可以将环形像素图的数据向方向或距离这两个维度分别做投影，进一步集聚为时空堆栈图(图2)；时-空堆栈图将被选中区域在某个方向上或某个距离下的OD数量按时间变化情况展示出来，横轴表示时间，不同颜色编码表示不同方向或者距离，条带高度则编码OD数量大小；如图2(a)所示为对方向维度做投影后的时-空堆栈图。当高亮某个方向时候，小箭头图标可表明该层是所属的具体方向：箭头往上表示向正北，箭头向下则表示向正南，以此类推；图2(b)则展示了对距离维度做投影后的时-空堆栈图；图中从下往上的不同层表示距离被选中区域由近到远的分布情况；其中层数越多表示距离越远；如图2(b)中第1层表示3km以内，第2层表示3km到6km内，以此类推；

8)、通过高亮环形像素图一个或几个临近像素或时空堆栈图中的层来交互选择一对起始和终止区域；OD数据轨迹视图展示了以被选中区域为起点出发到终点的出租车OD数据轨迹分布，分析选定区域的具有时空模式的OD数据后，分析员可能对进一步挖掘起始区域和终止区域之间的轨迹感兴趣。时间范围、路网距离和行程时间，这三个轨迹属性对于研究人类活动的特征、出租车路线和交通状况来说很重要。图3所示的柱状像素图可视化地表现了这三个属性间的复杂关系。通过O/D轨迹视图(图5中的组件A)和柱状像素条形图(图5中的组件D)进一步研究这两个区域中人类运动的模式。

进一步，所述的步骤(4)生成热度图包括以下步骤：

(4.1a)由于出租车OD轨迹的存储采用了网格索引技术，因此利用bin聚类的思想，将地图区域分成1000×1000的矩形块，在每一个网格中统计起点(或终点)落在该网格内的OD轨迹数目；

(4.2a)然后将网格中的OD统计数据的数值通过颜色映射，用热度图的方式绘制在Google地图上(见图4最左边的上图所示)。其中热度图中红色的图层颜色越深表示轨迹的数目越大，否则表示数目非常稀少或者为0。

进一步，所述的步骤(4)生成聚类图包括以下步骤：

(4.1b)去除那些轨迹数目非常少的网格网格，

(4.2b)如果存在未被聚类的标记，则选择之；否则算法结束；

(4.3b)如果该标记位于某一聚类所代表的网格中，则将该标记添加至该聚类中，同时计算该网格中所有标记的几何中心作为该聚类的新聚类中心，转(4.2b)；否则，将该标记构造为一个新的聚类，聚类所代表的网格大小根据地图缩放比例自动设置，转(4.2b)。

进一步，所述的步骤(8)包括以下步骤：

(8.1)四个可视话组件相互配合；通过交互，用户在不同视图间切换，并对数据有了更深层次的理解；交互过程通常遵循“A→B→C→D(→A)”的反馈循环；例如上述的(4)，(6)和(7)点分别反映了“A→B”，“B→C”和“C→D”；当用户与环形像素图的像素进行交互时，时空堆积图将相应地改变；这种协调也属于“B→C”；

(8.2)更重要的是，当用户突出显示环形像素图的特定像素或时空堆栈图的特定层时，O/D轨迹视图和柱状像素条形图将被绘制；后两个可视化组件相关联，并根据前两种可视化组件的变化保持更新；这些都分别反映了“B→D”，“B→A”和“C→D”，“C→A”交互。

本发明的技术构思是：先数据处理，利用车载标志来提取出租车打车上下客信息，对出租车起点终点特征数据分别进行分析，并且通过热度图和聚类图，引导用户进一步地分析感兴趣以及相对有特点的区域。结合环形像素图，时空堆栈图，柱状像素图等专门针对于出租车OD数据进行分析的可视化组件，让用户从交互探索中得出城市发展各个区域内出租车流向的差异性，以及从出租车数据中挖掘不同日期以及一些城市规划事件对人们出行模式的影响。

本发明的优点是：能够从大量的时空数据中挖掘出有用的信息，可视分析技术能将数据中所潜在的知识通过可视化，让用户从中学习分析并结合自己的领域知识，从中更容易获取那些真正能解决问题的数据信息。

附图说明

图1为环形像素图可视化组件。

图2(a)所示为对方向维度做投影后的时-空堆栈图，图2(b)是对距离维度做投影后的时-空堆栈图。

图3为柱状像素图可视化组件。

图4为本发明的系统概览图。

图5为OD模式时空分析界面。

图6为OD模式时空分析流程图。

具体实施方式

本发明设计采用d3.js来绘制前端可视化组件，数据处理主要采用java进行编写。

参照图1、2、3、4、5、6

本发明所设计的大规模出租车OD数据可视分析方法，包括以下步骤：

1)、消除GPS原始数据中的噪音，保证GPS点的经纬度坐标和在线地图的地理坐标系一致；

2)、通过ST-matching算法将出租车轨迹的GPS点匹配到相应的道路上，以此来校准GPS点；

3)、利用车载标志来提取出租车打车上下客信息(即出租车载客轨迹的起点/终点)，并且利用网格索引技术，将轨迹数据进行网格化存储；

4)、采用bin聚类，聚类完成之后，可以生成热度图和聚类图，如图4最左边的图所示，即本文系统的OD分布全局概览视图，展示了出租车轨迹的起点/终点(即出租车轨迹的上客点/下客点)的分布情况。根据不同的时间跨度或时间区间可以生成不同的热度图及聚类图；

(4.1a)由于出租车OD轨迹的存储采用了网格索引技术，因此利用bin聚类的思想，将杭州地图区域分成1000×1000的矩形块，在每一个网格中统计起点(或终点)落在该网格内的OD轨迹数目；

(4.2a)然后将网格中的OD统计数据的数值通过颜色映射，用热度图的方式绘制在Google地图上(见图4最左边的上图所示)。其中热度图中红色的图层颜色越深表示轨迹的数目越大，否则表示数目非常稀少或者为0。

(4.1b)去除那些轨迹数目非常少的网格网格，

(4.2b)如果存在未被聚类的标记，则选择之；否则算法结束；

(4.3b)如果该标记位于某一聚类所代表的网格中，则将该标记添加至该聚类中，同时计算该网格中所

有标记的几何中心作为该聚类的新聚类中心，转(4.2b)；否则，将该标记构造为一个新的聚类，聚类

所代表的网格大小根据地图缩放比例自动设置，转(4.2b)。

5)、通过热度图和聚类图,选择感兴趣的区域或比较有特点的区域；

6)、选择感兴趣的区域后，用可视化组件环形像素图(如图1)和时空堆栈图(如图2)展示O/D模式时空分析视图；在图1所示的环形像素图中，中间的环形区域即为根据上述映射方式所作的OD数据的空间分布展示；环形区域的每一个小扇形即为一个像素点；像素点在极坐标系中的位置代表该像素点是被选中区域距离为[(r-1)*2km,r*2km)之间、方向夹角在之间的那些OD信息的可视化编码；像素点的颜色深浅表明OD数据量的大小，颜色越深代表这个距离内、这个方向上的数据分布越密集；使用交互式工具，包括选择，过滤和分离来分析投影到不同维度的数据；根据距离和方向属性，O/D数据使用环形像素图(图5组件B)聚集和展示，从环形像素图可以发现有意义的像素；环形像素图可以提供数据不同的聚集尺度包括小时，天，周，月，年等的可视化表示；

7)、如果用户想进一步挖掘一定距离和方向的区域的时间特性，可以将环形像素图的数据向方向或距离这两个维度分别做投影，进一步集聚为时空堆栈图(图2)；时-空堆栈图将被选中区域在某个方向上或某个距离下的OD数量按时间变化情况展示出来，横轴表示时间，不同颜色编码表示不同方向或者距离，条带高度则编码OD数量大小；如图2(a)所示为对方向维度做投影后的时-空堆栈图。当高亮某个方向时候，小箭头图标可表明该层是所属的具体方向：箭头往上表示向正北，箭头向下则表示向正南，以此类推；图2(b)则展示了对距离维度做投影后的时-空堆栈图；图中从下往上的不同层表示距离被选中区域由近到远的分布情况；其中层数越多表示距离越远；如图2(b)中第1层表示3km以内，第2层表示3km到6km内，以此类推；

8)、通过高亮环形像素图一个或几个临近像素或时空堆栈图中的层来交互选择一对起始和终止区域；OD数据轨迹视图展示了以被选中区域为起点出发到终点的出租车OD数据轨迹分布，分析选定区域的具有时空模式的OD数据后，分析员可能对进一步挖掘起始区域和终止区域之间的轨迹感兴趣。时间范围、路网距离和行程时间，这三个轨迹属性对于研究人类活动的特征、出租车路线和交通状况来说很重要。图3所示的柱状像素图可视化地表现了这三个属性间的复杂关系。通过O/D轨迹视图(图5中的组件A)和柱状像素条形图(图5中的组件D)进一步研究这两个区域中人类运动的模式；

(8.1)四个可视化组件相互配合；通过交互，用户在不同视图间切换，并对数据有了更深层次的理解；交互过程通常遵循“A→B→C→D(→A)”的反馈循环；例如上述的(4)，(6)和(7)点分别反映了“A→B”，“B→C”和“C→D”；当用户与环形像素图的像素进行交互时，时空堆积图将相应地改变；这种协调也属于“B→C”；

(8.2)更重要的是，当用户突出显示环形像素图的特定像素或时空堆栈图的特定层时，O/D轨迹视图和柱状像素条形图将被绘制；后两个可视化组件相关联，并根据前两种可视化组件的变化保持更新；这些都分别反映了“B→D”，“B→A”和“C→D”，“C→A”交互。

Claims (3)

1.大规模出租车OD数据可视分析方法，包括以下步骤：

1)、消除GPS原始数据中的噪音，保证GPS点的经纬度坐标和在线地图的地理坐标系一致；

2)、通过ST-matching算法将出租车轨迹的GPS点匹配到相应的道路上，以此来校准GPS点；

3)、利用车载标志来提取出租车打车上下客信息，并且利用网格索引技术，将轨迹数据进行网格化存储；

4)、采用bin聚类，聚类完成之后，可以生成热度图和聚类图，即本文系统的OD分布全局概览视图，展示了出租车轨迹的起点/终点的分布情况；根据不同的时间跨度或时间区间生成不同的热度图及聚类图；

5)、通过热度图和聚类图,选择感兴趣的区域或有特点的区域；

6)、选择感兴趣的区域后，用可视化组件环形像素图和时空堆栈图展示O/D模式时空分析视图；环形像素图中，中间的环形区域即为根据上述映射方式所作的OD数据的空间分布展示；环形区域的每一个小扇形即为一个像素点；像素点在极坐标系中的位置代表该像素点是被选中区域距离为[(r-1)*2km,r*2km)之间、方向夹角在之间的那些OD信息的可视化编码；像素点的颜色深浅表明OD数据量的大小，颜色越深代表这个距离内、这个方向上的数据分布越密集；使用交互式工具，包括选择，过滤和分离来分析投影到不同维度的数据；根据距离和方向属性，O/D数据使用环形像素图聚集和展示，从环形像素图发现有意义的像素；环形像素图提供数据不同的聚集尺度包括小时，天，周，月，年的可视化表示；

7)、如果用户想进一步挖掘一定距离和方向的区域的时间特性，将环形像素图的数据向方向或距离这两个维度分别做投影，进一步集聚为时空堆栈图；时空堆栈图将被选中区域在某个方向上或某个距离下的OD数量按时间变化情况展示出来，横轴表示时间，不同颜色编码表示不同方向或者距离，条带高度表示编码OD数量大小；对方向维度做投影后的时空堆栈图，当高亮某个方向时候，小箭头图标表明层是所属的具体方向：箭头往上表示向正北，箭头向下则表示向正南，以此类推；对距离维度做投影后的时空堆栈图；图中从下往上的不同层表示距离被选中区域由近到远的分布情况；其中层数越多表示距离越远；其中第1层表示3km以内，第2层表示3km到6km内，以此类推；

8)、通过高亮环形像素图一个或几个临近像素或时空堆栈图中的层来交互选择一对起始和终止区域；OD数据轨迹视图展示了以被选中区域为起点出发到终点的出租车OD数据轨迹分布，分析选定区域的具有时空模式的OD数据后，分析员对进一步挖掘起始区域和终止区域之间的轨迹感兴趣；时间范围、路网距离和行程时间，这三个轨迹属性对于研究人类活动的特征、出租车路线和交通状况来说很重要；柱状像素图可视化地表现了这三个属性间的复杂关系；通过O/D轨迹视图和柱状像素条形图进一步研究这两个区域中人类运动的模式。

2.如权利要求1所述的大规模出租车OD数据可视分析方法，其特征在于：所述的步骤4)生成热度图包括以下步骤：

(4.1a)由于出租车OD轨迹的存储采用了网格索引技术，因此利用bin聚类的思想，将地图区域分成1000×1000的矩形块，在每一个网格中统计起点或终点落在该网格内的OD轨迹数目；

(4.2a)然后将网格中的OD统计数据的数值通过颜色映射，用热度图的方式绘制在Google地图上；其中热度图中红色的图层颜色越深表示轨迹的数目越大，否则表示数目非常稀少或者为0；

所述的步骤(4)生成聚类图包括以下步骤：

(4.1b)去除那些轨迹数目非常少的网格，

(4.2b)如果存在未被聚类的标记，则选择之；否则算法结束；

(4.3b)如果该标记位于某一聚类所代表的网格中，则将该标记添加至该聚类中，同时计算该网格中所有标记的几何中心作为该聚类的新聚类中心，转(4.2b)；否则，将该标记构造为一个新的聚类，聚类所代表的网格大小根据地图缩放比例自动设置，转(4.2b)。

3.如权利要求1所述的大规模出租车OD数据可视分析方法，其特征在于：所述的步骤8)包括以下步骤：

(8.1)四个可视话组件相互配合；通过交互，用户在不同视图间切换，并对数据有了更深层次的理解；交互过程遵循“A→B→C→D(→A)”的反馈循环；上述的4)，6)和7)点分别反映了“A→B”，“B→C”和“C→D”；当用户与环形像素图的像素进行交互时，时空堆积图将相应地改变；这种协调也属于“B→C”；

(8.2)更重要的是，当用户突出显示环形像素图的特定像素或时空堆栈图的特定层时，O/D轨迹视图和柱状像素条形图将被绘制；后两个可视化组件相关联，并根据前两种可视化组件的变化保持更新；这些都分别反映了“B→D”，“B→A”和“C→D”，“C→A”交互。