CN109448379A - 一种社交媒体数据偶发性交通事件的识别及定位方法 - Google Patents

Abstract

本发明公开了一种社交媒体数据偶发性交通事件的识别和定位方法，包括步骤一：社交媒体数据与GPS数据的获取，步骤二：社交媒体数据偶发性交通异常的识别，步骤三：社交媒体数据偶发性交通异常的定位。通过利用地图匹配算法、DBSCAN聚类算法等技术对GPS数据进行匹配，计算搜索区域内车辆行驶路径的旅行时间，并对相同路径的历史旅行时间进行聚类，识别偶发性交通异常；利用数据融合的方法将GPS数据得到的异常与社交媒体数据得到的异常进行对应，实现社交媒体数据交通事件的时空定位。

Description

一种社交媒体数据偶发性交通事件的识别及定位方法

技术领域

本发明属于交通领域，特别涉及一种社交媒体数据偶发性交通事件的识别及定位方法。

背景技术

最近传感技术和通信技术的快速发展促进了交通大数据的繁荣。现有研究和实践中使用的交通数据通常是使用安装在车辆或道路上的传感设备收集的。典型的例子包括车载全球定位系统(GPS)信号接收器收集的浮动车和公共汽车的实时坐标以及由线圈检测器或摄像机收集的交通计数信息。大量的交通数据已被广泛应用于出行需求的估算以及交通系统的管理。

考虑到大多数交通大数据中的交通信息是使用物理传感设备收集的，因此我们根据数据收集的方式将它们称为物理交通数据。尽管数据质量良好且物理交通数据的可用性很高，但这种数据的一个共同缺点是缺乏对交通状态的理解和分析的信息。例如，浮动车GPS数据被广泛用于估计道路上的车辆速度。但是，当检测到异常慢的车速时，GPS数据本身不能显示慢车速是由交通堵塞还是交通事故引起的。需要补充信息以更好地理解和解释所感知的交通状态，并设计出更合适的管理策略。

大量社交媒体用户经常在他们生活的各个方面发布和传播信息，其中交通是一个经常讨论的话题。这些交通数据由社交媒体用户以众包的方式生成，我们称之为社交媒体数据。社交媒体数据可以为物理交通数据补充交通信息。例如，社交媒体数据通常包含交通事件的描述，并且记录了交通事故的可能原因或者包括对交通基础设施规划和交通管理的建议。

以前的方法集中在开发先进的语义分析工具和自动化系统，以从社交媒体中挖掘更多信息来监控交通状态。然而，社交媒体数据具有混杂，冗余的特性，导致社交媒体数据中充斥着大量的无用或低价值的信息，例如错误的交通信息以及人们已知的复发性交通事件。若利用人工对社交媒体数据进行过滤将产生极大的人力成本，因此，急需解决如何自动识别社交媒体数据中的偶发性交通事件，并且对社交媒体数据中提到的交通事件利用进行定位的问题。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提出了一种社交媒体数据偶发性交通事件的识别及定位方法，该方法利用历史浮动车GPS数据计算得到的事件区域路径的正常旅行时间，以判断事件发生时该区域的交通状态是否异常，且通过对区域中各路段的复杂度进行计算，以复杂度最大的路段作为事件发生地，实现偶发性交通事件定位。

一种社交媒体数据偶发性交通事件的识别及定位方法，包括以下步骤：

步骤1：获取社交媒体数据与GPS数据；

所述社交媒体数据通过网络爬虫从网络上的社交媒体用户发布的数据中提取的交通路段事故或拥堵信息，包括道路名称、事故时间、地点；

所述GPS数据是利用浮动车载客在道路网格中行驶时的GPS数据；

步骤2：确定偶发性交通事件目标道路，并对目标道路进行划分，获得搜索区域；

将社交媒体数据的内容与道路数据库进行字符串匹配，找出社交媒体数据中包含的道路，作为目标道路；从道路数据库中提取包含所述目标道路的所有路段和路段节点；将目标道路按照路段节点进行划分，得到多个搜索区域；

步骤3：社交媒体数据偶发性交通异常的识别；

将搜索区域内的浮动车历史正常GPS信息和实时GPS信息匹配到道路网格上，得到各路段的历史正常旅行时间和实时旅行时间，若实时旅行时间-历史正常旅行时间大于设定时间阈值，则当前搜索区域存在异常路段，出现偶发性交通异常事件。

交通异常的突出特征是车速减慢或行驶时间增加。仅使用静态信息，例如道路属性和速度限制来确定路段是否处于异常交通状况，不能区分偶发性异常和复发性异常。复发性交通异常通常是由于人类出行需求与道路通行能力供给之间的不平衡关系造成的，短期内难以解决。相反，通过采取适当和及时的对策，可以控制或减轻非预期事件导致的偶发性交通异常。另外，选择路径旅行时间进行异常检测的原因在于，路段级别的交通异常通常是由交通状况的常规变化引起的，而不是由意外交通事件引起的。

进一步地，获取社交媒体数据发布时间的前后时间窗内的浮动车实时GPS数据，按照步骤3所述方法判断各搜索区域内是否存在路段异常，并计算搜索区域内各路段的异常指数；记录搜索区域在各时间窗内的路段异常矩阵，并依据路段异常指数大小，定位搜索区域内受偶发性交通时间影响最大的路段；在异常矩阵中首个出现异常的时间窗中异常指数最大的路段定位为事件发生地；

异常矩阵定义为：

A＝{sr_it},sr_it＝SR_i(t)

搜索区域i在时间窗口t的异常情况记为SR_i(t)，

其中，t∈{T-6,…,T,…,T+6}，T是社交媒体数据发布时间；

路段e的异常指数记为R_e，

其中，v_e(t)是浮动车路段e在时间窗t的实时平均行驶速度，是路段e在当月所有工作日在时间窗t的平均行驶速度。

使用异常矩阵，可以看到一个时间窗口中有多少搜索区域受到影响，以及异常在一个搜索区域中持续多少个时间窗口。异常周期被定义为在搜索区域中首次检测到异常时的开始时间窗到在搜索区域中最后检测到异常时的时间窗的时间间隔。

认定存在异常的搜索区域为交通事件的发生区域。对于存在异常的搜索区域，计算每个路段的旅行速度与历史平均值的差异，得到路段拥堵程度，从而定位受影响程度最大的路段。

进一步地，所述搜索区域是通过将所在路段相距超过500m的交叉口作为分界点，以分界点内的所有路段节点中的最大经、纬度和最小经纬、度均向四周扩展100m得到的边界形成的矩形区域。

进一步地，将搜索区域内的浮动车的GPS信息和实时匹配到道路网格上的具体过程如下：

步骤A：获取GPS数据对应的GPS轨迹的候选匹配路径；

当GPS轨迹中的轨迹点p_i与路段的距离d≤35m时，将加入p_i的候选匹配边集合中，p_i在上的投影则为p_i的第j个候选匹配点，将n个轨迹点相邻两点的候选匹配点两两组合，得到该轨迹的若干条候选匹配路径；

步骤B：结合观测可能性和传递可能性，计算候选匹配路径上相邻两点之间的空间分析函数

其中，表示GPS轨迹上第i-1个轨迹点的第t个匹配点，表示GPS轨迹上第i个轨迹点的第s个匹配点，表示轨迹点p_i匹配到的观测可能性，表示候选匹配路径上相邻两点和之间的传递可能性；d_i-1→i为p_i-1与p_i之间的欧式距离，d_i-1→i＝dist(p_i,p_i-1)；w_{(i-1,t)→(i,s)}为和之间的最短路径长度；n表示GPS轨迹上的轨迹点数量，m为国际单位，米；

步骤C：路径匹配；

GPS轨迹的候选匹配路径组成候选匹配图G′_T(V′_T,E′_T)，V′_T是GPS轨迹点的候选点集合，E′_T是GPS轨迹中相邻两轨迹点之间最短路径的集合，一条候选匹配路径P_c表示为 GPS轨迹匹配到路径P_c的匹配可能性为：

选择匹配可能性最高的路径为GPS轨迹的最终匹配路径。

路段是相对一个路网而言的概念，路径是相对于GPS轨迹而言的概念，一个路径是由一个路段的序列来表示；

ST-matching算法中，路网的地理信息和拓扑结构都被用来评价候选匹配路径与GPS轨迹的匹配程度，地理信息评价值用观测可能性来衡量，拓扑结构评价值用传递可能性来衡量。

本发明中，每一条路径必须满足如下条件：a)所有轨迹点位于指定的搜索区域内，确保每条路径的长度；b)每组轨迹点的顺序由时间排序并由相同的GPS接收机记录；c)连续轨迹点之间的时间间隔应小于45秒。

进一步地，所述设定时间阈值为<t>+3σ，<t>和σ采用DBSCAN算法对匹配路径的历史旅行时间进行聚类获得，表示<t>最大团簇的平均路径旅行时间，σ表示最大团簇的标准差，匹配路径是GPS轨迹匹配路段构成，匹配路径的旅行时间是GPS轨迹点p₁和p_n之间的时间间隔：

步骤a：每一条匹配路径的旅行时间记录按30分钟的时间间隔进行分组，并计算组中任意两条记录之间的距离；

dist(t₁,t₂)＝|t₁-t₂|.

步骤b：找到与每条记录最邻近的第4个记录，二者之间的距离称为4-距离；对每个组中的4-距离进行概率统计，得到4-距离的概率分布；

步骤c：对4-距离的概率分布进行指数拟合，选取斜率为-1处对应的4-距离作为EPS值，MinPts值则固定取4；

步骤d：将EPS和MinPts输入DBSCAN算法，对时间间隔为30min的匹配路径旅行时间数据组进行聚类，并计算最大团簇的平均匹配路径旅行时间<t>和最大团簇的标准差σ。

有益效果

本发明提供了一种社交媒体数据偶发性交通事件的识别和定位方法，包括步骤一：社交媒体数据与GPS数据的获取，步骤二：社交媒体数据偶发性交通异常的识别，步骤三：社交媒体数据偶发性交通异常的定位。通过利用地图匹配算法、DBSCAN聚类算法等技术对GPS数据进行匹配，计算搜索区域内车辆行驶路径的旅行时间，并对相同路径的历史旅行时间进行聚类，识别偶发性交通异常；利用数据融合的方法将GPS数据得到的异常与社交媒体数据得到的异常进行对应，实现社交媒体数据交通事件的时空定位。。

该方法可以为交通管理部门筛选出报告偶发交通异常的社交媒体数据，并获得偶发交通异常的产生原因，结合GPS数据计算出的交通异常的时空影响范围，进而出台相应的应对策略。

附图说明

图1为搜索区域划分示意图；

图2为搜索区域中定位异常路径的示例；

图3为利用复杂指数显示搜索区域内的路段示意图；

图4为本发明所述方法流程图。

具体实施方式

下面将结合附图和实施例对本发明做进一步地说明。

一种社交媒体数据偶发性交通事件的识别和定位方法，包括以下步骤：

1.社交媒体数据与GPS数据的获取

浮动车GPS数据由2014年10月工作日期间出租车GPS接收器(共19天)产生。社交媒体数据由新浪微博社交媒体用户在同一观察期内产生。

1.1社交媒体数据

我们使用表1中关键词收集来自微博的交通相关消息。利用网络爬虫，自动收集用户发布微博的时间和内容(表2)。

表1.关键词列表

表2.微博示例

1.2GPS数据

使用由13,584辆配备GPS接收器的浮动车收集的浮动车GPS数据。在观察期内(2014年10月19个工作日)，共记录了916,851,503个GPS读数。每辆浮动车平均每15秒收集一次GPS记录。使用满足如下条件的GPS数据：(1)载客状态下的GPS数据。(2)在6：00-23：00时间段内的GPS数据。最后，本次研究选择并使用了255,490,492辆浮动车GPS读数。

2.社交媒体数据偶发性交通异常的识别

2.1产生搜索区域

首先，我们通过将社交媒体数据与道路数据库进行字符串匹配来确定社交媒体数据中提到的道路，并从道路数据库中检索该道路包含的所有路段，获取路段的节点信息。

其次，在目标道路产生多个搜索区域以检测偶发性交通异常。产生搜索区域的方法如下：在目标道路所包含的节点中，连接两条以上路段的节点被用于将目标道路分成几个搜索区域的分界点(选中的节点相距需超过500m)(图1)。对于每一个搜索区域，选取区域内分界点范围内中所有节点的最大和最小经度以及最大和最小纬度并向四周拓展100m来确定搜索区域的边界(图1)，目标道路可能由多个路段组成，每条路段都包含两个节点，每个节点都有其经纬度，选取组成该目标道路的所有节点经度和纬度中最大和最小值，来确定这条路的边界。

2.2GPS数据的地图匹配

我们使用ST-matching算法将搜索区域内GPS数据匹配到路段上。在下面，我们详细描述该方法。

步骤1：获得候选路径

对于一条GPS轨迹TR＝p₁→p₂→…→p_N，当p_I与路段的距离d≤35m时，将加入p_i的候选匹配边集合中，p_i在上的投影则为p_i的第j个候选匹配点，将n个轨迹点相邻两点的候选匹配点两两组合，可得到该轨迹的若干条候选匹配路径。

步骤2：空间分析

ST-matching算法中，路网的地理信息和拓扑结构都被用来评价候选匹配路径与GPS轨迹的匹配程度，地理信息评价值用观测可能性来衡量，拓扑结构评价值用传递可能性来衡量。

观测可能性用p_i与的距离来衡量p_i匹配到的概率。定义p_i匹配到的观测可能性为：

式中是p_i与的距离，越小，p_i点匹配到的可能性越大。

传递可能性基于候选匹配路径上相邻两点和的最短路径长度计算得到，计算公式为：

式中，d_i-1→i＝dist(p_i,p_i-1)为p_i-1与p_i之间的欧式距离；w_{(i-1,t)→(i,s)}为和的最短路径长度。

结合观测可能性和传递可能性，的空间分析函数定义为

步骤3：路径匹配

轨迹TR的候选匹配路径组成候选匹配图G′_T(V′_T,E′_T)，V′_T是GPS轨迹点的候选点集合，E′_T是相邻两点之间最短路径的集合，一条候选匹配路径P_c可表示为那么匹配到路径P_c的可能性为：

匹配可能性最高的路径为轨迹TR的最终匹配路径。路径的旅行时间是轨迹点p₁和p_n之间的时间间隔。

2.3基于DBSCAN聚类的偶发性异常识别

交通异常的突出特征是车速减慢或行驶时间增加。仅使用静态信息，例如道路属性和速度限制来确定路段是否处于异常交通状况，不能区分偶发性异常和复发性异常。复发性交通异常通常是由于人类出行需求与道路通行能力供给之间的不平衡关系造成的，短期内难以解决。相反，通过采取适当和及时的对策，可以控制或减轻非预期事件导致的偶发性交通异常。另外，选择路径旅行时间进行异常检测的原因在于，路段级别的交通异常通常是由交通状况的常规变化引起的，而不是由意外交通事件引起的。

用DBSCAN算法对路径的历史旅行时间进行聚类。首先，确定两个输入参数，epsilon(EPS)和MinPts。参数EPS算法用于搜索临近数据点的邻域范围，参数MinPts是eps邻域范围内的最小记录数量。我们使用欧几里得距离来计算两条旅行时间记录t₁和t₂之间的欧几里得距离：

dist(t₁,t₂)＝|t₁-t₂|

每一条路径的旅行时间记录按30分钟的时间间隔进行分组。在此，只考虑拥有超过15条历史记录的路径，并计算组中任意两条记录之间的距离。找到与每条记录最邻近的第4个记录，二者之间的距离称为4-距离。然后对每个组中的4-距离进行概率统计，发现绝大多数数据集的4-距离概率呈指数分布。最后对概率分布进行指数拟合，选取斜率为-1处对应的4-距离作为EPS值。MinPts值则固定取4。

对于每个30min的数据组，计算了最大团簇的平均路径旅行时间<t>和最大团簇的标准差σ。在时间间隔内超过<t>+3σ的路径旅行时间记录被视为异常记录。具有异常旅行时间记录的路径被定义为异常路径。

在搜索区域中定位异常路径的示例在图2中示出。具有检测到的异常路径的搜索区域被定义为异常区域。由于道路网络的高分辨率，考虑通过相同的100m×100m网格序列的路径为相同的路径(如图1路径2和3为相同路径)。因此，搜索区域内的路径由搜索区域内的一系列网格表示。

2.4社交媒体数据偶发性交通异常的定位

以十分钟为一个时间窗，对异常区域内在微博发布时间窗之前和之后分别六个时间窗的GPS记录进行分析。在时间窗口t的搜索区域i的状态可以被描述为：

其中t∈{T-6,…,T,…,T+6}，T是微博发布时间窗。

使用异常指数R和异常矩阵来捕获交通事件引起的时空影响，如下所示。

路段e的异常指数R被定义为：

其中v_e(t)是时间窗t的路段e的平均行驶速度，是路段e在当月所有工作日在时间窗t的平均行驶速度。我们仅计算搜索区域内车速低于月平均值的路段的R值。

异常矩阵被定义为：

A＝{sr_it},sr_it＝SR_i(t)

异常矩阵sr_it的值为SR_i(t)。使用异常矩阵，可以看到一个时间窗口中有多少搜索区域受到影响，以及异常在一个搜索区域中持续多少个时间窗口。异常周期被定义为在搜索区域中首次检测到异常时的开始时间窗到在搜索区域中最后检测到异常时的时间窗的时间间隔。

将所提出的方法应用于一条社交媒体交通数据(表3)。

表3.方法使用效果示例微博

案例1记录了深圳市文锦北路车祸事故造成的交通异常情况，很明显这是一起偶发性交通事件。在案例1中，我们利用道路数据库与微博内容的字符串进行匹配，发现微博内容中包含道路信息“文锦北路”。我们将道路数据库中所有属于“文锦北路”的路段筛选出来，根据前述方法生成了三个搜索区域以覆盖该目标道路。我们将每个搜索区域内的浮动车GPS轨迹点匹配至道路网络上，计算每个搜索区域内的各条路径的旅行时间，通过与每条路径的正常旅行时间进行对比来判断搜索区域内是否存在异常路径，若存在异常路径则说明该交通事件是偶发性交通事件。各个搜索区域在微博发布的前后6个时间窗的异常矩阵如表4所示，可以初步定位出各个时间窗受到该交通事件影响的搜索区域。可以看到，在微博发布前四个时间窗首次发现交通异常。在发布微博消息后三个时间窗内，交通事故的影响仍未完全消除(表4)。进一步地，用上述提到的异常指数的计算方法为每个时间窗的各个搜索区域计算每条路段的异常指数。通过异常指数的大小，可以定位搜索区域内受影响程度最大的路段(图3)。

表4.

以上所述仅为本发明的实施例而已,并不用以限制本发明,凡在本发明精神和原则之内,所作任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种社交媒体数据偶发性交通事件的识别及定位方法，其特征在于，包括以下步骤：

步骤1：获取社交媒体数据与GPS数据；

所述社交媒体数据通过网络爬虫从网络上的社交媒体用户发布的数据中提取的交通路段事故或拥堵信息，包括道路名称、事故时间、地点；

所述GPS数据是利用浮动车载客在道路网格中行驶时的GPS数据；

步骤2：确定偶发性交通事件目标道路，并对目标道路进行划分，获得搜索区域；

将社交媒体数据的内容与道路数据库进行字符串匹配，找出社交媒体数据中包含的道路，作为目标道路；从道路数据库中提取包含所述目标道路的所有路段和路段节点；将目标道路按照路段节点进行划分，得到多个搜索区域；

步骤3：社交媒体数据偶发性交通异常的识别；

将搜索区域内的浮动车历史正常GPS信息和实时GPS信息匹配到道路网格上，得到各路段的历史正常旅行时间和实时旅行时间，若实时旅行时间-历史正常旅行时间大于设定时间阈值，则当前搜索区域存在异常路段，出现偶发性交通异常事件。

2.根据权利要求1所述的方法，其特征在于，获取社交媒体数据发布时间的前后时间窗内的浮动车实时GPS数据，按照步骤3所述方法判断各搜索区域内是否存在路段异常，并计算搜索区域内各路段的异常指数；记录搜索区域在各时间窗内的路段异常矩阵，并依据路段异常指数大小，定位搜索区域内受偶发性交通时间影响最大的路段；在异常矩阵中首个出现异常的时间窗中异常指数最大的路段定位为事件发生地；

异常矩阵定义为：

A＝{sr_it}，sr_it＝SR_i(t)

搜索区域i在时间窗口t的异常情况记为SR_i(t)，

其中，t∈{T-6，...，T，...，T+6}，T是社交媒体数据发布时间；

路段e的异常指数记为R_e，

其中，v_e(t)是浮动车路段e在时间窗t的实时平均行驶速度，是路段e在当月所有工作日在时间窗t的平均行驶速度。

3.根据权利要求1所述的方法，其特征在于，所述搜索区域是通过将所在路段相距超过500m的交叉口作为分界点，以分界点内的所有路段节点中的最大经、纬度和最小经纬、度均向四周扩展100m得到的边界形成的矩形区域。

4.根据权利要求3所述的方法，其特征在于，将搜索区域内的浮动车的GPS信息和实时匹配到道路网格上的具体过程如下：

步骤A：获取GPS数据对应的GPS轨迹的候选匹配路径；

当GPS轨迹中的轨迹点p_i与路段的距离d≤35m时，将加入p_i的候选匹配边集合中，p_i在上的投影则为p_i的第j个候选匹配点，将n个轨迹点相邻两点的候选匹配点两两组合，得到该轨迹的若干条候选匹配路径；

步骤B：结合观测可能性和传递可能性，计算候选匹配路径上相邻两点之间的空间分析函数

其中，表示GPS轨迹上第i-1个轨迹点的第t个匹配点，表示GPS轨迹上第i个轨迹点的第s个匹配点，表示轨迹点p_i匹配到的观测可能性，表示候选匹配路径上相邻两点和之间的传递可能性；d_i-1→i为p_i-1与p_i之间的欧式距离，d_i-1→i＝dist(p_i，p_i-1)；w_{(i-1，t)→(i，s)}为和之间的最短路径长度；n表示GPS轨迹上的轨迹点数量，m为国际单位，米；

步骤C：路径匹配；

GPS轨迹的候选匹配路径组成候选匹配图G′_T(V′_T，E′_T)，V′_T是GPS轨迹点的候选点集合，E′_T是GPS轨迹中相邻两轨迹点之间最短路径的集合，一条候选匹配路径P_c表示为 GPS轨迹匹配到路径P_c的匹配可能性为：

选择匹配可能性最高的路径为GPS轨迹的最终匹配路径。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述设定时间阈值为<t>+3σ，<t>和σ采用DBSCAN算法对匹配路径的历史旅行时间进行聚类获得，表示<t>最大团簇的平均路径旅行时间，σ表示最大团簇的标准差，匹配路径是GPS轨迹匹配路段构成，匹配路径的旅行时间是GPS轨迹点p₁和p_n之间的时间间隔：

步骤a：每一条匹配路径的旅行时间记录按30分钟的时间间隔进行分组，并计算组中任意两条记录之间的距离；

dist(t₁，t₂)＝|t₁-t₂|.

步骤b：找到与每条记录最邻近的第4个记录，二者之间的距离称为4-距离；对每个组中的4-距离进行概率统计，得到4-距离的概率分布；

步骤c：对4-距离的概率分布进行指数拟合，选取斜率为-1处对应的4-距离作为EPS值，MinPts值则固定取4；

步骤d：将EPS和MinPts输入DBSCAN算法，对时间间隔为30min的匹配路径旅行时间数据组进行聚类，并计算最大团簇的平均匹配路径旅行时间<t>和最大团簇的标准差σ。