CN106507315A - 一种基于网络社交媒体数据的城市交通事故预测方法和系统 - Google Patents

Abstract

本发明公开了一种基于网络社交媒体数据的城市交通事故预测方法和系统，其特征在于：1)从网络社交媒体等数据中提取特征；2)对特征进行数据分析，获得特征之间以及特征与交通事故结果之间的关系；3)根据相互关系构建交通事故概率预测方程；4)根据预测发生交通事故的概率，决定是否发布交通事故预警信息；本发明所公开的基于网络社交媒体数据的城市交通事故预测方法和系统，实现简单、计算复杂度低，可以有效减少城市交通事故预测的计算资源开销，不需要任何视频监视设备，仅需要网络社交媒体等在线数据，具有实际应用的优势，提供了精确的城市交通事故发生的位置和概率，同时对是否进行交通事故预警进行了决策性判断。

Description

一种基于网络社交媒体数据的城市交通事故预测方法和系统

技术领域

本发明属于数据挖掘技术领域，特别涉及一种基于网络社交媒体数据的城市交通事故预测方法和系统。

背景技术

机动车辆的交通事故灾难让人们付出了很大的情感和经济上的代价。仅仅在美国，每年有超过3万人死于交通事故。因此，对道路安全和阻止交通事故发生的需求非常广泛。进行准确的交通事故预测有助于减少人员伤亡和财产损失。但是，以往交通事故预测多是基于单纯的历史交通事故数据或道路传感器等物理设备监测数据。其中，基于历史交通事故数据的仿真模型技术，由于缺少对实时交通因素的考虑，具有较差的预测精度等不可避免的缺陷；基于道路传感器等物理设备的监测数据，尤其是交通监视器所提供的车辆运动轨迹视频数据，建立的实时交通事故预测技术，由于监视设备一般只在十字路口，导致其信息缺失较多，难以对城市全局进行监测和预测。此外，物理设备的购买和维护会消耗大量的人力和财力。

近年来，随着网络社交媒体和人们的工作和生活联系越来越密切，其数据能够愈加全面地呈现现实世界中的各类信息。网络社交媒体数据作为一种实时、免费的时空域信息来源，已经被应用到很多领域，这些应用展示出网络社交媒体数据中具有丰富的信息财富。因此，可以利用网络社交媒体数据，尝试探索并解决交通事故预测难题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于网络社交媒体数据的城市交通事故预测方法和系统，从网络社交媒体数据中获得历史的天气、交通、季节、时间等特征，通过统计海量历史交通事故数据获得地理位置区块的威胁程度特征；分析这5项特征和交通事故结果的关系，构建概率图；通过概率图模型构建预测方程，对出现的实时交通状况计算发生交通事故的概率，并且对该地点是否发出交通事故预警做出准确判断，从而达到准确预测并节省人力和财力的目的。本发明不仅考虑了历史交通事故数据，同时也考虑了来自网络社交媒体的实时交通相关数据，来自网络社交媒体的数据，具有获取成本低、信息内容丰富、地理位置覆盖全面等优点，使得本申请与传统的方法和系统相比，具有明显优势。

为了实现上述目的，本发明采用的技术方案是：

一种基于社交媒体的交通事故预测方法，其特征在于，包括：

步骤1，以网络社交媒体历史数据为数据源，从其中的历史天气数据中提取历史天气信息，并提取历史天气特征，从其中的历史交通数据中提取历史交通信息、历史季节信息、历史时间信息、历史地理位置信息，并分别依次提取历史交通特征、历史季节特征、历史时间特征、历史地理位置特征：

步骤1.1，从历史天气数据中进行历史天气特征提取，将天气特征的取值范围分为冻雨、霾、雪、晴天、阴天、少云、雨夹雪、雾、多云，表示为W＝{mixed snow and sleet,haze,snow,fair,cloudy,partly cloudy,light snow showers,fog,mostly cloudy}；

步骤1.2，从历史交通数据中进行历史交通特征提取，将交通特征的取值范围分为封路、突发事件、道路维修、特殊事件和一般信息5类，表示为T_r＝{closure,incident,maintenance,special event,general information}；

步骤1.3，从历史交通数据中进行历史季节特征提取，将季节特征的取值范围分为春、夏、秋、冬4类，表示为S＝{spring,summer,autumn,winter}；

步骤1.4，从历史交通数据中进行历史时间特征提取，将时间特征的取值范围分为0时至23时共24个小时，表示为T_i＝{0,1,2,..,23}；

步骤1.5，从历史交通数据中进行历史地理位置特征提取，对城市地理平面按照100米*100米的网格进行划分，对于得到的不同地理区块位置，赋予一一对应的标号；

步骤2，以交通事故信息发布网站历史数据为数据源，从其中的历史交通事故数据中提取历史交通事故信息，并得到历史交通事故结果和交通事故威胁程度特征：

步骤2.1，从历史交通事故数据中进行历史交通事故结果提取，将交通事故结果的取值范围分为是、否，表示为C＝{yes,no}；

步骤2.2，对历史交通事故的发生位置和事故次数进行统计分析，并进行每个地理位置区块的交通事故威胁程度特征提取，将交通事故威胁程度特征的取值范围分为低、中、高3个级别，表示为D＝{low,middle,high}；

步骤3，根据地理区块标号和事故发生时间，关联分析步骤1中得到的5项特征、步骤2中得到的历史交通事故结果和地理区块的交通事故威胁程度特征，得到特征向量F＝(W,T_r,S,T_i,D,C)中的各项特征，并以其表示单次历史交通事故，从所有历史交通事故的特征向量集合中随机采样得到特征数据，根据得到的特征样本集合搜索好的概率图模型，根据概率图代表的因果关系和采样数据，建立概率预测方程：

步骤3.1，根据单次交通事故发生的时间和地理区块，将事故发生时间时的天气特征W、季节特征S、时间特征T_i与之关联，将距离事故发生时间30分钟以内、相邻地理区块内的交通特征T_r与之关联，将事故发生所在地理区块的交通事故威胁程度特征D与之关联，从而得到单次历史交通事故的特征向量F中的各项特征取值；

步骤3.2，从所有历史交通事故的特征向量集合中随机采样得到L条特征数据，根据先验知识和初步分析的因果关系，构建初始化概率图G₀；

步骤3.3，添加一个能够使预测结果变好最多的边E到G₀；

步骤3.4，重复步骤3.3，直至预测结果不再变好，此时的概率图记作为G₁；

步骤3.5，从概率图G₁中移除一条能够使得预测结果变好最多的边E；

步骤3.6，重复步骤3.5，直至预测结果不再变好；

步骤3.7，从通过步骤3.2至步骤3.6得到的所有概率图中，选取结果最好的k个，记作G_s；

步骤3.8，根据概率图代表的因果关系和采样数据，将概率图G_a分解为一个子节点和它的父节点组成的子图，计算每个子图条件概率的取值对应的概率P(x|p_a)，构建预测方程，对于每一组特征X＝{x₁,x₂,...,x_s}，将该特征赋值到概率图G，从而得到该特征出现的因式分解形式的概率为P_a＝P(x₁|P_a1)…P(x_s|p_as)；

步骤3.9，重复步骤3.8，求出每个概率图对应的预测方程，对每一个预测方程进行加权获得最终预测方程P＝w₁P₁,w₂P₂,...,w_bP_b；

步骤4，获取网络社交媒体网站的实时数据，从其中的实时天气数据中提取实时天气特征，从其中的实时交通数据中提取实时交通特征、实时季节特征、实时时间特征、实时地理位置区块，各项特征提取方法与步骤1和步骤2相同；

步骤5，根据步骤3中得到的概率预测模型，结合步骤4中得到的5项实时特征，计算各个地理区块实时发生交通事故的概率，对是否发出交通事故警告做出决策。

步骤5.1，获取社会媒体数据，提取对应的5个特征，将该组特征与是否发生交通事故组成2组特征；

步骤5.2，通过预测方程获得含有发生交通事故特征组出现的概率为P_y，含有不发生交通事故特征组出现的概率是P_n；

步骤5.3，计算在该交通状况、天气状况、季节状况、时间状况及地点位置危险程度下，发生交通事故的概率P(C＝yes|T_r,W,S,T_i,D)＝P_y/(P_y+P_n)；

步骤5.4，基于计算得到的发生交通事故的概率，设定预警的概率阈值，对是否发出交通事故预警做出决策。

进一步，本发明网络社交媒体是指，例如微博、Facebook、twitter等在线社会网络中，用户发表的文字、图片和视频等内容。

进一步，概率图数量k，取值为自然数，其范围是[1,5]，L是采样数据量，一般取值为1000。

进一步，概率图G_a中的a是概率图编号，取值为自然数，其范围是[1,k]，k为选取的概率图的总数。

进一步，变量x是概率图中的一个节点取值变量，P_a是其父节点的取值变量。

进一步，概率P_a中变量a是对应概率图编号，取值为自然数，其范围是[1,k]，k为选取的概率图的总数，x_s和p_as变量s是节点和对应其父节点编号，为自然数，取值范围是[1,n]，n是概率图中节点的数量。

进一步，权重w_b和概率P_b中的变量b是预测方程编号，取值为自然数，其范围是[1,k]。

进一步，预警的概率阈值可由人工设定，也可通过随机森林算法等机器学习模型得到。

本发明还提供了一种基于网络社交媒体数据的城市交通事故预测系统，包括数据获取模块、特征提取模块、预测模块、警告和可视化模块四个模块，可分析出城市车辆交通事故发生的位置和概率，通过警告决策和可视化展示对用户发出警告，包括：

数据获取模块，从微博、Facebook、Twitter等社交媒体网站获取网络社会媒体数据，包括网络社交媒体站点中的文本、图像和视频数据，并从交通警察部门开办和管理的交通事故信息发布网站获取历史交通事故数据，包括交通事故信息发布网站中的交通事故相关数据，包括交通事故发生的时间、地理位置、事故类型和严重程度数据；

特征提取模块，从网络社交媒体数据中提取与交通事故相关的天气特征、交通特征、季节特征、时间特征、地理位置区块的历史与实时取值，从历史交通事故数据中，提取历史交通事故结果和地理位置区块的交通事故威胁程度特征；

预测模块，基于特征提取模块得到的各项特征与历史交通事故结果的关系，建立交通事故的概率预测模型，计算城市各个地理位置的交通事故发生概率；

警告和可视化模块，根据预测模块中得到的交通事故发生概率，对是否发出交通事故预警做出自动决策，并且对城市各个地理位置的危险程度进行可视化呈现。

与现有技术相比，本发明的有益效果是：

1.在交通事故预测过程中，只需要网络社交媒体数据和历史交通事故数据，不需要其他物理传感器设备，从而该方法具有很低的人力和财力的花销。

2.概率图模型的自身特性决定该算法简单容易实现，同时具有低的时间复杂度，降低了计算开销。

3.在交通事故预测过程中，对于影响交通事故的5项特征用概率图表示它们的因果关系，同时对一个位置是否会发生交通事故的威胁程度进行了定量的分析。

附图说明

图1是本发明的基于网络社交媒体数据的城市交通事故预测方法框图。

图2是本发明的基于网络社交媒体数据的城市交通事故预测系统框架图。

图3是网络社交媒体数据实例。

图4是历史交通事故数据记录实例。

图5是交通状况数据的语意结构示意图。

图6是天气数据的结构示意图。

图7是概率图初始化结构以及其他5个搜索到的概率图模型

图8是实时预测结果的可视化结果。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明中的方法将分为离线建模和在线预测两部分说明，具体包括数据获取过程、特征提取过程、概率图模型建立过程，在线交通事故预测过程。图1是本发明的基于网络社交媒体数据的城市交通事故预测方法框图。本发明中的系统以框图形式予以说明。图2是本发明的基于网络社交媒体数据的城市交通事故预测系统框架图。

数据获取过程

图3是网络社交媒体数据实例。图4是历史交通事故数据记录实例。数据获取具体过程如下：

(1)通过网页爬虫技术，从特定交通信息公共账号用户，例如用户@511NYC，每隔15分钟爬取一次实时交通数据；

(2)通过下载技术，通过交通警察部门公布的交通事故数据，下载所需数据。

特征提取过程

通过语义分析和关键词提取等技术，对网络社交媒体中的交通数据、天气数据进行特征提取。通过对历史交通事故数据处理，统计区块的交通事故威胁程度特征。图5是交通状况数据的语义结构示意图。图6是天气数据的结构示意图。具体特征提取过程如下：

(1)一条交通状况数据“Incident on#LincolnTunnel EB at New York Side-Center Tube https://511ny.org/EventDetails/...”，发生时间为2016/1/5 15:13:30，按照语义分析，将该数据分为事件event：Incident，街道street：LincolnTunnel EB，地点location：New York Side-Center Tube，时间详情网址event detail website：https://511ny.org/EventDetails/...，根据发生时间提取时间特征为15，季节特征通过月份判断为冬季winter，因此交通特征、时间特征、季节特征提取完毕；

(2)一条天气状况数据为“current weather in New York:cloudy,39^oF,38％humidity,wind 12mph,visibility,10mi,pressure,30.04in falling.”通过关键词分析，提取相关天气因素，天气状况weather:cloudy,气温temperature：39，湿度humility：38％，风速wind：12mph，能见度visibility：10mi，气压pressure：30.04，气压趋势pressuretrend：下降，因此获取全部天气特征；

(3)一条交通事故记录为02/23/2016 10:08MANHATTAN 10003

40.731659-73.9854447，包括时间、地点、区号和地理坐标，对地理坐标进行统计，表示为counter(40.731659,-73.9854447)＝1,如果该位置再次出现，则变为2，以此累加，获取地理位置区块的交通事故次数；

(4)利用k-means聚类方法，对交通事故次数进行聚类分为三类{low,middle,high}。

概率图模型建立过程

图7是概率图初始化结构以及其他5个搜索到的概率图模型。具体建立过程如下：

(1)分析天气特征W、交通特征T_r、时间特征T_i、季节特征S、地理位置区块的交通事故威胁程度特征D和交通事故结果C之间的关系，建立初始化概率图，如图7(a)所示；

(2)尝试添加一条能使得结果变得最好的边，最终得到的结果是7(b)，添加边为(W,T_r)；

(3)重复(2)，直到结果不再变好，其中得到的结果包括7(c)和7(d)，添加的边依次是(S,T_r)和(D,T_r)；

(4)尝试移除一条存在目前结果最好的概率图中7(d)使得结果变化最多，得到结果是7(e)，移除的边是(W,C)；

(5)重复(4)，寻找使得结果变得最好的移除边是(T_i,D)，得到的概率图结果是7(f)。

在线交通事故预测过程

侦测在线社会网络中的网络社交媒体数据，通过概率图和对应的预测方程预测该位置发生交通事故的概率。以交通特征T_r＝incident、天气特征W＝{fair,26,39,0,10,30.59,steady}、交通事故威胁程度特征D＝danger、季节特征S＝winter、时间特征T_i＝8、概率图取图7(a)为例，令C₁＝yes代表交通事故发生，C₂＝no代表交通事故不发生，预测过程如下：

(1)计算每个子图的条件概率，P(T_i)＝0.4，P(S)＝0.24，P(D|T_i)＝0.2，P(D|S)＝0.42，P(W)＝0.65，P(T_r)＝0.55，P(C₁|D,W,T_r)＝0.32，P(C₂|D,W,T_r)＝0.1；

(2)根据子图的条件概率和预测方程定义，求得P₁(T_r,W,D,T_i,S,C₁)＝9.23*10^-4，P₂(T_r,W,D,T_i,S,C₂)＝2.88*10^-4；

(3)计算P(C₁|T_r,W,D,T_i,S)＝P₁/(P₁+P₂)＝0.76，该概率为该位置发生交通事故的概率；

(4)通过随机森林决策，对该位置决定是否发出交通事故预警。

表1是该方法的评估指标，准确率(precision)代表了做出的预测中正确预测的比例，召回率(recall)代表了发现事件的比例，F值(F-measure)是准确率和召回率的调和平均。

准确率(Precision)	召回率(Recall)	F值(Fmeasure)
			0.737	0.739	0.738

图8是以美国纽约市为例的实时预测结果的可视化结果，每个被标识出的位置为未来半小时将有较大概率发生交通事故的位置。

Claims (10)

1.一种基于网络社交媒体数据的城市交通事故预测方法，其特征在于，包括：

步骤1，以网络社交媒体网站历史数据为数据源，从其中的历史天气数据中提取历史天气特征，从其中的历史交通数据中提取历史交通特征、历史季节特征、历史时间特征、历史地理位置区块；

步骤2，以交通事故信息发布网站历史数据为数据源，从其中的历史交通事故数据中提取历史交通事故结果，并提取地理位置区块的交通事故威胁程度特征；

步骤3，根据地理位置区块标号和事故发生时间，关联分析步骤1中得到的5项特征、步骤2中得到的历史交通事故结果和地理位置区块的交通事故威胁程度特征，得到交通事故特征向量F＝(W,T_r,S,T_i,D,C)中的各项特征，其中，W表示天气特征，T_r表示交通特征，S表示季节特征，T_i表示时间特征，D表示地理位置区块对应的交通事故威胁程度特征，C表示交通事故结果，以F表示单次历史交通事故，从所有历史交通事故的特征向量集合中随机采样得到特征数据，根据得到的特征样本集合搜索预测结果最好的概率图模型，根据概率图代表的因果关系和采样数据，建立概率预测方程；

步骤4，获取网络社交媒体网站的实时数据，从其中的实时天气数据中提取实时天气特征，从其中的实时交通数据中提取实时交通特征、实时季节特征、实时时间特征、实时地理位置区块；

步骤5，根据步骤3中得到的概率预测方程，结合步骤4中得到的5项实时特征和步骤2中得到的地理位置区块的交通事故威胁程度特征，计算各个地理位置实时发生交通事故的概率，对是否发出交通事故警告做出决策。

2.根据权利要求1所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，所述步骤1和步骤4中，网络社交媒体网站历史数据和实时数据是指网络社交媒体网站中的包含文本、图像和视频在内的内容的历史数据和实时数据。

3.根据权利要求1所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，所述步骤1和步骤4中，特征提取包括：

(1)从历史天气数据中进行历史天气特征提取，将天气特征的取值范围分为冻雨、霾、雪、晴天、阴天、少云、雨夹雪、雾、多云，表示为W＝{mixed snow and sleet,haze,snow,fair,cloudy,partly cloudy,light snow showers,fog,mostly cloudy}；

(2)从历史交通数据中进行历史交通特征提取，将交通特征的取值范围分为封路、突发事件、道路维修、特殊事件和一般信息5类，表示为T_r＝{closure,incident,maintenance,special event,general information}；

(3)从历史交通数据中进行历史季节特征提取，将季节特征的取值范围分为春、夏、秋、冬4类，表示为S＝{spring,summer,autumn,winter}；

(4)从历史交通数据中进行历史时间特征提取，将时间特征的取值范围分为0时至23时共24个小时，表示为T_i＝{0,1,2,..,23}；

(5)从历史交通数据中进行历史地理位置特征提取，对城市地理平面按照100米*100米的网格进行划分，对于得到的不同地理区块位置，赋予一一对应的标号。

4.根据权利要求1所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，所述步骤2中，交通事故信息发布网站是指由交通警察部门开办和管理的交通事故信息发布网站，所述历史交通事故数据是指交通事故信息发布网站中的交通事故相关数据，包括交通事故发生的时间、地理位置、事故类型和严重程度数据。

5.根据权利要求1所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，所述步骤2中，特征提取包括：

(1)从历史交通事故数据中进行历史交通事故结果提取，将交通事故结果的取值范围分为是、否，表示为C＝{yes,no}；

(2)对历史交通事故的发生位置和事故次数进行统计分析，并进行每个地理位置区块的交通事故威胁程度特征提取，将交通事故威胁程度特征的取值范围分为低、中、高3个级别，表示为D＝{low,middle,high}。

6.根据权利要求1所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，所述步骤3具体包括：

步骤3.1，根据单次交通事故发生的时间和地理位置区块，将事故发生时间时的天气特征W、季节特征S、时间特征T_i与之关联，将距离事故发生时间30分钟以内、相邻地理位置区块内的交通特征T_r与之关联，将事故发生所在地理位置区块的交通事故威胁程度特征D与之关联，从而得到单次历史交通事故的特征向量F中的各项特征取值；

步骤3.2，从所有历史交通事故的特征向量集合中随机采样得到L条特征数据，根据先验知识和初步分析的因果关系，构建初始化概率图G₀；

步骤3.3，添加一个能够使预测结果变好最多的边E到G₀；

步骤3.4，重复步骤3.3，直至预测结果不再变好，此时的概率图记作为G₁；

步骤3.5，从概率图G₁中移除一条能够使得预测结果变好最多的边E；

步骤3.6，重复步骤3.5，直至预测结果不再变好；

步骤3.7，从通过步骤3.2至步骤3.6得到的所有概率图中，选取结果最好的k个，记作G_s；

步骤3.8，根据概率图代表的因果关系和采样数据，将概率图G_a分解为一个子节点和它的父节点组成的子图，计算每个子图条件概率的取值对应的概率P(x|p_a)，构建预测方程，对于每一组特征X＝{x₁,x₂,...,x_s}，将该特征赋值到概率图G，从而得到该特征出现的因式分解形式的概率为P_a＝P(x₁|P_a1)…P(x_s|p_as)；

步骤3.9，重复步骤3.8，求出每个概率图对应的预测方程，对每一个预测方程进行加权获得最终预测方程P＝w₁P₁,w₂P₂,...,w_bP_b。

7.根据权利要求6所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，所述概率图数量k，取值为自然数，其范围是[1,5]，L是采样数据量，取值为1000，概率图G_a中的a是概率图编号，取值为自然数，其范围是[1,k]，变量x是概率图中的一个节点取值变量，P_a是其父节点的取值变量，概率P_a中变量a是对应概率图编号，取值为自然数，其范围是[1,k]，x_s和p_as变量s是节点和对应其父节点编号，为自然数，取值范围是[1,n]，n是概率图中节点的数量，权重w_b和概率P_b中的变量b是预测方程编号，取值为自然数，其范围是[1,k]。

8.根据权利要求1所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，所述步骤5具体包括：

步骤5.1，获取社会媒体数据，提取对应的5个特征，将该组特征与是否发生交通事故组成2组特征；

步骤5.2，通过预测方程获得含有发生交通事故特征组出现的概率为P_y，含有不发生交通事故特征组出现的概率是P_n；

步骤5.3，计算在该交通状况、天气状况、季节状况、时间状况及地点位置危险程度下，发生交通事故的概率P(C＝yes|T_r,W,S,T_i,D)＝P_y/(P_y+P_n)；

步骤5.4，基于计算得到的发生交通事故的概率，设定预警的概率阈值，对是否发出交通事故预警做出决策。

9.根据权利要求8所述基于网络社交媒体数据的城市交通事故预测方法，其特征在于，预警的概率阈值由人工设定，或通过机器学习模型得到。

10.一种基于网络社交媒体数据的城市交通事故预测系统，包括数据获取模块、特征提取模块、预测模块、警告和可视化模块四个模块，可分析出城市车辆交通事故发生的位置和概率，通过警告决策和可视化展示对用户发出警告，其特征在于，包括：

数据获取模块，从网络社会媒体站点获取网络社会媒体数据，从交通事故信息发布网站获取历史交通事故数据；

特征提取模块，从网络社交媒体数据中提取与交通事故相关的天气特征、交通特征、季节特征、时间特征、地理位置区块的历史与实时取值，从历史交通事故数据中，提取历史交通事故结果和地理位置区块的交通事故威胁程度特征的取值；

预测模块，基于特征提取模块得到的各项特征与历史交通事故结果，关联获得交通事故的特征向量，采用交通事故的概率预测方程，计算城市各个地理位置的交通事故发生概率；

警告和可视化模块，根据预测模块中得到的交通事故发生概率，对是否发出交通事故预警做出自动决策，并且对城市各个地理位置区块的交通事故威胁程度进行可视化呈现。