CN109147322A - 一种城市交通大数据处理中多源数据自适应融合方法 - Google Patents
一种城市交通大数据处理中多源数据自适应融合方法 Download PDFInfo
- Publication number
- CN109147322A CN109147322A CN201810982988.4A CN201810982988A CN109147322A CN 109147322 A CN109147322 A CN 109147322A CN 201810982988 A CN201810982988 A CN 201810982988A CN 109147322 A CN109147322 A CN 109147322A
- Authority
- CN
- China
- Prior art keywords
- data
- fusion
- source
- confidence
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种城市交通大数据处理中多源数据自适应融合方法,针对城市路道路交通流数据种类繁杂且质量参差不齐的特点,结合城市道路交通流数据置信分析,实现对路网中多源交通流特征参数的融合。根据城市中实时产生大量的低精度数据,实行动态数据融合,为后期指标计算与管控决策提供了高精度数据保障;根据城市路网中各路口和路段的实时多源检测数据与其置信张量,利用证据理论确定最优融合组合,再以各数据源数据的置信张量加权求解数据融合结果。本发明能对城市交通大数据处理中多源数据进行有效的融合,自适应实时数据融合的精度高于一般数据处理方法,对获取高质量数据提供了有效的计算方法。
Description
技术领域
本发明涉及智能交通系统领域,尤其涉及一种城市交通大数据处理中多源数据自适应融合方法。
背景技术
近年来智能交通系统引发了大量研究人员的关注。智能交通系统作为一项综合应用产品,其涉及技术包括了信息技术、通信技术、控制技术、计算机技术、感知技术等等。另一方面,科技进步带来的是交通数据种类的增加,城市道路中出现的交通流检测设备也日趋多样。然而,数据驱动的智能交通系统受限于已有城市道路交通数据的数据质量,质量参差不齐的多源交通数据可能将会对后期交通信号管控产生灾难性的影响。
作为大数据背景下实现交通精确管控的一个必要前提,城市交通大数据中数据融合方法设计的好坏将极大程度影响着后期决策算法的输入数据质量。因此设计高效的数据融合方法是提高数据质量,精简交通数据的重点。
在涌现海量多源交通数据的现代城市路网中,同一交通流特征参数可由大量不同的检测器设备检测、提取得到(如指定时间段内平均车速可由微波检测器、路段卡口、当前路段经过车辆的GPS检测器等等检测得到),同时将多源数据直接进行应用是非常困难的,因为表示同一含义的多源交通数据的质量参差不齐,而直接断章取义地选用置信度最高的某一数据仍受当前检测器自身因素的影响。因此需要将多源数据进行数据融合操作,数据融合方法根据各数据源的置信程度自适应选用最优数据组合方式进行融合,即在交通大数据分析处理是需要进行数据融合。
作为大数据背景下各类指标及后续交通管控的前提,多源数据自适应融合方法有以下特点:1.若原始多源数据在数据重构后提取能产生相同的交通特征参数,则应将它们分在同一融合集内以采用同一融合框架进行融合;2.需要判断将每一数据源加入融合队列是否有助于提高融合精度;3.需要考虑各个数据源具有的置信张量,使高置信程度的数据在数据融合中占较高比重,低置信程度的数据在数据融合中占较低比重,提高数据融合后的准确度。
国内外对交通大数据的分析处理已有研究成果,在ITS系统中,将多种传感器采集到的交通信息进行整合的子模块就是数据融合。其数据融合主要实现消除裁量数据中不确定内容与提高数据精度的作用。北京交通大学邱奉翠从城市快速路和主干道不同交通特性出发,结合遗传算法与BP神经网路模型建立数据融合模型并对不同路面特征细化多个子模型进行数据融合。但是上述研究中共建立了21个模型,各模型的普适性低,同时研究中作为对照的真值是采用卡口相机识别的交通流参数,该值仍受采集设备自身因素与环境条件影响产生误差,因此会影响最终数据融合的精度。
发明内容
本发明要克服上述的不足之处,提供一种城市道路交通大数据背景下的多源检测器数据自适应融合方法,本方法根据城市内实时推送的各路口、路段多源检测数据以及车辆的GPS数据,自动分析并处理数据置信张量。可及时准确获取融合数据源组合,并有利于提高在低质量、高错误率情况下交通数据的准确程度。
本发明是通过以下技术方案达到上述目的:一种城市交通大数据处理中多源数据自适应融合方法,包括如下步骤:
(1)根据路口及路段的各数据源自身误差、实时环境因素计算试试多源数据的置信张量,具体包括数据为真的概率,数据为假的概率以及其不确定率;
(2)定义数据融合的识别框架与框架内元素个数;
(3)计算识别框架内各模式的组合方式;
(4)计算各数据源的所有组合方式;
(5)依次选取一组未知置信融合结果的组合,采取Dempster合成规则计算融合后数据的置信结果:
(6)重复步骤(5)直至无未知置信融合结果的组合;
(7)若满足与且同时满足给定的判定规则,则X1是最终数据融合的组合结果,进入步骤(8)。若无组合满足上式,则表示所有组合均无法进行数据融合,融合结束;
(8)根据所选组合按置信程度加权计算最终的融合结果。
作为优选,所述步骤(2)中识别框架Θ定义如下:
Θ={Pa,Pe,Pu} (1)
其中,Pa表示数据为真的情况,Pe表示数据为假的情况,Pu表示数据的不确定程度。
作为优选,所述步骤(2)中识别框架内模式的个数nΘ定义如下:
nΘ=card(Θ) (2)
作为优选,所述步骤(5)中Dempster合成规则公式如下:
其中ms(pk)是数据源s的在模式pk下的基本概率赋值,s∈Xi;为组合方式xi在在模式pj下的基本概率赋值;
作为优选,所述步骤(7)中判定规则如下:
其中ε1和ε2为人为定义的阈值;
作为优选,所述步骤(8)中数据以置信程度加权融合的计算方法如下:
其中n表示所选组合中元素的个数;pa,x为数据源i的正确率;pe,x为数据源i的错误率;pu,x为数据源i的不确定率;为数据源i的数值。
本发明的有益效果在于:(1)本方法结合数据自身具有的置信张量与证据理论方法,可以量化求解出融合后数据的置信度,弥补了先前研究在融合后数置信度计算方面的空白;(2)能动态选择最优组合进行数据融合,大多数据融合方法的融合数据源种类是恒定不变的,而在交通领域中各交通检测设备经常受环境因素等影响不可避免地会出现异常情况,因此能自适应求解最优组合能大幅提高融合后数据精度。
附图说明
图1是本发明的方法流程图。
图2是本发明的路段多源数据提取示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此:
实施例:如图2所示,一条由前后两个交叉口分隔开的道路中,每个方向都有大量检测手段用于检测所需的多源交通量:路口与路段中央的卡口检测器、安装于出租车内的GPS发信器、使用地图运营商相关软硬件设备等。将任意两个路口之间的道路称为一个路段,一般一个路段具有两个主要的流向(也有可能只有一个流向),记为从路口X至路口Y流向的有向路段。而在地图中表示时,一般将每个路段更进一步划分成一系列由折线段组成的矢量图形,如图1中link1,link2,…所示。以图1中路口b至路口a流向的有向路段为例,先假设当前有向路段可以提取得到多源数据,其中每一个大写字母表示的车都代表被某一检测设备检测的同一类车辆:A类型车辆被卡口检测器检测得到;B类型车辆为出租车,会定时上传其自身的GPS数据;C类型车辆为使用导航设备的车辆,地图运营商将会收集使用者的数据;除此之外,D、E、F均为被其他不同检测器检测的车辆。在以下步骤中以卡口、出租车GPS、地图运营商数据折算得到的单向路段速度这一交通量为例(此时vGPS=51,vcamera=45,vmap=58)进行多源数据融合:
一种城市交通大数据处理中多源数据自适应融合方法:根据有限时间段(一般为5min)内实时提取的多源交通流参数与其置信度,动态计算数据的置信张量,然后采用证据理论思想结合所的出的置信张量自适应求解不同组合下的数据置信程度,依据置信判别规则识别出最优待融合数据源的组合,最后再结合数据的置信张量进行数据融合,如图1,本发明的方法步骤如下:
1)通过定义及计算各数据源数据的置信张量:
首先计算数据为假的概率Pe:
Pe=Ed·γ
式中,Ed表示当前数据源对应检测设备的绝对误差;γ为环境影响因子。
然后计算数据为真的概率Pc:
Pc=Fori-Pe
式中,Fori表示数据提取时获取的置信初值。
最后构建数据的置信张量:
{Pc,Pe,Pu}
式中,Pu=1-Pc-Pe。
如下表1所示,数据mi表示第i个数据源在指定时刻确定的基本置信张量。
表1三种不同数据源数据的置信张量
可判断:当Pc较大时,表示当前数据更倾向于准确;当Pe较大时,表示当前数据质量较低,应考虑舍弃或后续进一步进行融合;当Pu较大时,表示数据具有较大的不确定性,需通过数据融合降低其不确定程度。
2)定义数据融合的识别框架:
Θ={pa,pe,pu} (1)
在识别框架中,目标模式的个数nΘ=3。
3)计算各目标模式的组合方式pj,j=1,2,…,7,同时令在这里p={{pc},{pe},{pu},{pc,pe},{pc,pu},{pe,pu},{pc,pe,pu}};
4)计算各数据源的组合方式Xi,i=1,2,…,7,同时令在这里X={{高},{卡},{GPS},{高,卡},{高,GPS},{卡,GPS},{高,卡,GPS}};
5)将各组合方式Xi构成一个有序键值对数组。其中按组合内元素个数由少至多排序。其组合方式为键值对的key。其值表示该组合方式融合后置信张量是否已知,若已知则标记True,反之为False。计算未知融合结果(值为False)组合的预估置信张量,采用式(3)进行置信计算。同时将该组合对应键值对中的值标记为True;
6)循环搜索数组中下一值为False的组合,重复Step3操作,直至数组中所有键值对的值为True。最终所有组合的置信融合结果如表2所示:
表2组合结果融合的置信张量
正确率 | 错误率 | 不确定率 | |
高 | 0.700 | 0.200 | 0.10 |
卡 | 0.450 | 0.050 | 0.50 |
GPS | 0.500 | 0.10 | 0.40 |
高,卡 | 0.840 | 0.027 | 0.133 |
高,GPS | 0.854 | 0.049 | 0.097 |
卡,GPS | 0.523 | 0.012 | 0.465 |
高,卡,GPS | 0.882 | 0.006 | 0.012 |
7)利用如下规则进行置信决策:
利用基本置信概率赋值的决策方法,选取门限ε1=0.5,ε2=0.1,可以得到x1={高,卡,GPS},x2={高},最终决策结果为将三种数据均参与融合;
8)将组合内多源数据按各数据的置信张量进行融合,根据式(5)可以计算得到融合结果v=53.09km/h。
通过以上方法,最终可以得到一个在路口b至路口a流向的有向路段上实时5min时间间隔内由卡口、出租车GPS、地图运营商数据融合的平均速度及量化判别数据置信程度的置信张量。基于置信张量的证据推理方法可以准确描述数据及融合数据的置信程度,也大大降低了判断的不确定性,并作出较好的决策,得到高精度同类型数据。
以上的所述乃是本发明的具体实施例及所运用的技术原理,若依本发明的构想所作的改变,其所产生的功能作用仍未超出说明书及附图所涵盖的精神时,仍应属本发明的保护范围。
Claims (1)
1.一种城市交通大数据处理中多源数据自适应融合方法,包括如下步骤:
(1)根据路口及路段的各数据源自身误差、实时环境因素计算试试多源数据的置信张量,具体包括数据为真的概率,数据为假的概率以及其不确定率;
(2)定义数据融合的识别框架与框架内元素个数,识别框架定义Θ如下:
Θ={Pa,Pe,Pu} (1)
其中,Pa表示数据为真的情况,Pe表示数据为假的情况,Pu表示数据的不确定程度;
识别框架内模式的个数nΘ定义如下:
nΘ=card(Θ) (2)
(3)计算识别框架内各模式的组合方式;
(4)计算各数据源的所有组合方式;
(5)依次选取一组未知置信融合结果的组合,采取Dempster合成规则计算融合后数据的置信结果:
Dempster合成规则公式如下:
其中ms(pk)是数据源s的在模式pk下的基本概率赋值,s∈Xi;为组合方式xi在在模式pj下的基本概率赋值;
(6)重复步骤(5)直至无未知置信融合结果的组合;
(7)若满足与且同时满足给定的判定规则,则X1是最终数据融合的组合结果,进入步骤(8);若无组合满足上式,则表示所有组合均无法进行数据融合,融合结束;判定规则如下:
其中ε1和ε2为人为定义的阈值;
(8)根据所选组合按置信程度加权计算最终的融合结果;数据以置信程度加权融合的计算方法如下:
其中n表示所选组合中元素的个数;pa,x为数据源i的正确率;pe,x为数据源i的错误率;pu,x为数据源i的不确定率;为数据源i的数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810982988.4A CN109147322B (zh) | 2018-08-27 | 2018-08-27 | 一种城市交通大数据处理中多源数据自适应融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810982988.4A CN109147322B (zh) | 2018-08-27 | 2018-08-27 | 一种城市交通大数据处理中多源数据自适应融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109147322A true CN109147322A (zh) | 2019-01-04 |
CN109147322B CN109147322B (zh) | 2020-06-23 |
Family
ID=64828470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810982988.4A Active CN109147322B (zh) | 2018-08-27 | 2018-08-27 | 一种城市交通大数据处理中多源数据自适应融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109147322B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111435450A (zh) * | 2019-01-11 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 一种道路数据处理方法及其装置 |
CN113706871A (zh) * | 2021-09-13 | 2021-11-26 | 中交第一公路勘察设计研究院有限公司 | 一种城市交通大数据处理中多源数据融合系统 |
CN116846893A (zh) * | 2023-09-01 | 2023-10-03 | 北京钱安德胜科技有限公司 | 一种面向车路协同自动驾驶交通大数据校验方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030191610A1 (en) * | 2002-03-26 | 2003-10-09 | Hai-Wen Chen | Method and system for multi-sensor data fusion using a modified dempster-shafer theory |
CN101216998A (zh) * | 2008-01-11 | 2008-07-09 | 浙江工业大学 | 基于模糊粗糙集的证据理论城市交通流信息融合方法 |
CN101441718A (zh) * | 2008-12-19 | 2009-05-27 | 福建三元达通讯股份有限公司 | 传感器信息融合装置及其方法 |
KR101352846B1 (ko) * | 2013-07-19 | 2014-01-20 | (주)에스티씨 | 확률 이론에 기반하는 다중 센서 데이터 융합 방법을 이용한 상황 추론 시스템 및 방법 |
CN108280442A (zh) * | 2018-02-10 | 2018-07-13 | 西安交通大学 | 一种基于轨迹匹配的多源目标融合方法 |
-
2018
- 2018-08-27 CN CN201810982988.4A patent/CN109147322B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030191610A1 (en) * | 2002-03-26 | 2003-10-09 | Hai-Wen Chen | Method and system for multi-sensor data fusion using a modified dempster-shafer theory |
CN101216998A (zh) * | 2008-01-11 | 2008-07-09 | 浙江工业大学 | 基于模糊粗糙集的证据理论城市交通流信息融合方法 |
CN101441718A (zh) * | 2008-12-19 | 2009-05-27 | 福建三元达通讯股份有限公司 | 传感器信息融合装置及其方法 |
KR101352846B1 (ko) * | 2013-07-19 | 2014-01-20 | (주)에스티씨 | 확률 이론에 기반하는 다중 센서 데이터 융합 방법을 이용한 상황 추론 시스템 및 방법 |
CN108280442A (zh) * | 2018-02-10 | 2018-07-13 | 西安交通大学 | 一种基于轨迹匹配的多源目标融合方法 |
Non-Patent Citations (8)
Title |
---|
LINGQIANG LIANG: "A reliability data fusion method based on improved D-S evidence theory", 《2016 11TH INTERNATIONAL CONFERENCE ON RELIABILITY, MAINTAINABILITY AND SAFETY (ICRMS)》 * |
TAN DERONG: "Fault diagnosis for spark ignition engine based on multi-sensor data fusion", 《IEEE INTERNATIONAL CONFERENCE ON VEHICULAR ELECTRONICS AND SAFETY, 2005》 * |
何明: "基于置信隶属度的多传感器数据模糊融合", 《传感器与微系统》 * |
徐卫: "城市多源交通数据分析处理关键技术研究", 《浙江工业大学学报》 * |
李昌玺: "考虑传感器置信度的改进D-S证据合成算法", 《运筹学与系统工程》 * |
樊金辉: "基于D-S证据理论的不确定数据清洗方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
漆随平: "基于加权D-S证据理论信息融合的故障诊断方法及其应用", 《气象水文海洋仪器》 * |
焦连猛: "基于置信函数理论的不确定数据分类与决策融合", 《中国博士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111435450A (zh) * | 2019-01-11 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 一种道路数据处理方法及其装置 |
CN113706871A (zh) * | 2021-09-13 | 2021-11-26 | 中交第一公路勘察设计研究院有限公司 | 一种城市交通大数据处理中多源数据融合系统 |
CN116846893A (zh) * | 2023-09-01 | 2023-10-03 | 北京钱安德胜科技有限公司 | 一种面向车路协同自动驾驶交通大数据校验方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109147322B (zh) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020151528A1 (zh) | 一种综合业态大数据与建筑形态的城市用地自动识别系统 | |
CN109544932B (zh) | 一种基于出租车gps数据与卡口数据融合的城市路网流量估计方法 | |
CN111079602B (zh) | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 | |
CN104330089B (zh) | 一种利用历史gps数据进行地图匹配的方法 | |
CN108960198A (zh) | 一种基于残差ssd模型的交通标志检测与识别方法 | |
CN109977780A (zh) | 一种基于深度学习算法的硅藻的检测与识别方法 | |
WO2017166370A1 (zh) | 一种基于区域城际流强度测算模型的划定大都市圈的方法 | |
CN106485262A (zh) | 一种母线负荷预测方法 | |
CN109147322A (zh) | 一种城市交通大数据处理中多源数据自适应融合方法 | |
CN105913411A (zh) | 一种基于因子定权模型的湖泊水质评价预测系统及方法 | |
CN107784394A (zh) | 考虑前景理论的高速公路路线方案不确定多属性优选方法 | |
CN102110227A (zh) | 基于上下文关系的多分辨率遥感图像复合分类方法 | |
CN103093643A (zh) | 一种确定公共停车场泊位数的方法 | |
CN107944357A (zh) | 基于证据融合自适应阈值的多源遥感图像云检测方法 | |
CN102184423B (zh) | 一种全自动的区域不透水面遥感信息精确提取方法 | |
CN107423537A (zh) | 一种基于自适应阈值的地表温度降尺度的方法 | |
CN108682153B (zh) | 一种基于rfid电子车牌数据的城市道路交通拥堵状态判别方法 | |
CN106528788A (zh) | 基于gis技术分析地面雨径流污染空间分布特征的方法 | |
CN102930275A (zh) | 基于Cramer’s V指数的遥感影像特征选择方法 | |
CN109086803A (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
CN106529391B (zh) | 一种鲁棒的限速交通标志检测与识别方法 | |
CN102930291B (zh) | 用于图形图像的k近邻局部搜索遗传自动聚类方法 | |
CN108053646B (zh) | 基于时间敏感特征的交通特征获取方法、预测方法及系统 | |
CN106781457A (zh) | 一种基于多源融合数据的高速公路交通流参数修正方法 | |
CN107066501A (zh) | 一种基于道路相似性的机动车尾气遥测设备布点方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |