CN102169630B - 一种道路连续交通流数据质量控制方法 - Google Patents

一种道路连续交通流数据质量控制方法 Download PDF

Info

Publication number
CN102169630B
CN102169630B CN 201110081105 CN201110081105A CN102169630B CN 102169630 B CN102169630 B CN 102169630B CN 201110081105 CN201110081105 CN 201110081105 CN 201110081105 A CN201110081105 A CN 201110081105A CN 102169630 B CN102169630 B CN 102169630B
Authority
CN
China
Prior art keywords
data
flow
sigma
speed
occupation rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201110081105
Other languages
English (en)
Other versions
CN102169630A (zh
Inventor
沈峰
陈平
高宵
林瑜
潘振兴
虞鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI ELECTRICAL APPARATUS MUNICIPAL ENGINEERING Co Ltd
Shanghai Seari Intelligent System Co Ltd
Original Assignee
上海电科智能系统股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海电科智能系统股份有限公司 filed Critical 上海电科智能系统股份有限公司
Priority to CN 201110081105 priority Critical patent/CN102169630B/zh
Publication of CN102169630A publication Critical patent/CN102169630A/zh
Application granted granted Critical
Publication of CN102169630B publication Critical patent/CN102169630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种道路连续交通流数据质量控制方法,其特征在于:步骤为:首先利用封闭断面流量守恒性和可疑固定式交通数据采集设备模式识别算法识别故障固定式交通数据采集设备,随后,利用道路交通流判别规则识别道路实时交通流数据,最后,利用历史同期分布值和相邻线圈数据补齐无效和缺失数据。本发明的优点是:充分依托现有数据库存储的海量数据,利用交通数据之间的时空关系,以统计方法和交通流理论,对故障设备和实时数据数据质量有效性进行识别和修补,能够确保实时数据的有效性和完整性,为采集设备维护、交通监控和诱导等各种离线和实时应用提供数据支撑。

Description

一种道路连续交通流数据质量控制方法
技术领域
本发明涉及一种针对道路连续交通流数据进行质量控制的方法。
背景技术
由于设备故障、路面交通状况和环境因素等方面的原因,通过固定式交通数据采集设备(目前常用的设备为线圈)所采集的道路交通数据将不可避免得出现错误及丢失的情况。为了准确地反映实际的交通状况并满足用户的数据应用需求,必须对原始数据进行质量控制,实现数据的有效性和完整性,为交通规划、管理和控制以及交通诱导等应用领域提供良好的数据基础。
传统的数据质量控制方法有:1)历史数据修正法;2)交通流理论修正法;3)相邻时间点线形插值法。
历史数据修正法是通过对历史数据的分析和比较,利用同一个固定式交通数据采集设备历史同期的准确数据对原始数据进行修正,分为两种方式:分别是历史同期数据的直接替换和N个历史同期数据的平均值,其中,N个数据的平均值主要取决于所存储的历史数据量以及用户的实际需求。
交通流理论修正法是利用所建立的交通流模型对数据进行修正,通过大量历史数据以及所研究路段的交通流特性的分析,建立符合该路段的交通流二维以及三维模型,即交通量-速度,交通量-占有率、速度-占有率和交通量-速度-占有率模型,利用模型对原始数据进行修正。
相邻时间点线形插值法是利用相邻时间点有效数据以线形插值法对数据进行修正。
其中历史修正数据主要适用于稳定的交通状况,而在交通事故、特殊天气等突发事件对当前交通流整体运行趋势产生影响的情况下会出现较大的偏离。
交通流修正方法的可靠性取决于所建立模型的准确性,并且要求模型具有较高的针对性。利用该方法进行数据修正时,提高正确的交通量、速度和占有率的相对利用率,充分考虑所建模型的互验性,从而做到修正结果的相互检验。但是当所要进行质量控制的数据不在建模路段时,那么将需要重新建模,工作量大。可见交通流修正方法的自适应性较差。
相邻时间点线形插值法利用相邻时间点有效数据以线形插值法对数据进行修正,但是相邻时间点的时间间隔越大数据之间的相似性和趋势性偏离越大,且该方法必须要求当前数据以后的数据进行趋势判别,因此并不适合大范围和实时的数据质量控制。
发明内容
本发明的目的是提供一种交通流数据质量控制方法,通过本方法对大范围、实时的错误数据和丢失数据进行修正。
为了达到上述目的,本发明的技术方案是提供了一种道路连续交通流数据质量控制方法,其特征在于:步骤为:
步骤1、将一天24小时划分为不同的时刻t,在每个时刻t实时读取通过各固定式交通数据采集设备采集到的原始交通流数据,该原始交通流数据包括时间、当前固定式交通数据采集设备的编号、流量Q、速度V及占有率Occ;
步骤2、识别出当前时刻t所述原始交通流数据中的丢失数据及无效数据,并将丢失数据及无效数据所对应的固定式交通数据采集设备定义为目标设备i,m个固定式交通数据采集设备与该目标设备i相邻;
步骤3、利用历史同期分布值和相邻设备数据补齐丢失数据及无效数据,其步骤为:
步骤3.1、分别计算每个固定式交通数据采集设备在历史数据中的一个时间跨度内每个时刻流量Q、速度V或占有率Occ的历史均值;
步骤3.2、计算所述目标设备i与每个所述相邻设备之间的相关系数、斜率及截距,其中所述目标设备i与第i个相邻设备之间的相关系数为Rij,斜率为aij,截距为bij,则
R ij = [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Y ( j , t 1 , d ) - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) / ( M * N ) ] [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) 2 - ( Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) ) 2 / ( M * N ) ] [ Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) 2 - ( Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) ) 2 / ( M * N ) ]
a ij = [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Y ( j , t 1 , d ) - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) * Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) ] / [ ( Σ d = 1 M Σ t 1 = 1 N ( X ( i , t 1 , d ) 2 - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) ) 2 / ( M * N ) ]
b ij = ( Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) / ( M * N ) - a ij Σ d = 1 M Σ t = 1 N X ( i , t 1 , d ) ) M * N , 其中:
将一天24小时以至少2分钟为时间步长划分为不同时刻t1,X(i,t1,d)表示在所述时间跨度内目标设备i在第d天时刻t1的流量Q、速度V或占有率Occ,Y(j,t1,d)表示在所述时间跨度内与目标设备i相邻的第j个相邻设备在第d天时刻t1的流量Q、速度V或占有率Occ,M为所述时间跨度的总天数,N为一天内的时刻t1的总个数;
步骤3.3、对所述目标设备i的丢失数据或无效数据x(i,t,d)进行修补,其中x(i,t,d)表示目标设备i当前日期d当前时刻t丢失的流量Q、速度V或占有率Occ,则利用下列公式对x(i,t,d)进行修补:
其中,
Figure BSA00000464427700032
表示目标设备i与当前日期d当前时刻t所对应的历史均值,
Figure BSA00000464427700033
表示与目标设备i相邻的第j个固定式交通数据采集设备在当前日期d当前时刻t的流量Q、速度V或占有率Occ的估计值,
Figure BSA00000464427700035
x(j,t,d)为设备j在当前日期d当前时刻t的流量Q、速度V或占有率,Rij为目标设备i与第j个固定式交通数据采集设备之间的相关系数,l为加权权重,若目标设备i的流量Q、速度V或占有率Occ更多得取决于历史的流量Q、速度V或占有率Occ,则加权权重l取超过0.5的实数,若目标设备i的流量Q、速度V或占有率Occ更多得取决于与其相邻的固定式交通数据采集设备的流量Q、速度V或占有率Occ,则加权权重l取小于0.5的实数,若历史的流量Q、速度V或占有率Occ及与目标设备i相邻的固定式交通数据采集设备的流量Q、速度V或占有率Occ对目标设备i的流量Q、速度V或占有率Occ影响相同,则加权权重l取0.5。
本发明的优点是:充分依托现有数据库存储的海量数据,利用交通数据之间的时空关系,以统计方法和交通流理论,对故障设备和实时数据数据质量有效性进行识别和修补,能够确保实时数据的有效性和完整性,为采集设备维护、交通监控和诱导等各种离线和实时应用提供数据支撑。
附图说明
图1为断面及封闭断面示意图;
图2为流量的原始数据与修复后数据对比图;
图3为速度的原始数据与修复后数据对比图;
图4为占有率的原始数据与修复后数据对比图。
具体实施方式
为使本发明更明显易懂,兹选一实施示例,并配合附图作详细说明如下。在下面文字中所记录的交通参数是指流量Q、速度V或占有率Occ中的一种。同时,在本实施例中,固定式交通数据采集设备一律采用线圈,本领域技术人员也可以采用其他设备来代替线圈,只要该设备能够以不影响道路交通的方式固定在道路上,并能够采集时间、编号、流量Q、速度V及占有率Occ等基本的交通流数据信息即可。
在详细介绍本实施例之前,先结合图1对本发明中所使用本领域技术人员的已知概念做出介绍,即断面及封闭断面(closed section)。如图1所示,为一具有一上匝道1及一下匝道2的三车道高速3,在上匝道1、下匝道2及主线的每条车道内都预埋有多个线圈4,相邻车道的线圈4并排排列,组成了一个断面,由多个断面又组成了一个封闭断面。封闭断面的划分依据是,其进入封闭断面的流量应该等于出封闭断面的流量,如图1所示,序号5至序号8指向的虚线框即为一个封闭断面,该封闭断面的进口处的断面即为上游断面,相应的,其出口处的断面即为下游断面。在道路进行建设时,便会在其中预埋线圈4,当道路建设完毕后,由于线圈4的位置已经完全确定了,因此,断面以及封闭断面也就已经确定了。
在对本发明所使用的一些基础概念做出解释后,下面以一优选实施例详细介绍本发明。
本发明提供了一种道路连续交通流数据质量控制方法,步骤为:
步骤1、将一天24小时以相同的步长划分为不同的时刻t,在本实施例中的步长取为20s、2mim和15min三种方式,当然本领域技术人员也可以根据需要以其他步长来对一天24小时进行划分,或者以不同步长对一天24小时进行划分。如果按照20s划分方式,那么第一个时刻为0时0分20秒,第二个时刻为0时0分40秒,……,以此类推,从而将一天24小时划分为4320个时刻。在每个时刻t实时读取通过各线圈采集到的原始交通流数据,该原始交通流数据包括时间、当前线圈的编号、流量Q、速度V及占有率Occ。
在道路开始投入使用的第一年,将上述的原始交通流数据存入数据库中,作为历史数据以备后续步骤中使用。数据库到底记录多少时间跨度内的数据是根据线圈来定的,如果预埋的线圈在1年后会出现损坏的情况,那么就以一年为时间跨度,如果预埋的线圈在半年后就会出现损坏的情况,那么就以半年为时间跨度,以此类推。
步骤2、识别出当前时刻t原始交通流数据中的丢失数据及无效数据,并将丢失数据及无效数据所对应的固定式交通数据采集设备定义为目标设备i,m个固定式交通数据采集设备与该目标设备i相邻。本步骤的具体实现方法是多种多样的,如在专利号为ZL
200510011205,名称为《一种道路交通流数据质量控制方法与装置》中,记载了识别原始交通流数据中的丢失数据及无效数据的方法,而在本实施例中,具体采用下列步骤来实现:
步骤2.1、根据历史数据计算某个时间段内每个时刻t2的每个封闭断面的上游断面的流量与下游断面的流量的绝对百分比误差,并统计在该时间段内绝对百分比误差的分布,根据该分布判断每个封闭断面是否流量守恒。其中,由于需要判断每个封闭断面是否流量守恒,其时间步长必须具有一定的跨度,该跨度至少为15min,若在步骤1中的步长取为15min,那么在本步骤中就不需要重新对时间进行划分,若在步骤1中的步长取为20s或2min,那么在本步骤中就需要将一天24小时以至少15分钟为时间步长划分为不同时刻t2,在本实施例中,本步骤的时间步长就取为最小值,即15分钟。
根据统计,对于上海而言,一天中流量较大的时间为上午5点至晚上的23点,在本实施例中就取这个时间段。显而易见,由于不同城市的交通状况各不相同,因此,本领域技术人员可以根据本城市的交通状况,选择不同的时间段。对于本实施例而言,计算历史数据中任意一天的上午5点至晚上的23点内每个时刻t2的每个封闭断面的上游断面的流量与下游断面的流量的绝对百分比误差。针对,图1所示的道路而言,对于序号5指向的封闭断面,其上游断面由上匝道断面及上游主线断面组成,其下游断面即为主线下游断面,因此,其在时刻t的绝对百分比误差ε(t2)为:
Figure BSA00000464427700051
其中,i是上游主线断面编号,j是下游主线断面编号,m是上匝道断面编号,Qin(i,m,t2)=Q(i,t2)+Q(m,t2),Q(i,t2)为上游主线断面i在时刻t2的流量,Q(m,t2)为上匝道断面m在时刻t2的流量,Qout(j,n,t2)=Q(j,t2),Q(j,t2)为下游主线断面i在时刻t2的流量。
随后统计在上午5点至晚上的23点内对百分比误差ε(t2)的分布,如果绝对百分比误差ε(t2)大于10%的比例大于15%,则判别该封闭断面的流量不守恒,否则,判别该封闭断面的流量守恒。上述判别能量是否守恒的比例是针对上海而言,本领域技术人员也可以根据不同城市通过有限次的试验来调整上述比例。
步骤2.2、识别每个断面内是否存在可疑的线圈。通过对存在故障的固定式交通数据采集设备反馈回的信息进行分析,本领域技术人员在本发明专利申请之前就已经归纳了一张将不同错误信息进行归类的表格,具体如表1所示:
Figure BSA00000464427700061
表1
通过标定阈值可以将某一个线圈判定为可疑线圈,具体如表2所示:
  故障类型   统计时段   时间步长   个数(需根据地点特征调整)
  D1   5:00->23:00   20s   >经验阈值T1条
  D2   5:00->23:00   20s   >经验阈值T2条
  D3   5:00->23:00   20s   >经验阈值T3条
表2
即,在上午5点至晚上的23点内,线圈故障类型数据特征统计值超过经验阈值T1条D1故障信息、或超过经验阈值T2条D2故障信息、或超过经验阈值T3条D3故障信息,则将该线圈判定为可疑,其中,经验阈值T1、经验阈值T2及经验阈值T3根据不同城市、不同道路交通状况,根据试验得到的数值,对于上海而言,其经验阈值T1、经验阈值T2及经验阈值T3可以分别取为1200、200及200。
步骤2.3、根据每个断面所对应的封闭断面是否至少有一个流量守恒及每个断面是否包含有可疑的线圈综合判断每个固定式交通数据采集设备是否损坏,具体对应关系如表3所示:
Figure BSA00000464427700062
表3
步骤2.4、对判定为故障的固定式交通数据采集设备所采集的数据全部判定为无效,对识别为正常的固定式交通数据采集设备所采集的数据进行实时判别,识别出丢失数据及无效数据。
现有的交通信息采集技术已经实现数据采集端和数据库时间的同步机制,因此可以直接对数据丢失进行判别。
无效数据的识别方法也是多种多样的,本实施例采用的具体步骤为:
首先根据阈值理论设定流量Q、速度V及占有率Occ的经验阈值,将超出该阈值的数据判定为无效,阈值理论为本领域技术人员的常用手段,而经验阈值也是针对不同城市的不同道路有着不同的设定值,在本实施例中,其经验阈值为:
交通量Q:2分钟内的车道总流量大于100辆;
速度V:2分钟内的平均速度大于120公里/小时;
占有率Occ:2分钟内的持续大于100%。
随后,根据定流量Q、速度V及占有率Occ的三参数组合关系,得到无效数据及除无效数据外的待定数据,对于待定数据一律判定为有效,或采用下列方法进行判别,其中,三参数组合关系在本发明专利之前,本领域技术人员已经将其归纳成表4:
Figure BSA00000464427700071
其中,序号1、3及8为待定数据,其余皆为无效数据。针对流量Q、速度V及占有率Occ全为0的待定数据,判断与待定数据所在车道同一断面的相邻车道的在与待定数据相同时刻的流量Q中的最大值是否不小于30,若是,则该条待定数据无效,否则,该条待定数据有效,对于待定数据一律判定为有效,或采用下列方法进行判别:
针对流量Q=0、速度V=0及95<占有率Occ≤100的待定数据,即表4中的序号1,判断与待定数据所在车道同一断面的相邻车道的在与待定数据相同时刻的流量Q中的最大值是否不小于30,或者占有率Occ中的最大值是否不大于40%,若是,则该条待定数据无效,否则,该条待定数据有效;
针对流量Q=0、速度V=0及95<占有率Occ≤100的待定数据,即表4中的序号3,判断与待定数据所在车道同一断面的相邻车道的在与待定数据相同时刻的流量Q中的最大值是否不小于30,或者占有率Occ中的最大值是否不大于40%,若是,则该条待定数据无效,否则,该条待定数据有效;
针对速度V及占有率Occ不等于0且1≤流量Q<100的待定数据,即表4中的序号8,首先判断占有率Occ是否大于40%,或速度V是否小于20km/h,若否,则判断计算有效车长
Figure BSA00000464427700073
Figure BSA00000464427700074
不大于2.5米或不小于18米,则该条待定数据无效,否则,该条待定数据有效;
若是,则判断与待定数据所在车道同一断面的相邻车道的在与待定数据相同时刻的占有率Occ中的最小值是否不大于20%,或速度V中的最大值是否不小于30km/h,若是,则该条待定数据无效,否则,该条待定数据有效。
步骤3、利用历史同期分布值和相邻设备数据补齐丢失数据及无效数据,其步骤为:
步骤3.1、分别计算每个线圈在历史数据中的一个时间跨度内每个时刻交通参数的历史均值,由于本实施例中步骤1所述的理由,该时间跨度取为1年。该历史均值有两种计算方式,一种是将一年内的每一天按照星期一至星期天的类别进行划分,那么第h个线圈的历史均值
Figure BSA00000464427700081
的计算公式为:
Figure BSA00000464427700082
其中,
Figure BSA00000464427700083
表示第h个线圈在一年内在星期d的时刻t所得到交通参数的历史均值,x(h,t,k)表示第h个线圈在一年内第k个星期d的时刻t所得到的交通参数,n表示在该时间跨度内星期d的个数;
另一种是将一年内的每一天按照工作日、双休日及节假日分为三类,那么第h个线圈的历史均值
Figure BSA00000464427700084
的计算公式为:
Figure BSA00000464427700085
其中,K表示类别,r表示在一年内属于第K类日期的某一日期,P表示在所述时间跨度内K类日期的总数量,
Figure BSA00000464427700086
表示第h个线圈属于第K类日期的时刻t的交通参数的历史均值,x(h,t,r)第h个线圈在日期r时刻t的交通参数。
步骤3.2、计算所述目标设备i与每个所述相邻设备之间的相关系数、斜率及截距,其中所述目标设备i与第i个相邻设备之间的相关系数为Rij,斜率为aij,截距为bij,则
R ij = [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Y ( j , t 1 , d ) - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) / ( M * N ) ] [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) 2 - ( Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) ) 2 / ( M * N ) ] [ Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) 2 - ( Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) ) 2 / ( M * N ) ]
a ij = [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Y ( j , t 1 , d ) - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) * Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) ] / [ ( Σ d = 1 M Σ t 1 = 1 N ( X ( i , t 1 , d ) 2 - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) ) 2 / ( M * N ) ]
b ij = ( Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) / ( M * N ) - a ij Σ d = 1 M Σ t = 1 N X ( i , t 1 , d ) ) M * N , 其中:
将一天24小时以至少2分钟为时间步长划分为不同时刻t1,X(i,t1,d)表示在一年内目标设备i在第d天时刻t1的流量Q、速度V或占有率Occ,Y(j,t1,d)表示在一年内与目标设备i相邻的第j个相邻设备在第d天时刻t1的流量Q、速度V或占有率Occ,M为一年的总天数,即为365,N为一天内的时刻t1的总个数,即为720个;
步骤3.3、对目标设备i的丢失数据或无效数据x(i,t,d)进行修补,其中x(i,t,d)表示目标设备i当前日期d当前时刻t丢失的流量Q、速度V或占有率Occ,则利用下列公式对x(i,t,d)进行修补:
Figure BSA00000464427700092
其中,
Figure BSA00000464427700093
表示目标设备i与当前日期d当前时刻t所对应的历史均值,在步骤3.1中提供了两种不同的算法,当采用第一种算法时,
Figure BSA00000464427700094
表示与前日期d当前时刻t所对应的相同星期数相同时刻t的历史均值,当采用第二种算法时,
Figure BSA00000464427700095
表示与前日期d当前时刻t所对应的相同类别的日期的相同时刻t的历史均值。
Figure BSA00000464427700096
Figure BSA00000464427700097
表示与目标设备i相邻的第j个固定式交通数据采集设备在当前日期d当前时刻t的流量Q、速度V或占有率Occ的估计值,
Figure BSA00000464427700098
x(j,t,d)为设备j在当前日期d当前时刻t的交通参数,l为加权权重,若目标设备i的流量Q、速度V或占有率Occ更多得取决于历史的流量Q、速度V或占有率Occ,则加权权重l取超过0.5的实数,若目标设备i的流量Q、速度V或占有率Occ更多得取决于与其相邻的固定式交通数据采集设备的流量Q、速度V或占有率Occ,则加权权重l取小于0.5的实数,若历史的流量Q、速度V或占有率Occ及与目标设备i相邻的固定式交通数据采集设备的流量Q、速度V或占有率Occ对目标设备i的流量Q、速度V或占有率Occ影响相同,则加权权重l取0.5。本领域技术人员根据加权权重l的上述特点,结合特定城市的特定道路的特点,通过有限次的试验可以得到加权权重l的具体数值,在本实施例中,针对上海的道路状况,可以将加权权重l取为0.4。
如图2至图4所示,分别为采用本发明提供的方法后,流量、速度及占有率的原始数据与修复后数据对比图。

Claims (5)

1.一种道路连续交通流数据质量控制方法,其特征在于:步骤为:
步骤1、将一天24小时划分为不同的时刻t,在每个时刻t实时读取通过各固定式交通数据采集设备采集到的原始交通流数据,该原始交通流数据包括时间、当前固定式交通数据采集设备的编号、流量Q、速度V及占有率Occ;
步骤2、识别出当前时刻t所述原始交通流数据中的丢失数据及无效数据,并将丢失数据及无效数据所对应的固定式交通数据采集设备定义为目标设备i,m个固定式交通数据采集设备与该目标设备i相邻;
步骤3、利用历史同期分布值和相邻设备数据补齐丢失数据及无效数据,其步骤为:
步骤3.1、分别计算每个固定式交通数据采集设备在历史数据中的一个时间跨度内每个时刻流量Q、速度V或占有率Occ的历史均值;
步骤3.2、计算所述目标设备i与每个所述相邻设备之间的相关系数、斜率及截距,其中所述目标设备i与第j个相邻设备之间的相关系数为Rij,斜率为aij,截距为bij,则
R ij = [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Y ( j , t 1 , d ) - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) / ( M * N ) ] [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) 2 - ( Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) ) 2 / ( M * N ) ] [ Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) 2 - ( Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) ) 2 / ( M * N ) ]
a ij = [ Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) Y ( j , t 1 , d ) - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) * Σ d = 1 M Σ t 1 = 1 N Y ( j , t 1 , d ) ] / [ ( Σ d = 1 M Σ t 1 = 1 N ( X ( i , t 1 , d ) 2 - Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) ) 2 / ( M * N ) ]
b ij = ( Σ d = 1 M Σ t 1 = 1 N X ( i , t 1 , d ) / ( M * N ) - a ij Σ d = 1 M Σ t = 1 N X ( i , t 1 , d ) ) M * N , 其中:
将一天24小时以至少2分钟为时间步长划分为不同时刻t1,X(i,t1,d)表示在所述时间跨度内目标设备i在第d天时刻t1的流量Q、速度V或占有率Occ,Y(j,t1,d)表示在所述时间跨度内与目标设备i相邻的第j个相邻设备在第d天时刻t1的流量Q、速度V或占有率Occ,M为所述时间跨度的总天数,N为一天内的时刻t1的总个数;
步骤3.3、对所述目标设备i的丢失数据或无效数据x(i,t,d)进行修补,其中x(i,t,d)表示目标设备i当前日期d当前时刻t丢失的流量Q、速度V或占有率Occ,则利用下列公式对x(i,t,d)进行修补:
其中,
Figure FSB00000937886400022
表示目标设备i与当前日期d当前时刻t所对应的历史均值,
Figure FSB00000937886400024
表示与目标设备i相邻的第j个固定式交通数据采集设备在当前日期d当前时刻t的流量Q、速度V或占有率Occ的估计值,
Figure FSB00000937886400025
x(j,t,d)为设备j在当前日期d当前时刻t的流量Q、速度V或占有率,Rij为目标设备i与第j个固定式交通数据采集设备之间的相关系数,l为加权权重,若目标设备i的流量Q、速度V或占有率Occ更多得取决于历史的流量Q、速度V或占有率Occ,则加权权重l取超过0.5的实数,若目标设备i的流量Q、速度V或占有率Occ更多得取决于与其相邻的固定式交通数据采集设备的流量Q、速度V或占有率Occ,则加权权重l取小于0.5的实数,若历史的流量Q、速度V或占有率Occ及与目标设备i相邻的固定式交通数据采集设备的流量Q、速度V或占有率Occ对目标设备i的流量Q、速度V或占有率Occ影响相同,则加权权重l取0.5。
2.如权利要求1所述的一种道路连续交通流数据质量控制方法,其特征在于:所述步骤2中识别丢失数据及无效数据的步骤包括:
步骤2.1、根据历史数据计算某个时间段内每个时刻t2的每个封闭断面的上游断面的流量与下游断面的流量的绝对百分比误差,并统计在该时间段内绝对百分比误差的分布,根据该分布判断每个封闭断面是否流量守恒,其中,将一天24小时以至少15分钟为时间步长划分为不同时刻t2
步骤2.2、识别每个断面内是否存在可疑固定式交通数据采集设备,当一固定式交通数据采集设备在某一时间段内,每隔至少20秒发出超过经验阈值T1条D1故障信息、或超过经验阈值T2条D2故障信息、或超过经验阈值T3条D3故障信息,则该固定式交通数据采集设备判定为可疑,其中,若在固定式交通数据采集设备发出的信息中,流量Q=0、速度V=0并且占有率Occ=0,则为D1故障信息;若在固定式交通数据采集设备发出的信息中,流量Q=0、速度V>0并且3%<占有率Occ<95%,则为D2故障信息;在固定式交通数据采集设备发出的信息中,流量Q=0、速度V=0并且占有率Occ不小于95%,则为D3故障信息;
步骤2.3、根据每个断面所对应的封闭断面是否至少有一个流量守恒及每个断面是否包含有可疑的固定式交通数据采集设备综合判断每个固定式交通数据采集设备是否损坏,其中,若某个断面所对应的封闭断面没有一个流量守恒,当该断面不包含可疑的固定式交通数据采集设备,则发出报警,若某个断面所对应的封闭断面没有一个流量守恒,且该断面包含可疑的固定式交通数据采集设备,则将该可疑的固定式交通数据采集设备判定为故障,在其他情况下,将固定式交通数据采集设备判定为正常;
步骤2.4、对判定为故障的固定式交通数据采集设备所采集的数据全部判定为无效,对识别为正常的固定式交通数据采集设备所采集的数据进行实时判别,识别出丢失数据及无效数据。
3.如权利要求1或2所述的一种道路连续交通流数据质量控制方法,其特征在于:所述无效数据的识别方法为:根据阈值理论设定流量Q、速度V及占有率Occ的经验阈值,将超出该阈值的数据判定为无效,随后,根据流量Q、速度V及占有率Occ的三参数组合关系,得到无效数据及除无效数据外的待定数据,对于待定数据一律判定为有效,或采用下列方法进行判别:
针对流量Q、速度V及占有率Occ全为0的待定数据,判断与待定数据所在车道同一断面的相邻车道的在与待定数据相同时刻的流量Q中的最大值是否不小于30,若是,则该条待定数据无效,否则,该条待定数据有效;
针对流量Q=0、速度V=0及95<占有率Occ≤100的待定数据,判断与待定数据所在车道同一断面的相邻车道的在与待定数据相同时刻的流量Q中的最大值是否不小于30,或者占有率Occ中的最大值是否不大于40%,若是,则该条待定数据无效,否则,该条待定数据有效;
针对速度V及占有率Occ不等于0且1≤流量Q<100的待定数据,首先判断占有率Occ是否大于40%,或速度V是否小于20km/h,若否,则判断计算有效车长
Figure FSB00000937886400031
Figure FSB00000937886400032
不大于2.5米或
Figure FSB00000937886400034
不小于18米,则该条待定数据无效,否则,该条待定数据有效;若是,则判断与待定数据所在车道同一断面的相邻车道的在与待定数据相同时刻的占有率Occ中的最小值是否不大于20%,或速度V中的最大值是否不小于30km/h,若是,则该条待定数据无效,否则,该条待定数据有效。
4.如权利要求1所述的一种道路连续交通流数据质量控制方法,其特征在于:在所述步骤3.1中第h个固定式交通数据采集设备交通参数x的历史均值
Figure FSB00000937886400035
的计算公式为:
Figure FSB00000937886400041
其中,所有日期被分为工作日、双休日及节假日三类,K表示该类别,r表示在所述时间跨度内属于第K类日期的某一日期,P表示在所述时间跨度内K类日期的总数量,
Figure FSB00000937886400042
表示第h个固定式交通数据采集设备属于第K类日期的时刻t的流量Q、速度V或占有率Occ的历史均值,x(h,t,r)表示第h个固定式交通数据采集设备在日期r时刻t的流量Q、速度V或占有率Occ。
5.如权利要求1所述的一种道路连续交通流数据质量控制方法,其特征在于:在所述步骤3.1中第h个固定式交通数据采集设备交通参数x的历史均值的计算公式为:
其中,
Figure FSB00000937886400045
表示第h个固定式交通数据采集设备在所述时间跨度内在星期d的时刻t所得到的流量Q、速度V或占有率Occ的历史均值,x(h,t,k)表示第h个固定式交通数据采集设备在该时间跨度内第k个星期d的时刻t所得到的流量Q、速度V或占有率Occ,n表示在该时间跨度内星期d的个数。
CN 201110081105 2011-03-31 2011-03-31 一种道路连续交通流数据质量控制方法 Active CN102169630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110081105 CN102169630B (zh) 2011-03-31 2011-03-31 一种道路连续交通流数据质量控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110081105 CN102169630B (zh) 2011-03-31 2011-03-31 一种道路连续交通流数据质量控制方法

Publications (2)

Publication Number Publication Date
CN102169630A CN102169630A (zh) 2011-08-31
CN102169630B true CN102169630B (zh) 2013-04-24

Family

ID=44490778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110081105 Active CN102169630B (zh) 2011-03-31 2011-03-31 一种道路连续交通流数据质量控制方法

Country Status (1)

Country Link
CN (1) CN102169630B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800197B (zh) * 2012-02-27 2014-07-16 东南大学 一种城市道路路段动态交通流基础数据的预处理方法
CN102610098B (zh) * 2012-03-09 2014-05-07 西安费斯达自动化工程有限公司 一种基于离散模型的路段交通流检测器设置方法
CN102629418B (zh) * 2012-04-09 2014-10-29 浙江工业大学 基于模糊卡尔曼滤波的交通流预测方法
CN103106793B (zh) * 2013-01-11 2015-02-04 福州大学 基于实时行车方向和通行时段信息的交通状态判别方法
CN103543956B (zh) * 2013-09-26 2016-08-24 广东电网公司电力科学研究院 时序电压数据存储方法与系统
CN103632545B (zh) * 2013-11-22 2017-04-12 北京世纪高通科技有限公司 一种获取交通路况信息的方法及装置
GB201408474D0 (en) * 2014-05-13 2014-06-25 Tomtom Int Bv Methods and systems for detecting a partial closure of a navigable element
CN104316328B (zh) * 2014-05-29 2017-09-05 潍柴动力股份有限公司 一种车辆平顺性的测定方法
CN104091047A (zh) * 2014-06-18 2014-10-08 清华大学深圳研究生院 基于交通时空信息的交通流缺失数据估算系统及方法
CN104318772B (zh) * 2014-10-31 2016-08-24 重庆大学 高速公路交通流数据质量检测方法
CN104731970B (zh) * 2015-04-09 2018-05-15 吉林大学 高速公路多源异构数据的数据质量评价与控制方法
CN104809869A (zh) * 2015-04-10 2015-07-29 安徽四创电子股份有限公司 基于升降式限高架的高架桥入口匝道交通状态判别方法
CN105118294B (zh) * 2015-09-25 2017-03-29 山东易构软件技术股份有限公司 一种基于状态模式的短时交通流预测方法
CN105931460A (zh) * 2016-05-13 2016-09-07 东南大学 一种快速道路连续瓶颈路段的可变限速控制策略优化方法
CN106506272B (zh) * 2016-11-04 2019-12-27 迈锐数据(北京)有限公司 道路通行数据的修正方法和系统
RU2666333C1 (ru) 2017-04-04 2018-09-06 Общество С Ограниченной Ответственностью "Яндекс" Способы определения параметра ошибки расчета пользовательского трафика, который связан с расчетными условиями дорожного трафика
CN107085958A (zh) * 2017-06-24 2017-08-22 深圳森阳环保材料科技有限公司 一种信息发布及时的信息发布系统
CN107103760A (zh) * 2017-06-24 2017-08-29 深圳源广安智能科技有限公司 一种监测水平高的交通状态监测系统
CN107146413A (zh) * 2017-06-24 2017-09-08 梧州市兴能农业科技有限公司 一种智慧城市服务平台
CN108010316A (zh) * 2017-11-15 2018-05-08 上海电科智能系统股份有限公司 一种基于路网模型的道路交通多源数据融合处理方法
CN107909822B (zh) * 2017-11-29 2019-11-22 银江股份有限公司 基于流量和饱和度分析的scats线圈检测器自动诊断方法
CN109360415B (zh) * 2018-09-30 2020-08-14 北京工业大学 一种道路交通流异常数据识别方法
CN109754604B (zh) * 2018-12-03 2021-01-26 江苏智运科技发展有限公司 一种基于交通线圈检测数据质量控制的拥堵区域识别方法
CN109639805A (zh) * 2018-12-19 2019-04-16 上海上实龙创智慧能源科技股份有限公司 一种边缘侧与云端的协同控制方法
CN110164127B (zh) * 2019-04-04 2021-06-25 中兴飞流信息科技有限公司 一种车流量预测的方法、装置及服务器
CN110852516B (zh) * 2019-11-15 2023-08-29 上海电科智能系统股份有限公司 基于大数据信息熵交通流检测设备数据质量判别方法
CN112235728B (zh) * 2020-10-13 2023-05-16 国网江苏省电力有限公司信息通信分公司 一种基于智能接续盒的电力通信网络感知方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645402A (zh) * 2005-01-19 2005-07-27 北京交通大学 一种道路交通流数据质量控制方法与装置
EP1938296A2 (en) * 2006-03-03 2008-07-02 Inrix, Inc. Assessing road traffic conditions using data from mobile data sources
CN101540103A (zh) * 2008-03-17 2009-09-23 上海宝康电子控制工程有限公司 交通信息采集及事件处理的方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645402A (zh) * 2005-01-19 2005-07-27 北京交通大学 一种道路交通流数据质量控制方法与装置
EP1938296A2 (en) * 2006-03-03 2008-07-02 Inrix, Inc. Assessing road traffic conditions using data from mobile data sources
CN101540103A (zh) * 2008-03-17 2009-09-23 上海宝康电子控制工程有限公司 交通信息采集及事件处理的方法与系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
交通流数据清洗的关键理论及方法研究;吴芳;《中国优秀硕士学位论文全文数据库》;20090918;全文 *
吴芳.交通流数据清洗的关键理论及方法研究.《中国优秀硕士学位论文全文数据库》.2009,
吴芳.基于LS-SVM的交通流时序数据补齐方法.《计算机工程与应用》.2008,(第29期),
基于LS-SVM的交通流时序数据补齐方法;吴芳;《计算机工程与应用》;20081020(第29期);全文 *

Also Published As

Publication number Publication date
CN102169630A (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
CN102169630B (zh) 一种道路连续交通流数据质量控制方法
CN105185115B (zh) 一种交通预测方法和预测系统
Bie et al. Time of day intervals partition for bus schedule using GPS data
CN105303882B (zh) 基于时空维度动态停车收费策略的停车管理系统及方法
CN107085943B (zh) 一种道路旅行时间短期预测方法和系统
CN102592447B (zh) 一种基于fcm的区域路网的道路交通状态判别方法
CN109559512A (zh) 一种区域交通流量预测方法及装置
CN107610469A (zh) 一种考虑多因素影响的日维度区域交通指数预测方法
CN105869405A (zh) 基于卡口数据的城市道路交通拥堵指数计算方法
CN105320997A (zh) 一种基于大数据的公交客流轨迹实时跟踪方法
CN106355879A (zh) 一种基于时空关联的城市交通流量预测方法
CN102819955A (zh) 基于车辆行程数据的道路网运行评价方法
CN105513359A (zh) 一种基于智能手机移动检测的城市快速路交通状态估计方法
Tak et al. Real-time travel time prediction using multi-level k-nearest neighbor algorithm and data fusion method
CN103839418B (zh) 一种自适应的城市快速路匝道动态控制系统
CN103632541B (zh) 交通事件路链检测与数据填补方法
Shen Freeway travel time estimation and prediction using dynamic neural networks
CN109272760A (zh) 一种scats系统检测器数据异常值的在线检测方法
Beitel et al. Quality measure of short-duration bicycle counts
Tu et al. Analysis and forecast of passenger flow based on public transportation IC card and GPS data
CN102184638B (zh) 行人交通数据的数据预处理方法
CN102496266B (zh) 一种交通流数据预处理方法
CN115271565A (zh) 基于dea的高速公路路面养护措施评价方法、装置及设备
CN101866549A (zh) 区域交通服务水平微观指标及评价方法
Chen et al. Historical travel time based bus-arrival-time prediction model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHANGHAI DIANKE MUNICIPAL ENGINEERING CO., LTD.

Effective date: 20150205

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150205

Address after: 200063 Wuning Road, Putuo District, No. 505, building 53, building 7, building

Patentee after: Shanghai SEARI Intelligent System Co., Ltd.

Patentee after: SHANGHAI ELECTRICAL APPARATUS MUNICIPAL ENGINEERING CO., LTD.

Address before: 200063 Wuning Road, Putuo District, No. 505, building 53, building 7, building

Patentee before: Shanghai SEARI Intelligent System Co., Ltd.