CN109830101A - 一种基于异常微波交通数据修复的拥堵区域识别方法 - Google Patents
一种基于异常微波交通数据修复的拥堵区域识别方法 Download PDFInfo
- Publication number
- CN109830101A CN109830101A CN201910109047.4A CN201910109047A CN109830101A CN 109830101 A CN109830101 A CN 109830101A CN 201910109047 A CN201910109047 A CN 201910109047A CN 109830101 A CN109830101 A CN 109830101A
- Authority
- CN
- China
- Prior art keywords
- data
- attribute
- time point
- abnormal
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008439 repair process Effects 0.000 claims abstract description 24
- 238000009499 grossing Methods 0.000 claims abstract description 20
- 230000001788 irregular Effects 0.000 claims abstract description 15
- 238000012417 linear regression Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 16
- 238000011084 recovery Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013479 data entry Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 abstract 2
- 238000007726 management method Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013439 planning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012314 multivariate regression analysis Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于异常微波交通数据修复的拥堵区域识别方法，包括以时窗为基础的不规则时间点数据修复、在标准时间点数据集基础上的属性异常数据识别及修复、以图基平滑法对流量异常数据识别，并借助多元线性回归进行修复，得到异常微波交通数据修复后的有效数据集，然后借助有效数据集中车速、流量及时间占用率，进行交通拥堵区域的识别。本发明能够简单、高效地对异常微波交通数据进行数据修复，避免噪声数据的干扰，可保障交通拥堵区域识别的准确性。
Description
技术领域
本发明属于智能交通领域，涉及一种基于异常微波交通数据修复的拥堵区域识别方法。
背景技术
微波交通检测技术作为当前进行动态交通数据采集的重要途径，在获取交通数据方面以其高效率、占用储存空间小、安装维护简单的特征得到了极为广泛的应用。微波交通检测以频率不同的接收波与反射波为基础，经A/D转换、快速傅立叶转换算法变化将机动车通过检测器时产生的时域模拟信号转化为频域数字信号，最后通过微波差频信号来获取交通数据。
然而在实际城市道路交通检测系统中，微波采集技术获取的实时检测的数据并非完全准确，这些数据往往因为受到交通检测器硬件故障、外界电磁波干扰、通讯故障、非正常交通状态等因素的影响，出现数据缺失、数据错误、数据冗余以及数据异常等问题，大大削弱了基于数据制定的交通管理与控制措施的效果。
目前，大多异常数据的修复方法均从普遍适用性角度出发，侧重于对元数据的高效率扫描以及时发现异常数据的确切位置，由于其存在普遍适用性的特点，导致在如何修复异常数的方法上难以给出具体可行的方法，异常微波交通数据的修复还没有可用于直接指导数据使用者实际工作的数据修复体系。
发明内容
技术问题：本发明提供了一种基于异常微波交通数据修复的拥堵区域识别方法，该方法实现了对微波缺失数据的修复、错误数据的剔除及异常数据的修复，确保了微波交通数据的质量，使得数据能够正确的反应真实的交通运行状况，为交通管理、规划、设计部门制定有效的管控政策、交通规划、设计方案提供合理的数据支撑。
技术方案：本发明的基于异常微波交通数据修复的拥堵区域识别方法，包括以下步骤：
1)在原始微波交通数据中，基于时窗[t+(n-1)·T,t+n·T)对不规则时间点数据进行修复，得到标准时间点数据集，T为微波检测器的采集周期；t为某个标准时间点，取T整数倍的任意时刻，也即微波检测器进行某次车辆数据录入的时刻；n为正整数；
2)在标准时间点数据集基础上，依据每条车辆数据的流量、车速及时间占用率三项属性取值情况对属性异常数据进行识别及修复，得到属性异常修复数据集；
3)在属性异常修复数据集基础上，对流量异常数据进行识别及修复，得到异常微波交通数据修复后的有效数据集；
4)依据有效数据集中的车速、流量及时间占用率，识别出交通拥堵区域。
进一步的，本发明方法中，所述原始微波交通数据是指机动车驶过微波检测器时，检测器每隔一个采集周期便进行一次车辆数据录入，每条数据包含过车时间、车道编号、流量、车速及时间占用率。
进一步的，本发明方法中，所述步骤1)中按照如下方式对不规则时间点数据进行修复：
1.1)初始化，令n＝1；
1.2)若时窗[t+(n-1)·T,t+n·T)内无车辆数据，则将该时段记为数据缺失时段并进行剔除，进入步骤1.5)，否则进入步骤1.3)；
1.3)若时窗[t+(n-1)·T,t+n·T)内仅有一条车辆数据，则将该车辆数据的车速、流量、时间占用率车辆属性值作为标准时间点t+(n-1)·T时，车辆数据的车速、流量、时间占用率属性值，进入步骤1.5)，否则进入步骤1.4)；
1.4)此时时窗[t+(n-1)·T,t+n·T)内有多条车辆数据，则将该时窗内所有车辆数据的车速、流量、时间占用率属性均值作为标准时间点t+(n-1)·T时，车辆数据中的车速、流量、时间占用率属性值；
1.5)令n＝n+1，若n≤N，则返回步骤1.1)对下一时窗内的车辆数据进行判断，否则输出车辆数据修正后的数据集，也即标准时间点数据集，其中，To表示微波检测器的检测总时长。
进一步的，本发明方法中，所述步骤2)中按照如下方式对属性异常数据进行识别：
2.1)初始化，令m＝1；
2.2)在标准时间点数据集中，若标准时间点t+m·T时，车辆数据的车速属性值Vt+m·T、流量属性值Qt+m·T、时间占用率属性值Dt+m·T均不“缺失”，则进入步骤2.3)，否则将该标准时间点的车辆数据记为属性缺失数据，进入步骤2.5)；
2.3)按照以下流程对标准时间点t+m·T时，车辆数据的车速、流量属性值进行判别：
Step a若Vt+m·T<1.25·VD且Qt+m·T<C，则进入步骤2.4)，否则进入步骤b；
Step b若Vt+m·T>1.25·VD且Qt+m·T<C，则将该标准时间点的车辆数据记为车速属性超出数据，进入步骤2.4)，否则进入步骤c；
Step c若Vt+m·T<1.25·VD且Qt+m·T>C，则将该标准时间点的车辆数据记为流量属性超出数据，进入步骤2.4)，否则记为车速及流量属性超出数据，进入步骤2.4)；
2.4)若标准时间点t+m·T的车辆数据中，Vt+m·T、Qt+m·T、Dt+m·T中同时存在数值等于0及不等于0的属性，则将该标准时间点的车辆数据记为属性错误数据，进入步骤2.5)，否则表明标准时间点t+m·T时的车速、流量属性值正常，直接进入步骤2.5)；
2.5)令m＝m+1，若m≤M，M为标准数据集的数据量，则返回步骤2.2)对下一标准时间点的车辆数据进行判断，否则输出属性缺失数据、属性超出数据、属性错误数据，并统称为属性异常数据。
进一步的，本发明方法中，所述步骤2)中对属性异常数据进行修复，是依据同一微波检测器的历史数据，按照下式进行：
其中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复后的值，i为正整数，Vt+(i-2)·T、Vt+(i-1)·T、Vt+(i+1)·T、Vt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的车速属性值，Qt+(i-2)·T、Qt+(i-1)·T、Qt+(i+1)·T、Qt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的流量属性值，Dt+(i-2)·T、Dt+(i-1)·T、Dt+(i+1)·T、Dt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的时间占用率属性值。
进一步的，本发明方法中，所述步骤2)中对属性异常数据进行修复，是依据相邻检测器同一时段的数据，按照下式进行：
其中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复值，分别表示标准时间点为t+i·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的车速属性值，分别表示标准时间点为t+n·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的流量属性值，分别表示标准时间点为t+i·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的时间占用率属性值。
进一步的，本发明方法中，所述步骤3)中按照如下方式对流量异常数据进行识别：
3.1)在属性异常修复数据集中，取相邻标准时间点的四组车辆数据的流量属性值Qt+(j-2)·T、Qt+(j-1)·T、Qt+j·T、Qt+(j+1)·T的中位数构造一次平滑序列
3.2)取的中位数构造二次平滑序列
3.3)令构造三次平滑序列
3.4)计算与Qt+j·T的均方根误差M为标准数据集的数据量，也是属性异常修复数据集的数据量；
3.5)取标准时间点t+j·T时，车辆数据的流量属性值最大、最小值分别为：
3.6)若则认为标准时间点t+j·T时的流量数据异常，也即标准时间点t+j·T时车辆数据的流量属性值异常，需要进行修正，否则认为该流量正常，无需进行修正。
进一步的，本发明方法中，所述步骤3)中，依据多元线性回归，根据下式对流量异常数据进行修复：
Ct+u·T＝a0+a1·1Qt+u·T+a2·2Qt+u·T+…ar·rQt+u·T+e
其中，Ct+n·T为标准时间点t+n·T的异常流量数据修正后的值，1Qt+u·T、2Qt+u·T、…、rQt+u·T为该微波测器在同一标准时间点t+u·T采集到的历史上r个正常流量数据，a0为常数项，a1、a2…ar为回归系数，e为随机误差。
微波交通检测技术以接收与发射频率不同的反射波为基础，经A/D转换、快速傅立叶转换算法(FFT)变化等技术将机动车通过检测器时产生的时域模拟信号转化为频域数字信号，并通过微波差频信号获取相关交通流数据，每条数据包括过车时间、流量、地点车速、时间占有率、车道编号、行驶方向等诸多属性信息。
本发明基于微波数据中的过车时间、流量、车速、时间占用率4项属性，从以下三个方面确保微波交通数据的完整性、有效性：1)不规则时间点数据的修复；2)属性异常数据的识别及修复；3)流量异常数据的识别及修复。
第一方面，所述不规则时间点数据的修复是基于时窗实现的。微波检测器会在各标准时间点进行数据采集，但受外界或设备因素影响，微波检测器实际采集数据的时间点会与标准时间点有误差，需对这类不规则时间点数据进行修复。以微波数据采集周期T及标准时间点t构建时窗(t+(n-1)·T,t+n·T)。其中，t取T整数倍的任意时刻，微波检测器的检测总时长为T0，则数据包含个时窗，n＝1,2,…,N。每个时窗中可含有若干条微波数据，且每条数据包含过车时间、交通量、车速、时间占有率属性信息。依据时窗构建不规则时间点数据的修复方法如下：
Step1初始化，令n＝1；
Step2若时窗[t+(n-1)·T,t+n·T)内无车辆数据，则将该时段记为数据缺失时段并进行剔除，进入Step5，否则进入Step3；；
Step3若时窗[t+(n-1)·T,t+n·T)内仅有一条车辆数据，则将该车辆数据的车速、流量、时间占用率车辆属性值作为标准时间点t+(n-1)·T时，车辆数据的车速、流量、时间占用率属性值，进入Step5，否则进入Step4；
Step4此时时窗[t+(n-1)·T,t+n·T)内有多条车辆数据，则将该时窗内所有车辆数据的车速、流量、时间占用率属性均值作为标准时间点t+(n-1)·T时，车辆数据中的车速、流量、时间占用率属性值；
Step 5令n＝n+1，若n≤N，则返回Step 1对下一时窗内的车辆数据进行判断，否则输出车辆数据修正后的数据集，也即标准时间点数据集。
第二方面，所述属性异常数据的识别及修复以标准时间点数据集为基础，包括属性异常数据识别及属性异常数据修复两个步骤。
进一步地，属性异常数据识别以流量、车速及时间占用率三项属性取值是否缺失或合理为基础，属性异常数据的识别方法如下：
Step 1初始化，令m＝1；
Step 2在标准时间点数据集中，若标准时间点t+m·T时，车辆数据的车速属性值Vt+m·T、流量属性值Qt+m·T、时间占用率属性值Dt+m·T均不“缺失”，则进入Step3，否则将该标准时间点的车辆数据记为属性缺失数据，进入Step5；
Step 3按照以下流程对标准时间点t+m·T时，车辆数据的车速、流量属性值进行判别：
Step a若Vt+m·T<1.25·VD且Qt+m·T<C，则进入Step4，否则进入Stepb；
Step b若Vt+m·T>1.25·VD且Qt+m·T<C，则将该标准时间点的车辆数据记为车速属性超出数据，进入Step4，否则进入Stepc；
Step c若Vt+m·T<1.25·VD且Qt+m·T>C，则将该标准时间点的车辆数据记为流量属性超出数据，进入Step4，否则记为车速及流量属性超出数据，进入Step5；
Step 4若标准时间点t+m·T的车辆数据中，Vt+m·T、Qt+m·T、Dt+m·T中同时存在数值等于0及不等于0的属性，则将该标准时间点的车辆数据记为属性错误数据，进入Step5，否则表明标准时间点t+m·T时的车速、流量属性值正常，直接进入Step5；
Step 5令m＝m+1，若m≤M，M为标准数据集的数据量，则返回Step2对下一标准时间点的车辆数据进行判断，否则输出属性缺失数据、属性超出数据、属性错误数据，并统称为属性异常数据。
进一步地，对标准时间点为t+m·T的属性异常数据，有基于同一微波检测器历史数据的修正方法及基于相邻微波检测器同一时段数据的修正方法两种。
其中，基于同一微波检测器历史数据的修正方法是依据同一检测器在该异常时间点前后4个标准时间点的数据进行修复以获取属性异常修复数据集，车速、流量及时间占用率异常属性修正后的值如下：
式中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复后的值，Vt+(i-2)·T、Vt+(i-1)·T、Vt+(i+1)·T、Vt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的车速属性值，Qt+(i-2)·T、Qt+(i-1)·T、Qt+(i+1)·T、Qt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的流量属性值，Dt+(i-2)·T、Dt+(i-1)·T、Dt+(i+1)·T、Dt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的时间占用率属性值。
其中，基于相邻微波检测器同一时段数据的修正方法依据相邻4个检测器在该异常时间点的数据进行修复以获取属性异常修复数据集，车速、流量及时间占用率异常属性的修复值如下：
式中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复值，表示标准时间点为t+i·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的车速属性值，表示标准时间点为t+n·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的流量属性值，表示标准时间点为t+i·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的时间占用率属性值。
第三方面，所述流量异常数据识别及修复以属性异常修复数据集为基础，包括流量异常数据的识别及流量异常数据的修复两个步骤。
进一步地，流量异常数据识别以属性异常修复数据集为基础，借助图基平滑法的合理动态流量阈值来实现的，流量异常数据识别方法如下：
Step 1在属性异常修复数据集中，取相邻标准时间点的四组车辆数据的流量属性值Qt+(j-2)·T、Qt+(j-1)·T、Qt+j·T、Qt+(j+1)·T的中位数构造一次平滑序列
Step 2取的中位数构造二次平滑序列
Step 3令构造三次平滑序列
Step 4计算与Qt+j·T的均方根误差M为标准数据集的数据量，因属性异常数据修复时并未对标准数据集进行数据剔除，故M也为属性异常修复数据集的数据量；
Step 5对平滑序列借助RMSE值进行修正以确定合理动态阈值：
式中，Qmax(t+j·T)、Qmin(t+j·T)分别表示标准时间点t+j·T时，车辆数据的流量属性值最大、最小值；
Step 6若则认为标准时间点t+j·T时的流量数据异常，也即标准时间点t+j·T时车辆数据的流量属性值异常，需要进行修正，否则认为该流量正常，无需进行修正。
进一步地，对于某流量异常数据出现的标准时间点t+u·T，可依据该微波测器在同一标准时间点采集到的历史上r个正常流量数据1Qt+u·T、2Qt+u·T、…、rQt+u·T，构建多元线性回归模型进行修复以获取有效数据：
Ct+u·T＝a0+a1·1Qt+u·T+a2·2Qt+u·T+…ar·rQt+u·T+e
其中，Ct+n·T为标准时间点t+n·T的异常流量数据修正后的值，a0为常数项，a1、a2…ar为回归系数，e为随机误差。
有益效果：本发明与现有技术相比，具有以下优点：
交通数据是制定交通管控措施的基础依据，而目前大多异常数据的修复方法均从普遍适用性角度出发，难以直接拿来指导微波交通数据使用者的实际工作。不合理的微波交通数据难以反映真实的交通状况，将造成管控措施与实际交通问题的不匹配。本发明方法实现了对原始数据中不规则时间点数据的修复，缺失、超出及错误三类属性异常数据的识别及修复，并依据单个微波检测器获取的流量变化规律及相邻微波检测器间的流量联系，利用图基平滑法及多元回归分析，实现了流量异常数据的识别及修复，确保了所获数据符合实际交通流变化规律。本发明实现了异常微波交通数据的修复，确保了数据能够正确地反正实际的交通状况，可为交通管理、规划、设计部门制定有效的管控政策、交通规划、设计方案提供合理的数据支撑。
附图说明
图1为微波信号预处理流程图；
图2为异常微波数据修复整体流程图
图3为不规则时间点数据修复流程图
图4为属性异常数据识别流程图
图5为属性异常数据修复流程图
图6为流量异常数据修复整体流程图
图7为流量异常数据识别流程图
图8为流量异常数据修复流程图
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，微波交通数据的获取是通过波频预处理实现的，以频率不同的接收波与反射波为基础，并经A/D转换、快速傅立叶转换算法(FFT)变化技术将机动车经过检测器时产生的时域模拟信号转化为频域数字信号，并通过微波差频信号获取相关交通流数据，每条数据包括过车时间、车速、时间占有率、车道编号、行驶方向等诸多属性，本发明主要依据过车时间、交通量、车速及时间占有率属性进行微波数据的质量控制。
如图2所示，一种基于异常微波交通数据修复的拥堵区域识别方法，包括以下三个方面：首先，基于时窗构建不规则时间点数据的修复方法，对原始微波数据进行处理以获取标准时间点数据集。其次，在标准时间点数据集基础上，结合交通量、车速及时间占用率、车道编号构建属性异常修复方法对缺失、超出及错误三类属性异常数据进行识别，并借助相邻时段数据或相邻微波检测器数据对属性异常数据进行修复，得到属性异常修复数据集。然后，在属性异常修复数据集基础上，结合全天流量变化规律，以图基平滑法确定合理流量的动态阈值，识别流量异常数据，并采用多元线性回归模型对流量异常数据进行修复，最终得到有效微波数据集。
一般而言，微波检测器是在标准时间点进行数据采集的，但因设备故障、其他信号干扰及道路环境影响，微波检测器实际进行数据采集的时间点会与标准时间点有误差，造成了标准时间数据丢失的现象。如图3所示，不规则时间点数据是基于时窗进行修复的，微波数据采集周期T取微波检测器的检测周期，标准时间点t取T整数倍的任意时刻，如周期为5分钟，则标准时间可取00:00:00、00:05:00、00:10:00……24:00:00中的任意时刻。根据时窗(t+(n-1)·T,t+n·T)内的数据对标准时间点t的数据进行修复，微波检测器的检测总时长为T0，则数据包含个时窗，n＝1,2,…,N。每个时窗包括若干条微波数据，且每条数据包括过车时间、交通量、车速、时间占有率属性信息，依据时窗及数据属性构建不规则时间点数据的修复方法如下：
Step1初始化，令n＝1；
Step2若时窗[t+(n-1)·T,t+n·T)内无车辆数据，则将该时段记为数据缺失时段并进行剔除，进入Step5，否则进入Step3；
Step3若时窗[t+(n-1)·T,t+n·T)内仅有一条车辆数据，则将该车辆数据的车速、流量、时间占用率车辆属性值作为标准时间点t+(n-1)·T时，车辆数据的车速、流量、时间占用率属性值，进入Step5，否则进入Step4；
Step4此时时窗[t+(n-1)·T,t+n·T)内有多条车辆数据，则将该时窗内所有车辆数据的车速、流量、时间占用率属性均值作为标准时间点t+(n-1)·T时，车辆数据中的车速、流量、时间占用率属性值；
Step 5令n＝n+1，若n≤N，则返回Step 1对下一时窗内的车辆数据进行判断，否则输出车辆数据修正后的数据集，也即标准时间点数据集。
通过前述不规则时间点数据的修复实现了微波数据在检测时间点上的对应，此时每条数据所包括的流量、车速及时间占用率三项属性取值有“0”、“大于0”、“缺失(/)”三种情形，此时需对值为“/”的属性、值为“0”但不符合常理的属性及值为“大于0”但超出阈值的属性进行分析以识别属性异常数据。如图4所示，属性异常数据的识别是在标准时间点数据集基础上借助缺失判别、阈值判别及错误判对三项属性值进行判断，定义缺失、超出及错误三种属性异常数据。缺失数据的识别以属性值是否取“/”为基础，若取“/”则为缺失数据。超出数据的识别是依据阈值判别法实现的，调查发现道路实际车速值上限一般为设计车速的125％，以设计车速的125％作为车速阈值来定义车速超出数据；道路交通流量不应超过道路最大通行能力，以道路最大通行能力作为流量阈值来定义流量超出数据。错误数据的识别依据各属性的取值关系进行判别，对于微波数据中包含的车速、流量及时间占用率三项属性，若三项属性中同时存在等于0及不等于0的属性，则记为错误数据。进一步地，将车速为零而流量或时间占用率不为零的数据定义为车速错误数据，将流量为零而车速或时间占用率不为零的定义为流量错误数据，将时间占用率为零而流量或车速不为零的定义为时间占用率错误数据。属性异常数据的具体识别步骤如下：
Step 1初始化，令m＝1；
Step 2在标准时间点数据集中，若标准时间点t+m·T时，车辆数据的车速属性值Vt+m·T、流量属性值Qt+m·T、时间占用率属性值Dt+m·T均不“缺失”，则进入Step3，否则将该标准时间点的车辆数据记为属性缺失数据，进入Step5；
Step 3按照以下流程对标准时间点t+m·T时，车辆数据的车速、流量属性值进行判别：
Step a若Vt+m·T<1.25·VD且Qt+m·T<C，则进入Step4，否则进入Stepb；
Step b若Vt+m·T>1.25·VD且Qt+m·T<C，则将该标准时间点的车辆数据记为车速属性超出数据，进入Step4，否则进入Stepc；
Step c若Vt+m·T<1.25·VD且Qt+m·T>C，则将该标准时间点的车辆数据记为流量属性超出数据，进入Step4，否则记为车速及流量属性超出数据，进入Step5；
Step 4若标准时间点t+m·T的车辆数据中，Vt+m·T、Qt+m·T、Dt+m·T中同时存在数值等于0及不等于0的属性，则将该标准时间点的车辆数据记为属性错误数据，进入Step5，否则表明标准时间点t+m·T时的车速、流量属性值正常，直接进入Step5；
Step 5令m＝m+1，若m≤M，M为标准数据集的数据量，则返回Step2对下一标准时间点的车辆数据进行判断，否则输出属性缺失数据、属性超出数据、属性错误数据，并统称为属性异常数据。如图5所示，缺失、超出及错误三类属性异常数据可借助同一检测器在同一时段的历史数据或相邻微波检测器在同一时段的数据均值进行修复，对标准时间点为t+m·T的异常属性数据，依据同一检测器在该数据异常时间点前后4个标准时间点的数据进行修复以获取属性异常修复数据，车速、流量及时间占用率异常属性的修复方法如下：
式中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复后的值，Vt+(i-2)·T、Vt+(i-1)·T、Vt+(i+1)·T、Vt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的车速属性值，Qt+(i-2)·T、Qt+(i-1)·T、Qt+(i+1)·T、Qt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的流量属性值，Dt+(i-2)·T、Dt+(i-1)·T、Dt+(i+1)·T、Dt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的时间占用率属性值。
也可依据相邻4个检测器在该数据异常时间点的数据进行修复以获取属性异常修复数据集，车速、流量及时间占用率异常属性的修复值如下：
式中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复后的值，Vt+(i-2)·T、Vt+(i-1)·T、Vt+(i+1)·T、Vt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的车速属性值，Qt+(i-2)·T、Qt+(i-1)·T、Qt+(i+1)·T、Qt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的流量属性值，Dt+(i-2)·T、Dt+(i-1)·T、Dt+(i+1)·T、Dt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的时间占用率属性值。
如图6所示，微波数据的流量异常数据识别及修复包括各时段流量控制、流量异常数据的识别、流量异常数据的修复三个步骤。其中，各时段流量控制依据道路通行能力实现；流量异常数据的识别是通过构建图基平滑法的合理动态流量阈值实现的，依据动态阈值获取的合理流量窗即可实现对流量异常数据的识别；异常流量的修复是依据历史数据或相邻视频检测器的流量数据，通过多元线性回归进行异常数据实现的。如图7所示，流量异常数据的识别是借助图基平滑法的合理动态流量阈值来实现的，依据动态阈值确定各时段的合理流量窗，对于不在该流量窗的数据，即可认定为流量异常数据，流量异常数据识别方法构建步骤如下：
Step 1在属性异常修复数据集中，取相邻标准时间点的四组车辆数据的流量属性值Qt+(j-2)·T、Qt+(j-1)·T、Qt+j·T、Qt+(j+1)·T的中位数构造一次平滑序列
Step 2取的中位数构造二次平滑序列
Step 3令构造三次平滑序列
Step 4计算与Qt+j·T的均方根误差M为标准数据集的数据量，因属性异常数据修复时并未对标准数据集进行数据剔除，故M也为属性异常修复数据集的数据量；
Step 5对平滑序列借助RMSE值进行修正以确定合理动态阈值：
式中，Qmax(t+j·T)、Qmin(t+j·T)分别表示标准时间点t+j·T时，车辆数据的流量属性值最大、最小值；
Step 6若则认为标准时间点t+j·T时的流量数据异常，也即标准时间点t+j·T时车辆数据的流量属性值异常，需要进行修正，否则认为该流量正常，无需进行修正。
如图8所示，对于某流量异常数据出现的标准时间点t+u·T，可依据该微波测器在同一标准时间点采集到的历史上r个正常流量数据1Qt+u·T、2Qt+u·T、…、rQt+u·T，构建多元线性回归模型进行修复以获取有效数据：
Ct+u·T＝a0+a1·1Qt+u·T+a2·2Qt+u·T+…ar·rQt+u·T+e
其中，Ct+n·T为标准时间点t+n·T的异常流量数据修正后的值，a0为常数项，a1、a2…ar为回归系数，e为随机误差。
通过对属性异常修复数据集中的流量异常数据的识别及修正，即可得到异常微波交通数据修复后的有效数据集。该数据集确保了微波交通数据的完整性、正确性并符合交通演变规律，避免了异常数据对交通管控决策的误导，为交通管理与控制措施的制定提供了科学的数据支撑。
在城市路段布设微波交通检测器实现对原始交通数据的获取，借助前述质量控制方法获取的有效数据集，可进行拥堵区域识别、交通诱导、道路优化设计及限速管理，避免了噪声数据带来的干扰，确保了方案的正确性、合理性并符合实际交通状况。
进一步地，依据有效数据集中的车速、时间占用率、流量进行拥堵区域识别，本发明可以采用包括以下步骤的方法来进行识别：
Step 1给定需要进行拥堵区域识别的时段，计算各检测器在该时段内有效数据集的平均车速、平均时间占用率、平均流量，再结合检测器所处路段的通行能力及平均流量计算交通负荷。其中，路段通行能力依据其等级、车道数，结合规范获取；
Step 2将平均车速小于拥堵车速或时间占用率大于拥堵占用率或交通负荷大于拥堵负荷的检测器位置称为拥堵点。其中，拥堵负荷取相关规范中四级服务水平所对应的交通负荷，拥堵车速取相关规范中四级服务水平所对应的车速，拥堵占用率取0.4～0.6；
Step 3获取城市中研究区域内所有拥堵点，借助DBSCAN空间聚类算法获取主要拥堵区域。
本发明的主要发明点和创新在于得到异常微波交通数据修复后的有效数据集。本发明的上述Step 1至Step 3对拥堵区域进行识别的步骤是现有常规技术手段，本发明方法除了采用这一方式进行识别过程外，还可以采用其他现有已知的方法，只要能实现对拥堵区域的识别即可。
本发明方法中，还可以在上述识别出拥堵区域基础上，对于拥堵区域，交通管理部门可借助周边道路制定交通诱导方案，并通过广播告知驾驶员。
本发明中，还可以依据合理数据集中的流量进行道路优化设计，包括以下三个步骤：
Step 1对于拥堵区域内的道路，依据道路等级、车道数，结合规范获取道路设计通行能力值；
Step 2将道路设计通行能力与异常微波交通数据修复后的有效数据集中的流量进行对比，若设计通行能力大于流量，则无需进行道路优化；若通行能力小于流量，则现有道路不能满足通行需求，需要进行优化设计；
Step 3对于需要进行优化的道路，取流量与设计通行能力的差值与单个车道的设计通行能力做比，获取需要进行优化时拓宽的合理车道数量。
进一步地，依据异常微波交通数据修复后的有效数据集中车速、车牌号进行限速管理。对于已实施道路限速的城市道路或公路，将限速值与有效数据集中的车速进行对比。若车速小于限速值，则认为车辆安全行驶；否则认为车辆超速行驶，同时记录车牌号并上传至管理部门进行备案处罚。
最后应说明的是：尽管就本发明方法进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改，这些对本发明权利要求进行改进的技术方案，均落入本发明的保护范围。
Claims (8)
1.一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，该方法包括以下步骤：
1)在原始微波交通数据中，基于时窗[t+(n-1)·T,t+n·T)对不规则时间点数据进行修复，得到标准时间点数据集，T为微波检测器的采集周期；t为某个标准时间点，取T整数倍的任意时刻，也即微波检测器进行某次车辆数据录入的时刻；n为正整数；
2)在标准时间点数据集基础上，依据每条车辆数据的流量、车速及时间占用率三项属性取值情况对属性异常数据进行识别及修复，得到属性异常修复数据集；
3)在属性异常修复数据集基础上，对流量异常数据进行识别及修复，得到异常微波交通数据修复后的有效数据集；
4)依据有效数据集中的车速、流量及时间占用率，识别出交通拥堵区域。
2.根据权利要求1所述的一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，所述原始微波交通数据是指机动车驶过微波检测器时，检测器每隔一个采集周期便进行一次车辆数据录入，每条数据包含过车时间、车道编号、流量、车速及时间占用率。
3.根据权利要求1所述的一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，所述步骤1)中按照如下方式对不规则时间点数据进行修复：
1.1)初始化，令n＝1；
1.2)若时窗[t+(n-1)·T,t+n·T)内无车辆数据，则将该时段记为数据缺失时段并进行剔除，进入步骤1.5)，否则进入步骤1.3)；
1.3)若时窗[t+(n-1)·T,t+n·T)内仅有一条车辆数据，则将该车辆数据的车速、流量、时间占用率车辆属性值作为标准时间点t+(n-1)·T时，车辆数据的车速、流量、时间占用率属性值，进入步骤1.5)，否则进入步骤1.4)；
1.4)此时时窗[t+(n-1)·T,t+n·T)内有多条车辆数据，则将该时窗内所有车辆数据的车速、流量、时间占用率属性均值作为标准时间点t+(n-1)·T时，车辆数据中的车速、流量、时间占用率属性值；
1.5)令n＝n+1，若n≤N，则返回步骤1.1)对下一时窗内的车辆数据进行判断，否则输出车辆数据修正后的数据集，也即标准时间点数据集，其中，To表示微波检测器的检测总时长。
4.根据权利要求1所述的一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，所述步骤2)中按照如下方式对属性异常数据进行识别：
2.1)初始化，令m＝1；
2.2)在标准时间点数据集中，若标准时间点t+m·T时，车辆数据的车速属性值Vt+m·T、流量属性值Qt+m·T、时间占用率属性值Dt+m·T均不“缺失”，则进入步骤2.3)，否则将该标准时间点的车辆数据记为属性缺失数据，进入步骤2.5)；
2.3)按照以下流程对标准时间点t+m·T时，车辆数据的车速、流量属性值进行判别：
Step a若Vt+m·T<1.25·VD且Qt+m·T<C，则进入步骤2.4)，否则进入步骤b；
Step b若Vt+m·T>1.25·VD且Qt+m·T<C，则将该标准时间点的车辆数据记为车速属性超出数据，进入步骤2.4)，否则进入步骤c；
Step c若Vt+m·T<1.25·VD且Qt+m·T>C，则将该标准时间点的车辆数据记为流量属性超出数据，进入步骤2.4)，否则记为车速及流量属性超出数据，进入步骤2.4)；
2.4)若标准时间点t+m·T的车辆数据中，Vt+m·T、Qt+m·T、Dt+m·T中同时存在数值等于0及不等于0的属性，则将该标准时间点的车辆数据记为属性错误数据，进入步骤2.5)，否则表明标准时间点t+m·T时的车速、流量属性值正常，直接进入步骤2.5)；
2.5)令m＝m+1，若m≤M，M为标准数据集的数据量，则返回步骤2.2)对下一标准时间点的车辆数据进行判断，否则输出属性缺失数据、属性超出数据、属性错误数据，并统称为属性异常数据。
5.根据权利要求1、2、3或4所述的一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，所述步骤2)中对属性异常数据进行修复，是依据同一微波检测器的历史数据，按照下式进行：
其中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复后的值，i为正整数，Vt+(i-2)·T、Vt+(i-1)·T、Vt+(i+1)·T、Vt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的车速属性值，Qt+(i-2)·T、Qt+(i-1)·T、Qt+(i+1)·T、Qt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的流量属性值，Dt+(i-2)·T、Dt+(i-1)·T、Dt+(i+1)·T、Dt+(i+2)·T分别表示标准时间点为t+(i-2)·T、t+(i-1)·T、t+(i+1)·T、t+(i+2)·T时该微波检测器录入的车辆数据的时间占用率属性值。
6.根据权利要求1、2、3或4所述的一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，所述步骤2)中对属性异常数据进行修复，是依据相邻检测器同一时段的数据，按照下式进行：
其中，分别表示标准时间点为t+i·T的异常属性数据中，车速、流量、时间占用率属性修复值，分别表示标准时间点为t+i·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的车速属性值，分别表示标准时间点为t+n·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的流量属性值，分别表示标准时间点为t+i·T时该微波检测器前后相邻的四个微波检测器录入的车辆数据的时间占用率属性值。
7.根据权利要求1、2、3、4或5所述的一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，所述步骤3)中按照如下方式对流量异常数据进行识别：
3.1)在属性异常修复数据集中，取相邻标准时间点的四组车辆数据的流量属性值Qt+(j-2)·T、Qt+(j-1)·T、Qt+j·T、Qt+(j+1)·T的中位数构造一次平滑序列
3.2)取的中位数构造二次平滑序列
3.3)令构造三次平滑序列
3.4)计算与Qt+j·T的均方根误差M为标准数据集的数据量，也是属性异常修复数据集的数据量；
3.5)取标准时间点t+j·T时，车辆数据的流量属性值最大、最小值分别为：
3.6)若则认为标准时间点t+j·T时的流量数据异常，也即标准时间点t+j·T时车辆数据的流量属性值异常，需要进行修正，否则认为该流量正常，无需进行修正。
8.根据权利要求7所述的一种基于异常微波交通数据修复的拥堵区域识别方法，其特征在于，所述步骤3)中，依据多元线性回归，根据下式对流量异常数据进行修复：
Ct+u·T＝a0+a1·1Qt+u·T+a2·2Qt+u·T+…ar·rQt+u·T+e
其中，Ct+n·T为标准时间点t+n·T的异常流量数据修正后的值，1Qt+u·T、2Qt+u·T、…、rQt+u·T为该微波测器在同一标准时间点t+u·T采集到的历史上r个正常流量数据，a0为常数项，a1、a2…ar为回归系数，e为随机误差。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018114667004 | 2018-12-03 | ||
| CN201811466700 | 2018-12-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109830101A true CN109830101A (zh) | 2019-05-31 |
Family
ID=66863475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910109047.4A Pending CN109830101A (zh) | 2018-12-03 | 2019-02-03 | 一种基于异常微波交通数据修复的拥堵区域识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109830101A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112783681A (zh) * | 2021-01-22 | 2021-05-11 | 广东电网有限责任公司东莞供电局 | 一种电力企业自助大数据多级闭环修复方法和装置 |
| CN114764977A (zh) * | 2022-04-06 | 2022-07-19 | 成都亿盟恒信科技有限公司 | 一种基于驾驶数据的道路拥堵计算方法及系统 |
| CN116311930A (zh) * | 2023-03-15 | 2023-06-23 | 河北省交通规划设计研究院有限公司 | 一种交通流状态数据时间汇集方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004355537A (ja) * | 2003-05-30 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 交通流データ予測装置及び方法 |
| CN102968901A (zh) * | 2012-11-30 | 2013-03-13 | 青岛海信网络科技股份有限公司 | 获取区域拥堵信息的方法及区域拥堵分析装置 |
| CN103971520A (zh) * | 2014-04-17 | 2014-08-06 | 浙江大学 | 一种基于时空相关性的交通流量数据恢复方法 |
| CN108830162A (zh) * | 2018-05-21 | 2018-11-16 | 西华大学 | 无线电频谱监测数据中的时序模式序列提取方法及存储方法 |
-
2019
- 2019-02-03 CN CN201910109047.4A patent/CN109830101A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004355537A (ja) * | 2003-05-30 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 交通流データ予測装置及び方法 |
| CN102968901A (zh) * | 2012-11-30 | 2013-03-13 | 青岛海信网络科技股份有限公司 | 获取区域拥堵信息的方法及区域拥堵分析装置 |
| CN103971520A (zh) * | 2014-04-17 | 2014-08-06 | 浙江大学 | 一种基于时空相关性的交通流量数据恢复方法 |
| CN108830162A (zh) * | 2018-05-21 | 2018-11-16 | 西华大学 | 无线电频谱监测数据中的时序模式序列提取方法及存储方法 |
Non-Patent Citations (1)
| Title |
|---|
| 邹晓芳: "《城市快速路交通流故障数据修复方法研究》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112783681A (zh) * | 2021-01-22 | 2021-05-11 | 广东电网有限责任公司东莞供电局 | 一种电力企业自助大数据多级闭环修复方法和装置 |
| CN112783681B (zh) * | 2021-01-22 | 2022-11-22 | 广东电网有限责任公司东莞供电局 | 一种电力企业自助大数据多级闭环修复方法和装置 |
| CN114764977A (zh) * | 2022-04-06 | 2022-07-19 | 成都亿盟恒信科技有限公司 | 一种基于驾驶数据的道路拥堵计算方法及系统 |
| CN116311930A (zh) * | 2023-03-15 | 2023-06-23 | 河北省交通规划设计研究院有限公司 | 一种交通流状态数据时间汇集方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110867077B (zh) | 一种基于交通视频结构化数据质量控制的道路优化方法 | |
| CN109830101A (zh) | 一种基于异常微波交通数据修复的拥堵区域识别方法 | |
| CN101187943B (zh) | 自动更新系统、自动更新方法及其程序 | |
| CN101950477B (zh) | 一种交通信息处理方法及装置 | |
| US20120166080A1 (en) | Method, system and computer-readable medium for reconstructing moving path of vehicle | |
| CN108305409B (zh) | 一种针对路内停车欠费的追缴方法及系统 | |
| CN116644373A (zh) | 基于人工智能的汽车流量数据分析管理系统 | |
| CN113935158B (zh) | 一种针对高速公路事故多发点的交通检测器优化布设方法 | |
| CN112215427A (zh) | 一种卡口数据缺失下的车辆行车轨迹重建方法及系统 | |
| CN112364910B (zh) | 基于峰值聚类高速公路收费数据异常事件检测方法及装置 | |
| CN116758762A (zh) | 基于大数据的控制方法 | |
| CN114971418A (zh) | 基于道路养护的数据的智能管理系统 | |
| CN113269042A (zh) | 基于行驶车辆违章识别的智能交通管理方法及系统 | |
| CN109344903B (zh) | 基于车载感知数据的城市道路路面故障实时检测方法 | |
| CN113380049A (zh) | 车辆的违规检测方法、装置、服务器和存储介质 | |
| CN114201530B (zh) | 一种疑似非正常营运客车提前甄别及预防式监管方法 | |
| CN118230546A (zh) | 一种基于多源数据的城市绿色交通管理系统及方法 | |
| Nihan et al. | Improving dual-loop truck (and speed) data: quick detection of malfunctioning loops and calculation of required adjustments | |
| CN117079460A (zh) | 一种面向时间序列的arima模型对城市短时交通流预测的方法 | |
| CN109871377B (zh) | 基于车载电子标签数据质量控制的交通异常区段识别方法 | |
| CN113962331A (zh) | 一种etc门架系统故障原因识别方法及系统 | |
| CN112183597A (zh) | 一种基于谱聚类的非均衡交通事故严重程度分析方法 | |
| CN118397843B (zh) | 一种公路交通阻断状态的分级和预测方法、系统 | |
| CN117315943B (zh) | 一种超限运输违法监测分析与预警方法及系统 | |
| CN116311942A (zh) | 一种高速公路上检测轨迹点的缺失时间的确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |