CN107680377B - 基于趋势拟合的交通流量数据交叉补全方法 - Google Patents
基于趋势拟合的交通流量数据交叉补全方法 Download PDFInfo
- Publication number
- CN107680377B CN107680377B CN201711079054.1A CN201711079054A CN107680377B CN 107680377 B CN107680377 B CN 107680377B CN 201711079054 A CN201711079054 A CN 201711079054A CN 107680377 B CN107680377 B CN 107680377B
- Authority
- CN
- China
- Prior art keywords
- data
- missing
- offset
- point
- last
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 238000009499 grossing Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000007418 data mining Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于趋势拟合的交通流量数据交叉补全方法。本发明首先计算出第一个缺失数据前偏移量，根据前偏移量计算出第一个缺失点处的增长，再根据增长计算出该缺失点平滑过后的数据。其次计算出最后一个缺失数据后偏移量，根据偏移量计算出最后一个缺失点处的增长，再根据增长计算出最后一个缺失点平滑过后的数据。最后将第一个平滑过后的车流量数据进行更新，对第二个数据用和第一个缺失点进行一样的处理。同理倒数第二个数据和最后一个数据处理方式一致。本发明中的补全的数据即考虑到历史平均数据对该时刻数据的影响，又考虑到前后增长趋势的影响。极大限度的使数据平滑同时保持数据不会失真，减小对数据挖掘分析结果的干扰。
Description
技术领域
本发明属于数据修复处理领域，具体涉及一种基于趋势拟合的交通流量数据交叉补全方法。
背景技术
随着人工智能时代来临，智能交通对当今社会生活影响日益广泛。智能交通的基础是交通流量数据，真实准确的车流量数据是实现智能交通的前提。一般通过交通检测器获取大量的真实准确的车流量数据。但在实际使用中，交通流量数据容易受到外部和内部因素影响。外部因素：天气原因、交通管制、交通事故等。内部的因素：监视器的维护、断电等因素。由于这些原因普遍存在，所以交通数据流量缺失也成为一种普遍的现象。并且流量数据缺失直接影响着智能交通模型实际应用效果。
在智能交通建设过程中，当缺失数据量较少的时候，对预测模型几乎没有影响。但是如果缺失的交通数据流量比较大时，这会对智能交通流量预测模型影响较大。因此一旦交通流量数据缺失过大，需要对缺失数据进行拟合补全，让数据更加接近正常值。当前对缺失的交通流量数据补全的常用方法有平均值平滑、边界值平滑、中值平滑。平均值平滑:当缺失数量较多的时候，数据将不会有任何波动，数据会失真，对预测模型的影响较大。边界值平滑：当缺失数据只有一个时，平滑数据较好，但是并未考虑其增长性，对前面所存在的规律性没有很好的拟合，且当缺失数据增加的时候，数据也会存在失真的效果。中值平滑：中位数的值只能体现数据的整体性，而不能体现数据的局部波动性。
针对交通流量领域中的数据缺失问题的分析发现，交通流量具有周期性，每天交通流量的趋势比较相似，每周的交通流量的趋势也是相似的，甚至每个月的交通流量趋势也基本一致。时间周期为星期，如星期一某时刻的车流量数据与上周星期一对应时刻的车流量数据相差不大。考虑到缺失交通流量数据量较大的时候前后交通流量数据的趋势,针对传统的噪声判断方法无法处理高突变性、周期性、时序性的交通流量数据，提出了一种基于趋势拟合的交通流量数据交叉补全方法。
发明内容
针对传统方法中平滑不能够解决交通流量数据趋势拟合的问题。一旦缺失的交通流量数据数量较大且连续的时候就会出现数据失真，还要考虑到缺失交通流量数据量较大的时候前后交通流量数据的趋势,本发明地提出了一种基于趋势拟合的交通流量数据交叉补全方法。
本发明解决其技术问题所采用的技术方案如下：
步骤一：假设所给的交通车流量数据共有N个周期，周期为T,Hik表示为第k个周期第i个车流量数据，k∈N，i∈T。需要补全数据位于第s个周期，第一个缺失点位于j时刻处，缺失数据个数为n，缺失数据增长为F，缺失数据前后真实数据为X。D为偏移量，缺失数据平滑过后的数据为X′。首先计算出第一个缺失数据前偏移量。
步骤二：根据前偏移量计算出第一个缺失点处的增长，再根据增长计算出该缺失点平滑过后的数据。
Fj＝2Dj-1-Dj-2 (3)
X′j＝Avgj+Fj (4)
其中Avgj表示j时刻历史数据平均值。
步骤三：计算出最后一个缺失数据后偏移量。
步骤四：根据偏移量计算出最后一个缺失点处的增长，再根据增长计算出最后一个缺失点平滑过后的数据。
Fj+n-1＝2Dj+n-Dj+n+1 (7)
步骤五：将第一个平滑过后的车流量数据进行更新，再对第二个数据用和第一个缺失点进行一样的处理。同理倒数第二个数据和最后一个数据处理方式一致，即平滑完左边缺失点。接下来再去平滑右边数据，不断的迭代。当缺失数据数量为偶数时候。根据上述方法，刚好补全平滑完毕。缺失个数为奇数时，中间缺失点将由前后数据决定。
其中n为奇数。
本发明的有益效果：补全的数据即考虑到历史平均数据对该时刻数据的影响，又考虑到前后增长趋势的影响。极大限度的使数据平滑同时保持数据不会失真，减小对数据挖掘分析结果的干扰。
附图说明
图1.缺失数据前后均为增；
图2.缺失数据前后均为减；
图3.缺失数据前增后减；
图4.缺失数据错位。
具体实施方式
以下结合附图对本发明作进一步说明。
步骤一：许多研究表明，交通车流量具有周期性。假设所给的交通车流量数据共有N个周期，周期为T,Hik表示为第k个周期第i个车流量数据，k∈N，i∈T。需要补全数据位于第s个周期，第一个缺失点位于j处，缺失数据个数为n，缺失数据增长为F，缺失数据前后真实数据为X。D为偏移量，缺失数据平滑过后的数据为X′。数据缺失几种主要情况如图1至图4所示，图中虚线部分为补全过后的数据，根据图中缺失数据前两个流量数据可以首先计算出第一个缺失数据前偏移量。
步骤二：根据前偏移量计算出第一个缺失点处的增长，再根据增长计算出该缺失点平滑过后的数据。
Fj＝2Dj-1-Dj-2 (3)
X′j＝Avgj+Fj (4)
步骤三：根据附图中缺失数据后两个流量数据计算出最后一个缺失数据后偏移量。
步骤四：根据偏移量计算出最后一个缺失点处的增长，再根据增长计算出最后一个缺失点平滑过后的数据。
Fj+n-1＝2Dj+n-Dj+n+1 (7)
步骤五：将第一个平滑过后的车流量数据进行更新，再对第二个数据用和第一个缺失点进行一样的处理。同理倒数第二个数据和最后一个数据处理方式一致，即平滑完左边缺失点。接下来再去平滑右边数据，不断的迭代。当缺失数据数量为偶数时候。根据上述方法，刚好补全平滑完毕。缺失个数为奇数时，中间缺失点将由前后数据决定。补全后效果如附图所示。
注：n为奇数。
Claims (2)
1.基于趋势拟合的交通流量数据交叉补全方法，其特征在于该方法包括以下步骤：
步骤一：假设所给的交通车流量数据共有N个周期，周期为T,Hik表示为第k个周期第i个车流量数据，k∈N，i∈T；需要补全数据位于第s个周期，第一个缺失点位于j时刻处，缺失数据个数为n，缺失数据增长为F，缺失数据前后真实数据为X；D为偏移量，缺失数据平滑过后的数据为X′；首先计算出第一个缺失数据前偏移量：
步骤二：根据前偏移量计算出第一个缺失点处的增长，再根据增长计算出该缺失点平滑过后的数据；
Fj＝2Dj-1-Dj-2 (3)
X′j＝Avgj+Fj (4)
其中Avgj表示j时刻历史数据平均值；
步骤三：计算出最后一个缺失数据后偏移量；
步骤四：根据偏移量计算出最后一个缺失点处的增长，再根据增长计算出最后一个缺失点平滑过后的数据；
Fj+n-1＝2Dj+n-Dj+n+1 (7)
步骤五：将第一个平滑过后的车流量数据进行更新，再对第二个数据用和第一个缺失点进行一样的处理；同理倒数第二个数据和最后一个数据处理方式一致，即平滑完左边缺失点；接下来再去平滑右边数据，不断的迭代；当缺失数据数量为偶数时候，刚好补全平滑完毕。
2.根据权利要求1所述的基于趋势拟合的交通流量数据交叉补全方法，其特征在于：当缺失个数为奇数时，中间缺失点将由前后数据决定；
其中n为奇数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711079054.1A CN107680377B (zh) | 2017-11-06 | 2017-11-06 | 基于趋势拟合的交通流量数据交叉补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711079054.1A CN107680377B (zh) | 2017-11-06 | 2017-11-06 | 基于趋势拟合的交通流量数据交叉补全方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107680377A CN107680377A (zh) | 2018-02-09 |
| CN107680377B true CN107680377B (zh) | 2019-09-27 |
Family
ID=61146249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711079054.1A Active CN107680377B (zh) | 2017-11-06 | 2017-11-06 | 基于趋势拟合的交通流量数据交叉补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107680377B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101638B (zh) * | 2018-08-20 | 2019-05-28 | 河海大学 | 一种大坝变形监测连续性缺失数据补全方法 |
| CN110837888A (zh) * | 2019-11-13 | 2020-02-25 | 大连理工大学 | 一种基于双向循环神经网络的交通缺失数据补全方法 |
| CN111899510B (zh) * | 2020-07-28 | 2021-08-20 | 南京工程学院 | 基于发散卷积和gat的智能交通系统流量短期预测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763730A (zh) * | 2009-12-30 | 2010-06-30 | 北京世纪高通科技有限公司 | 交通路况信息填补方法和系统 |
| CN102622880A (zh) * | 2012-01-09 | 2012-08-01 | 北京捷易联科技有限公司 | 一种交通信息数据修复方法及装置 |
| CN104217002A (zh) * | 2014-09-14 | 2014-12-17 | 北京航空航天大学 | 一种基于高质量数据获取的路况信息填补方法 |
| CN104537225A (zh) * | 2014-12-19 | 2015-04-22 | 银江股份有限公司 | 一种交通数据修复的云处理方法及其系统 |
| CN105788289A (zh) * | 2014-12-17 | 2016-07-20 | 上海宝康电子控制工程有限公司 | 基于计算机软件系统实现交通路况评估分析的方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007016236A2 (en) * | 2005-07-28 | 2007-02-08 | Riverbed Technology, Inc. | Automatic framing selection |
-
2017
- 2017-11-06 CN CN201711079054.1A patent/CN107680377B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763730A (zh) * | 2009-12-30 | 2010-06-30 | 北京世纪高通科技有限公司 | 交通路况信息填补方法和系统 |
| CN102622880A (zh) * | 2012-01-09 | 2012-08-01 | 北京捷易联科技有限公司 | 一种交通信息数据修复方法及装置 |
| CN104217002A (zh) * | 2014-09-14 | 2014-12-17 | 北京航空航天大学 | 一种基于高质量数据获取的路况信息填补方法 |
| CN105788289A (zh) * | 2014-12-17 | 2016-07-20 | 上海宝康电子控制工程有限公司 | 基于计算机软件系统实现交通路况评估分析的方法和系统 |
| CN104537225A (zh) * | 2014-12-19 | 2015-04-22 | 银江股份有限公司 | 一种交通数据修复的云处理方法及其系统 |
Non-Patent Citations (1)
| Title |
|---|
| 城市快速路交通流多源数据修正方法研究;高强;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20150331;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107680377A (zh) | 2018-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680377B (zh) | 基于趋势拟合的交通流量数据交叉补全方法 | |
| CN105336169B (zh) | 一种基于视频判断交通拥堵的方法和系统 | |
| CN104657958B (zh) | 一种红外图像条纹噪声消除方法 | |
| CN106297400B (zh) | 一种停车场车位信息处理方法、服务器和系统 | |
| CN101877130A (zh) | 复杂场景下基于粒子滤波器的运动目标跟踪方法 | |
| CN105761517B (zh) | 一种信号灯配时方法 | |
| CN101923718B (zh) | 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法 | |
| CN107248015B (zh) | 基于集合预报的水库实时蓄水调度方法 | |
| CN106779130A (zh) | 一种基于全天空云图的光伏电站辐射预测方法 | |
| CN109934665A (zh) | 一种分布式电能交易系统及方法 | |
| CN101777186B (zh) | 一种多模态自动更新替换的背景建模方法 | |
| CN101363732B (zh) | 一种高帧频太阳敏感器及其实现方法 | |
| CN102098377B (zh) | 手机及手机测速方法 | |
| CN108346133A (zh) | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 | |
| CN104318081A (zh) | 一种城市重需求性公共自行车租赁点车辆配置方法 | |
| CN110278611A (zh) | 一种无线供电移动边缘计算系统中的资源分配方法 | |
| CN103400153B (zh) | 一种用于实时图像识别的串行滤波匹配方法及系统 | |
| CN105631411A (zh) | 一种基于视频分析的公交车拥挤度计算方法 | |
| CN105530406A (zh) | 一种基于历史帧图像统计值的智能增强方法 | |
| CN106096930A (zh) | 一种智能水表 | |
| CN105279767A (zh) | 火车到站状态的识别方法 | |
| CN105357518B (zh) | 用于视频监控系统的视频故障诊断方法 | |
| CN105635524A (zh) | 一种基于历史帧图像暗区直方图面积统计的智能增强方法 | |
| 聂堂哲 et al. | Spatial and Temporal Distribution Characteristics of Maize Water Requirement in Heilongjiang Province during 1959—2015 | |
| CN109711994A (zh) | 主力筹码追踪的计算方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |