CN110942624B - 一种基于sae-gan-sad的路网交通数据修复方法 - Google Patents
一种基于sae-gan-sad的路网交通数据修复方法 Download PDFInfo
- Publication number
- CN110942624B CN110942624B CN201911074617.7A CN201911074617A CN110942624B CN 110942624 B CN110942624 B CN 110942624B CN 201911074617 A CN201911074617 A CN 201911074617A CN 110942624 B CN110942624 B CN 110942624B
- Authority
- CN
- China
- Prior art keywords
- data
- encoder
- generator
- self
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于SAE‑GAN‑SAD的路网交通数据修复方法,包括以下步骤:1)获取路网交通数据,构建堆栈自编码器并对道路交通数据进行特征提取;2)确定生成器与判别器的结构,共同构建成生成对抗网络模型,将提取的道路交通状态时空特征作为生成器的输入,分别定义生成器与判别器的损失函数,使生成器与判别器同时进行对抗训练,实现根据缺失数据时空特征生成完整数据时空特征;3)获取经生成对抗网络对抗训练完成后生成的交通状态数据时空特征,利用堆栈自解码器解码出修复后的交通状态数据,实现道路交通状态数据修复。本发明依据已知交通数据采用SAE‑GAN‑SAD模型对缺失数据进行实时修复,可以有效提高交通状态数据修复的精度。
Description
技术领域
本发明涉及一种基于SAE-GAN-SAD的路网交通数据修复方法,本发明属于智能交通领域。
背景技术
道路交通流数据的完整性对智能交通系统中道路交通流预测与实时道路调控有着直接的影响。现实道路交通系统中,由于传感器故障以及各种不可抗因素造成的交通流数据缺失问题普遍存在。因此,道路交通流数据修复对智能交通系统的发展有着重要的意义。
现阶段的道路交通数据修复的方法主要有利用时间信息或者空间关系对缺失数据进行修复,利用时间相关性进行数据修复的常见算法有历史平均法,移动平均法,指数平滑法等;利用空间相关性进行数据修复的常见算法有基于灰色残差GM(1,N)算法,K最近邻算法等。但是大部分修复算法不能充分挖掘道路交通数据潜在的数据特征,因此数据修复精度不高。
发明内容
为了克服已有技术的不足,本发明提供一种基于SAE-GAN-SAD的路网交通数据修复的方法,根据路网实时数据,依据已知交通数据采用SAE-GAN-SAD模型对缺失数据进行实时修复,可以有效提高交通状态数据修复的精度。
本发明解决其技术问题所采用的技术方案是:
一种基于SAE-GAN-SAD的路网交通数据修复方法,包括以下步骤:
1)获取路网交通数据,构建堆栈自编码器,并对道路交通数据进行特征提取:获取路网中多条路段的道路交通状态数据,并根据多个自编码器构建堆栈自编码器,将路网交通数据作为堆栈自编码器的输入,提取道路交通状态数据时空特征;
2)构建生成对抗网络模型进行对抗训练:确定生成器与判别器的结构,共同构建成生成对抗网络模型,并将提取的道路交通状态时空特征作为生成器的输入,分别定义生成器与判别器的损失函数,使生成器与判别器同时进行对抗训练,实现根据缺失数据时空特征生成完整数据时空特征;
3)根据生成器生成的时空特征重构修复后完整交通数据:获取经生成对抗网络对抗训练完成后生成的交通状态数据时空特征,利用堆栈自解码器解码出修复后的交通状态数据,实现道路交通状态数据修复。
进一步,所述步骤1)的过程如下:
步骤1.1:获取交通状态数据
获取路网中n条路段的交通状态数据,记做X=[X1,X2,...,Xn],其中Xi=[xi1,xi2,...,xiT](i=1,2,…n)代表第i条路段共计T个时刻的交通状态数据,xit(t=1,2,3,…,T)代表第i条路段在第t时刻的交通状态,利用一个掩模矩阵M记录交通状态数据缺失的状态,其中M=[M1,M2,...,Mn],Mi=[mi1,mi2,...,miT],mit表示第i条路段在第t时刻的交通状态数据是否缺失,表示如下:
步骤1.2:构建N(N≥2)层堆栈自编码器
N层堆栈自编码器的基本结构由N个自编码器堆栈构成,自编码器通过对输入数据的编码与解码过程获取输入数据的特征表达;
构建第一层自编码器,编码器与解码器分别记做a1,b1,输入交通状态数据X,经第一层编码器编码后得到第一层隐层特征h1,计算过程为:
h1=a1(We1·X+be1) (1)
X*=b1(Wd1·h1+bd1) (2)
其中X*近似等于X,代表经编码解码后的重构数据,We1,be1,Wd1,bd1代表模型训练参数,a1,b1分别代表编码器与解码器;
构建第i(2≤i≤N)层自编码器,将上一层自编码器获得的隐层特征hi-1作为该层自编码器的输入,并经过编码器ai与解码器bi操作后,得到第i层隐层特征hi;经过N层堆栈自编码器的编码解码操作后,得到N层堆栈自编码器提取的交通状态数据X的特征表达hN;
再进一步,所述步骤2)中,确定生成器G与判别器D的模型结构,并分别定义生成器与判别器的损失函数LG,LD,并将作为生成器的输入数据,判别器的输入为生成器生成数据或真实数据hN,判别器训练目标为区分出输入判别器的数据属于真实数据或者生成器生成数据,而生成器训练目标为让判别器将生成器生成数据判别成真实数据,训练过程采用WGAN,损失函数定义如下:
本发明中,获取路网交通数据,利用堆栈自编码器(SAE)对缺失数据提取道路交通状态时空特征,经过生成对抗网络(GAN)的对抗训练,根据缺失交通状态数据的时空特征生成完整交通流数据的时空特征,并将特征经堆栈自解码器(SAD)解码成修复后的完整交通流数据,实现道路交通状态数据的修复。
本发明的有益效果主要表现在:通过预先对缺失数据的道路交通状态数据进行时空特征提取,并利用生成对抗网络对提取的时空特征进行对抗训练,生成完整数据的时空特征,实现交通状态数据的修复,可以有效提高交通状态数据修复的精度。
附图说明
图1是堆栈自编码器模型结构图。
图2是SAE-GAN-SAD模型结构图。
图3是数据修复结果实例。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图3,一种基于SAE-GAN-SAD的路网交通数据修复的方法,所述方法包括以下步骤:
1)获取路网交通数据,构建堆栈自编码器,并对道路交通数据进行特征提取:获取路网中多条路段的道路交通状态数据,并根据多个自编码器构建堆栈自编码器,将路网交通数据作为堆栈自编码器的输入,提取道路交通状态数据时空特征;
2)构建生成对抗网络模型进行对抗训练:确定生成器与判别器的结构,共同构建成生成对抗网络模型,并将提取的道路交通状态时空特征作为生成器的输入,分别定义生成器与判别器的损失函数,使生成器与判别器同时进行对抗训练,实现根据缺失数据时空特征生成完整数据时空特征;
3)根据生成器生成的时空特征重构修复后完整交通数据:获取经生成对抗网络对抗训练完成后生成的交通状态数据时空特征,利用堆栈自解码器解码出修复后的交通状态数据,实现道路交通状态数据修复。
进一步,所述步骤1)的过程如下:
步骤1.1:获取交通状态数据
获取路网中n条路段的交通状态数据,记做X=[X1,X2,...,Xn],其中Xi=[xi1,xi2,...,xiT](i=1,2,…n)代表第i条路段共计T个时刻的交通状态数据,xit(t=1,2,3,…,T)代表第i条路段在第t时刻的交通状态,利用一个掩模矩阵M记录交通状态数据缺失的状态,其中M=[M1,M2,...,Mn],Mi=[mi1,mi2,...,miT],mit表示第i条路段在第t时刻的交通状态数据是否缺失,表示如下:
步骤1.2:构建N(N≥2)层堆栈自编码器
N层堆栈自编码器的基本结构由N个自编码器堆栈构成,自编码器通过对输入数据的编码与解码过程获取输入数据的特征表达;
构建第一层自编码器,编码器与解码器分别记做a1,b1,输入交通状态数据X,经第一层编码器编码后得到第一层隐层特征h1,计算过程为:
h1=a1(We1·X+be1) (1)
X*=b1(Wd1·h1+bd1) (2)
其中X*近似等于X,代表经编码解码后的重构数据,We1,be1,Wd1,bd1代表模型训练参数,a1,b1分别代表编码器与解码器;
构建第i(2≤i≤N)层自编码器,将上一层自编码器获得的隐层特征hi-1作为该层自编码器的输入,并经过编码器ai与解码器bi操作后,得到第i层隐层特征hi;经过N层堆栈自编码器的编码解码操作后,得到N层堆栈自编码器提取的交通状态数据X的特征表达hN;
再进一步,所述步骤2)中,确定生成器G与判别器D的模型结构,并分别定义生成器与判别器的损失函数LG,LD,并将作为生成器的输入数据,判别器的输入为生成器生成数据或真实数据hN,判别器训练目标为区分出输入判别器的数据属于真实数据或者生成器生成数据,而生成器训练目标为让判别器将生成器生成数据判别成真实数据,训练过程采用WGAN,损失函数定义如下:
实例:实际实验中的数据,实施方案如下:
(1)选取实验数据
本实验数据集来源为加州运输性能测量系统(PeMS),实验选取22条道路检测器的车流量数据,数据采样周期为5分钟,数据选取时间范围为2014年5月1日到2014年6月30日。
模型输入为22条道路一天的车流量数据,并且按照一定的缺失比例模拟数据缺失,缺失时刻车流量记为0;模型输出为修复后的22条道路一天的车流量数据。
(2)参数确定
堆栈自编码器由3个自编码器堆栈组成,隐层单元个数分别为2048,1024,512;生成器与判别器除输出层外,具有相同的模型结构,相同的模型结构为均为由3层神经单元构成,隐层神经元个数分别为256,128,64,每层隐藏层后均有激活函数Relu函数,函数表达式为f(z)=max(0,z),生成器的输出层激活函数为Sigmoid函数,函数表达式为而判别器的输出层无激活函数;重构误差系数α=100.
(3)实验结果
模型对缺失数据修复结果的评价指标包括均方根误差(MSE),平均绝对误差(MAE),平均绝对百分比误差(MAPE),计算方式分别为:
表1为不同缺失比例下模型修复结果分析
表1。
Claims (2)
1.一种基于SAE-GAN-SAD的路网交通数据修复的方法,其特征在于,所述方法包括以下步骤:
1)获取路网交通数据,构建堆栈自编码器,并对道路交通数据进行特征提取:获取路网中多条路段的道路交通状态数据,并根据多个自编码器构建堆栈自编码器,将路网交通数据作为堆栈自编码器的输入,提取道路交通状态数据时空特征;
2)构建生成对抗网络模型进行对抗训练:确定生成器与判别器的结构,共同构建成生成对抗网络模型,并将提取的道路交通状态时空特征作为生成器的输入,分别定义生成器与判别器的损失函数,使生成器与判别器同时进行对抗训练,实现根据缺失数据时空特征生成完整数据时空特征;
3)根据生成器生成的时空特征重构修复后完整交通数据:获取经生成对抗网络对抗训练完成后生成的交通状态数据时空特征,利用堆栈自解码器解码出修复后的交通状态数据,实现道路交通状态数据修复;
所述步骤1)的过程如下:
步骤1.1:获取交通状态数据
获取路网中n条路段的交通状态数据,记做X=[X1,X2,...,Xi,...Xn],其中Xi=[xi1,xi2,...,xiT]代表第i条路段共计T个时刻的交通状态数据i=1,2,…n,xit代表第i条路段在第t时刻的交通状态,t=1,2,3,…,T,利用一个掩模矩阵M记录交通状态数据缺失的状态,其中M=[M1,M2,...,Mn],Mi=[mi1,mi2,...,miT],mit表示第i条路段在第t时刻的交通状态数据是否缺失,表示如下:
步骤1.2:构建N层堆栈自编码器,N≥2;
N层堆栈自编码器的基本结构由N个自编码器堆栈构成,自编码器通过对输入数据的编码与解码过程获取输入数据的特征表达;
构建第一层自编码器,编码器与解码器分别记做a1,b1,输入交通状态数据X,经第一层编码器编码后得到第一层隐层特征h1,计算过程为:
h1=a1(We1·X+be1) (1)
X*=b1(Wd1·h1+bd1) (2)
其中X*代表经编码解码后的重构数据,We1,be1,Wd1,bd1代表模型训练参数,a1,b1分别代表编码器与解码器;
构建第i层自编码器,2≤i≤N,将上一层自编码器获得的隐层特征hi-1作为该层自编码器的输入,并经过编码器ai与解码器bi操作后,得到第i层隐层特征hi;经过N层堆栈自编码器的编码解码操作后,得到N层堆栈自编码器提取的交通状态数据X的特征表达hN;
所述步骤2)中,确定生成器G与判别器D的模型结构,并分别定义生成器与判别器的损失函数LG,LD,并将作为生成器的输入数据,判别器的输入为生成器生成数据或真实数据hN,判别器训练目标为区分出输入判别器的数据属于真实数据或者生成器生成数据,而生成器训练目标为让判别器将生成器生成数据判别成真实数据,训练过程采用WGAN,损失函数定义如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911074617.7A CN110942624B (zh) | 2019-11-06 | 2019-11-06 | 一种基于sae-gan-sad的路网交通数据修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911074617.7A CN110942624B (zh) | 2019-11-06 | 2019-11-06 | 一种基于sae-gan-sad的路网交通数据修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110942624A CN110942624A (zh) | 2020-03-31 |
CN110942624B true CN110942624B (zh) | 2020-12-01 |
Family
ID=69906266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911074617.7A Active CN110942624B (zh) | 2019-11-06 | 2019-11-06 | 一种基于sae-gan-sad的路网交通数据修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110942624B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111785014B (zh) * | 2020-05-26 | 2021-10-29 | 浙江工业大学 | 一种基于dtw-rgcn的路网交通数据修复的方法 |
CN112185104B (zh) * | 2020-08-22 | 2021-12-10 | 南京理工大学 | 一种基于对抗自编码器的交通大数据修复方法 |
CN112309112B (zh) * | 2020-09-10 | 2021-10-29 | 浙江工业大学 | 一种基于GraphSAGE-GAN的交通路网数据修复方法 |
CN112330951B (zh) * | 2020-09-11 | 2021-12-17 | 浙江工业大学 | 一种基于生成对抗网络实现路网交通数据修复的方法 |
CN112381303A (zh) * | 2020-11-19 | 2021-02-19 | 北京嘀嘀无限科技发展有限公司 | 一种任务指标数据预测方法和系统 |
CN113033619A (zh) * | 2021-03-04 | 2021-06-25 | 浙江工业大学 | 一种基于dvgae-gan的交通路网数据修复方法 |
CN115019510B (zh) * | 2022-06-29 | 2024-01-30 | 华南理工大学 | 一种基于动态自适应生成对抗网络的交通数据修复方法 |
CN117576918B (zh) * | 2024-01-17 | 2024-04-02 | 四川国蓝中天环境科技集团有限公司 | 一种基于多源数据的城市道路流量全域预测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101950483A (zh) * | 2010-09-15 | 2011-01-19 | 青岛海信网络科技股份有限公司 | 交通数据故障的修复方法及装置 |
CN109544926A (zh) * | 2018-12-06 | 2019-03-29 | 中国公路工程咨询集团有限公司 | 一种基于路口相关性的交通流量修复方法 |
CN109580215A (zh) * | 2018-11-30 | 2019-04-05 | 湖南科技大学 | 一种基于深度生成对抗网络的风电传动系统故障诊断方法 |
CN110009529A (zh) * | 2019-04-15 | 2019-07-12 | 湖南大学 | 一种基于堆栈降噪自动编码器的暂态频率获取方法 |
CN110147797A (zh) * | 2019-04-12 | 2019-08-20 | 中国科学院软件研究所 | 一种基于生成式对抗网络的草图补全与识别方法和装置 |
CN110288824A (zh) * | 2019-05-20 | 2019-09-27 | 浙江工业大学 | 基于Granger causality路网早晚高峰拥堵状况和传播机制分析方法 |
-
2019
- 2019-11-06 CN CN201911074617.7A patent/CN110942624B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101950483A (zh) * | 2010-09-15 | 2011-01-19 | 青岛海信网络科技股份有限公司 | 交通数据故障的修复方法及装置 |
CN109580215A (zh) * | 2018-11-30 | 2019-04-05 | 湖南科技大学 | 一种基于深度生成对抗网络的风电传动系统故障诊断方法 |
CN109544926A (zh) * | 2018-12-06 | 2019-03-29 | 中国公路工程咨询集团有限公司 | 一种基于路口相关性的交通流量修复方法 |
CN110147797A (zh) * | 2019-04-12 | 2019-08-20 | 中国科学院软件研究所 | 一种基于生成式对抗网络的草图补全与识别方法和装置 |
CN110009529A (zh) * | 2019-04-15 | 2019-07-12 | 湖南大学 | 一种基于堆栈降噪自动编码器的暂态频率获取方法 |
CN110288824A (zh) * | 2019-05-20 | 2019-09-27 | 浙江工业大学 | 基于Granger causality路网早晚高峰拥堵状况和传播机制分析方法 |
Non-Patent Citations (3)
Title |
---|
ZipNet-GAN: Inferring Fine-grained Mobile Traffic Patterns via a Generative Adversarial Neural Network;Chaoyun Zhang 等;《CoNEXT"17》;20171231;第1-17页 * |
基于压缩感知的道路交通参数修复方法研究;徐东伟 等;《交通运输系统工程与信息》;20131231;第13卷(第6期);第67-72页 * |
基于深度学习的LSTM的交通流量预测;庞悦 等;《单片机与嵌入式系统应用》;20190331(第3期);第72-75页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110942624A (zh) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110942624B (zh) | 一种基于sae-gan-sad的路网交通数据修复方法 | |
CN112330951B (zh) | 一种基于生成对抗网络实现路网交通数据修复的方法 | |
CN111562612B (zh) | 一种基于注意力机制的深度学习微震事件识别方法及系统 | |
CN111612718A (zh) | 一种引入注意力机制的人脸图像修复方法 | |
CN115375604B (zh) | 一种基于量子化自编码器的无监督缺陷检测方法 | |
CN111242377A (zh) | 一种集成深度学习和数据去噪的短期风速预测方法 | |
CN111242351A (zh) | 基于自编码器和gru神经网络的热带气旋轨迹预测方法 | |
CN117096867A (zh) | 一种短期电力负荷预测方法、装置、系统及存储介质 | |
CN114842351A (zh) | 一种基于孪生Transformers的遥感图像语义变化检测方法 | |
CN114638836B (zh) | 基于高度有效驱动与多层级特征融合的城市街景分割方法 | |
CN114970774A (zh) | 一种智能变压器故障预测方法和装置 | |
CN114419464A (zh) | 一种基于深度学习的孪生网络变化检测模型 | |
CN116309536A (zh) | 一种路面裂缝检测方法及存储介质 | |
CN116402766A (zh) | 一种结合卷积神经网络和Transformer的遥感影像变化检测方法 | |
CN117173449A (zh) | 基于多尺度detr的航空发动机叶片缺陷检测方法 | |
CN116844004A (zh) | 一种面向数字孪生场景的点云自动语义化建模方法 | |
CN115331073A (zh) | 一种基于TransUnet架构的影像自监督学习方法 | |
CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
CN117522674A (zh) | 一种联合局部和全局信息的图像重建系统及方法 | |
CN113033619A (zh) | 一种基于dvgae-gan的交通路网数据修复方法 | |
CN117575918A (zh) | 一种基于块循环扩散模型的渐进图像去雨方法 | |
CN117171713A (zh) | 一种基于轴承寿命的交叉自适应深度迁移学习方法及系统 | |
CN115170490A (zh) | 表面缺陷识别系统、方法及其存储介质 | |
CN115393717A (zh) | 基于进化混合注意力机制的sar图像房屋提取方法及系统 | |
CN115294073A (zh) | 基于知识蒸馏的纹理物体缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |