CN111540193A - 一种基于图卷积时序生成对抗网络的交通数据修复方法 - Google Patents

一种基于图卷积时序生成对抗网络的交通数据修复方法 Download PDF

Info

Publication number
CN111540193A
CN111540193A CN202010177751.6A CN202010177751A CN111540193A CN 111540193 A CN111540193 A CN 111540193A CN 202010177751 A CN202010177751 A CN 202010177751A CN 111540193 A CN111540193 A CN 111540193A
Authority
CN
China
Prior art keywords
network
data set
loss
layer
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010177751.6A
Other languages
English (en)
Other versions
CN111540193B (zh
Inventor
魏鑫
林永杰
徐建闽
卢凯
首艳芳
徐建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU TRANSTAR TECHNOLOGY CO LTD
South China University of Technology SCUT
Original Assignee
GUANGZHOU TRANSTAR TECHNOLOGY CO LTD
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU TRANSTAR TECHNOLOGY CO LTD, South China University of Technology SCUT filed Critical GUANGZHOU TRANSTAR TECHNOLOGY CO LTD
Priority to CN202010177751.6A priority Critical patent/CN111540193B/zh
Publication of CN111540193A publication Critical patent/CN111540193A/zh
Application granted granted Critical
Publication of CN111540193B publication Critical patent/CN111540193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于图卷积时序生成对抗网络的交通数据修复方法,包括以下步骤:获取交通设备采集到的原始交通数据集,采用一元高斯分布离群点筛选方法对上述获得的原始交通数据集进行异常值处理;从异常值处理后的数据集中选择一段时间内的数据集作为完整的真实数据集,将真实数据集按不同的比例进行随机删除,得多份待修复的数据集;利用生成网络、判别网络构建具有修复交通数据的生成对抗网络模型,将待修复的数据集输入生成网络得到重建数据集,之后将重建数据集和真实数据集一同输入判别网络,完成生成网络与判别网络动态对抗训练,使得判别网络不能分辨重建数据和真实数据集;将训练完成的生成对抗网络进行交通数据修复。

Description

一种基于图卷积时序生成对抗网络的交通数据修复方法
技术领域
本发明涉及智能交通技术领域,更具体的,涉及一种基于图卷积时序生成对抗网络的交通数据修复方法。
背景技术
随着城市智能交通系统的发展和应用,城市交通数据如射频识别(RadioFrequency Identification,RFID)自动车牌识别数据(Automatic Number PlateRecognition,ANPR)、全球定位系统(Global Positioning System,GPS)数据、线圈数据、手机信令等数据得到大量收集,其弥补了传统的居民交通出行调查耗费大量人力和财力时间成本,且时效性与准确性都很低的缺陷。这些数据集捕获了交通网络和整个系统的基础状态及动态信息,为交通政策制定、交通规划与设计、交通控制与管理、交通信息发布等决策提供可靠的信息支持。但是,制约这一系列时空数据使用的关键问题是“数据缺失”,可能的原因如硬件/软件故障,网络通信问题及浮动/众包系统的有限报告,其导致特定位置的设备收集的数据不断丢失观测值,直到更换或维修为止。为充分利用不完整的时空数据,对时空交通数据集中那些缺失项提供可靠的估计成为了研究关键问题之一。
目前的交通数据补全方式主要有均值插值、中值插值;线性时序插值、矩阵分解;基于机器学习(KNN、EM、RNN)等的修复方法,取得了一定的效果。但是,由于现实中采集的交通流量、路段车速、占有率等交通观测数据变化趋势十分剧烈,不仅与前后历史时期有关,还与邻接路口的路况模式有关。这使得之前的方法在数据修复的过程以较简单的相邻路口相关模式简单地修复缺失的交通数据,对于路网图中路口间关联紧密的相关基本交通参数不能很好地捕获表示,导致对交通路况模式突变的情况不存在较好的修复能力。尤其对于数据缺失率较高的场景,一般的时序插值方法重构基本无效。
发明内容
本发明基于上述交通数据修复中遇到的问题,提出了一种基于图卷积时序生成对抗网络的交通数据修复方法,其能很好地改善了交通数据的修复能力,在数据缺失较高的场景仍能发挥很好的效果。
为实现上述本发明目的,采用的技术方案如下:一种基于图卷积时序生成对抗网络的交通数据修复方法,所述方法包括以下步骤:
S1:获取交通设备采集到的原始交通数据集,其包括交通流量、道路车速及道路占有率;
S2:采用一元高斯分布离群点筛选方法对上述获得的原始交通数据集进行异常值处理;
S3:从异常值处理后的数据集中选择一段时间内的数据集作为完整的真实数据集,将真实数据集按不同的比例进行随机删除,得不同的比例待修复的数据集;
S4:利用生成网络、判别网络构建具有修复交通数据的生成对抗网络模型;
S5:将待修复的数据集输入生成网络得到重建数据集,之后将重建数据集和真实数据集一同输入判别网络,完成生成网络与判别网络动态对抗训练,使得判别网络不能分辨重建数据和真实数据集;
S6:将训练完成的生成对抗网络进行交通数据修复。
本发明的有益效果如下:
本发明基于图卷积层提取待修复路口的空间信息,基于循环层提取数据的时序信息,利用生成器与判别器进行对抗训练,很好地改善了交通数据的修复能力,在数据缺失较高的场景仍能发挥很好的效果。
附图说明
图1是实施例1交通数据修复技术的流程图。
图2是实施例1待修复数据集处理的流程图。
图3是实施例1生成对抗网络模型搭建结构图。
图4是实施例1完整的数据集张量的示意图。
图5是实施例1中10%缺失数据修复前、修复后的数据对比图。
图6是实施例1中20%缺失数据修复前、修复后的数据对比图。
图7是实施例1中30%缺失数据修复前、修复后的数据对比图。
图8是实施例1中40%缺失数据修复前、修复后的数据对比图。
其中图5~图8中(a)为缺失的数据集张量,(b)为修复后的数据集张量。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示,一种基于图卷积时序生成对抗网络的交通数据修复方法,所述方法包括以下步骤:
S1:首先需要从城市交通数据中心获取交通设备采集到的原始交通数据集,其包括交通流量、道路车速及道路占有率。
S2:采用一元高斯分布离群点筛选方法对上述获得的原始交通数据集进行异常值处理;这里以某个路口流量进行举例,该路口的流量看成变量进行分析,不同时间下观测的流量值作为一维序列。以该变量的均值加减2倍变量方差为阈值。若当前样本小于最低阈值或大于最高阈值,则将其标记为异常值,并在数据集中的对应位置处将已有的值进行删除。
S3:从异常值处理后的数据集中选择一段时间内比较完整的数据集作为完整的真实数据集,将真实数据集按10%、20%、30%、40%的比例进行随机删除,得不同的比例待修复的数据集;如图2所示。
S4:利用生成网络、判别网络构建具有修复交通数据的生成对抗网络模型,在一个具体的实施例中,所述的生成网络为一个去噪自编码器,其中包括两层图卷积层,一层循环层及一层全连接层构成编码器,一层全连接层及一层循环层构成解码器。判别网络为两层图卷积层,一层循环层及一层全连接层。其中所述图卷积层用于捕获路网中个路口间的空间相关联程度,所述循环层用于捕获单个路口时间序列上的相关联程度,每一层之间进行Batch Normalization操作,并采用Relu激活函数进行非线性化,最后一层接Dropout层进一步增强模型的泛化能力,所述判别网络在最后接一层sigmod进行判别分类,如图3所示。
S5:将待修复的数据集输入生成网络得到重建数据集,之后将重建数据集和真实数据集一同输入判别网络,完成生成网络与判别网络动态对抗训练,使得判别网络不能分辨重建数据和真实数据集。
S6:将训练完成的生成对抗网络进行交通数据修复。
在一个具体的实施例中,对收集到原始交通数据集进行处理,主要包含数据项:交通流量、道路车速、道路占有率。其可根据实际需求,进行特征工程,原始交通数据集为:
X=(X1,…,Xt,…,XT)∈RV×F×T
其中,
Figure BDA0002411382160000031
V为路网路口的总数,v为路口编号,T为时间段切片总数,实际中,一般以一周作为最长的时间研究序列,如果以5min收集一次数据,则T的取值为60×24×7÷5=2016,t为切片编号,F为特征的总数。
由于原始交通数据集存在一定程度的缺失且有时收集回来的流量数据存在一定异常值的情况,因此,需要首先进行异常值处理,异常值处理考虑特征间的相关性,同时用一元高斯分布的离群点筛选方法进行异常值处理,如下式所示,
Figure BDA0002411382160000041
Figure BDA0002411382160000042
若当前观测值x,其满足μ-2σ≤x≤μ+2σ,则为正常值,否则即为异常值。这样即可得到张量X中异常值的位置,记为张量M∈RV×F×T,如下式所示,
Figure BDA0002411382160000043
因此,对于原始数据集X,对其进行下述运算,得到缺失的数据集张量,筛选出不存在流量缺失的数据作为后述的训练集。
X’=X⊙M
在一个具体的实施例中,对于生成对抗网络模型中生成网络G、判别网络D的详细结构,如图3所示,本实施例所述生成对抗网络模型结构设计的目的是为了使生成对抗网络在后期的训练过程中能捕获到空间和时间相关的模式,使得网络训练学习的过程中能精准抓取到路网拓扑、时间信息与交通模式间的联系,以便更准确地重建样本填充到缺失的流量数据中,这里我们在生成网络与判别网络中均引入了图卷积层,用于捕获路网中个路口间的空间相关联程度,定义拉普拉斯算子如下,
Figure BDA0002411382160000044
其中,A为邻接矩阵,其表示矩阵行列都路网中的V个路口,若两个路口相连接矩阵中的值为1,其它为0。D为度矩阵,其表示当前路口与其它路口有连接的总数,其为对角矩阵。Iv是V×V的单位矩阵。
采用拉普拉斯算子提取路网信息进行卷积运算,以
Figure BDA0002411382160000045
作为输入为例进行如下傅里叶变换,
gθ*Gx=gθ(L)x=gθ(UΛUT)x=Ugθ(Λ)UTx
其中,L进行矩阵分解,U为傅里叶变换矩阵,Λ为daig[λ1,λ2,…,λv],其可成
Figure BDA0002411382160000051
通过上述变换,即完成数据集空间模式的提取。
在一个具体的实施例中,由于上述公式需要进行特征值分解,当路网图较大时,特征分解计算效率较低,为加快卷积运算效率,可以引入切比雪夫多项式进行近似优化,可大大减少训练过程中的运算时间,如下可将gθ*Gx转化为,
Figure BDA0002411382160000052
其中,
Figure BDA0002411382160000053
λmax是拉普拉斯矩阵中最大的特征值,切比雪夫多项式Tk(x)=2xTk-1(x)-Tk-2(x),其中T0(x)=1,T1(x)=x,K为切比雪夫式的递归次数,其越大,与实际矩阵分解后的结果更接近,记gθ*Gx为g(x,A)。
在一个具体的实施例中,为了提取有效的时间序列信息,我们选择采用循环层进行捕获数据集中的时间模式,其在一定程度能防止网络在后续的训练过程中出现梯度消失的状况。
具体地,将g(x,A)作为输入传给循环层,如下为数据流在隐层时间单元中传递的表达式:
ut=σ(Wu[g(x,A),ht-1]+bu)
rt=σ(Wr[g(x,A),ht-1]+br)
ct=tanh(Wc[g(x,A),(rt*ht-1)]+bc)
ht=ut*ht-1+(1-ut)*ct
其中,ut表示更新门,rt表示重置门,ht为t时刻隐层状态输出。
为了防止在后续的训练过程中,循环层存在梯度爆炸等情况,需要在训练的反向传播过程中进行梯度裁剪,避免训练梯度过大导致训练还未收敛就提前结束。
在一个具体的实施例中,步骤S5,将待修复的数据集输入到生成对抗网络,所述的生成对抗网络主要分为生成网络与判别网络两部分,其基本思想是随机噪声通过生成网络输出重建数据(假样本),之后生成网络生成的重建数据和真实数据一同输入判别网络。其后,判别网络力求最大化分辨真实数据的能力,生成网络力求使得生成的数据以假乱真迷惑判别网络,两者动态“博弈”直到判别网络不能分辨真假样本。
设z为噪声变量,每次训练时,抽取n个样本
{z(1),…,z(n)}
同时,从训练数据集中选出相同数量的真实样本
所述的生成对抗网络的损失函数主要包括:生成对抗损失和样本重构损失。
这里,为了使得生成网络G生成的数据尽可能地逼近真实的样本X,在训练生成对抗网络时,引入样本重构损失,具体如下:
Lossrecons=||G(z)⊙M-X’||
此公式中,使用了L2范数的损失函数;其函数连续平滑,对异常值有较大的惩罚,加快了前期网络的训练速度。另一方面,只计算了张量数据中非缺失位置的损失,这样能避免无效运算。
同时,在生成对抗网络中还需加入对抗网络架构的损失:
Figure BDA0002411382160000061
其中,D为判别网络,G为生成网络,ln(D(x))表示判别网络判断x属于真实分布的概率,ln(D(G(z)))表示判别网络判断由生成网络从噪声z生成的数据G(z)属于真实分布的概率。
因此,确定最终联合得到的综合损失函数为:
Figure BDA0002411382160000062
其中,λ为超参数,其可通过网格参数搜索、贝叶斯超参数搜索等方法确定。
由此可知,本实施例综合考虑样本重构损失、样本生成损失、判别损失三部分损失。
其中样本重构损失主要是为了使得生成网络G生成的数据尽可能地逼近真实的样本X,同时引入L2损失函数进行优化,使得训练过程中对以异常值的惩罚加大,加快前期网络的训练速度。
所述的样本生成损失主要是为了使生成网络生成的数据能“取代”真实的样本数据集,判别网络难以区分两者,其致使真假样本分类判别的交叉熵损失朝着更小的方向训练。
所述的判别损失主要是为了使得判别器具备更强的能力区分重建数据集与真实数据集,其致使真假样本分类判别的交叉熵损失朝着更大的方向训练;
综合上述三类损失,最终建立的生成对抗网络模型是使损失朝着不断减小的方向优化。
在一个具体的实施例中,步骤S5,所述的生成网络与判别网络动态对抗训练,具体如下:
S501:随机初始化生成对抗网络模型的参数;确定超参数λ,其可采用网格参数搜索、贝叶斯超参数搜索等方法确定。
S502:将待修复的数据集输入生成网络后得到重建数据集,之后将重建数据集和真实数据集一同输入判别网络;
S503:将重建数据集与真实数据集通过综合损失函数进行对比计算,得到各部分的损失函数值;
S504:综合损失的梯度值经过网络的梯度反向传播和链式求导,使得生成对抗网络模型的参数往综合损失降低的方向调整;
具体地,训练过程参数的调整如下所示,
设判别网络D的参数为θd,得到损失关于参数的梯度,
Figure BDA0002411382160000071
更新参数θd时,加上该梯度参数;
设生成网络G的参数为θg,求出损失关于参数的梯度,
Figure BDA0002411382160000072
更新参数θg时,减去该梯度参数;
S505:当生成损失、判别损失共同下降至收敛,即完成了模型的训练过程,否则重复步骤S502~S504;
S506:将待修复数据集中的缺失项用生成的数据集进行填充;
通过以上训练步骤完成得到泛化能力、鲁棒性更强的生成对抗网络模型。将训练完成后的生成对抗网络模型运用到真实缺失的数据库中进行修复即可。
本实施例基于以上所述的交通数据修复方法,进行如下实验:
我们的实验数据为2018.10-2019.1月贵阳市城区的缺失数据上进行实验测试,包含56个交叉口及若干道路,数据形式如下表1所示,
表1传感器采集的数据集格式
路口编号 时间段 (E)流量 (E)车速 (E)占有率 (S)流量 (N)占有率
GS1 17:15-17:30 233 35.75 0.0509 456
GS2 17:15-17:30 28.31 0.0245
GS3 17:15-17:30 213 23.1 0 333
由上表可知,在实际的生产环境中,交通设备经常丢失了一些时段的记录。
在选取数据集时,选择了一段时间天数,数据缺失存在较少的数据集,可将其视为较完整的真实数据集,对其中的数据进行随机删除,按照10%、20%、30%、40%的比例进行随机删除,删除后的数据集即为待修复数据,如图4所示,为完整的数据集张量,按照10%的比例随机删除如图5中的(a)所示,修复后的数据集张量如如图5中的(b)所示;按照20%的比例随机删除如图6中的(a)所示,修复后的数据集张量如如图6中的(b)所示;按照30%的比例随机删除如图7中的(a)所示,修复后的数据集张量如如图7中的(b)所示;按照40%的比例随机删除如图8中的(a)所示,修复后的数据集张量如如图8中的(b)所示。
在后续调用模型实际应用时,评估待修复的数据的整体缺失率,选用缺失率相近的训练模型进行修复。通过本实施例所述的交通数据修复方法完成生成对抗网络模型的构建、训练,进行数据修复。
本实施例对生成对抗网络模型的评估性能可以采用MAE作为评价指标:
Figure BDA0002411382160000081
也可采用RMSE作为评价指标:
Figure BDA0002411382160000091
其中,xi是完整数据集中还未删除的真实数据,
Figure BDA0002411382160000092
是完整数据集删除后经过本实施例训练完成后的生成对抗网络模型复原后得的重构值。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:所述方法包括以下步骤:
S1:获取交通设备采集到的原始交通数据集,其包括交通流量、道路车速及道路占有率;
S2:采用一元高斯分布离群点筛选方法对上述获得的原始交通数据集进行异常值处理;
S3:从异常值处理后的数据集中选择一段时间内的数据集作为完整的真实数据集,将真实数据集按不同的比例进行随机删除,得不同的比例待修复的数据集;
S4:利用生成网络、判别网络构建具有修复交通数据的生成对抗网络模型;
S5:将待修复的数据集输入生成网络得到重建数据集,之后将重建数据集和真实数据集一同输入判别网络,完成生成网络与判别网络动态对抗训练,使得判别网络不能分辨重建数据和真实数据集;
S6:将训练完成的生成对抗网络进行交通数据修复。
2.根据权利要求1所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:步骤S2,采用一元高斯分布离群点筛选方法进行异常值处理,如下式所示,
Figure FDA0002411382150000011
Figure FDA0002411382150000012
若当前观测值x,其满足μ-2σ≤x≤μ+2σ,则为正常值,否则即为异常值;即可得到张量X中异常值的位置,记为张量M∈RV×F×T,其中V为路网路口数量,F为特征数量,T为收集的时间窗数量,如下式所示,
Figure FDA0002411382150000013
因此,对于原始交通数据集,对其进行下述运算,得到缺失的数据集张量,筛选出不存在流量缺失的数据作为后述网络的训练集;
X’=X⊙M。
3.根据权利要求1所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:步骤S4,所述的生成网络为一个去噪自编码器,其包括两层图卷积层、一层循环层及一层全连接层构成编码器、一层全连接层及一层循环层构成解码器;所述的判别网络为两层图卷积层、一层循环层及一层全连接层;
其中所述图卷积层用于捕获路网中各个路口间的空间相关联程度,所述循环层用于捕获单个路口时间序列上的相关联程度,每一层之间进行Batch Normalization操作,并采用Relu激活函数进行非线性化,最后一层接Dropout层进一步增强模型的泛化能力,所述判别网络在最后接一层sigmod进行判别二分类。
4.根据权利要求3所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:所述图卷积层用于捕获路网中个路口间的空间相关联程度,具体如下:定义拉普拉斯算子如下,
Figure FDA0002411382150000021
其中,A为邻接矩阵,其表示矩阵行列都路网中的V个路口,若两个路口相连接矩阵中的值为1,其它为0;D为度矩阵,其表示当前路口与其它路口有连接的总数,其为对角矩阵,Iv是V×V的单位矩阵;
采用拉普拉斯算子提取路网信息进行卷积运算,以
Figure FDA0002411382150000025
作为输入为例进行如下傅里叶变换:
gθ*Gx=gθ(L)x=gθ(UΛUT)x=Ugθ(Λ)UTx
其中,L进行矩阵分解,U为傅里叶变换矩阵,Λ为daig[λ1,λ2,…,λv],其可写成
Figure FDA0002411382150000022
通过上述变换,即完成数据集空间模式的提取。
5.根据权利要求4所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:为了加快卷积运算效率,引入切比雪夫多项式进行近似优化,如下可将gθ*Gx转化为,
Figure FDA0002411382150000023
其中,
Figure FDA0002411382150000024
λmax是拉普拉斯矩阵中最大的特征值,切比雪夫多项式Tk(x)=2xTk-1(x)-Tk-2(x),其中T0(x)=1,T1(x)=x,K为切比雪夫式的递归次数,记gθ*Gx为g(x,A)。
6.根据权利要求5所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:步骤S4,所述循环层用于捕获单个路口时间序列上的相关联程度,具体地:
将g(x,A)作为输入传给循环层,如下为数据流在隐层时间单元中传递的表达式:
ut=σ(Wu[g(x,A),ht-1]+bu)
rt=σ(Wr[g(x,A),ht-1]+br)
ct=tanh(Wc[g(x,A),(rt*ht-1)]+bc)
ht=ut*ht-1+(1-ut)*Ct
其中,ut表示更新门,rt表示重置门,ht为t时刻隐层状态输出。
7.根据权利要求6所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:步骤S5,为了使得生成网络生成的重建数据集尽可能的逼近原始交通数据X,在对生成对抗网络模型进行训练时,引入样本重构损失,如下:
Lossreeons=||G(z)⊙M-X’||
此公式中,使用了L2范数的损失函数;
同时,还加入对抗网络架构的损失:
Figure FDA0002411382150000031
其中,D为判别网络,G为生成网络,ln(D(x))表示判别网络判断x属于真实分布的概率,ln(D(G(z)))表示判别网络判断由生成网络从噪声z生成的数据G(z)属于真实分布的概率;
因此,联合得到综合损失函数为,
Figure FDA0002411382150000032
其中,λ为超参数。
8.根据权利要求7所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:步骤S5,所述的生成网络与判别网络动态对抗训练,具体如下:
S501:随机初始化生成对抗网络模型的参数,确定超参数λ;
S502:将待修复的数据集输入生成网络后得到重建数据集,之后将重建数据集和真实数据集一同输入判别网络;
S503:将重建数据集与真实数据集通过综合损失函数进行对比计算,得到各部分的损失函数值;
S504:综合损失的梯度值经过网络的梯度反向传播和链式求导,使得生成对抗网络模型的参数往综合损失降低的方向调整;
S505:当生成损失、判别损失共同下降至收敛,即完成了模型的训练过程,否则重复步骤S502~S504;
S506:将待修复数据集中的缺失项用生成的数据集进行填充。
9.根据权利要求8所述的基于图卷积时序生成对抗网络的交通数据修复方法,其特征在于:步骤S504,具体地,训练过程中的参数调整如下:
设判别网络D的参数为θd,得到损失关于参数的梯度,
Figure FDA0002411382150000041
更新参数θd时,加上该梯度参数;
设生成网络G的参数为θg,求出损失关于参数的梯度,
Figure FDA0002411382150000042
更新参数θg时,减去该梯度参数。
CN202010177751.6A 2020-03-13 2020-03-13 一种基于图卷积时序生成对抗网络的交通数据修复方法 Active CN111540193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010177751.6A CN111540193B (zh) 2020-03-13 2020-03-13 一种基于图卷积时序生成对抗网络的交通数据修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010177751.6A CN111540193B (zh) 2020-03-13 2020-03-13 一种基于图卷积时序生成对抗网络的交通数据修复方法

Publications (2)

Publication Number Publication Date
CN111540193A true CN111540193A (zh) 2020-08-14
CN111540193B CN111540193B (zh) 2022-07-26

Family

ID=71976669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010177751.6A Active CN111540193B (zh) 2020-03-13 2020-03-13 一种基于图卷积时序生成对抗网络的交通数据修复方法

Country Status (1)

Country Link
CN (1) CN111540193B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287984A (zh) * 2020-10-15 2021-01-29 长安大学 一种多维高速公路收费数据的异常检测与修复方法
CN112309112A (zh) * 2020-09-10 2021-02-02 浙江工业大学 一种基于GraphSAGE-GAN的交通路网数据修复方法
CN112330951A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于生成对抗网络实现路网交通数据修复的方法
CN112699608A (zh) * 2020-12-31 2021-04-23 哈尔滨工业大学 适用于传感器掉电导致数据缺失的时间序列修复方法
CN113643564A (zh) * 2021-07-27 2021-11-12 中国科学院深圳先进技术研究院 一种停车数据修复方法、装置、计算机设备以及存储介质
CN114092650A (zh) * 2021-11-30 2022-02-25 燕山大学 一种基于高效图卷积的三维点云生成方法
CN114399901A (zh) * 2022-01-04 2022-04-26 青岛海信网络科技股份有限公司 一种控制交通系统的方法和设备
CN114579546A (zh) * 2022-02-22 2022-06-03 南京信息工程大学 基于多变量对抗生成网络的地理大数据缺值补入方法
CN114925808A (zh) * 2022-04-15 2022-08-19 北京理工大学 一种基于云网端资源中不完整时间序列的异常检测方法
CN114996625A (zh) * 2022-04-26 2022-09-02 西南石油大学 一种基于贝叶斯优化及自编码器的测井数据补全方法
CN115796259A (zh) * 2022-11-24 2023-03-14 北京百度网讯科技有限公司 模型训练方法、数据处理方法、预测方法及装置、设备
CN117743719A (zh) * 2023-12-22 2024-03-22 北京京航计算通讯研究所 一种页面元素的识别方法
CN117765737A (zh) * 2024-02-21 2024-03-26 天津大学 交通异常检测方法、装置、设备、介质及程序产品
CN118013400A (zh) * 2024-04-08 2024-05-10 广汽埃安新能源汽车股份有限公司 电机故障诊断方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091081A (zh) * 2014-07-15 2014-10-08 中国科学院自动化研究所 一种交通数据弥补方法
CN107908744A (zh) * 2017-11-16 2018-04-13 河南中医药大学 一种用于大数据清洗的异常检测和消除的方法
CN108805418A (zh) * 2018-05-22 2018-11-13 福州大学 一种基于生成式对抗网络的交通数据填充方法
CN109272157A (zh) * 2018-09-12 2019-01-25 中交信息技术国家工程实验室有限公司 一种基于门控神经网络的高速公路交通流参数预测方法及系统
CN109760635A (zh) * 2019-01-08 2019-05-17 同济大学 一种基于gan网络的线控雨刷控制系统
CN110018927A (zh) * 2019-01-28 2019-07-16 北京工业大学 基于生成对抗网络的交通数据修复方法
CN110164128A (zh) * 2019-04-23 2019-08-23 银江股份有限公司 一种城市级智能交通仿真系统
CN110555018A (zh) * 2019-07-29 2019-12-10 浙江工业大学 一种交通流量补全与预测方法
CN110866314A (zh) * 2019-10-22 2020-03-06 东南大学 多层双向门控循环单元网络的旋转机械剩余寿命预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091081A (zh) * 2014-07-15 2014-10-08 中国科学院自动化研究所 一种交通数据弥补方法
CN107908744A (zh) * 2017-11-16 2018-04-13 河南中医药大学 一种用于大数据清洗的异常检测和消除的方法
CN108805418A (zh) * 2018-05-22 2018-11-13 福州大学 一种基于生成式对抗网络的交通数据填充方法
CN109272157A (zh) * 2018-09-12 2019-01-25 中交信息技术国家工程实验室有限公司 一种基于门控神经网络的高速公路交通流参数预测方法及系统
CN109760635A (zh) * 2019-01-08 2019-05-17 同济大学 一种基于gan网络的线控雨刷控制系统
CN110018927A (zh) * 2019-01-28 2019-07-16 北京工业大学 基于生成对抗网络的交通数据修复方法
CN110164128A (zh) * 2019-04-23 2019-08-23 银江股份有限公司 一种城市级智能交通仿真系统
CN110555018A (zh) * 2019-07-29 2019-12-10 浙江工业大学 一种交通流量补全与预测方法
CN110866314A (zh) * 2019-10-22 2020-03-06 东南大学 多层双向门控循环单元网络的旋转机械剩余寿命预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李爱国 等: "《数据挖掘原理、算法及应用》", 31 January 2012, 西安电子科技大学出版社 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309112A (zh) * 2020-09-10 2021-02-02 浙江工业大学 一种基于GraphSAGE-GAN的交通路网数据修复方法
CN112330951A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于生成对抗网络实现路网交通数据修复的方法
CN112287984A (zh) * 2020-10-15 2021-01-29 长安大学 一种多维高速公路收费数据的异常检测与修复方法
CN112287984B (zh) * 2020-10-15 2022-10-11 长安大学 一种多维高速公路收费数据的异常检测与修复方法
CN112699608A (zh) * 2020-12-31 2021-04-23 哈尔滨工业大学 适用于传感器掉电导致数据缺失的时间序列修复方法
CN112699608B (zh) * 2020-12-31 2022-05-06 哈尔滨工业大学 适用于传感器掉电导致数据缺失的时间序列修复方法
CN113643564A (zh) * 2021-07-27 2021-11-12 中国科学院深圳先进技术研究院 一种停车数据修复方法、装置、计算机设备以及存储介质
CN114092650A (zh) * 2021-11-30 2022-02-25 燕山大学 一种基于高效图卷积的三维点云生成方法
CN114092650B (zh) * 2021-11-30 2024-05-28 燕山大学 一种基于高效图卷积的三维点云生成方法
CN114399901A (zh) * 2022-01-04 2022-04-26 青岛海信网络科技股份有限公司 一种控制交通系统的方法和设备
CN114399901B (zh) * 2022-01-04 2022-12-13 青岛海信网络科技股份有限公司 一种控制交通系统的方法和设备
CN114579546A (zh) * 2022-02-22 2022-06-03 南京信息工程大学 基于多变量对抗生成网络的地理大数据缺值补入方法
CN114925808A (zh) * 2022-04-15 2022-08-19 北京理工大学 一种基于云网端资源中不完整时间序列的异常检测方法
CN114925808B (zh) * 2022-04-15 2023-10-10 北京理工大学 一种基于云网端资源中不完整时间序列的异常检测方法
CN114996625A (zh) * 2022-04-26 2022-09-02 西南石油大学 一种基于贝叶斯优化及自编码器的测井数据补全方法
CN115796259B (zh) * 2022-11-24 2024-03-08 北京百度网讯科技有限公司 模型训练方法、数据处理方法、预测方法及装置、设备
CN115796259A (zh) * 2022-11-24 2023-03-14 北京百度网讯科技有限公司 模型训练方法、数据处理方法、预测方法及装置、设备
CN117743719A (zh) * 2023-12-22 2024-03-22 北京京航计算通讯研究所 一种页面元素的识别方法
CN117765737A (zh) * 2024-02-21 2024-03-26 天津大学 交通异常检测方法、装置、设备、介质及程序产品
CN117765737B (zh) * 2024-02-21 2024-05-14 天津大学 交通异常检测方法、装置、设备、介质及程序产品
CN118013400A (zh) * 2024-04-08 2024-05-10 广汽埃安新能源汽车股份有限公司 电机故障诊断方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111540193B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN111540193B (zh) 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN109492830B (zh) 一种基于时空深度学习的移动污染源排放浓度预测方法
CN109166309B (zh) 一种面向复杂城市交通网络的缺失流量数据恢复方法
CN113591380B (zh) 基于图高斯过程的交通流预测方法、介质及设备
CN105843919A (zh) 一种基于多特征融合与聚类集成的移动对象轨迹聚类方法
CN106384092A (zh) 面向监控场景的在线低秩异常视频事件检测方法
CN104077613A (zh) 一种基于级联多级卷积神经网络的人群密度估计方法
CN101699514B (zh) 基于免疫克隆量子聚类的sar图像分割方法
CN112560966B (zh) 基于散射图卷积网络的极化sar图像分类方法、介质及设备
CN114944053B (zh) 一种基于时空超图神经网络的交通流预测方法
CN115599779B (zh) 一种城市道路交通缺失数据插值方法及相关设备
CN106529721A (zh) 一种深度特征提取的广告点击率预测系统及其预测方法
CN115545350B (zh) 综合深度神经网络与强化学习的车辆路径问题求解方法
CN111832228B (zh) 基于cnn-lstm的振动传递系统
CN113570861B (zh) 一种基于合成数据的交通流量预测方法及装置
CN114036135A (zh) 利用不完全信息估计城市移动源污染排放方法及系统
CN113919226A (zh) 基于权重的采矿植被生态累积效应扰动范围识别方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN113326862A (zh) 审计大数据融合聚类与风险数据检测方法、介质、设备
CN106251375A (zh) 一种通用隐写分析的深度学习堆栈式自动编码方法
Nguyen Multi-objective automatic calibration of hydrodynamic models-development of the concept and an application in the Mekong Delta
CN114037001A (zh) 基于wgan-gp-c和度量学习的机械泵小样本故障诊断方法
CN116912661A (zh) 一种具备域泛化能力的目标轨迹预测方法及系统
CN117093830A (zh) 一种考虑局部与全局的用户负荷数据修复方法
Althobaiti et al. Intelligent deep data analytics-based remote sensing scene classification model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant