CN115019510A - 一种基于动态自适应生成对抗网络的交通数据修复方法 - Google Patents

一种基于动态自适应生成对抗网络的交通数据修复方法 Download PDF

Info

Publication number
CN115019510A
CN115019510A CN202210753282.7A CN202210753282A CN115019510A CN 115019510 A CN115019510 A CN 115019510A CN 202210753282 A CN202210753282 A CN 202210753282A CN 115019510 A CN115019510 A CN 115019510A
Authority
CN
China
Prior art keywords
traffic data
matrix
network
data
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210753282.7A
Other languages
English (en)
Other versions
CN115019510B (zh
Inventor
李金龙
李若南
许伦辉
吴攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210753282.7A priority Critical patent/CN115019510B/zh
Publication of CN115019510A publication Critical patent/CN115019510A/zh
Application granted granted Critical
Publication of CN115019510B publication Critical patent/CN115019510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于动态自适应生成对抗网络的交通数据修复方法。所述方法包括以下步骤：获取原始交通数据，构成原始交通数据矩阵；利用数据标准化处理原始交通数据矩阵，确定异常数据位置，并对其进行预处理；构建多个待修复交通数据矩阵；组建由全连接神经网络构成的生成对抗网络，并基于博弈思想迭代训练生成器与对抗器；引入一种动态自适应机制，自动识别生成对抗网络的最佳迭代次数，并利用待修复交通数据矩阵完成生成对抗网络的模型训练；利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。本发明具有算法计算复杂度低、修复精度高、实时动态性强等优点，可为智能城市交通规划与管理、实时公交调度与优化等提供保障。

Description

一种基于动态自适应生成对抗网络的交通数据修复方法
技术领域
本发明涉及智能交通技术领域，具体涉及一种基于动态自适应生成对抗网络的交通数据修复方法。
背景技术
城市道路交通网络是一个数据丰富且存在特定运行规律的复杂系统，它有序支撑了城市居民的便捷生活，也促进了现代城市的稳健发展。然而，随着传感器技术、通信技术等先进方法的迅猛发展，交通数据迎来了爆炸性增长，缺失、异常等劣质数据也随之产生。导致交通数据缺失的主要因素包括软件或硬件故障，数据的缺失比率和缺失类型也依实际环境呈复杂变化。因此，采用有效算法对缺失交通数据进行高精度修复，从而保障交通数据的后续建模与分析甚至城市路网交通系统稳定运行都有极为重要的作用。
现阶段的交通数据修复方法主要包括传统插值方法、统计学习与生成对抗网络算法(王力,李敏,闫佳庆,张玲玉,潘科,&李正熙.(2018).基于生成式对抗网络的路网交通流数据补全方法.交通运输系统工程与信息,18(6),9.)。存在的主要缺陷包括无法有效修复缺失的交通数据以及无法解决高缺失率交通数据修复等问题。特别对于大规模交通数据集，数据的时空特性十分复杂，传统的修复方法已经无法应对新形式下的修复目标。因此，建立稳定且高效的交通数据修复模型十分必要。
发明内容
为克服现有技术的不足，本发明提供了一种基于动态自适应生成对抗网络的交通数据修复方法。该方法动态驱使生成对抗网络自适应其数据生成过程，解决GAN迭代过程不稳定、过拟合与欠拟合等问题，进而有效提高交通数据的修复精度和效率。
本发明的目的至少通过如下技术方案之一实现。
一种基于动态自适应生成对抗网络的交通数据修复方法，包括以下步骤：
S1、通过布置在城市路网干道上的传感器不间断获取原始交通数据，构成原始交通数据矩阵；
S2、利用数据标准化处理原始交通数据矩阵，并通过可视化方式绘制交通数据随时间变化的热力图，确定异常数据位置，并对其进行预处理；
S3、构造时空交通数据矩阵，并按不同的缺失类型和比例随机删除部分数据，构建多个待修复交通数据矩阵；
S4、组建由全连接神经网络构成的生成对抗网络(GAN)，并基于博弈思想迭代训练生成器与对抗器；
S5、引入一种动态自适应机制，自动识别生成对抗网络的最佳迭代次数，并利用待修复交通数据矩阵完成生成对抗网络的模型训练；
S6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。
进一步地，步骤S1中，采集的原始交通数据包括交通流量、速度或者密度。
进一步地，步骤S2具体如下：
对原始交通数据进行预处理，按如下标准化公式完成不同数据量纲的统一：
Figure BDA0003721719480000021
其中，
Figure BDA0003721719480000022
为城市路网传感器检测的原始交通数据；
Figure BDA0003721719480000023
为对应传感器观测值的最小值；
Figure BDA0003721719480000024
为对应传感器观测值的最大值；
Figure BDA0003721719480000025
为数据标准化后的原始交通数据；对于优化后的原始交通数据矩阵，通过可视化的方式绘制交通数据随时间变化的热力图，热力图中的0值颜色块和数值超过设定阈值的极大值颜色块的所在位置即是异常数据点位置；进一步通过设置交通数据的阈值，采用网格搜索法逐个对比交通数据与阈值的大小，锁定异常数据的坐标；求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据，或者直接删除采集锁定的异常数据的传感器所测量的所有数据，剩余的原始交通数据用于构成最终交通数据矩阵。
进一步地，步骤S3具体如下：
采用
Figure BDA0003721719480000031
表示城市路网的拓扑结构，构建最终交通数据矩阵
Figure BDA0003721719480000032
其中，I和J分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量；
最终交通数据矩阵
Figure BDA0003721719480000033
中，xij表示第i个传感器在第j个时间点测量的交通数据；
构建最终交通数据矩阵
Figure BDA0003721719480000034
对应的掩码矩阵
Figure BDA0003721719480000035
掩码矩阵
Figure BDA0003721719480000036
中的元素mij表示交通数据矩阵
Figure BDA0003721719480000037
中对应位置的元素是否缺失的标记值，表示如下：
Figure BDA0003721719480000038
其中，
Figure BDA0003721719480000039
属于最终交通数据矩阵
Figure BDA00037217194800000310
中被观察到的部分交通数据的集合，Ω属于该集合索引；部分交通数据的集合
Figure BDA00037217194800000311
与最终交通数据矩阵
Figure BDA00037217194800000312
还存在
Figure BDA00037217194800000313
Figure BDA00037217194800000314
的关系，符号
Figure BDA00037217194800000315
代表矩阵间的哈达玛积。
进一步地，为了模拟自然环境下的数据缺失现象，人为设置掩码矩阵
Figure BDA00037217194800000316
中0的比率和位置，具体如下：
未缺失状况下的掩码矩阵
Figure BDA00037217194800000317
中的数据全为1，缺失率为0；用0替代1表示数据的缺失，设置0的个数占掩码矩阵
Figure BDA00037217194800000318
总个数的比率，该比率即为缺失率；对于随机缺失(RM)情况，掩码矩阵
Figure BDA00037217194800000319
中用0替代1的过程是随机的，所生成的缺失值在最终交通数据矩阵
Figure BDA00037217194800000320
中呈分散分布；而对于聚类缺失(CM)情况，掩码矩阵
Figure BDA00037217194800000321
中0值的分布呈明显的连续分布，典型表现为同一个传感器在一段时间内发生故障，导致采集的交通数据值为0；最后，按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵，并统一命名为
Figure BDA00037217194800000322
进一步地，步骤S4具体如下：
设置生成对抗网络的生成器(G)和对抗器(D)，生成器(G)和对抗器(D)均为三层全连接神经网络，采用博弈思想迭代训练生成对抗网络模型，以填补步骤S3中的待修复交通数据矩阵；生成对抗网络模型被定义为如下的最大最小值博弈优化过程：
Figure BDA0003721719480000041
其中，LG和LD分别代表生成对抗网络中生成器(G)的生成过程与对抗器(D)的对抗过程；z是噪声数据，来自于分布pz，满足z～pz；preal(x)代表步骤S3中的待修复交通矩阵中的数据的真实分布；V(D,G)代表修复任务的目标函数；pz(z)代表随机噪声分布；
Figure BDA0003721719480000042
和
Figure BDA0003721719480000043
均为带掩体矩阵
Figure BDA0003721719480000044
的三层全连接神经网络；
Figure BDA0003721719480000045
和
Figure BDA0003721719480000046
分别表示preal(x)和pz(z)的期望值；
通过固定生成器(G)，最大化公式(3)的V(D,G)函数，得到最优对抗器D为：
Figure BDA0003721719480000047
其中，pg代表生成器(G)定义的概率分布，其初始分布为随机噪声，经过模型训练后逐渐逼近
Figure BDA0003721719480000048
代表待修复交通数据矩阵的真实分布；公式(3)可进一步转化为：
Figure BDA0003721719480000049
其中，
Figure BDA00037217194800000410
代表在固定判别器D的情况下优化生成器G的目标函数；
Figure BDA00037217194800000411
代表pg的期望值；当满足
Figure BDA0003721719480000051
时，生成器(G)能完整的复制待修复交通数据的生成过程。
进一步地，步骤S5中，标准生成对抗网络根据生成器(G)与对抗器(D)的损失值进行迭代训练，但该过程对迭代次数的固定设置导致模型训练过程不稳定，训练结束后模型易出现过拟合或欠拟合现象；
因此，提出一种动态自适应机制，通过更改生成对抗网络的误差反馈对象以修改模型训练的损失函数，并利用Savizkg-Golag(S-G)平滑和二阶求导(2D)动态确定生成对抗网络的最佳迭代次数，具体如下：
生成器依据噪声分布输出所有生成的交通数据：
Figure BDA0003721719480000052
利用公式(6)中生成器依据噪声分布输出所有生成的交通数据
Figure BDA0003721719480000053
替换待修复交通数据矩阵
Figure BDA0003721719480000054
以形成完整的交通数据矩阵
Figure BDA0003721719480000055
Figure BDA0003721719480000056
进一步训练生成器(G)以最小化对抗器(D)对所生成的完整的交通数据矩阵
Figure BDA0003721719480000057
的判断概率，确保在得到最佳生成器G的基础上获得最佳对抗器D，此时的博弈过程由公式(3)转变为：
Figure BDA0003721719480000058
计算生成器(G)的训练误差
Figure BDA0003721719480000059
和测试误差
Figure BDA00037217194800000510
并分别累计形成训练误差向量
Figure BDA00037217194800000511
和测试误差向量
Figure BDA00037217194800000512
Figure BDA00037217194800000513
Figure BDA0003721719480000061
其中，
Figure BDA0003721719480000062
代表已观测的交通数据矩阵，
Figure BDA0003721719480000063
代表已修复的交通数据矩阵；应用S-G平滑和2D作用于训练误差向量
Figure BDA0003721719480000064
和测试误差向量
Figure BDA0003721719480000065
以获得生成对抗网络的动态迭代次数。
进一步地，S-G平滑是一种常用低通滤波器，用于消除训练误差向量
Figure BDA0003721719480000066
和测试误差向量
Figure BDA0003721719480000067
中的干扰因素，以便观察生成器(G)的迭代趋势；
具体而言，取训练误差向量
Figure BDA0003721719480000068
和测试误差向量
Figure BDA0003721719480000069
中长度为(2w+1)的部分误差组成局部误差向量，设置一个n阶多项式fy来拟合局部误差向量：
Figure BDA00037217194800000610
其中，[cn0,cn1,cn2…cnn]代表fy的系数；n代表fy的阶次；计算训练误差向量
Figure BDA00037217194800000611
和测试误差向量
Figure BDA00037217194800000612
的原始误差值与修正后的误差值之间的均方误差：
Figure BDA00037217194800000613
通过偏最小二乘法拟合公式(12)以最小化
Figure BDA00037217194800000614
确定fy系数[cn0,cn1,cn2…cnn]；重新计算局部误差向量以得到修正后的误差值；
经过S-G平滑后训练误差向量
Figure BDA00037217194800000615
和测试误差向量
Figure BDA00037217194800000616
的曲线随迭代次数增加凸显更清晰的变化趋势，随后对曲线进行2D处理以动态监测生成器(G)的迭代过程；
当曲线的斜率发生翻转时，即可终止生成对抗网络的训练过程；
在迭代期间，训练误差向量
Figure BDA0003721719480000071
和测试误差向量
Figure BDA0003721719480000072
也在不断更新，所有误差值都在不断减少，而动态确定的迭代次数表明生成对抗网络通过训练以减少修复误差的趋势逐渐脱离稳定变化的范围，此时中断生成对抗网络的训练既可避免出现训练混乱以及过拟合与欠拟合现象，同时收获较好的修复效果。
进一步地，步骤S6中，所述模型评价指标包括平均绝对百分比误差MAPE、均方根误差RMSE和平均绝对误差MAE。
进一步地，利用模型评价指标对动态自适应生成对抗网络的修复性能进行评价，指标的计算公式如下：
Figure BDA0003721719480000073
Figure BDA0003721719480000074
Figure BDA0003721719480000075
其中，|Ω|代表Ω的大小；xij和
Figure BDA0003721719480000076
分别代表第i个传感器在第j个时间点测量的真实交通数据值及其修复值。
本发明的有益效果主要表现在：提出一种改进的GAN模型用于缺失交通数据修复。其中，GAN的生成器G与对抗器D采用了三层全连接神经网络深度提取交通数据特征。特别针对GAN训练过程不稳定，易出现过拟合与欠拟合等问题，提出一种动态自适应机制改进GAN的损失函数，动态调整GAN的迭代次数，进而有效提高了GAN模型的修复精度、效率和鲁棒性。
附图说明
图1为本发明实施例中一种基于动态自适应生成对抗网络的交通数据修复方法的流程图。
图2为本发明实施例中动态自适应生成对抗网络的模型结构图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图对示例性实施例进行说明。
实施例1：
一种基于动态自适应生成对抗网络的交通数据修复方法，如图1所示，包括以下步骤：
S1、通过布置在城市路网干道上的传感器不间断获取原始交通数据，构成原始交通数据矩阵；
采集的原始交通数据包括交通流量、速度或者密度。
S2、利用数据标准化处理原始交通数据矩阵，并通过可视化方式绘制交通数据随时间变化的热力图，确定异常数据位置，并对其进行预处理，具体如下：
对原始交通数据进行预处理，按如下标准化公式完成不同数据量纲的统一：
Figure BDA0003721719480000081
其中，
Figure BDA0003721719480000082
为城市路网传感器检测的原始交通数据；
Figure BDA0003721719480000083
为对应传感器观测值的最小值；
Figure BDA0003721719480000084
为对应传感器观测值的最大值；
Figure BDA0003721719480000085
为数据标准化后的原始交通数据；对于优化后的原始交通数据矩阵，通过可视化的方式绘制交通数据随时间变化的热力图，热力图中的0值颜色块和数值超过设定阈值的极大值颜色块的所在位置即是异常数据点位置；进一步通过设置交通数据的阈值，采用网格搜索法逐个对比交通数据与阈值的大小，锁定异常数据的坐标；求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据，或者直接删除采集锁定的异常数据的传感器所测量的所有数据，剩余的原始交通数据用于构成最终交通数据矩阵。
S3、构造时空交通数据矩阵，并按不同的缺失类型和比例随机删除部分数据，构建多个待修复交通数据矩阵，具体如下：
采用
Figure BDA0003721719480000086
表示城市路网的拓扑结构，构建最终交通数据矩阵
Figure BDA0003721719480000087
其中，I和J分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量；
最终交通数据矩阵
Figure BDA0003721719480000091
中，xij表示第i个传感器在第j个时间点测量的交通数据；
构建最终交通数据矩阵
Figure BDA0003721719480000092
对应的掩码矩阵
Figure BDA0003721719480000093
掩码矩阵
Figure BDA0003721719480000094
中的元素mij表示交通数据矩阵
Figure BDA0003721719480000095
中对应位置的元素是否缺失的标记值，表示如下：
Figure BDA0003721719480000096
其中，
Figure BDA0003721719480000097
属于最终交通数据矩阵
Figure BDA0003721719480000098
中被观察到的部分交通数据的集合，Ω属于该集合索引；部分交通数据的集合
Figure BDA0003721719480000099
与最终交通数据矩阵
Figure BDA00037217194800000910
还存在
Figure BDA00037217194800000911
Figure BDA00037217194800000912
的关系，符号
Figure BDA00037217194800000913
代表矩阵间的哈达玛积。
为了模拟自然环境下的数据缺失现象，人为设置掩码矩阵
Figure BDA00037217194800000914
中0的比率和位置，具体如下：
未缺失状况下的掩码矩阵
Figure BDA00037217194800000915
中的数据全为1，缺失率为0；用0替代1表示数据的缺失，设置0的个数占掩码矩阵
Figure BDA00037217194800000916
总个数的比率，该比率即为缺失率；对于随机缺失(RM)情况，掩码矩阵
Figure BDA00037217194800000917
中用0替代1的过程是随机的，所生成的缺失值在最终交通数据矩阵
Figure BDA00037217194800000918
中呈分散分布；而对于聚类缺失(CM)情况，掩码矩阵
Figure BDA00037217194800000919
中0值的分布呈明显的连续分布，典型表现为同一个传感器在一段时间内发生故障，导致采集的交通数据值为0；最后，按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵，并统一命名为
Figure BDA00037217194800000920
S4、组建由全连接神经网络构成的生成对抗网络(GAN)，并基于博弈思想迭代训练生成器与对抗器，具体如下：
本实施例中，如图2所示，设置生成对抗网络的生成器(G)和对抗器(D)，生成器(G)和对抗器(D)均为三层全连接神经网络，采用博弈思想迭代训练生成对抗网络模型，以填补步骤S3中的待修复交通数据矩阵；生成对抗网络模型被定义为如下的最大最小值博弈优化过程：
Figure BDA0003721719480000101
其中，LG和LD分别代表生成对抗网络中生成器(G)的生成过程与对抗器(D)的对抗过程；z是噪声数据，来自于分布pz，满足z～pz；preal(x)代表步骤S3中的待修复交通矩阵中的数据的真实分布；V(D,G)代表修复任务的目标函数；pz(z)代表随机噪声分布；
Figure BDA0003721719480000102
和
Figure BDA0003721719480000103
均为带掩体矩阵
Figure BDA0003721719480000104
的三层全连接神经网络；
Figure BDA0003721719480000105
和
Figure BDA0003721719480000106
分别表示preal(x)和pz(z)的期望值；
通过固定生成器(G)，最大化公式(3)的V(D,G)函数，得到最优对抗器D为：
Figure BDA0003721719480000107
其中，pg代表生成器(G)定义的概率分布，其初始分布为随机噪声，经过模型训练后逐渐逼近
Figure BDA0003721719480000108
代表待修复交通数据矩阵的真实分布；公式(3)可进一步转化为：
Figure BDA0003721719480000109
其中，
Figure BDA00037217194800001010
代表在固定判别器D的情况下优化生成器G的目标函数；
Figure BDA00037217194800001011
代表pg的期望值；当满足
Figure BDA00037217194800001012
时，生成器(G)能完整的复制待修复交通数据的生成过程。
S5、引入一种动态自适应机制，自动识别生成对抗网络的最佳迭代次数，并利用待修复交通数据矩阵完成生成对抗网络的模型训练；
标准生成对抗网络根据生成器(G)与对抗器(D)的损失值进行迭代训练，但该过程对迭代次数的固定设置导致模型训练过程不稳定，训练结束后模型易出现过拟合或欠拟合现象；
因此，提出一种动态自适应机制，通过更改生成对抗网络的误差反馈对象以修改模型训练的损失函数，并利用Savizkg-Golag(S-G)平滑和二阶求导(2D)动态确定生成对抗网络的最佳迭代次数，具体如下：
生成器依据噪声分布输出所有生成的交通数据：
Figure BDA0003721719480000111
利用公式(6)中生成器依据噪声分布输出所有生成的交通数据
Figure BDA0003721719480000112
替换待修复交通数据矩阵
Figure BDA0003721719480000113
以形成完整的交通数据矩阵
Figure BDA0003721719480000114
Figure BDA0003721719480000115
进一步训练生成器(G)以最小化对抗器(D)对所生成的完整的交通数据矩阵
Figure BDA0003721719480000116
的判断概率，确保在得到最佳生成器G的基础上获得最佳对抗器D，此时的博弈过程由公式(3)转变为：
Figure BDA0003721719480000117
计算生成器(G)的训练误差
Figure BDA0003721719480000118
和测试误差
Figure BDA0003721719480000119
并分别累计形成训练误差向量
Figure BDA00037217194800001110
和测试误差向量
Figure BDA00037217194800001111
Figure BDA00037217194800001112
Figure BDA0003721719480000121
其中，
Figure BDA0003721719480000122
代表已观测的交通数据矩阵，
Figure BDA0003721719480000123
代表已修复的交通数据矩阵；应用S-G平滑和2D作用于训练误差向量
Figure BDA0003721719480000124
和测试误差向量
Figure BDA0003721719480000125
以获得生成对抗网络的动态迭代次数。
S-G平滑是一种常用低通滤波器，用于消除训练误差向量
Figure BDA0003721719480000126
和测试误差向量
Figure BDA0003721719480000127
中的干扰因素，以便观察生成器(G)的迭代趋势；
具体而言，取训练误差向量
Figure BDA0003721719480000128
和测试误差向量
Figure BDA0003721719480000129
中长度为(2w+1)的部分误差组成局部误差向量，设置一个n阶多项式fy来拟合局部误差向量：
Figure BDA00037217194800001210
其中，[cn0,cn1,cn2…cnn]代表fy的系数；n代表fy的阶次；计算训练误差向量
Figure BDA00037217194800001211
和测试误差向量
Figure BDA00037217194800001212
的原始误差值与修正后的误差值之间的均方误差：
Figure BDA00037217194800001213
通过偏最小二乘法拟合公式(12)以最小化
Figure BDA00037217194800001214
确定fy系数[cn0,cn1,cn2…cnn]；重新计算局部误差向量以得到修正后的误差值；
经过S-G平滑后训练误差向量
Figure BDA00037217194800001215
和测试误差向量
Figure BDA00037217194800001216
的曲线随迭代次数增加凸显更清晰的变化趋势，随后对曲线进行2D处理以动态监测生成器(G)的迭代过程；
当曲线的斜率发生翻转时，即可终止生成对抗网络的训练过程；
在迭代期间，训练误差向量
Figure BDA0003721719480000135
和测试误差向量
Figure BDA0003721719480000136
也在不断更新，所有误差值都在不断减少，而动态确定的迭代次数表明生成对抗网络通过训练以减少修复误差的趋势逐渐脱离稳定变化的范围，此时中断生成对抗网络的训练既可避免出现训练混乱以及过拟合与欠拟合现象，同时收获较好的修复效果。
S6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能；
所述模型评价指标包括平均绝对百分比误差MAPE、均方根误差RMSE和平均绝对误差MAE。
利用模型评价指标对动态自适应生成对抗网络的修复性能进行评价，指标的计算公式如下：
Figure BDA0003721719480000131
Figure BDA0003721719480000132
Figure BDA0003721719480000133
其中，|Ω|代表Ω的大小；xij和
Figure BDA0003721719480000134
分别代表第i个传感器在第j个时间点测量的真实交通数据值及其修复值。
本实施例中，实施过程如下：
(1)选择实验数据：
本实施例中，选择的公开交通数据集为中国广州城市路网交通速度数据矩阵，对动态自适应生成对抗网络的修复性能进行实际评估。
(2)模型参数确定：
生成对抗网络中生成器与对抗器都为三层全连接神经网络，各隐藏层神经元个数分别为209，418和209，激活函数为Leaky_relu函数，数据缺失比率分别为10％，20％，30％，40％，50％，60％，70％，80％和90％，数据缺失类型分别为随机缺失(RM)和聚类缺失(CM)。
(3)实验结果展示：
在各种复杂缺失情况下，广州交通速度数据矩阵的修复评价指标如表1所示。
Figure BDA0003721719480000141
实施例2：
本实施例中，选择的公开交通数据集为杭州地铁客流数据矩阵，对动态自适应生成对抗网络的修复性能进行实际评估。
杭州地铁客流数据矩阵的修复评价指标如表2所示。
Figure BDA0003721719480000142
Figure BDA0003721719480000151
实施例3：
本实施例中，选择的公开交通数据集为Seattle-Loop交通速度数据矩阵，对动态自适应生成对抗网络的修复性能进行实际评估。
Seattle-Loop交通速度数据矩阵的修复评价指标如表3所示。
Figure BDA0003721719480000152

Claims (10)

1.一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，包括以下步骤：
S1、通过布置在城市路网干道上的传感器不间断获取原始交通数据，构成原始交通数据矩阵；
S2、利用数据标准化处理原始交通数据矩阵，并通过可视化方式绘制交通数据随时间变化的热力图，确定异常数据位置，并对其进行预处理；
S3、构造时空交通数据矩阵，并按不同的缺失类型和比例随机删除部分数据，构建多个待修复交通数据矩阵；
S4、组建由全连接神经网络构成的生成对抗网络(GAN)，并基于博弈思想迭代训练生成器与对抗器；
S5、引入一种动态自适应机制，自动识别生成对抗网络的最佳迭代次数，并利用待修复交通数据矩阵完成生成对抗网络的模型训练；
S6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。
2.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S1中，采集的原始交通数据包括交通流量、速度或者密度。
3.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S2具体如下：
对原始交通数据进行预处理，按如下标准化公式完成不同数据量纲的统一：
Figure FDA0003721719470000011
其中，
Figure FDA0003721719470000012
为城市路网传感器检测的原始交通数据；
Figure FDA0003721719470000013
为对应传感器观测值的最小值；
Figure FDA0003721719470000014
为对应传感器观测值的最大值；
Figure FDA0003721719470000015
为数据标准化后的原始交通数据；对于优化后的原始交通数据矩阵，通过可视化的方式绘制交通数据随时间变化的热力图，热力图中的0值颜色块和数值超过设定阈值的极大值颜色块的所在位置即是异常数据点位置；进一步通过设置交通数据的阈值，采用网格搜索法逐个对比交通数据与阈值的大小，锁定异常数据的坐标；求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据，或者直接删除采集锁定的异常数据的传感器所测量的所有数据，剩余的原始交通数据用于构成最终交通数据矩阵。
4.根据权利要求3所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S3具体如下：
采用
Figure FDA0003721719470000021
表示城市路网的拓扑结构，构建最终交通数据矩阵
Figure FDA0003721719470000022
其中，I和J分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量；
最终交通数据矩阵
Figure FDA0003721719470000023
中，xij表示第i个传感器在第j个时间点测量的交通数据；
构建最终交通数据矩阵
Figure FDA0003721719470000024
对应的掩码矩阵
Figure FDA0003721719470000025
掩码矩阵
Figure FDA0003721719470000026
中的元素
Figure FDA0003721719470000027
表示交通数据矩阵
Figure FDA0003721719470000028
中对应位置的元素是否缺失的标记值，表示如下：
Figure FDA0003721719470000029
其中，
Figure FDA00037217194700000210
属于最终交通数据矩阵
Figure FDA00037217194700000211
中被观察到的部分交通数据的集合，Ω属于该集合索引；部分交通数据的集合
Figure FDA00037217194700000212
与最终交通数据矩阵
Figure FDA00037217194700000213
还存在
Figure FDA00037217194700000214
Figure FDA00037217194700000215
的关系，符号
Figure FDA00037217194700000222
代表矩阵间的哈达玛积。
5.根据权利要求4所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，为了模拟自然环境下的数据缺失现象，人为设置掩码矩阵
Figure FDA00037217194700000216
中0的比率和位置，具体如下：
未缺失状况下的掩码矩阵
Figure FDA00037217194700000217
中的数据全为1，缺失率为0；用0替代1表示数据的缺失，设置0的个数占掩码矩阵
Figure FDA00037217194700000218
总个数的比率，该比率即为缺失率；对于随机缺失(RM)情况，掩码矩阵
Figure FDA00037217194700000219
中用0替代1的过程是随机的，所生成的缺失值在最终交通数据矩阵
Figure FDA00037217194700000220
中呈分散分布；而对于聚类缺失(CM)情况，掩码矩阵
Figure FDA00037217194700000221
中0值的分布呈明显的连续分布，典型表现为同一个传感器在一段时间内发生故障，导致采集的交通数据值为0；最后，按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵，并统一命名为
Figure FDA0003721719470000031
6.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S4具体如下：
设置生成对抗网络的生成器(G)和对抗器(D)，生成器(G)和对抗器(D)均为三层全连接神经网络，采用博弈思想迭代训练生成对抗网络模型，以填补步骤S3中的待修复交通数据矩阵；生成对抗网络模型被定义为如下的最大最小值博弈优化过程：
Figure FDA0003721719470000032
其中，LG和LD分别代表生成对抗网络中生成器(G)的生成过程与对抗器(D)的对抗过程；
Figure FDA0003721719470000033
是噪声数据，来自于分布
Figure FDA0003721719470000034
满足
Figure FDA0003721719470000035
preal(x)代表步骤S3中的待修复交通矩阵中的数据的真实分布；V(D,G)代表修复任务的目标函数；
Figure FDA0003721719470000036
代表随机噪声分布；
Figure FDA0003721719470000037
和
Figure FDA0003721719470000038
均为带掩体矩阵
Figure FDA0003721719470000039
的三层全连接神经网络；
Figure FDA00037217194700000310
和
Figure FDA00037217194700000311
分别表示preal(x)和
Figure FDA00037217194700000312
的期望值；
通过固定生成器(G)，最大化公式(3)的V(D,G)函数，得到最优对抗器D为：
Figure FDA00037217194700000313
其中，pg代表生成器(G)定义的概率分布，其初始分布为随机噪声，经过模型训练后逐渐逼近
Figure FDA00037217194700000314
代表待修复交通数据矩阵的真实分布；公式(3)可进一步转化为：
Figure FDA0003721719470000041
其中，
Figure FDA0003721719470000042
代表在固定判别器D的情况下优化生成器G的目标函数；
Figure FDA0003721719470000043
代表pg的期望值；当满足
Figure FDA0003721719470000044
时，生成器(G)能完整的复制待修复交通数据的生成过程。
7.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S5中，提出一种动态自适应机制，通过更改生成对抗网络的误差反馈对象以修改模型训练的损失函数，并利用Savizkg-Golag(S-G)平滑和二阶求导(2D)动态确定生成对抗网络的最佳迭代次数，具体如下：
生成器依据噪声分布输出所有生成的交通数据：
Figure FDA0003721719470000045
利用公式(6)中生成器依据噪声分布输出所有生成的交通数据
Figure FDA0003721719470000046
替换待修复交通数据矩阵
Figure FDA0003721719470000047
以形成完整的交通数据矩阵
Figure FDA0003721719470000048
Figure FDA0003721719470000049
进一步训练生成器(G)以最小化对抗器(D)对所生成的完整的交通数据矩阵
Figure FDA00037217194700000410
的判断概率，确保在得到最佳生成器G的基础上获得最佳对抗器D，此时的博弈过程由公式(3)转变为：
Figure FDA0003721719470000051
计算生成器(G)的训练误差
Figure FDA0003721719470000052
和测试误差
Figure FDA0003721719470000053
并分别累计形成训练误差向量
Figure FDA0003721719470000054
和测试误差向量
Figure FDA0003721719470000055
Figure FDA0003721719470000056
Figure FDA0003721719470000057
其中，
Figure FDA0003721719470000058
代表已观测的交通数据矩阵，
Figure FDA0003721719470000059
代表已修复的交通数据矩阵；应用S-G平滑和2D作用于训练误差向量
Figure FDA00037217194700000510
和测试误差向量
Figure FDA00037217194700000511
以获得生成对抗网络的动态迭代次数。
8.根据权利要求7所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，S-G平滑是一种常用低通滤波器，用于消除训练误差向量
Figure FDA00037217194700000512
和测试误差向量
Figure FDA00037217194700000513
中的干扰因素，以便观察生成器(G)的迭代趋势；
具体而言，取训练误差向量
Figure FDA00037217194700000514
和测试误差向量
Figure FDA00037217194700000515
中长度为
Figure FDA00037217194700000516
的部分误差组成局部误差向量，设置一个n阶多项式
Figure FDA00037217194700000517
来拟合局部误差向量：
Figure FDA00037217194700000518
其中，
Figure FDA00037217194700000519
代表
Figure FDA00037217194700000520
的系数；
Figure FDA00037217194700000521
代表
Figure FDA00037217194700000522
的阶次；计算训练误差向量
Figure FDA00037217194700000523
和测试误差向量
Figure FDA00037217194700000524
的原始误差值与修正后的误差值之间的均方误差：
Figure FDA0003721719470000061
通过偏最小二乘法拟合公式(12)以最小化
Figure FDA0003721719470000062
确定
Figure FDA0003721719470000063
系数
Figure FDA0003721719470000064
重新计算局部误差向量以得到修正后的误差值；
经过S-G平滑后训练误差向量
Figure FDA0003721719470000065
和测试误差向量
Figure FDA0003721719470000066
的曲线随迭代次数增加凸显更清晰的变化趋势，随后对曲线进行2D处理以动态监测生成器(G)的迭代过程；
当曲线的斜率发生翻转时，即可终止生成对抗网络的训练过程；
在迭代期间，训练误差向量
Figure FDA0003721719470000067
和测试误差向量
Figure FDA0003721719470000068
也在不断更新，所有误差值都在不断减少，而动态确定的迭代次数表明生成对抗网络通过训练以减少修复误差的趋势逐渐脱离稳定变化的范围，此时中断生成对抗网络的训练既可避免出现训练混乱以及过拟合与欠拟合现象，同时收获较好的修复效果。
9.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S6中，所述模型评价指标包括平均绝对百分比误差MAPE、均方根误差RMSE和平均绝对误差MAE。
10.根据权利要求1～9任一项所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，利用模型评价指标对动态自适应生成对抗网络的修复性能进行评价，指标的计算公式如下：
Figure FDA0003721719470000069
Figure FDA00037217194700000610
Figure FDA0003721719470000071
其中，|Ω|代表Ω的大小；xij和
Figure FDA0003721719470000072
分别代表第i个传感器在第j个时间点测量的真实交通数据值及其修复值。
CN202210753282.7A 2022-06-29 2022-06-29 一种基于动态自适应生成对抗网络的交通数据修复方法 Active CN115019510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210753282.7A CN115019510B (zh) 2022-06-29 2022-06-29 一种基于动态自适应生成对抗网络的交通数据修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210753282.7A CN115019510B (zh) 2022-06-29 2022-06-29 一种基于动态自适应生成对抗网络的交通数据修复方法

Publications (2)

Publication Number Publication Date
CN115019510A true CN115019510A (zh) 2022-09-06
CN115019510B CN115019510B (zh) 2024-01-30

Family

ID=83079158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210753282.7A Active CN115019510B (zh) 2022-06-29 2022-06-29 一种基于动态自适应生成对抗网络的交通数据修复方法

Country Status (1)

Country Link
CN (1) CN115019510B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116090669A (zh) * 2023-04-03 2023-05-09 江西锦路科技开发有限公司 基于混合神经网络的交通流预测方法、设备和介质
CN116777046A (zh) * 2023-05-11 2023-09-19 中国科学院自动化研究所 交通预训练模型构建和交通预测方法、装置及电子设备
CN117576918A (zh) * 2024-01-17 2024-02-20 四川国蓝中天环境科技集团有限公司 一种基于多源数据的城市道路流量全域预测方法
CN117972439A (zh) * 2024-04-01 2024-05-03 长春理工大学 基于增强空间构造与生成对抗网络的心率预测方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805418A (zh) * 2018-05-22 2018-11-13 福州大学 一种基于生成式对抗网络的交通数据填充方法
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN110018927A (zh) * 2019-01-28 2019-07-16 北京工业大学 基于生成对抗网络的交通数据修复方法
CN110175168A (zh) * 2019-05-28 2019-08-27 山东大学 一种基于生成对抗网络的时间序列数据填补方法及系统
CN110942624A (zh) * 2019-11-06 2020-03-31 浙江工业大学 一种基于sae-gan-sad的路网交通数据修复方法
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
CN112185104A (zh) * 2020-08-22 2021-01-05 南京理工大学 一种基于对抗自编码器的交通大数据修复方法
US20210049452A1 (en) * 2019-08-15 2021-02-18 Intuit Inc. Convolutional recurrent generative adversarial network for anomaly detection
CN113269689A (zh) * 2021-05-25 2021-08-17 西安交通大学 一种基于法向量和高斯权重约束的深度图像补全方法及系统
WO2021243848A1 (zh) * 2020-06-03 2021-12-09 枣庄学院 一种无线传感网异常检测方法
CN114065919A (zh) * 2021-11-17 2022-02-18 南京晨光集团有限责任公司 一种基于生成对抗网络的缺失值补全方法及介质
CN114444013A (zh) * 2020-10-19 2022-05-06 中国石油化工股份有限公司 一种基于对抗博弈的配电网大数据修复方法
CN114531274A (zh) * 2022-01-13 2022-05-24 西安电子科技大学 通信信号调制识别的智能对抗方法、系统、介质及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805418A (zh) * 2018-05-22 2018-11-13 福州大学 一种基于生成式对抗网络的交通数据填充方法
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN110018927A (zh) * 2019-01-28 2019-07-16 北京工业大学 基于生成对抗网络的交通数据修复方法
CN110175168A (zh) * 2019-05-28 2019-08-27 山东大学 一种基于生成对抗网络的时间序列数据填补方法及系统
US20210049452A1 (en) * 2019-08-15 2021-02-18 Intuit Inc. Convolutional recurrent generative adversarial network for anomaly detection
CN110942624A (zh) * 2019-11-06 2020-03-31 浙江工业大学 一种基于sae-gan-sad的路网交通数据修复方法
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
WO2021243848A1 (zh) * 2020-06-03 2021-12-09 枣庄学院 一种无线传感网异常检测方法
CN112185104A (zh) * 2020-08-22 2021-01-05 南京理工大学 一种基于对抗自编码器的交通大数据修复方法
CN114444013A (zh) * 2020-10-19 2022-05-06 中国石油化工股份有限公司 一种基于对抗博弈的配电网大数据修复方法
CN113269689A (zh) * 2021-05-25 2021-08-17 西安交通大学 一种基于法向量和高斯权重约束的深度图像补全方法及系统
CN114065919A (zh) * 2021-11-17 2022-02-18 南京晨光集团有限责任公司 一种基于生成对抗网络的缺失值补全方法及介质
CN114531274A (zh) * 2022-01-13 2022-05-24 西安电子科技大学 通信信号调制识别的智能对抗方法、系统、介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨照宇: "基于生成对抗网络的精准图像检索方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 1142 *
王力，等: "基于生成式对抗网络的路网交通流数据补全方法", 《交通运输系统工程与信息》, pages 63 - 71 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116090669A (zh) * 2023-04-03 2023-05-09 江西锦路科技开发有限公司 基于混合神经网络的交通流预测方法、设备和介质
CN116777046A (zh) * 2023-05-11 2023-09-19 中国科学院自动化研究所 交通预训练模型构建和交通预测方法、装置及电子设备
CN117576918A (zh) * 2024-01-17 2024-02-20 四川国蓝中天环境科技集团有限公司 一种基于多源数据的城市道路流量全域预测方法
CN117576918B (zh) * 2024-01-17 2024-04-02 四川国蓝中天环境科技集团有限公司 一种基于多源数据的城市道路流量全域预测方法
CN117972439A (zh) * 2024-04-01 2024-05-03 长春理工大学 基于增强空间构造与生成对抗网络的心率预测方法及系统

Also Published As

Publication number Publication date
CN115019510B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN115019510A (zh) 一种基于动态自适应生成对抗网络的交通数据修复方法
CN106874581B (zh) 一种基于bp神经网络模型的建筑空调能耗预测方法
CN108764540B (zh) 基于并行lstm串联dnn的供水管网压力预测方法
CN107169628B (zh) 一种基于大数据互信息属性约简的配电网可靠性评估方法
CN113486078B (zh) 一种分布式配电网运行监控方法及系统
CN104408518B (zh) 基于粒子群优化算法的神经网络学习优化方法
CN104331635B (zh) 电力光纤通信光功率预测的方法
CN111415010B (zh) 一种基于贝叶斯神经网络的风电机组参数辨识方法
CN114170789B (zh) 基于时空图神经网络的智能网联车换道决策建模方法
CN112862065B (zh) 一种基于多任务图神经网络的电网支路参数辨识方法
CN112700326A (zh) 一种基于灰狼算法优化bp神经网络的信贷违约预测方法
CN104504462B (zh) 基于改良灰色bpnn和马氏链的汽车形态进化趋势预测方法
CN115049024A (zh) 风速预测模型的训练方法、装置、电子设备和存储介质
CN111192158A (zh) 一种基于深度学习的变电站日负荷曲线相似度匹配方法
CN114708479A (zh) 一种基于图结构和特征的自适应防御方法
CN111414927A (zh) 一种海水水质评价的方法
CN114202106A (zh) 一种基于深度学习的空调系统负荷预测方法
CN115359197A (zh) 一种基于空间自相关神经网络的地质曲面重构方法
CN114066250A (zh) 一种输电项目修理成本测算方法、装置、设备及存储介质
CN112380985A (zh) 变电站入侵异物实时检测方法
CN108009565B (zh) 一种变异环境下河网区设计洪水位计算方法
CN113515890A (zh) 一种基于联邦学习的可再生能源日前场景生成方法
CN110825051A (zh) 一种基于gap metric的不确定系统的多模型控制方法
CN116579479B (zh) 风电场功率超短期预测方法、系统、计算机及存储介质
Wang Prediction of PM 2.5 concentration in Chengdu based on optimized BP neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant