CN114944057B - 一种路网交通流量数据的修复方法与系统 - Google Patents

一种路网交通流量数据的修复方法与系统 Download PDF

Info

Publication number
CN114944057B
CN114944057B CN202210422311.1A CN202210422311A CN114944057B CN 114944057 B CN114944057 B CN 114944057B CN 202210422311 A CN202210422311 A CN 202210422311A CN 114944057 B CN114944057 B CN 114944057B
Authority
CN
China
Prior art keywords
traffic flow
flow
data
value
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210422311.1A
Other languages
English (en)
Other versions
CN114944057A (zh
Inventor
刘永红
刘奎
孔繁灵
李丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210422311.1A priority Critical patent/CN114944057B/zh
Publication of CN114944057A publication Critical patent/CN114944057A/zh
Application granted granted Critical
Publication of CN114944057B publication Critical patent/CN114944057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种路网交通流量数据的修复方法与系统,涉及智能交通系统的技术领域,包括:获取路网中某一卡口的历史交通流量数据;对其进行预处理,获得预处理后数据集;从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集,对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;获取该该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;遍历路网中所有卡口,实现对路网交通流量数据的修复。本发明能够在实际路网环境中,实现对长期流量缺失的准确修复,为机动车污染精确计算提供数据基础。

Description

一种路网交通流量数据的修复方法与系统
技术领域
本发明涉及智能交通系统的技术领域,更具体地,涉及一种路网交通流量数据的修复方法与系统。
背景技术
随着机动车保有量的持续增长,交通尾气污染是我国空气污染的重要来源,机动车污染的治理管控显得尤为重要。基于实时路网交通流量、速度以及路网属性信息,可以实现路网机动车排放的实时计算,为动态化、精细化的路网排放水平评估提供重要的支撑。而路网交通流量作为自下而上进行实时排放计算的基础,流量数据的完整性是排放计算准确的前提。随着智能交通技术的发展,交通监测设备能够较为精确地记录通过道路地交通流量以及车辆速度等信息。然而,由于设备运行不稳定性、设备故障以及传输问题,收集的路网交通流量数据存在错误以及缺失,这部分数据会对排放计算结果产生较大影响。因此,路网机动车流量数据修复是机动车污染精确计算的基础。早期的路网交通流量数据修补方法多为传统的线性方法,简单且易于操作,但不能反映随机变化的交通流特征。为了适应不断变化的交通流情况,非线性的方法被用于路网交通流量修补中,其中最具有代表性的方法是机器学习和深度学习,两种方法都能运用在存在非线性以及不确定性特征的路网交通流量修复上。但是机器学习方法依赖细致的特征工程,对于复杂多维的交通流量数据,机器学习方法的修复效果较差。近年来,深度学习的方法都集中在间隔15分钟的短时流量修复中,容纳儿女,同一条道路的车流量在短时间内不会发生较大的变化,对于间隔1小时左右的路网交通流量修复研究较少。同时,许多研究都集中在高速公路的流量研究上,而且研究的数据集是数据质量较好的公开数据集,在实际路网流量中的效果值得商榷。
现有技术公开了一种交通信息数据修复方法及装置,该方法首先确定与目标道路相关性较大的相关道路,根据目标道路与相关道路的历史交通信息数据确定回归系数,当目标道路实时数据缺失或者实时数据不准确时,可以通过相关性最大的相关道路的交通信息数据以及目标道路与该相关道路的回归系数确定目标道路当前时段的交通信息数据,实现实时交通流缺失数据的填补、实时数据的校正,但是仅依靠相关性最大的相关道路的交通信息数据对目标道路进行数据填补,以及回归系数是线性拟合出的,导致填补数据时虽然简单易于操作,但是无法正确地反映随机变化的交通流特征,无法在实际路网环境中对长期流量缺失进行修复。
发明内容
本发明为克服上述现有技术无法在实际路网环境中对长期流量缺失进行修复的缺陷,提供一种路网交通流量数据的修复方法与系统,能够在实际路网环境中,实现对长期流量缺失的准确修复,为机动车污染精确计算提供数据基础。
为解决上述技术问题,本发明的技术方案如下:
本发明提供了一种路网交通流量数据的修复方法,包括:
S1:获取路网中某一卡口的历史交通流量数据;
S2:对历史交通流量数据进行预处理,获得预处理后数据集;
S3:从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集;
S4:分别利用训练集和测试集对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;
S5:获取该该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;
S6:判断路网中是否存在未进行补全的卡口;若存在,则返回步骤S1,对该卡口的交通流量缺失值进行补全;否则,输出所有交通流量缺失值的补全数据,实现对路网交通流量数据的修复。
优选地,所述步骤S1中,路网中某一卡口的历史交通流量数据包括卡口编号KKBH、时间TimePoint和流量值Flow;所述时间TimePoint的间隔为1小时。
优选地,所述步骤S2中,对历史交通流量数据进行预处理,获得预处理后数据集的具体方法为:
S2.1:删除卡口编号KKBH,仅保留时间TimePoint和流量值Flow;
S2.2:将流量值Flow=0的交通流量数据所在的数据行删除;
S2.3:基于箱式图法,将剩余的交通流量数据中的异常值删除,获得质控数据集;
S2.4:对质控数据集进行归一化处理,获得预处理后数据集。
将卡口编号KKBH删除,有效降低数据处理时间;由于设备存在运行不稳定及故障等情况,记录的交通流量数据存在异常值;时间TimePoint的间隔为1小时,当某个卡口的流量值Flow为时,该行数据为明显的异常值,直接进行删除;再利用箱式图法,删除剩余的交通流量数据中的异常值;最后进行归一化处理,可以有效加快模型训练过程中损失函数的收敛速度,防止梯度爆炸。
优选地,所述步骤S2.3中,基于箱式图法,将剩余的交通流量数据中的异常值删除,获得质控数据集的具体方法为:
S2.3.1:将剩余的交通流量数据按照流量值Flow从小到大进行排序,将排在第25%位的流量值Flow作为第一四分位值Q1,将排在第75%位的流量值Flow作为第三四分位值Q3;
S2.3.2:计算四分位距IQR=Q3-Q1;
S2.3.3:计算非异常范围上限值和下限值,上限值=Q3+1.5IQR,下限值=Q1-1.5IQR;
S2.3.4:将流量值Flow大于上限值和小于下限值的交通流量数据所在的数据行删除,获得质控数据集。
优选地,所述步骤S2.4中,对质控数据集进行归一化处理,获得预处理后数据集的具体方法为:
利用以下公式对质控数据集进行归一化处理:
其中,flow′i表示第i条归一化流量值,Flowi表示质控数据集中第i条流量值,Flowmax表示质控数据集中流量最大值,Flowmin表示质控数据集中流量最小值;
对质控数据集中每条流量值进行归一化处理,组成预处理后数据集。
优选地,所述步骤S3具体方法为:
S3.1:从预处理后数据集中选择a小时不间断的交通流量数据,组成索引列表;所述索引列表a行2列,第1列为时间TimePoint列,第二列为归一化流量值Flow′i列,a≥25;
S3.2:建立第一矩阵,所述第一矩阵a行25列;
S3.3:依次将索引列表的归一化流量值Flow′i列的前24、23、…、1行删除,剩余行作为第一矩阵的第25列、24、…、1列;
S3.4:将第一矩阵中含有空值的行删除,获得第二矩阵;
S3.5:重复步骤S3.1-S3.4,遍历预处理后数据集中所有的交通流量数据,将获得的第二矩阵拼接为数据集;
S3.6:将数据集的前80%的归一化流量值Flow′i划分为训练集Flowtr,数据集的后20%行的归一化流量值Flow′i列划分为测试集Flowte
本发明基于机动车流量在时间变化上存在关联性,使用过去24小时的流量值对当前时刻缺失值进行预测补全;因此需要先建立当前时刻与过去24小时的流量值之间的关系;为了完成这一目标,需要先找到预处理后数据集中至少连续25小时不间断的交通流量数据构造数据集。
优选地,所述步骤S4中,构建的神经网络模型包括依次连接的输入层、双向长短期记忆层、第一随机失活层、长短期记忆层、第二随机失活层、全连接层和输出层。
双向长短期记忆层由两个方向相反的LSTM循环网络组合而成,第一层为正向,第二层为反向,对输入的数据进行顺序与逆序的计算,更加全面的利用训练集数据;长短期记忆层包含一层LSTM循环网络;第一随机失活层和第二随机失活层解决训练完成的模型存在的不泛化或者过拟合的问题;全连接层将一个特征空间线性变换到另一个特征空间,将长短期记忆层得输出通过维度转换为用户需要的输出。
优选地,所述步骤S4的具体方法为:
将训练集Flowtr的归一化流量值列输入构建的神经网络模型,对其进行训练;将测试集的前24列的归一化流量值/>列输入构建的神经网络模型,对其进行测试,第25列的归一化流量值/>列作为流量真实值/>采用平均绝对百分比误差MAPE和均方根误差RMSE对训练结果进行判断,计算公式为:
式中,测试集中第25列第i条的流量真实值,/>表示测试集中前24列第i条的归一化流量值输入神经网络模型后获得的预测值,n为测试集中流量值的数量;
调整神经网络模型的参数和激活函数减小MAPE和RMSE的值,当MAPE和RMSE达到最小时,获得训练好的神经网络模型,其中参数包括迭代次数、神经元个数和批尺寸;激活函数为softsign或sigmoid函数。
优选地,所述步骤S5中,获取该交通流量缺失值前24小时的历史交通流量数据,输入训练好的神经网络模型中,沿用保存的参数和激活函数,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全
本发明还提供了一种路网交通流量数据的修复系统,包括:
数据获取模块,用于获取路网中某一卡口的历史交通流量数据;
预处理模块,用于对交通流量数据进行预处理,获得预处理后数据集;
数据集构建模块,从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集;
模型训练模块,用于分别利用训练集和测试集对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;
数据预测模块,用于获取该该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;
判断输出模块,用于判断路网中是否存在未进行补全的卡口;若存在,则返回数据获取模块,对该卡口的交通流量缺失值进行补全;否则,输出所有交通流量缺失值的补全数据,实现对路网交通流量数据的修复。
与现有技术相比,本发明技术方案的有益效果是:
本发明获取路网中某一卡口的历史交通流量数据,首先对其进行预处理,降低数据处理的时间,加快后续模型训练过程中损失函数的收敛速度,防止梯度爆炸;其次,基于机动车流量在时间变化上存在关联性,从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,划分为训练集和测试集,分别对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;进而获取该卡口的交通流量缺失值,前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;最后遍历路网中所有卡口,实现对路网交通流量数据的修复。本发明能够在实际路网环境中,实现对长期流量缺失的准确修复,为机动车污染精确计算提供数据基础。
附图说明
图1为实施例1所述的一种路网交通流量数据的修复方法的流程图。
图2为实施例2所述的索引列表的示意图。
图3为实施例2所述的第一矩阵的示意图。
图4为实施例2所述的第二矩阵的示意图。
图5为实施例2所述的交通流量缺失值的补全结果示意图。
图6为实施例2所述的交通流量缺失值的补全结果局部放大示意图。
图7为实施例3所述的一种路网交通流量数据的修复系统的结构示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供了一种路网交通流量数据的修复方法,如图1所示,包括:
S1:获取路网中某一卡口的历史交通流量数据;
S2:对历史交通流量数据进行预处理,获得预处理后数据集;
S3:从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集;
S4:利用训练集和测试集对构建的神经网络模型进行训练测试,获得训练好的神经网络模型;
S5:获取该该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;
S6:判断路网中是否存在未进行补全的卡口;若存在,则返回步骤S1,对该卡口的交通流量缺失值进行补全;否则,输出所有交通流量缺失值的补全数据,实现对路网交通流量数据的修复。
在具体实施过程中,本实施例获取路网中某一卡口的历史交通流量数据,首先对其进行预处理,降低数据处理的时间,加快后续模型训练过程中损失函数的收敛速度,防止梯度爆炸;其次,基于机动车流量在时间变化上存在关联性,从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,划分为训练集和测试集,分别对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;进而获取该卡口的交通流量缺失值,前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;最后遍历路网中所有卡口,实现对路网交通流量数据的修复。本发明能够在实际路网环境中,实现对长期流量缺失的准确修复,为机动车污染精确计算提供数据基础。
实施例2
本实施例提供了一种路网交通流量数据的修复方法,包括:
S1:获取路网中某一卡口的历史交通流量数据,包括卡口编号KKBH、时间TimePoint和流量值Flow;所述时间TimePoint的间隔为1小时;
S2:对历史交通流量数据进行预处理,获得预处理后数据集;具体为:
S2.1:删除卡口编号KKBH,仅保留时间TimePoint和流量值Flow;
S2.2:将流量值Flow=0的交通流量数据所在的数据行删除;
S2.3:基于箱式图法,将剩余的交通流量数据中的异常值删除,获得质控数据集;具体的:
S2.3.1:将剩余的交通流量数据按照流量值Flow从小到大进行排序,将排在第25%位的流量值Flow作为第一四分位值Q1,将排在第75%位的流量值Flow作为第三四分位值Q3;
S2.3.2:计算四分位距IQR=Q3-Q1;
S2.3.3:计算非异常范围上限值和下限值,上限值=Q3+1.5IQR,下限值=Q1-1.5IQR;
S2.3.4:将流量值Flow大于上限值和小于下限值的交通流量数据所在的数据行删除,获得质控数据集;
S2.4:对质控数据集进行归一化处理,获得预处理后数据集;公式为:
其中,Flow′i表示第i条归一化流量值,Flowi表示质控数据集中第i条流量值,Flowmax表示质控数据集中流量最大值,Flowmin表示质控数据集中流量最小值;
对质控数据集中每条流量值进行归一化处理,组成预处理后数据集;
S3:从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集;具体的:
S3.1:从预处理后数据集中选择a小时不间断的交通流量数据,组成索引列表;所述索引列表a行2列,第1列为时间TimePoint列,第二列为归一化流量值Flow′i列,a≥25;
S3.2:建立第一矩阵,所述第一矩阵a行25列;
S3.3:依次将索引列表的归一化流量值Flow′i列的前24、23、…、1行删除,剩余行作为第一矩阵的第25列、24、…、1列;
S3.4:将第一矩阵中含有空值的行删除,获得第二矩阵;
S3.5:重复步骤S3.1-S3.4,遍历预处理后数据集中所有的交通流量数据,将获得的第二矩阵拼接为数据集;
S3.6:将数据集的前80%的归一化流量值Flow′i划分为训练集Flowtr,数据集的后20%行的归一化流量值Flow′i列划分为测试集Flowte
S4:利用训练集和测试集对构建的神经网络模型进行训练测试,获得训练好的神经网络模型;
构建的神经网络模型包括依次连接的输入层、双向长短期记忆层、第一随机失活层、长短期记忆层、第二随机失活层、全连接层和输出层;
将训练集Flowtr的归一化流量值列输入构建的神经网络模型,对其进行训练;将测试集的前24列的归一化流量值/>列输入构建的神经网络模型,对其进行测试,第25列的归一化流量值/>列作为流量真实值/>采用平均绝对百分比误差MAPE和均方根误差RMSE对训练结果进行判断,计算公式为:
式中,测试集中第25列第i条的流量真实值,/>表示测试集中前24列第i条的归一化流量值输入神经网络模型后获得的预测值,n为测试集中流量值的数量;
调整神经网络模型的参数和激活函数减小MAPE和RMSE的值,当MAPE和RMSE达到最小时,获得训练好的神经网络模型,其中参数包括迭代次数、神经元个数和批尺寸;激活函数为softsign或sigmoid函数;
S5:获取该该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;
S6:判断路网中是否存在未进行补全的卡口;若存在,则返回步骤S1,对该卡口的交通流量缺失值进行补全;否则,输出所有交通流量缺失值的补全数据,实现对路网交通流量数据的修复。
在具体实施过程中,本实施例2020年7月至2021年6月在某市收集的某卡口得历史交通流量数据进行修复,收集到的历史交通流量数据包含三个字段,分别为卡口编号KKBH;时间TimePoint,时间间隔为1小时;数据以及流量值字段Flow;将KKBH字段去除,仅保留时间TimePoint和流量值Flow;首先去除流量值Flow=0的行,再利用箱式图法流量值Flow大于上限值和小于下限值的交通流量数据所在的数据行删除,获得质控数据集,最后对质控数据集进行归一化处理,获得预处理后数据集。本实施例基于道路机动车流量在时间变化上存在关联性,使用过去24小时的流量值对当前时刻缺失值进行补全,因此需要先建立当前时间点与过去24小时的流量值之间的关系。为了完成这一目标,需要先筛选出a小时不间断的交通流量数据构建数据集,其中,a≥25;本实施例中,从预处理后数据集中选择27小时不间断的交通流量数据,组成索引列表,如图2所示,所述索引列表27行2列,第1列为时间TimePoint列,第二列为归一化流量值Flow′i列;如图3所示,建立第一矩阵,所述第一矩阵27行25列,依次将索引列表的归一化流量值Flow′i列的前24、23、…、1行删除,剩余行作为第一矩阵的第25列、24、…、1列;将第一矩阵中含有空值的行删除,获得第二矩阵,如图4所示;重复以上操作,遍历预处理后数据集中所有的交通流量数据,将获得的第二矩阵拼接为数据集。将数据集按照4:1的比例划训练集和测试集,数据集的前80%的归一化流量值Flow′i划分为训练集Flowtr,数据集的后20%行的归一化流量值Flow′i列划分为测试集Flowte
构建的神经网络模型包括依次连接的输入层、双向长短期记忆层、第一随机失活层、长短期记忆层、第二随机失活层、全连接层和输出层;将训练集和测试集输入构建的神经网络模型中极性训练和测试。通过调整神经网络模型中的参数和激活函数误差MAPE和RMSE的值,其中参数包括迭代次数(epoch)、神经元个数(neurons)和批尺寸(Batch_Size);在实验中发现,双向长短期记忆层的激活函数选用softsign与sigmoid的组合,如表1所示,全连接层采用sigmoid函数,长短期记忆层采用softsign函数,效果优于其他组合;于是增加神经元个数(neurons)到64哥,再次训练,发现同样是采用sigmoid+softsign组合的效果最佳。
为了对比其他参数对神经网络模型效果的影像,进行了参数调整,最终发现当激活函数为sigmoid+softsign组合,设置迭代次数(epoch)为800,神经元个数(neurons)为128,批尺寸(Batch_Size)为16时,测试集的mape值为最低为6.86%;设置迭代次数(epoch)为200,神经元个数(neurons)为128,批尺寸(Batch_Size)为8时,测试集的rmse值达到最低,为238.46;具体结果如下表所示:
在模型的训练过程中,得知当迭代次数越高,神经元个数越多,批尺寸越小,模型的训练时间将会越长,准确度也越高,但也会使模型过拟合,适当训练时间可使模型的普适性增强。在参数选取上,优先考虑测试集的mape值与rmse值的情况下,选择训练时间适宜的模型。根据表格结果,选用激活函数为sigmoid+softsign组合,迭代次数(epoch)为400,神经元个数(neurons)为32,批尺寸(Batch_Size)为32的模型,该模型测试集的mape值为7.48%、rmse值为250.31。平均绝对百分比误差MAPE和均方根误差RMSE的计算公式为:
式中,测试集中第25列第i条的流量真实值,/>表示测试集中前24列第i条的归一化流量值输入神经网络模型后获得的预测值,n为测试集中流量值的数量。
对于该卡口的交通流量缺失值,获取该交通流量缺失值前24小时的历史交通流量数据,沿用保存的参数和激活函数,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;如图5、6所示,为交通流量缺失值的补全结果示意图和局部放大示意图;图中,方块图例线条为流量真实值FLOW_true,三角图例线条为流量预测值FLOW_pred,从图中可以看出,流量预测值于流量真实值之间误差很小,本实施例可以实现对长期流量缺失的准确修复。
实施例3
本实施例提供了一种路网交通流量数据的修复系统,如图7所示,包括:
数据获取模块,用于获取路网中某一卡口的历史交通流量数据;
预处理模块,用于对交通流量数据进行预处理,获得预处理后数据集;
数据集构建模块,从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集;
模型训练模块,用于分别利用训练集和测试集对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;
数据预测模块,用于获取该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;
判断输出模块,用于判断路网中是否存在未进行补全的卡口;若存在,则返回数据获取模块,对该卡口的交通流量缺失值进行补全;否则,输出所有交通流量缺失值的补全数据,实现对路网交通流量数据的修复。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种路网交通流量数据的修复方法,其特征在于,包括:
S1:获取路网中某一卡口的历史交通流量数据;
S2:对历史交通流量数据进行预处理,获得预处理后数据集;
S3:从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集;具体方法为:
S3.1:从预处理后数据集中选择a小时不间断的交通流量数据,组成索引列表;所述索引列表a行2列,第1列为时间TimePoint列,第二列为归一化流量值Flowi 列,a≥25;
S3.2:建立第一矩阵,所述第一矩阵a行25列;
S3.3:依次将索引列表的归一化流量值Flowi 列的前24、23、…、1行删除,剩余行作为第一矩阵的第25列、24、…、1列;
S3.4:将第一矩阵中含有空值的行删除,获得第二矩阵;
S3.5:重复步骤S3.1-S3.4,遍历预处理后数据集中所有的交通流量数据,将获得的第二矩阵拼接为数据集;
S3.6:将数据集的前80%行的归一化流量值Flowi 划分为训练集Flowtr,数据集的后20%行的归一化流量值Flowi 列划分为测试集Flowte
S4:分别利用训练集和测试集对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;
S5:获取该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;
S6:判断路网中是否存在未进行补全的卡口;若存在,则返回步骤S1,对该卡口的交通流量缺失值进行补全;否则,输出所有交通流量缺失值的补全数据,实现对路网交通流量数据的修复。
2.根据权利要求1所述的路网交通流量数据的修复方法,其特征在于,所述步骤S1中,路网中某一卡口的历史交通流量数据包括卡口编号KKBH、时间TimePoint和流量值Flow;所述时间TimePoint的间隔为1小时。
3.根据权利要求2所述的路网交通流量数据的修复方法,其特征在于,所述步骤S2中,对历史交通流量数据进行预处理,获得预处理后数据集的具体方法为:
S2.1:删除卡口编号KKBH,仅保留时间TimePoint和流量值Flow;
S2.2:将流量值Flow=0的交通流量数据所在的数据行删除;
S2.3:基于箱式图法,将剩余的交通流量数据中的异常值删除,获得质控数据集;
S2.4:对质控数据集进行归一化处理,获得预处理后数据集。
4.根据权利要求3所述的路网交通流量数据的修复方法,其特征在于,所述步骤S2.3中,基于箱式图法,将剩余的交通流量数据中的异常值删除,获得质控数据集的具体方法为:
S2.3.1:将剩余的交通流量数据按照流量值Flow从小到大进行排序,将排在第25%位的流量值Flow作为第一四分位值Q1,将排在第75%位的流量值Flow作为第三四分位值Q3;
S2.3.2:计算四分位距IQR=Q3-Q1;
S2.3.3:计算非异常范围上限值和下限值,上限值=Q3+1.5IQR,下限值=Q1-1.5IQR;
S2.3.4:将流量值Flow大于上限值和小于下限值的交通流量数据所在的数据行删除,获得质控数据集。
5.根据权利要求3所述的路网交通流量数据的修复方法,其特征在于,所述步骤S2.4中,对质控数据集进行归一化处理,获得预处理后数据集的具体方法为:
利用以下公式对质控数据集进行归一化处理:
其中,Flowi 表示第i条归一化流量值,Flowi表示质控数据集中第i条流量值,Flowmax表示质控数据集中流量最大值,Flowmin表示质控数据集中流量最小值;
对质控数据集中每条流量值进行归一化处理,组成预处理后数据集。
6.根据权利要求1所述的路网交通流量数据的修复方法,其特征在于,所述步骤S4中,构建的神经网络模型包括依次连接的输入层、双向长短期记忆层、第一随机失活层、长短期记忆层、第二随机失活层、全连接层和输出层。
7.根据权利要求6所述的路网交通流量数据的修复方法,其特征在于,所述步骤S4的具体方法为:
将训练集Flowtr的归一化流量值列输入构建的神经网络模型,对其进行训练;将测试集的前24列的归一化流量值/>列输入构建的神经网络模型,对其进行测试,第25列的归一化流量值/>列作为流量真实值/>采用平均绝对百分比误差MAPE和均方根误差RMSE作为损失函数对训练结果进行判断,计算公式为:
式中,测试集中第25列第i条的流量真实值,/>表示测试集中前24列第i条的归一化流量值输入神经网络模型后获得的预测值,n为测试集中流量值的数量;
调整神经网络模型的参数和激活函数减小MAPE和RMSE的值,当MAPE和RMSE达到最小时,获得训练好的神经网络模型,保存当前时刻的参数和激活函数,其中参数包括迭代次数、神经元个数和批尺寸;激活函数为softsign或sigmoid函数。
8.根据权利要求7所述的路网交通流量数据的修复方法,其特征在于,所述步骤S5中,获取该交通流量缺失值前24小时的历史交通流量数据,输入训练好的神经网络模型中,沿用保存的参数和激活函数,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全。
9.一种路网交通流量数据的修复系统,其特征在于,包括:
数据获取模块,用于获取路网中某一卡口的历史交通流量数据;
预处理模块,用于对历史交通流量数据进行预处理,获得预处理后数据集;
数据集构建模块,从预处理后数据集中选择a小时不间断的交通流量数据构建数据集,并将数据集划分为训练集和测试集;具体的
从预处理后数据集中选择a小时不间断的交通流量数据,组成索引列表;所述索引列表a行2列,第1列为时间TimePoint列,第二列为归一化流量值Flowi 列,a≥25;
建立第一矩阵,所述第一矩阵a行25列;
依次将索引列表的归一化流量值Flowi 列的前24、23、…、1行删除,剩余行作为第一矩阵的第25列、24、…、1列;
将第一矩阵中含有空值的行删除,获得第二矩阵;
遍历预处理后数据集中所有的交通流量数据,将获得的第二矩阵拼接为数据集;
将数据集的前80%行的归一化流量值Flowi 划分为训练集Flowtr,数据集的后20%行的归一化流量值Flowi 列划分为测试集Flowte
模型训练模块,用于分别利用训练集和测试集对构建的神经网络模型进行训练和测试,获得训练好的神经网络模型;
数据预测模块,用于获取该卡口的交通流量缺失值前b小时的历史交通流量数据,输入训练好的神经网络模型中,输出该交通流量缺失值的预测值,完成对该交通流量缺失值的补全;
判断输出模块,用于判断路网中是否存在未进行补全的卡口;若存在,则返回数据获取模块,对该卡口的交通流量缺失值进行补全;否则,输出所有交通流量缺失值的补全数据,实现对路网交通流量数据的修复。
CN202210422311.1A 2022-04-21 2022-04-21 一种路网交通流量数据的修复方法与系统 Active CN114944057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210422311.1A CN114944057B (zh) 2022-04-21 2022-04-21 一种路网交通流量数据的修复方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210422311.1A CN114944057B (zh) 2022-04-21 2022-04-21 一种路网交通流量数据的修复方法与系统

Publications (2)

Publication Number Publication Date
CN114944057A CN114944057A (zh) 2022-08-26
CN114944057B true CN114944057B (zh) 2023-07-25

Family

ID=82908109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210422311.1A Active CN114944057B (zh) 2022-04-21 2022-04-21 一种路网交通流量数据的修复方法与系统

Country Status (1)

Country Link
CN (1) CN114944057B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563093A (zh) * 2022-09-28 2023-01-03 北京百度网讯科技有限公司 车道交通流量数据补全及其模型训练方法、装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095708A1 (zh) * 2014-12-16 2016-06-23 高德软件有限公司 一种交通流量预测方法、预测模型生成方法及装置
CN105760900A (zh) * 2016-04-08 2016-07-13 西安电子科技大学 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法
CN110070713A (zh) * 2019-04-15 2019-07-30 浙江工业大学 一种基于双向嵌套lstm神经网络的交通流预测方法
CN111222992A (zh) * 2020-01-17 2020-06-02 大连大学 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法
CN111292525A (zh) * 2019-12-30 2020-06-16 南京艾特斯科技有限公司 基于神经网络的交通流预测方法
DE102019212829A1 (de) * 2019-08-27 2021-03-04 Psa Automobiles Sa Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers
CN112613226A (zh) * 2020-12-10 2021-04-06 大连理工大学 一种用于剩余寿命预测的特征增强方法
CN113240179A (zh) * 2021-05-18 2021-08-10 重庆邮电大学 融合时空信息的轨道人流量预测方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008050822A1 (de) * 2008-10-08 2010-04-15 Gevas Software Systementwicklung Und Verkehrsinformatik Gmbh Verkehrsadaptive Netzsteuerung und Verfahren zur Optimierung der Steuerungsparameter
CN103578274B (zh) * 2013-11-15 2015-11-04 北京四通智能交通系统集成有限公司 一种交通流预测方法及装置
CN108090558B (zh) * 2018-01-03 2021-06-08 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法
CN108399468A (zh) * 2018-01-31 2018-08-14 华南理工大学 一种基于车时成本优化的运营时段划分方法
DE102020202540A1 (de) * 2020-02-27 2021-09-02 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
CN111785014B (zh) * 2020-05-26 2021-10-29 浙江工业大学 一种基于dtw-rgcn的路网交通数据修复的方法
CN112309112B (zh) * 2020-09-10 2021-10-29 浙江工业大学 一种基于GraphSAGE-GAN的交通路网数据修复方法
CN112330951B (zh) * 2020-09-11 2021-12-17 浙江工业大学 一种基于生成对抗网络实现路网交通数据修复的方法
CN112380206B (zh) * 2020-11-25 2022-07-19 浙江中控信息产业股份有限公司 一种交通时序数据的诊断和修复方法
CN113496314B (zh) * 2021-09-07 2021-12-03 南京感动科技有限公司 一种神经网络模型预测道路交通流量的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095708A1 (zh) * 2014-12-16 2016-06-23 高德软件有限公司 一种交通流量预测方法、预测模型生成方法及装置
CN105760900A (zh) * 2016-04-08 2016-07-13 西安电子科技大学 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法
CN110070713A (zh) * 2019-04-15 2019-07-30 浙江工业大学 一种基于双向嵌套lstm神经网络的交通流预测方法
DE102019212829A1 (de) * 2019-08-27 2021-03-04 Psa Automobiles Sa Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers
CN111292525A (zh) * 2019-12-30 2020-06-16 南京艾特斯科技有限公司 基于神经网络的交通流预测方法
CN111222992A (zh) * 2020-01-17 2020-06-02 大连大学 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法
CN112613226A (zh) * 2020-12-10 2021-04-06 大连理工大学 一种用于剩余寿命预测的特征增强方法
CN113240179A (zh) * 2021-05-18 2021-08-10 重庆邮电大学 融合时空信息的轨道人流量预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于自注意力机制与图自编码器的路网交通流数据修复模型;张伟斌等;《交通运输系统工程与信息》;第21卷(第4期);第90-98页 *

Also Published As

Publication number Publication date
CN114944057A (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN115270965B (zh) 一种配电网线路故障预测方法和装置
CN112149898B (zh) 故障率预测模型的训练、故障率预测方法及相关装置
CN107346459B (zh) 一种基于遗传算法改进的多模式污染物集成预报方法
CN110018927A (zh) 基于生成对抗网络的交通数据修复方法
CN114944057B (zh) 一种路网交通流量数据的修复方法与系统
CN110456026B (zh) 一种土壤墒情监测方法及装置
CN113496314B (zh) 一种神经网络模型预测道路交通流量的方法
CN108665093A (zh) 基于深度学习的高速公路交通事故严重度预测方法
CN114357594A (zh) 一种基于sca-gru的桥梁异常监测方法、系统、设备及存储介质
CN115267945A (zh) 一种基于图神经网络的雷电预警方法与系统
CN115526298A (zh) 一种高鲁棒性的大气污染物浓度综合预测方法
CN111652448A (zh) 一种输电线路缺陷率的预测方法、装置及系统
CN112363012A (zh) 一种电网故障预警装置及方法
CN116960962A (zh) 一种跨区域数据融合的中长期区域负荷预测方法
CN110852415A (zh) 基于神经网络算法的植被指数预测方法、系统及设备
CN116151469A (zh) 一种预报空气质量的模型
CN116415724A (zh) 一种光伏电站运维检修时间的预测方法及装置
CN114784795A (zh) 风电功率预测方法、装置、电子设备及存储介质
CN115130546A (zh) 异常参数检测方法、装置、计算机可读介质及电子设备
CN112765034B (zh) 基于神经网络的软件缺陷预测方法
CN113392880B (zh) 一种基于偏差校正随机森林的交通流短时预测方法
NL2033884B1 (en) A Photovoltaic Power Prediction Method, System and Medium
CN113375597B (zh) 基于rf-nsga-ii的结构件三维激光扫描方法及设备
CN110826244B (zh) 模拟轨道交通影响城市生长的共轭梯度元胞自动机方法
CN116629415A (zh) 一种基于地理加权回归的就业岗位预测方法、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant