CN104091081B - 一种交通数据弥补方法 - Google Patents

一种交通数据弥补方法 Download PDF

Info

Publication number
CN104091081B
CN104091081B CN201410336212.7A CN201410336212A CN104091081B CN 104091081 B CN104091081 B CN 104091081B CN 201410336212 A CN201410336212 A CN 201410336212A CN 104091081 B CN104091081 B CN 104091081B
Authority
CN
China
Prior art keywords
traffic data
data
autocoder
traffic
layer network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410336212.7A
Other languages
English (en)
Other versions
CN104091081A (zh
Inventor
王飞跃
段艳杰
吕宜生
亢文文
朱凤华
刘裕良
赵飞
赵一飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Vehicle Intelligence Pioneers Inc
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201410336212.7A priority Critical patent/CN104091081B/zh
Publication of CN104091081A publication Critical patent/CN104091081A/zh
Application granted granted Critical
Publication of CN104091081B publication Critical patent/CN104091081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开一种交通数据弥补方法,该方法包括以下步骤:步骤S1:按照设定的交通数据缺失率对完整交通数据集进行随机缺失处理,获得缺失处理后的完整交通数据集;步骤S2:对缺失处理后的完整交通数据集和完整交通数据集进行归一化处理,得到归一化后的交通数据;步骤S3:对基于降噪堆式自动编码器深层网络结构的交通数据弥补模型进行训练,构建出弥补模型;步骤S4:调用弥补模型对输入的含缺失数据的不完整的交通数据进行弥补,得到弥补后的交通数据值。本发明将缺失数据和观测数据视为整体,以数据恢复的角度弥补交通数据,深度挖掘交通数据之间的结构关联,一次补全缺失数据,效率高,鲁棒性好。

Description

一种交通数据弥补方法
技术领域
本发明属于智能交通系统领域,特别涉及一种基于降噪堆式自动编码器(Denoising Stacked Autoencoders)深层网络结构的交通数据弥补方法。
背景技术
交通数据是交通领域应用和研究的基础。个体出行者的出行规划、研究者和政府部门的交通控制与管理均需要足够的交通数据作为支持。然而,采集自实际交通系统中的交通数据往往是不完整的数据,含有部分缺失数据。这些缺失数据的存在为交通分析和研究带来诸多不便。交通数据弥补旨在尽可能准确地填补这些缺失的数据,为交通领域的应用和研究提供足够的数据支持。
现有的交通数据弥补方法主要有基于时间序列分析的方法,非参数回归方法和统计学习估计方法。基于时间序列分析的方法通常使用待弥补位置的历史交通数据建立一个预测模型并预测缺失位置的数据。非参数回归方法通常使用临近位置或者临近状态的数据来估计缺失位置的数据。统计学习估计方法通常使用观测数据学习一个模型并通过迭代的模式推测缺失的数据。上述这些方法在不同的应用场景中均表现出一定的应用价值。但是这些方法的弥补误差通常会随着数据缺失率的提高而增大。而且这些方法将观测数据和缺失数据分开对待,不能充分挖掘交通数据之间的结构关联。对于数据量较大的交通数据,这些方法的弥补效率不高。
发明内容
(一)要解决的技术问题
本发明的目的是解决现有技术对于数据量较大的交通数据,弥补效率低的问题,提出一种基于降噪堆式自动编码器的深层网络结构的交通数据弥补方法。
(二)本发明的技术方案
本发明的一种交通数据弥补方法,包括以下步骤:
步骤S1:按照设定的交通数据缺失率对完整交通数据集进行随机缺失处理,获得缺失处理后的完整交通数据集;
步骤S2:对缺失处理后的完整交通数据集和完整交通数据集进行归一化处理,得到归一化后的交通数据;
步骤S3:对基于降噪堆式自动编码器深层网络结构的交通数据弥补模型进行训练,构建出弥补模型;
步骤S4:调用弥补模型对输入的含缺失数据的不完整的交通数据进行弥补,得到弥补后的交通数据值。
(三)本发明的有益效果
现有技术中目前还没有基于降噪堆式自动编码器的深层网络结构的交通数据弥补方法,本发明考虑深度挖掘交通数据之间的结构关联,高效率地弥补交通数据的方法,研究基于深层结构模型的交通数据弥补问题。本发明包括数据处理,深层网络训练,利用深层网络进行交通数据弥补。利用完整的交通数据,通过训练基于降噪堆式自动编码器的深层网络结构,得到一个深层结构的网络弥补模型进行交通数据弥补。本发明将缺失数据和观测数据视为整体,以数据恢复的角度弥补交通数据,深度挖掘交通数据之间的结构关联,能够一次补全缺失的交通数据,在不同的数据缺失率下保持稳定的弥补误差,弥补效率高,鲁棒性好。
附图说明
图1是本发明交通数据弥补方法流程图。
图2是本发明获取交通数据弥补模型流程图。
图3是降噪自动编码器结构示意图。
图4是堆式自动编码器结构示意图。
图5是本发明深层网络交通数据弥补模型结构图。
具体实施方式
下面将结合附图对本发明加以详细说明,应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
如图1所示,本发明给出一种交通数据弥补方法,具体地,该方法包括以下步骤:
步骤S1:按照设定的交通数据缺失率对完整交通数据集进行随机缺失处理,获得缺失处理后的完整交通数据集;
所述完整的交通数据集来源于交通数据采集系统,可以通过线圈检测、视频检测等手段获取。获取的交通数据为每个观测点在一定时间间隔内的属性,例如流量,平均速度,平均占有率等。以下描述以交通数据中的流量为例说明。
所述设定的交通数据缺失率是待弥补交通数据的缺失率。
所述随机缺失处理是按照设定的交通数据缺失率,指定完整交通数据的缺失率,按照缺失率对完整交通数据进行随机缺失处理,记录缺失数据的位置,得到缺失处理后的完整交通数据集。随机缺失处理是随机地将完整交通数据中的部分数据置零,并使这部分数据与总数据的比例为设定的数据缺失率。此过程中记录缺失数据的位置。
步骤S2:对缺失处理后的完整交通数据集和完整交通数据集进行归一化处理,得到归一化后的交通数据;所述归一化处理是选取完整交通数据集中交通数据的最大值Xmax,将缺失处理前后的完整交通数据集中的数据与最大值Xmax的比值作为归一化到[0,1]区间的交通数据。
选取完整交通数据集中的最大流量值Xmax,则归一化后的交通数据x定义为:
其中,x是归一化到[0,1]区间的交通流量值,X是归一化前的交通流量值,从而获得归一化的缺失前后的交通数据。
步骤S3:对基于降噪堆式自动编码器深层网络结构的交通数据弥补模型进行训练,构建出弥补模型;
附图2:获取交通数据弥补模型流程,包括以下步骤:
步骤S31:按照交通数据的周期将归一化后的交通数据分组,得到多个缺失后交通数据组、多个缺失前交通数据组的输入输出数据对;
具体的,给定归一化后的交通数据,指定交通数据的周期,通常为一天。按照周期分别将缺失后交通数据和缺失前交通数据分为N组,每组数据包含一个周期内的M个数据,则分别得到缺失前后的N×M个数据。对于每组缺失前的交通数据对应有一组缺失后的交通数据。对于N组缺失前的交通数据则有对应的N组缺失后的交通数据,即得到N对的输入输出数据对,所述N对是缺失后交通数据和缺失前交通数据。
步骤S32:将得到的输入输出交通数据对分为训练集和测试集;
具体的,将上述N对数据对分为训练集和测试集,其中训练集包含p对数据,测试集包含q即(N-p)对数据。
步骤S33:根据一个周期内交通数据的个数设定深层网络的输入、输出交通数据维数,在限定范围内选取深层网络的隐层数、隐层节点数;
设定深层网络的输入层神经元的个数、输出层神经元的个数都等于一个周期内交通数据的个数M,在限定范围内选取深层网络的隐层数、隐层节点数;选取Sigmoid函数作为深层网络的激活函数表示如下:
其中,y为神经元的输出,x为神经元的输入。根据前向神经网络运算规则表示如下:
其中,xj为某层第j个神经元的输入,ai为低一层第i个神经元的输出,wij为连接权重,bj为偏置量。
步骤S34:在每个选取的深层网络结构上,利用训练集数据,非监督逐层训练深层网络中堆积的每个自动编码器的权重参数;
附图4示出堆式自动编码器结构是由多个自动编码器堆积而成;其中,最底层自动编码器的输入是缺失后并归一化后的交通数据,单一自动编码器的输出目标和输入一致,图4右半部分虚线层表示单一自动编码器的输出层。低层的单一自动编码器训练完后获得输入到隐层的连接权重Wi,其隐层作为高一层自动编码器的输入层,同时也是堆式自动编码器的隐层i。
具体的,单一自动编码器的训练过程为,给定训练集中数据对的输入数据{x(1),x(2),x(3),…,x(p)},其中x(i)(i=1,2,3,…,p)在此处表示训练集中第i对输入输出数据对的输入部分,自动编码器对输入x(i)按照公式(1)进行编码,获得编码数据y(x(i))表示如下:
y(x(i))=f(W1x(i)+b) (1)
并对输入x(i)依据公式(2)进行解码,获得解码数据z(x(i))表如下:
z(x(i))=g(W2y(x(i))+c) (2)
其中,单一自动编码器的输入层到隐层以及隐层到输出层的连接权重分别是W1、W2,偏置分别是b、c。f(x)和g(x)分别是单一自动编码器的隐层激活函数和输出层激活函数,可取为Sigmoid函数1/(1+exp(-x))。自动编码器的目标是使得输入值和输出值相等,对于最底层的单一自动编码器,目标即使得输出等于输入的交通数据。令最小化自动编码器的目标函数J0表示如下:
通过最小化自动编码器的目标函数J0可求得单一自动编码器的输入层到隐层的连接权重W1和偏置b。考虑到编码稀疏性,最小化自动编码器的目标函数J0可变为J1如下表示:
其中γ是稀疏项权重,HD是隐层单元数目,ρ是稀疏参数(取接近0的数),是隐层神经元j的平均活跃度,(在训练集上取平均),是Kullback-Leibler(KL)divergence,即KL散度,此处表示隐层神经元激活度的稀疏程度与设定的稀疏参数之间的差异,
通过最小化自动编码器的目标函数J1,训练出单一自动编码器的输入层到隐层的连接权重W1和偏置b,得到自动稀疏编码。
步骤S35:在堆积的自动编码器的顶层加入恢复层,有监督地调整深层网络的各层参数;
如图5所示本发明深层网络交通数据弥补模型结构图,由堆式自动编码器和恢复层组成,其中堆式自动编码器包括输入层,隐层1、隐层2、隐层3、以及它们之间的连接权重W1、W2、W3,恢复层的输入是堆式自动编码器最高层的隐层3,恢复层输出目标为缺失处理前的数据,形成一个降噪堆式自动编码器。附图3示出降噪自动编码器结构,将降噪自动编码器的隐层替换为堆式自动编码器,即可得到该深层网络。网络整体目标是使得弥补模型的输出与缺失前归一化后的交通数据之间的误差最小,利用缺失前的归一化数据有监督地反向微调深层网络的各层参数。
步骤S36:每个选取的深层网络结构训练完成后,利用测试集数据进行前向运算,根据记录缺失数据的位置得到每个选取的深层网络结构在测试集上的弥补平均误差;选择平均误差最小的深层网络结构作为交通数据弥补的降噪堆式自动编码器深层网络结构。
步骤S4:调用弥补模型对输入的含缺失数据的不完整的交通数据进行弥补,得到弥补后的交通数据值。
所述弥补模型是步骤S3中训练的降噪堆式自动编码器深层网络结构弥补模型。弥补过程具体包括以下步骤:
步骤S41:按照选定的交通数据周期将输入的含缺失数据的不完整的交通数据分成若干组交通数据;
步骤S42:将上述若干组交通数据进行归一化处理,得到若干组输入交通数据。
步骤S43:将上述输入交通数据输入深层网络,进行前向计算,得到并输出对应的输出数据,即弥补后的交通数据的归一化值。
步骤S44:将上述归一化的弥补后的交通数据弥补值进行反归一化,得到弥补后的交通数据值。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种交通数据弥补方法,其特征在于,该方法包括以下步骤:
步骤S1:按照设定的交通数据缺失率对完整交通数据集进行随机缺失处理,获得缺失处理后的完整交通数据集;
步骤S2:对缺失处理后的完整交通数据集和完整交通数据集进行归一化处理,得到归一化后的交通数据;
步骤S3:对基于降噪堆式自动编码器深层网络结构的交通数据弥补模型进行训练,构建出弥补模型,所述基于降噪堆式自动编码器深层网络结构的交通数据弥补模型包括堆式自动编码器和恢复层,其中堆式自动编码器包括输入层,隐层1、隐层2、隐层3、以及它们之间的连接权重W1、W2、W3,恢复层的输入是堆式自动编码器最高层的隐层3,恢复层输出目标为缺失处理前的数据,形成一个降噪堆式自动编码器;
步骤S4:调用弥补模型对输入的含缺失数据的不完整的交通数据进行弥补,得到弥补后的交通数据值。
2.根据权利要求1所述的交通数据弥补方法,其特征在于,所述随机缺失处理是按照设定的交通数据缺失率,指定完整交通数据的缺失率,按照缺失率对完整交通数据进行随机缺失处理,记录缺失数据的位置,得到缺失处理后的完整交通数据集。
3.根据权利要求1所述的交通数据弥补方法,其特征在于,所述归一化处理是选取完整交通数据集中交通数据的最大值Xmax,将缺失处理前后的完整交通数据集中的数据与最大值Xmax的比值作为归一化到[0,1]区间的交通数据。
4.根据权利要求1所述的交通数据弥补方法,其特征在于,所选取交通数据的周期为一天。
5.根据权利要求1所述的交通数据弥补方法,其特征在于,构建降噪堆式自动编码器深层网络结构的步骤包括:
步骤S31:按照交通数据的周期将归一化后的交通数据分组,得到多个缺失后交通数据组、多个缺失前交通数据组的输入输出数据对;
步骤S32:将得到的输入输出交通数据对分为训练集和测试集;
步骤S33:根据一个周期内交通数据的个数设定深层网络的输入、输出交通数据维数,在限定范围内选取深层网络的隐层数、隐层节点数;
步骤S34:在每个选取的深层网络结构上,利用训练集数据,非监督逐层训练深层网络中堆积的每个自动编码器的权重参数;
步骤S35:在堆积的自动编码器的顶层加入恢复层,有监督地调整深层网络的各层参数;
步骤S36:每个选取的深层网络结构训练完成后,利用测试集数据进行前向运算,根据记录缺失数据的位置得到每个选取的深层网络结构在测试集上的弥补平均误差;选择平均误差最小的深层网络结构作为交通数据弥补的降噪堆式自动编码器深层网络结构。
6.根据权利要求1所述的交通数据弥补方法,其特征在于,所述得到弥补后的交通数据值的步骤包括:
步骤S41:按照选定的交通数据周期将输入的含缺失数据的不完整的交通数据分成若干组交通数据;
步骤S42:将上述若干组交通数据进行归一化处理,得到若干组输入交通数据;
步骤S43:将上述输入交通数据输入深层网络进行前向计算,得到并输出对应的输出数据,即弥补后的交通数据的归一化值;
步骤S44:将上述弥补后的交通数据的归一化值进行反归一化,得到弥补后的交通数据值。
CN201410336212.7A 2014-07-15 2014-07-15 一种交通数据弥补方法 Active CN104091081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410336212.7A CN104091081B (zh) 2014-07-15 2014-07-15 一种交通数据弥补方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410336212.7A CN104091081B (zh) 2014-07-15 2014-07-15 一种交通数据弥补方法

Publications (2)

Publication Number Publication Date
CN104091081A CN104091081A (zh) 2014-10-08
CN104091081B true CN104091081B (zh) 2017-04-19

Family

ID=51638797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410336212.7A Active CN104091081B (zh) 2014-07-15 2014-07-15 一种交通数据弥补方法

Country Status (1)

Country Link
CN (1) CN104091081B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598618B (zh) * 2015-01-30 2018-03-27 武汉理工大学 一种基于完备相容类的云平台不完备大数据填补方法
CN104679868B (zh) * 2015-03-06 2017-09-26 四川深度信息技术有限责任公司 一种基于数据间关联关系的遗漏数据填补方法
CN104900063B (zh) * 2015-06-19 2017-10-27 中国科学院自动化研究所 一种短程行驶时间预测方法
CN105279964B (zh) * 2015-08-07 2017-10-24 北京工业大学 一种基于低秩算法的路网交通数据的补全方法
TWI619036B (zh) * 2016-02-22 2018-03-21 財團法人資訊工業策進會 交通時間預測系統、交通時間預測方法以及交通模型建立方法
CN108496188A (zh) * 2017-05-31 2018-09-04 深圳市大疆创新科技有限公司 神经网络训练的方法、装置、计算机系统和可移动设备
CN108417029B (zh) * 2018-02-11 2020-11-06 东南大学 基于自适应多任务深度学习的城市路网行程时间估计方法
CN109102698B (zh) * 2018-09-28 2021-07-20 江苏大学 基于集成lssvr模型的路网中短时交通流的预测方法
CN110555018B (zh) * 2019-07-29 2021-12-17 浙江工业大学 一种交通流量补全与预测方法
CN111144303A (zh) * 2019-12-26 2020-05-12 华北电力大学(保定) 基于改进去噪自编码器的电力线信道传输特性识别方法
CN111540193B (zh) * 2020-03-13 2022-07-26 华南理工大学 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN113469425B (zh) * 2021-06-23 2024-02-13 北京邮电大学 深度交通拥堵预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646332A (zh) * 2011-02-21 2012-08-22 日电(中国)有限公司 基于数据融合的交通状态估计装置和方法
CN103853725A (zh) * 2012-11-29 2014-06-11 深圳先进技术研究院 一种交通轨迹数据降噪方法及系统
US8755991B2 (en) * 2007-01-24 2014-06-17 Tomtom Global Assets B.V. Method and structure for vehicular traffic prediction with link interactions and missing real-time data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8755991B2 (en) * 2007-01-24 2014-06-17 Tomtom Global Assets B.V. Method and structure for vehicular traffic prediction with link interactions and missing real-time data
CN102646332A (zh) * 2011-02-21 2012-08-22 日电(中国)有限公司 基于数据融合的交通状态估计装置和方法
CN103853725A (zh) * 2012-11-29 2014-06-11 深圳先进技术研究院 一种交通轨迹数据降噪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
交通流量数据缺失值的插补方法;韩卫国等;《交通与计算机》;20050228;第23卷(第1期);第39页左栏第1行-第42页右栏倒数第1行 *
处理缺失数据的短时交通流预测模型;徐健锐等;《计算机应用》;20100430;第30卷(第4期);第1117-1124页 *

Also Published As

Publication number Publication date
CN104091081A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN104091081B (zh) 一种交通数据弥补方法
CN104134351B (zh) 一种短时交通流预测方法
CN108805188B (zh) 一种基于特征重标定生成对抗网络的图像分类方法
McMahon et al. The movement ecology of seagrasses
CN106104406B (zh) 神经网络及神经网络训练的方法
Warren et al. Why does the biota of the Madagascar region have such a strong Asiatic flavour?
CN102201236B (zh) 一种高斯混合模型和量子神经网络联合的说话人识别方法
CN106250931A (zh) 一种基于随机卷积神经网络的高分辨率图像场景分类方法
CN102495919B (zh) 一种生态系统碳交换影响因素提取方法及系统
CN108416755A (zh) 一种基于深度学习的图像去噪方法及系统
CN106204467A (zh) 一种基于级联残差神经网络的图像去噪方法
CN111540193B (zh) 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN106529818B (zh) 基于模糊小波神经网络的水质评价预测方法
CN105279556A (zh) 一种浒苔检测方法和装置
CN107544904A (zh) 一种基于深度cg‑lstm神经网络的软件可靠性预测模型
CN104850836A (zh) 基于深度卷积神经网络的害虫图像自动识别方法
CN105678248A (zh) 基于深度学习的人脸关键点对齐算法
CN111753207B (zh) 一种基于评论的神经图协同过滤方法
CN109740057B (zh) 一种基于知识萃取的增强神经网络及信息推荐方法
CN104123706A (zh) 一种基于自适应免疫遗传算法的图像增强方法
Wang et al. Comparison of machine learning techniques and variables for groundwater dissolved organic nitrogen prediction in an urban area
Shackelford et al. Isolation predicts compositional change after discrete disturbances in a global meta‐study
CN106845343A (zh) 一种光学遥感图像海上平台自动检测方法
CN110442143A (zh) 一种基于组合多目标鸽群优化的无人机态势数据聚类方法
CN108876144B (zh) 一种基于深度学习算法的变电站预选址方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220720

Address after: 266114 room 206-1, block D, Pangu maker space, No. 100, Torch Road, high tech Industrial Development Zone, Qingdao, Shandong

Patentee after: QINGDAO VEHICLE INTELLIGENCE PIONEERS Inc.

Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES