CN104091081A

CN104091081A - 一种交通数据弥补方法

Info

Publication number: CN104091081A
Application number: CN201410336212.7A
Authority: CN
Inventors: 王飞跃; 段艳杰; 吕宜生; 亢文文; 朱凤华; 刘裕良; 赵一飞
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Qingdao Vehicle Intelligence Pioneers Inc
Priority date: 2014-07-15
Filing date: 2014-07-15
Publication date: 2014-10-08
Anticipated expiration: 2034-07-15
Also published as: CN104091081B

Abstract

本发明公开一种交通数据弥补方法，该方法包括以下步骤：步骤S1：按照设定的交通数据缺失率对完整交通数据集进行随机缺失处理，获得缺失处理后的完整交通数据集；步骤S2：对缺失处理后的完整数据集和完整交通数据集进行归一化处理，得到归一化后的交通数据；步骤S3：对基于降噪堆式自动编码器深层网络结构的交通数据弥补模型进行训练，构建出弥补模型；步骤S4：调用弥补模型对输入的含缺失数据的不完整的交通数据进行弥补，得到弥补后的交通数据值。本发明将缺失数据和观测数据视为整体，以数据恢复的角度弥补交通数据，深度挖掘交通数据之间的结构关联，一次补全缺失数据，效率高，鲁棒性好。

Description

一种交通数据弥补方法

技术领域

本发明属于智能交通系统领域，特别涉及一种基于降噪堆式自动编码器(Denoising Stacked Autoencoders)深层网络结构的交通数据弥补方法。

背景技术

交通数据是交通领域应用和研究的基础。个体出行者的出行规划、研究者和政府部门的交通控制与管理均需要足够的交通数据作为支持。然而，采集自实际交通系统中的交通数据往往是不完整的数据，含有部分缺失数据。这些缺失数据的存在为交通分析和研究带来诸多不便。交通数据弥补旨在尽可能准确地填补这些缺失的数据，为交通领域的应用和研究提供足够的数据支持。

现有的交通数据弥补方法主要有基于时间序列分析的方法，非参数回归方法和统计学习估计方法。基于时间序列分析的方法通常使用待弥补位置的历史交通数据建立一个预测模型并预测缺失位置的数据。非参数回归方法通常使用临近位置或者临近状态的数据来估计缺失位置的数据。统计学习估计方法通常使用观测数据学习一个模型并通过迭代的模式推测缺失的数据。上述这些方法在不同的应用场景中均表现出一定的应用价值。但是这些方法的弥补误差通常会随着数据缺失率的提高而增大。而且这些方法将观测数据和缺失数据分开对待，不能充分挖掘交通数据之间的结构关联。对于数据量较大的交通数据，这些方法的弥补效率不高。

发明内容

(一)要解决的技术问题

本发明的目的是解决现有技术对于数据量较大的交通数据，弥补效率低的问题，提出一种基于降噪堆式自动编码器的深层网络结构的交通数据弥补方法。

(二)本发明的技术方案

本发明的一种交通数据弥补方法，包括以下步骤：

步骤S1：按照设定的交通数据缺失率对完整交通数据集进行随机缺失处理，获得缺失处理后的完整交通数据集；

步骤S2：对缺失处理后的完整数据集和完整交通数据集进行归一化处理，得到归一化后的交通数据；

步骤S3：对基于降噪堆式自动编码器深层网络结构的交通数据弥补模型进行训练，构建出弥补模型；

步骤S4：调用弥补模型对输入的含缺失数据的不完整的交通数据进行弥补，得到弥补后的交通数据值。

(三)本发明的有益效果

现有技术中目前还没有基于降噪堆式自动编码器的深层网络结构的交通数据弥补方法，本发明考虑深度挖掘交通数据之间的结构关联，高效率地弥补交通数据的方法，研究基于深层结构模型的交通数据弥补问题。本发明包括数据处理，深层网络训练，利用深层网络进行交通数据弥补。利用完整的交通数据，通过训练基于降噪堆式自动编码器的深层网络结构，得到一个深层结构的网络弥补模型进行交通数据弥补。本发明将缺失数据和观测数据视为整体，以数据恢复的角度弥补交通数据，深度挖掘交通数据之间的结构关联，能够一次补全缺失的交通数据，在不同的数据缺失率下保持稳定的弥补误差，弥补效率高，鲁棒性好。

附图说明

图1是本发明交通数据弥补方法流程图。

图2是本发明获取交通数据弥补模型流程图。

图3是降噪自动编码器结构示意图。

图4是堆式自动编码器结构示意图。

图5是本发明深层网络交通数据弥补模型结构图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明给出一种交通数据弥补方法，具体地，该方法包括以下步骤：

所述完整的交通数据集来源于交通数据采集系统，可以通过线圈检测、视频检测等手段获取。获取的交通数据为每个观测点在一定时间间隔内的属性，例如流量，平均速度，平均占有率等。以下描述以交通数据中的流量为例说明。

所述设定的交通数据缺失率是待弥补交通数据的缺失率。

所述随机缺失处理是按照设定的交通数据缺失率，指定完整交通数据的缺失率，按照缺失率对完整交通数据进行随机缺失处理，记录缺失数据的位置，得到缺失处理后的完整交通数据集。随机缺失处理是随机地将完整交通数据中的部分数据置零，并使这部分数据与总数据的比例为设定的数据缺失率。此过程中记录缺失数据的位置。

步骤S2：对缺失处理后的完整数据集和完整交通数据集进行归一化处理，得到归一化后的交通数据；所述归一化处理是选取完整数据集中交通数据的最大值X_max，将缺失处理前后的完整数据与最大值X_max的比值作为归一化到[0，1]区间的交通数据。

选取完整数据集中的最大流量值X_max，则归一化后的交通数据x定义为：

x = \frac{X}{X_{\max}}

其中，x是归一化到[0，1]区间的交通流量值，X是归一化前的交通流量值，从而获得归一化的缺失前后的交通数据。

附图2：获取交通数据弥补模型流程，包括以下步骤：

步骤S31：按照交通数据的周期将归一化后的交通数据分组，得到多个缺失后交通数据组、多个缺失前交通数据组的输入输出数据对；

具体的，给定归一化后的交通数据，指定交通数据的周期，通常为一天。按照周期分别将缺失后交通数据和缺失前交通数据分为N组，每组数据包含一个周期内的M个数据，则分别得到缺失前后的N×M个数据。对于每组缺失前的交通数据对应有一组缺失后的交通数据。对于N组缺失前的交通数据则有对应的N组缺失后的交通数据，即得到N对的输入输出数据对，所述N对是缺失后交通数据和缺失前交通数据。

步骤S32：将得到的输入输出交通数据对分为训练集和测试集；

具体的，将上述N对数据对分为训练集和测试集，其中训练集包含p对数据，测试集包含q即(N-p)对数据。

步骤S33：根据一个周期内交通数据的个数设定深度网络的输入、输出交通数据维数，在限定范围内选取深层网络的隐层数、隐层节点数；

设定深度网络的输入层神经元的个数、输出层神经元的个数都等于一个周期内交通数据的个数M，在限定范围内选取深层网络的隐层数、隐层节点数；选取Sigmoid函数作为深层网络的激活函数表示如下：

y = \frac{1}{1 + e^{- x}}

其中，y为神经元的输出，x为神经元的输入。根据前向神经网络运算规则表示如下：

x_{j} = \underset{i}{Σ} w_{ij} a_{j} + b_{j}

其中，x_j为某层第j个神经元的输入，a_i为低一层第i个神经元的输出，w_ij为连接权重，b_j为偏置量。

步骤S34：在每个选取的深层网络结构上，利用训练集数据，非监督逐层训练深层网络中堆积的每个自动编码器的权重参数；

附图4示出堆式自动编码器结构是由多个自动编码器堆积而成；其中，最底层自动编码器的输入是缺失后并归一化后的交通数据，单一自动编码器的输出目标和输入一致，图4右半部分虚线层表示单一自动编码器的输出层。低层的单一自动编码器训练完后获得输入到隐层的连接权重W_i，其隐层作为高一层自动编码器的输入层，同时也是堆式自动编码器的隐层i。

具体的，单一自动编码器的训练过程为，给定训练集中数据对的输入数据{x⁽¹⁾，x⁽²⁾，x⁽³⁾，…，x^(p)}，其中x⁽ⁱ⁾(i＝1，2，3，…，p)在此处表示训练集中第i对输入输出数据对的输入部分，自动编码器对输入x⁽ⁱ⁾按照公式(1)进行编码，获得编码数据y(x⁽ⁱ⁾)表示如下：

y(x⁽ⁱ⁾)＝f(W₁x⁽ⁱ⁾+b) (1)

并对输入x⁽ⁱ⁾依据公式(2)进行解码，获得解码数据z(x⁽ⁱ⁾)表如下：

z(x⁽ⁱ⁾)＝g(W₂y(x⁽ⁱ⁾)+c) (2)

其中，单一自动编码器的输入层到隐层以及隐层到输出层的连接权重分别是W₁、W₂，偏置分别是b、c。f(x)和g(x)分别是单一自动编码器的隐层激活函数和输出层激活函数，可取为Sigmoid函数1/(1+exp(-x))。自动编码器的目标是使得输入值和输出值相等，对于最底层的单一自动编码器，目标即使得输出等于输入的交通数据。令最小化自动编码器的目标函数J₀表示如下：

J_{0} = \frac{1}{2} Σ_{i = 1}^{p} | | x^{(i)} - z (x^{(i)}) | | - - - (3)

通过最小化自动编码器的目标函数J₀可求得单一自动编码器的输入层到隐层的连接权重W₁和偏置b。考虑到编码稀疏性，最小化自动编码器的目标函数J₀可变为J₁如下表示：

J_{1} = J_{0} + γ Σ_{j = 1}^{H_{D}} KL (ρ | | {\hat{ρ}}_{j}) - - - (4)

其中γ是稀疏项权重，H_D是隐层单元数目，ρ是稀疏参数(取接近0的数)，是隐层神经元j的平均活跃度，(在训练集上取平均)，是Kullback-Leibler(KL)divergence，即KL散度，此处表示隐层神经元激活度的稀疏程度与设定的稀疏参数之间的差异，通过最小化自动编码器的目标函数J₁，训练出单一自动编码器的输入层到隐层的连接权重W₁和偏置b，得到自动稀疏编码。

步骤S35：在堆积的自动编码器的顶层加入恢复层，有监督地调整深层网络的各层参数；

如图5所示本发明深层网络交通数据弥补模型结构图，由堆式自动编码器和恢复层组成，其中堆式自动编码器包括输入层，隐层1、隐层2、隐层3、以及它们之间的连接权重W₁、W₂、W₃，恢复层的输入是堆式自动编码器最高层的隐层3，恢复层输出目标为缺失处理前的数据，形成一个降噪堆式自动编码器。附图3示出降噪自动编码器结构，将降噪自动编码器的隐层替换为堆式自动编码器，即可得到该深层网络。网络整体目标是使得弥补模型的输出与缺失前归一化后的交通数据之间的误差最小，利用缺失前的归一化数据有监督地反向微调深层网络的各层参数。

步骤S36：每个选取的深层网络结构训练完成后，利用测试集数据进行前向运算，根据记录缺失数据的位置得到每个选取的深层网络结构在测试集上的弥补平均误差；选择平均误差最小的深层网络结构作为交通数据弥补的降噪堆式自动编码器深层网络结构。

所述弥补模型是步骤S3中训练的降噪堆式自动编码器深层网络结构弥补模型。弥补过程具体包括以下步骤：

步骤S41：按照选定的交通数据周期将输入的含缺失数据的不完整的交通数据分成若干组交通数据；

步骤S42：将上述若干组交通数据进行归一化处理，得到若干组输入交通数据。

步骤S43：将上述输入交通数据输入深层网络，进行前向计算，得到并输出对应的输出数据，即弥补后的交通数据的归一化值。

步骤S44：将上述归一化的弥补后的交通数据弥补值进行反归一化，得到弥补后的交通数据值。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种交通数据弥补方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的交通数据弥补方法，其特征在于，所述随机缺失处理是按照设定的交通数据缺失率，指定完整交通数据的缺失率，按照缺失率对完整交通数据进行随机缺失处理，记录缺失数据的位置，得到缺失处理后的完整交通数据集。

3.根据权利要求1所述的交通数据弥补方法，其特征在于，所述归一化处理是选取完整数据集中交通数据的最大值X_max，将缺失处理前后的完整数据与最大值X_max的比值作为归一化到[0，1]区间的交通数据。

4.根据权利要求1所述的交通数据弥补方法，其特征在于，所选取交通数据的周期，通常为一天。

5.根据权利要求1所述的交通数据弥补方法，其特征在于，构建降噪堆式自动编码器深层网络结构的步骤包括：

6.根据权利要求1所述的交通数据弥补方法，其特征在于，所述得到弥补后的交通数据值的步骤包括：

步骤S42：将上述若干组交通数据进行归一化处理，得到若干组输入交通数据；

步骤S43：将上述输入交通数据输入深层网络进行前向计算，得到并输出对应的输出数据，即弥补后的交通数据的归一化值；

步骤S44：将上述弥补后的交通数据的归一化值进行反归一化，得到弥补后的交通数据值。