CN106372765A - 一种基于融合数据的高速公路气象站数据修复方法 - Google Patents

Abstract

本发明公开了一种基于融合数据的高速公路气象站数据修复方法，包括如下步骤：(1)从相应的气象检测设备和交通流检测设备中提取气象数据和交通流参数数据，并对数据进行时间和空间维度的匹配；将获取的气象数据和交通流数据合并，得到数据矩阵X；(2)从数据矩阵中筛选出缺失数据；(3)对数据进行修复建模；(4)对数据进行修复；(5)数据返归一化；将返归一化结果数据插入到矩阵X的相应位置，得到完整的数据矩阵。本发明的有益效果为：充分利用多源数据信息，包括缺失数据后数据的信息，对缺失数据进行修正；考虑天气因素和交通流的协同影响作用，提高修复精度；算法简单明了，能够满足实时处理的要求。

Description

一种基于融合数据的高速公路气象站数据修复方法

技术领域

本发明涉及交通气象技术领域，尤其是一种基于融合数据的高速公路气象站数据修复方法。

背景技术

随着高速公路的快速发展，智能交通技术日益受到国内外研究人员的高度重视，大量的数据是其发展的基础，其中高速公路气象数据是智能交通系统中重要的数据之一。目前高速公路管理部门主要通过安装在高速公路上的气象检测设备获取大量的气象数据，然而检测设备由于通信、通电等原因常常发生数据缺失的问题，为后续的数据挖掘带来较大困难。

现有技术中，气象数据修复采用的方法包括时间序列及神经网络等各种智能算法，然而，这些算法不能够充分挖掘数据信息，并且多为单一的气象数据源，缺乏考虑气象因素与交通流的协同影响作用，不能够满足智能交通系统的发展要求。

发明内容

本发明所要解决的技术问题在于，提供一种基于融合数据的高速公路气象站数据修复方法，可以准确的填充高速公路气象站数据中的缺失数据，提高修复精度，满足实时处理的要求。

为解决上述技术问题，本发明提供一种基于融合数据的高速公路气象站数据修复方法，包括如下步骤：

(1)从相应的气象检测设备和交通流检测设备中提取气象数据和交通流参数数据，并对数据进行时间和空间维度的匹配；将获取的气象数据和交通流数据合并，得到数据矩阵X；

(2)从数据矩阵中筛选出缺失数据；

(3)对数据进行修复建模；

(4)对数据进行修复；

(5)数据返归一化；将返归一化结果数据插入到矩阵X的相应位置，得到完整的数据矩阵。

优选的，步骤(1)中，对数据进行时间维度匹配，选取时间间隔，将两种数据进行转换，使两种数据具有相同的时间间隔，时间间隔取两种不同数据的时间间隔的公倍数；进行空间维度匹配，提取获取的气象检测设备的经纬度(lon_e,la_e)，提取交通流检测设备的经纬度(lon_t,la_t)，根据下式获取距离气象检测设备最近的交通流检测设备，完成空间维度的匹配；

$\underset{t}{min}\sqrt{{({\mathrm{lon}}_e-{\mathrm{lon}}_t)}^2+{({\mathrm{la}}_e-{\mathrm{ls}}_t)}^2}$

式中：t表示交通流检测设备的编号；将获取的气象数据和交通流数据合并，得到数据矩阵X。

优选的，步骤(2)中，对缺失气象数据筛选的具体步骤为：设数据矩阵其中该矩阵包含m行n列，其中m行表示时间段的个数，n列为相应的气象参数和交通流参数，表示第i列第j行的数据。从数据矩阵中筛选出缺失数据，将第i列第j行的缺失数据定义为x^ij。

优选的，步骤(3)中，对气象数据修复建模的具体步骤为：

(a)记录缺失数据所在行的编号集合M，将其从数据矩阵X中提出出来为数据矩阵X^miss，其余数据组成新的数据矩阵X′，然后将矩阵进行归一化处理；针对数据矩阵X′，随机产生30％的气象缺失数据，记录缺失数据所在行的编号集合M′，将其从数据矩阵X′中提取出来构成新的数据矩阵为X′_test，剩余数据矩阵为X′_train；

(b)基于支持向量回归模型和数据矩阵X′_train分别建立各项气象数据与交通流数据的支持向量回归方程，包括模型一：湿度与流量、速度、占有率的回归方程；模型二：风速与湿度、流量、速度、占有率的回归方程；模型三：降雨量与风速、湿度、流量、速度、占有率的回归方程；模型四：温度与湿度、风速、降雨量、速度、流量、占有率的回归方程；

(c)将集合X′_test中对应变量的数据依次带入到模型一、二、三、四中计算气象参数的数值，得到气象参数数据矩阵Y＝{y_ij}，并将数据按照其时间位置插入到数据矩阵X′_train中得到数据矩阵X″_train；

(d)对数据矩阵X″_train，按照时间进行降序排列，得到数据矩阵X″′_train和缺失数据编号集合M″；利用支持向量回归模型和数据矩阵X″′_train分别建立各项气象数据与交通流数据的支持向量回归方程，包括模型五：湿度与流量、速度、占有率的回归方程；模型六：风速与湿度、流量、速度、占有率的回归方程；模型七：降雨量与风速、湿度、流量、速度、占有率的回归方程；模型八：温度与湿度、风速、降雨量、速度、流量、占有率的回归方程；

(e)将集合M″中的数据依次带入到模型五、六、七、八中计算缺失的气象参数数据，得到数据矩阵Y′＝{y′_ij}；

(f)设数据矩阵X′_test中气象参数数据矩阵为利用最小二乘原理求解下式中的参数a、b、∈：

$y_{ij}^{test}={\mathrm{ay}}_{ij}+{\mathrm{by}}_{ij}^{\′}+\∈$

优选的，步骤(4)中，对数据进行修复的具体步骤为：将数据矩阵X^miss归一化，其公式如下：

$X_{norm}=\frac{X_1-X_{\min }}{X_{max}-X_{\min }}$

上式中X₁为归一化序列，X_min和X_max分别为归一化序列中的最小值和最大值，X_norm为归一化结果；利用模型一、二、三、四求得数据矩阵模型五、六、七、八求得数据矩阵缺失数据通过下式求得：

$y_{ij}^o={\mathrm{ay}}_{ij}^{miss}+{\mathrm{by}}_{ij}^{{\mathrm{miss}}^{\′}}+\∈.$

优选的，步骤(5)中，数据返归一化的具体步骤为：

上式中，为待返归一化序列，分别为待返归一化序列中的最大值和最小值，X₂为返归一化结果；将返归一化结果数据插入到矩阵X的相应位置，得到完整的数据矩阵。

本发明的有益效果为：充分利用多源数据信息，包括缺失数据后数据的信息，对缺失数据进行修正；考虑天气因素和交通流的协同影响作用，提高修复精度；算法简单明了，能够满足实时处理的要求。

附图说明

图1是本发明的方法流程示意图。

具体实施方式

如图1所示，一种基于融合数据的高速公路气象站数据修复方法，包括如下步骤：(1)从相应的气象检测设备和交通流检测设备中提取气象数据和交通流参数数据，并对数据进行时间和空间维度的匹配。

首先完成时间维度匹配，选取时间间隔，将两种数据进行转换，使两种数据具有相同的时间间隔。

所述的时间间隔应取两种不同数据的时间间隔的公倍数。

然后完成空间维度匹配，提取获取气象检测设备的经纬度(lon_e,la_e)，提取交通流检测设备的经纬度(lon_t,la_t)，根据下式：

$\underset{t}{min}\sqrt{{({\mathrm{lon}}_e-{\mathrm{lon}}_t)}^2+{({\mathrm{la}}_e-{\mathrm{ls}}_t)}^2}$

获取距离气象检测设备最近的交通流检测设备，完成空间维度的匹配。式中：t表示交通流检测设备的编号。

最后将获取的气象数据和交通流数据合并，得到数据矩阵X。

(2)缺失气象数据筛选

设数据矩阵其中该矩阵包含m行n列，其中m行表示时间段的个数，n列为相应的气象参数和交通流参数，表示第i列第j行的数据。从数据矩阵中筛选出缺失数据，将第i列第j行的缺失数据定义为x^ij。

(3)气象数据修复建模

3.1记录缺失数据所在行的编号集合M，将其从数据矩阵X中提出出来为数据矩阵X^miss，其余数据组成新的数据矩阵X′，然后将矩阵进行归一化处理。针对数据矩阵X′，随机产生30％的气象缺失数据，记录缺失数据所在行的编号集合M′，将其从数据矩阵X′中提取出来构成新的数据矩阵为X′_test，剩余数据矩阵为X′_train。

3.2基于支持向量回归模型和数据矩阵X′_train分别建立各项气象数据与交通流数据的支持向量回归方程，包括模型一：湿度与流量、速度、占有率的回归方程；模型二：风速与湿度、流量、速度、占有率的回归方程；模型三：降雨量与风速、湿度、流量、速度、占有率的回归方程；模型四：温度与湿度、风速、降雨量、速度、流量、占有率的回归方程。

所用到的支持向量回归模型通过以下步骤建立：

考虑给定n个学习样本(X_i,y_i),y_i∈R,i＝1,2,…,n，模型的目标为求解

式中b∈R,⊙表示向量的内积，优化目标为

L(X_i)＝g(y_i-f(X_i))

常用的损失函数L(X_i)包括二次函数，Huber函数和ε-不敏感函数等。本模型选用ε-不敏感函数作为损失函数。

如果预测值f(x)与实际值y之间的误差小于ε则损失函数为0，否则会产生一个与误差相关联的线性代价。

(W,b)应满足：

$(W,b)=\frac{1}{2}\left|\right|W|{|}^2+CR(f)$

$\min CR\left(f\right)=\underset{i=1}{\overset{n}{\Σ}}{(y_i-f(X_i\left)\right)}^2$

式中反映了回归函数f的泛化能力，C表示惩罚因子。如果|y_i-f(X_i)-b|≤ε成立，即所有样本损失函数都为0，则有R(f)＝0，因此：

$\min Q(W,b)=\frac{1}{2}\left|\right|W|{|}^2$

显然，约束条件无法同时满足，此时需引入松弛因子ξ_i≥0和ξ′i≥0，此时优化问题转化为：

$\min Q(W,b)=\frac{1}{2}\left|\right|W|{|}^2+C\underset{i=1}{\overset{n}{\Σ}}({\mathrm{\ξ}}_i+{\mathrm{\ξ}}_i^{\′})$

引入参数α_i,α′_i,η_i,η′_i≥0，构造拉格朗日函数求解上述优化问题：

考虑上式中W,b,η_i,η′_i取极小值，因此对L关于W,b,ξ_i,ξ′_i求偏导，并令其偏导数为0：

$\frac{\∂L}{\∂b}=0\→\underset{i=1}{\overset{n}{\Σ}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})=0$

$\frac{\∂L}{\∂\mathrm{\ω}}=0\→\underset{i=1}{\overset{n}{\Σ}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})X_i=W$

$\frac{\∂L}{\∂{\mathrm{\ϵ}}_i}=0\→C-{\mathrm{\α}}_i-{\mathrm{\η}}_i=0$

$\frac{\∂L}{\∂{\mathrm{\ξ}}_i}=0\→C-{\mathrm{\α}}_i-{\mathrm{\η}}_i=0$

$\frac{\∂L}{\∂{\mathrm{\ξ}}_i^{\′}}=0\→C-{\mathrm{\α}}_i^{\′}-{\mathrm{\η}}_i^{\′}=0$

根据上式，得到对偶优化问题：

$s.t.\left\{\begin{array}{c}\underset{i=1}{\overset{n}{\Σ}}{y}_i({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})=0\\ {\mathrm{\α}}_i\≥0,{\mathrm{\α}}_i^{\′}\≤C\end{array}\right.$

对于非线性问题，引入核函数K(X_i,X_j)代替样本向量的内积，可以实现从空间到特征空间的映射，并使得低维数据空间的非线性问题转化为高维空间的线性问题：

$\begin{array}{c}\max Q({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})=-\frac{1}{2}\underset{i,j=1}{\overset{n}{\Σ}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})({\mathrm{\α}}_j-{\mathrm{\α}}_j^{\′})K(X_i,X_j)\\ -\mathrm{\ϵ}\underset{i=1}{\overset{n}{\Σ}}({\mathrm{\α}}_i+{\mathrm{\α}}_i^{\′})+\underset{i=1}{\overset{n}{\Σ}}{y}_i({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})\end{array}$

根据Karush-Kuhn-Tucker(KTT)最优化条件，对上式进行求解得到：

$\left\{\begin{array}{cc}b=y_i-\underset{j=1}{\overset{n}{\Σ}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})K(X_i,X_j)+\mathrm{\ϵ}& {\mathrm{\α}}_i\∈(0,C)\\ b=y_i-\underset{j=1}{\overset{n}{\Σ}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{\′})K(X_i,X_j)-\mathrm{\ϵ}& {\mathrm{\α}}_i^{\′}\∈(0,C)\end{array}\right.$

其他参数可一一获取。

3.3将集合X′_test中对应变量的数据依次带入到模型一、二、三、四中计算气象参数的数值，得到气象参数数据矩阵Y＝{y_ij}，并将数据按照其时间位置插入到数据矩阵X′_train中得到数据矩阵X″_train。

3.4对数据矩阵X″_train，按照时间进行降序排列，得到数据矩阵X″′_train和缺失数据编号集合M″。利用支持向量回归模型和数据矩阵X″′_train分别建立各项气象数据与交通流数据的支持向量回归方程，包括模型五：湿度与流量、速度、占有率的回归方程；模型六：风速与湿度、流量、速度、占有率的回归方程；模型七：降雨量与风速、湿度、流量、速度、占有率的回归方程；模型八：温度与湿度、风速、降雨量、速度、流量、占有率的回归方程。

3.5将集合M″中的数据依次带入到模型五、六、七、八中计算缺失的气象参数数据，得到数据矩阵Y′＝{y′_ij}。

3.6设数据矩阵X′_test中气象参数数据矩阵为利用最小二乘原理求解下式中的参数a、b、∈：

$y_{ij}^{test}={\mathrm{ay}}_{ij}+{\mathrm{by}}_{ij}^{\′}+\∈$

步骤(4)数据修复

将数据矩阵X^miss归一化，其公式如下：

$X_{norm}=\frac{X_1-X_{min}}{X_{max}-X_{min}}$

上式中X₁为归一化序列，X_min和X_max分别为归一化序列中的最小值和最大值，X_norm为归一化结果。

利用模型一、二、三、四求得数据矩阵模型五、六、七、八求得数据矩阵缺失数据可通过下式求得：

$y_{ij}^o={\mathrm{ay}}_{ij}^{miss}+{\mathrm{by}}_{ij}^{{\mathrm{miss}}^{\′}}+\∈$

(5)数据返归一化

上式中，为待返归一化序列，分别为待返归一化序列中的最大值和最小值，X₂为返归一化结果。

尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (6)

1.一种基于融合数据的高速公路气象站数据修复方法，其特征在于，包括如下步骤：

(1)从相应的气象检测设备和交通流检测设备中提取气象数据和交通流参数数据，并对数据进行时间和空间维度的匹配；将获取的气象数据和交通流数据合并，得到数据矩阵X；

(2)从数据矩阵中筛选出缺失数据；

(3)对数据进行修复建模；

(4)对数据进行修复；

(5)数据返归一化；将返归一化结果数据插入到矩阵X的相应位置，得到完整的数据矩阵。

2.如权利要求1所述的基于融合数据的高速公路气象站数据修复方法，其特征在于，步骤(1)中，对数据进行时间维度匹配，选取时间间隔，将两种数据进行转换，使两种数据具有相同的时间间隔，时间间隔取两种不同数据的时间间隔的公倍数；进行空间维度匹配，提取获取的气象检测设备的经纬度(lon_e,la_e)，提取交通流检测设备的经纬度(lon_t,la_t)，根据下式获取距离气象检测设备最近的交通流检测设备，完成空间维度的匹配；

$\underset{t}{min}\sqrt{{({\mathrm{lon}}_e-{\mathrm{lon}}_t)}^2+{({\mathrm{la}}_e-{\mathrm{ls}}_t)}^2}$

式中：t表示交通流检测设备的编号；将获取的气象数据和交通流数据合并，得到数据矩阵X。

3.如权利要求1所述的基于融合数据的高速公路气象站数据修复方法，其特征在于，步骤(2)中，对缺失气象数据筛选的具体步骤为：设数据矩阵其中该矩阵包含m行n列，其中m行表示时间段的个数，n列为相应的气象参数和交通流参数，表示第i列第j行的数据；从数据矩阵中筛选出缺失数据，将第i列第j行的缺失数据定义为x^ij。

4.如权利要求1所述的基于融合数据的高速公路气象站数据修复方法，其特征在于，步骤(3)中，对气象数据修复建模的具体步骤为：

(a)记录缺失数据所在行的编号集合M，将其从数据矩阵X中提出出来为数据矩阵X^miss，其余数据组成新的数据矩阵X′，然后将矩阵进行归一化处理；针对数据矩阵X′，随机产生30％的气象缺失数据，记录缺失数据所在行的编号集合M′，将其从数据矩阵X′中提取出来构成新的数据矩阵为X′_test，剩余数据矩阵为X′_train；

(b)基于支持向量回归模型和数据矩阵X′_train分别建立各项气象数据与交通流数据的支持向量回归方程，包括模型一：湿度与流量、速度、占有率的回归方程；模型二：风速与湿度、流量、速度、占有率的回归方程；模型三：降雨量与风速、湿度、流量、速度、占有率的回归方程；模型四：温度与湿度、风速、降雨量、速度、流量、占有率的回归方程；

(c)将集合X′_test中对应变量的数据依次带入到模型一、二、三、四中计算气象参数的数值，得到气象参数数据矩阵Y＝{y_ij}，并将数据按照其时间位置插入到数据矩阵X′_train中得到数据矩阵X″_train；

(d)对数据矩阵X″_train，按照时间进行降序排列，得到数据矩阵X″′_train和缺失数据编号集合M″；利用支持向量回归模型和数据矩阵X″′_train分别建立各项气象数据与交通流数据的支持向量回归方程，包括模型五：湿度与流量、速度、占有率的回归方程；模型六：风速与湿度、流量、速度、占有率的回归方程；模型七：降雨量与风速、湿度、流量、速度、占有率的回归方程；模型八：温度与湿度、风速、降雨量、速度、流量、占有率的回归方程；

(e)将集合M″中的数据依次带入到模型五、六、七、八中计算缺失的气象参数数据，得到数据矩阵Y′＝{y′_ij}；

(f)设数据矩阵X′_test中气象参数数据矩阵为利用最小二乘原理求解下式中的参数a、b、∈：

$y_{ij}^{test}={\mathrm{ay}}_{ij}+{\mathrm{by}}_{ij}^{\′}+\∈.$

5.如权利要求1所述的基于融合数据的高速公路气象站数据修复方法，其特征在于，步骤(4)中，对数据进行修复的具体步骤为：将数据矩阵X^miss归一化，其公式如下：

$X_{norm}=\frac{X_1-X_{\min }}{X_{max}-X_{min}}$

上式中X₁为归一化序列，X_min和X_max分别为归一化序列中的最小值和最大值，X_norm为归一化结果；利用模型一、二、三、四求得数据矩阵模型五、六、七、八求得数据矩阵缺失数据通过下式求得：

$y_{ij}^o={\mathrm{ay}}_{ij}^{miss}+{\mathrm{by}}_{ij}^{miss\′}+\∈.$

6.如权利要求1所述的基于融合数据的高速公路气象站数据修复方法，其特征在于，步骤(5)中，数据返归一化的具体步骤为：

上式中，为待返归一化序列，分别为待返归一化序列中的最大值和最小值，X₂为返归一化结果；将返归一化结果数据插入到矩阵X的相应位置，得到完整的数据矩阵。