CN107978147A - 一种基于knn算法的交通流异常数据双向检测修复方法 - Google Patents

Abstract

本发明涉及一种基于KNN算法的交通流异常数据双向检测修复方法，包括以下步骤：1)获取正常的交通流历史数据，将连续的每5个数据划分为一组，并建立历史数据状态向量库；2)获取待修复的交通流数据中的异常值，并将此异常值标记为v(w)；3)根据异常值构建异常数据状态向量X；4)计算异常数据状态向量X与所有历史数据状态向量X_n之间的欧氏距离d，并进行优选，获取k组优选后的历史数据状态向量以及对应的欧氏距离d_i(i＝1,2...k)；5)根据k组优选后的历史数据状态向量以及对应的欧氏距离d_i计算修复值v(w)′；6)对异常值进行删除填补修复。与现有技术相比，本发明具有修复精度高、适用性广、提高修复精度、提高交通数据质量等优点。

Description

一种基于KNN算法的交通流异常数据双向检测修复方法

技术领域

本发明涉及智能交通系统领域，尤其是涉及一种基于KNN算法的交通流异常数据双向检测修复方法。

背景技术

完整的交通流数据是交通管理与控制的基础，车辆检测器是检测道路交通流运行参数的设备，是智能交通系统中的重要组成设备，在实际交通运行中，由于道路交通环境异常、检测器故障、通信故障等原因，导致采集的交通数据产生异常，影响交通数据的质量，交通流数据的质量直接影响交通状态的估计、预测与评价的效果。因此，对交通异常数据进行恢复是必要的。

目前的交通流异常数据修复方法主要有历史平均法、移动平均法、插值法、基于时间序列的数据修复方法等。历史平均法和移动平均法主要是利用数据求均值的方法，其修复精度不高；插值法主要针对数据缺失严重的情况进行修复，具有局限性；基于时间序列的数据修复方法，在遇到连续异常情况时，修复精度大大降低。基于以上研究现状和不足，本发明在分析交通流数据时间相关性的基础上，把k近邻的算法运用到数据修复中，提出了一种基于KNN算法的交通流异常数据双向检测修复方法，具有较好的可实施性，修复效果好，适应于大多数交通流异常情况。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于KNN算法的交通流异常数据双向检测修复方法。

本发明的目的可以通过以下技术方案来实现：

一种基于KNN算法的交通流异常数据双向检测修复方法，该方法包括以下步骤：

1)获取正常的交通流历史数据，按照时间序列，将连续的每5个数据划分为一组，并建立历史数据状态向量库{X_n}，历史数据状态向量X_n的表现形式为：

X_n＝{v_h1，v_h2，v_h3，v_h4，v_h5}；

2)获取待修复的交通流数据中的异常值，并将此异常值标记为v(w)；

3)根据异常值构建异常数据状态向量X；

4)计算异常数据状态向量X与所有历史数据状态向量X_n之间的欧氏距离d，并进行优选，获取k组优选后的历史数据状态向量以及对应的欧氏距离d_i(i＝1,2...k)；

5)根据k组优选后的历史数据状态向量以及对应的欧氏距离d_i计算修复值v(w)′；

6)对异常值进行删除填补修复。

所述的步骤3)中，构建异常数据状态向量X的具体方法为：

31)将异常值v(w)放入异常数据状态向量X中；

32)在待修复的交通流数据中，以异常值v(w)所在位置为起点，分别向前后两个方向，按照先前再后的顺序进行检测，舍弃在此过程中检测出的异常值，并将非异常值按顺序放入异常数据状态向量X，直到异常数据状态向量X中仅有一个异常值v(w)。

所述的步骤4)中，由异常数据状态向量X中除异常值以外的4个数据与历史数据状态向量X_n中对应位置的4个数据计算欧氏距离d。

所述的步骤5)中，修复值v(w)′的计算式为：

其中，α_i为优选后第i组历史数据状态向量的权重，v_hi(w)为优选后第i组历史数据状态向量中与异常值对应的历史数据。

所述的权重α_i的选择计算式为：

所述的步骤4具体包括以下步骤：

将异常数据状态向量X与所有历史数据状态向量X_n之间的欧氏距离d按照从小到大的顺序排列，选取前k个欧氏距离作为优选的欧氏距离d_i。

所述的k取值为25。

与现有技术相比，本发明具有以下优点：

一、修复精度高：本发明在分析交通数据时间关联性的基础上，基于KNN算法，选取合理的状态向量，对异常数据进行修复，提高了数据的修复精度。

二、适用性广：本发明在分析平均相对误差与k值关系的基础上，对近邻值k进行优选，综合考虑算法运行速度及数据修复精度，选取k值为25，使此种修复方法适用于大多数情况。

三、提高修复精度：本发明在现有k近邻权重选取的基础上，提出一种新的权重选取方式，在对几种权重进行对比分析的基础上，选取新权重即权重3作为权重值，可有效提高数据修复精度。

四、提高交通数据质量：本发明基于k近邻的算法，发明了一种交通流异常数据双向检测修复的方法，把现有的k近邻算法应用于数据修复中，及时有效的对异常数据进行了修复，提高了交通数据的质量，为交通运行态势的分析提供了保障。

附图说明

图1是交通流异常数据修复的流程图。

图2是异常数据状态向量选取及修复示例图。

图3是平均相对误差与k值的关系图。

图4是权重1相对误差占比图。

图5是权重2相对误差占比图。

图6是权重3相对误差占比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明主要针对在交通运行过程中，由于道路交通环境异常、检测器故障、通信故障等原因，导致检测的交通流数据产生异常的情况。针对以上不足，基于现有的k近邻算法，提出了一种基于KNN算法的交通流异常数据双向检测修复方法。本发明的技术方案如下：

A.获取正常的交通流历史数据，按照时间序列，建立以连续5个数据为一组的历史数据状态向量库X_n，X_n＝{v_h1，v_h2，v_h3，v_h4，v_h5}；

B.获取待修复交通流数据；

C.识别待修复交通流数据中的异常值，标记为v(w)；

D.建立异常数据状态向量X，X＝{v₁，v₂，v₃，v₄，v₅}，其中一个数据为异常值，此处为便于讨论，不妨设v₅为异常值；

E.计算X到X_n之间的欧式距离d，依据步骤D中假设，定义异常数据状态向量X与历史数据状态向量库X_n中各向量之间的欧式距离为d,其计算公式为：

F.根据k近邻的思想，对欧式距离d进行优选，记为d_i(i＝1～k)，d_i的计算公式为：

G.对异常数据进行修复，异常数据修复值的计算公式为：

式中，v(w)′：异常数据修复后的数值；

α_i:第i个近邻所占的权重；基于距离越近权重占比越大的思想，选取合适的权重值α_i，权重选取的计算公式如下：

v_hi(w):异常数据对应的历史数据状态向量中相应位置的数据。

H.获取修复值v(w)′；

I.进行异常数据删除及填补。

此外，关于近邻值k的选取：近邻值k表示从历史数据库中选取的近邻个数，k值过大或过小都会影响预测的精度。从平均相对误差与k值的关系图中可以看出，k值在1～25之间时，平均相对误差值下降明显，k值大于25时，平均相对误差下降不明显，见附图3。本发明从数据修复精度和算法运行速度的角度考虑，优先选取k值为25。

关于权重的选取，现有k近邻权重选取有以下两种：

权重1：距离倒数：

权重2：排队指数：

本发明在已有权重选取的基础上，基于距离越近占比越大的思想，提出了一种距离占比的权重选取方式。其公式如下：

权重3：距离占比

为说明此权重选取的优越性，本发明采用数据验证的方式来说明，用三个权重来对比数据修复的相对误差。经验证，提出的距离占比的权重选取方式，其相对误差小于5％时所占比例较大，说明本发明提出的权重具有较好的修复效果。三个权重相对误差占比图见附图4、附图5、附图6。

实施例：

下面以一组数据为例，对本发明方案的具体实施步骤做进一步详细说明。

A.选取某高速公路二月份任意5天的正常交通流速度数据作为历史数据，按照时间序列，选取连续5个正常数据为一组，建立历史数据向量库X_n，X_n＝{v_h1，v_h2，v_h3，v_h4，v_h5}；

B.选取二月份某天的异常速度数据作为待修复数据；

C.识别待修复速度数据中的某异常值，标记为v(w)，如附图2，则此时v(w)＝v₄；

D.建立异常数据状态向量X，X＝{v₁，v₂，v₃，v₄，v₅}，此时v₄为异常值，建立异常数据状态向量X的具体步骤为：

从异常数据v(w)所在位置前后两个方向出发，首先检测v(w)所在位置前一时刻的数据是否异常，若非异常，则把此数据放入状态向量X，接着检测v(w)后一时刻的数据，若异常，则直接检测v(w)后一时刻的数据；若v(w)后一时刻的数据非异常，则把此数据放入状态向量X，接着检测v(w)前两个时刻的数据是否异常，若异常，则直接检测v(w)前两个时刻的数据是否异常；若v(w)前两个时刻的数据非异常，则把此数据放入状态向量X，接着检测v(w)后两个时刻的数据是否异常，若异常，则直接检测v(w)后两个时刻的数据是否异常…,按照此种搜索顺序，依次检测数据，直到检测到异常数据相邻时间段内4个正常的数据为止，最终组成异常数据状态向量X；

E.计算X到X_n之间的欧式距离d，依据步骤C，异常数据状态向量X与历史数据状态向量库X_n中各向量之间的欧式距离为d,其计算公式为：

F.根据k近邻的思想，对欧式距离d进行优选，记为d_i(i＝1～25)，d_i的计算公式为：

G.对异常数据v₄进行修复，异常数据修复值的计算公式为：

式中，v(w)′：异常数据修复后的数值；

α_i:第i个近邻所占的权重，权重选取的计算公式如下：

v_hi(w):异常数据v₄对应的历史数据状态向量中相应位置的数据v_hi(4)。

H.获取修复值v(w)′；

I.进行异常数据v(w)的删除及修复后数据v(w)′的填补。

Claims (7)

1.一种基于KNN算法的交通流异常数据双向检测修复方法，其特征在于，该方法包括以下步骤：

1)获取正常的交通流历史数据，按照时间序列，将连续的每5个数据划分为一组，并建立历史数据状态向量库{X_n}，历史数据状态向量X_n的表现形式为：

X_n＝{v_h1，v_h2，v_h3，v_h4，v_h5}；

2)获取待修复的交通流数据中的异常值，并将此异常值标记为v(w)；

3)根据异常值构建异常数据状态向量X；

4)计算异常数据状态向量X与所有历史数据状态向量X_n之间的欧氏距离d，并进行优选，获取k组优选后的历史数据状态向量以及对应的欧氏距离d_i(i＝1,2...k)；

5)根据k组优选后的历史数据状态向量以及对应的欧氏距离d_i计算修复值v(w)′；

6)对异常值进行删除填补修复。

2.根据权利要求1所述的一种基于KNN算法的交通流异常数据双向检测修复方法，其特征在于，所述的步骤3)中，构建异常数据状态向量X的具体方法为：

31)将异常值v(w)放入异常数据状态向量X中；

32)在待修复的交通流数据中，以异常值v(w)所在位置为起点，分别向前后两个方向，按照先前再后的顺序进行检测，舍弃在此过程中检测出的异常值，并将非异常值按顺序放入异常数据状态向量X，直到异常数据状态向量X中仅有一个异常值v(w)。

3.根据权利要求1所述的一种基于KNN算法的交通流异常数据双向检测修复方法，其特征在于，所述的步骤4)中，由异常数据状态向量X中除异常值以外的4个数据与历史数据状态向量X_n中对应位置的4个数据计算欧氏距离d。

4.根据权利要求1所述的一种基于KNN算法的交通流异常数据双向检测修复方法，其特征在于，所述的步骤5)中，修复值v(w)′的计算式为：

<mrow> <mi>v</mi> <msup> <mrow> <mo>(</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <msub> <mi>v</mi> <mrow> <mi>h</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>w</mi> <mo>)</mo> </mrow> </mrow>

其中，α_i为优选后第i组历史数据状态向量的权重，v_hi(w)为优选后第i组历史数据状态向量中与异常值对应的历史数据。

5.根据权利要求4所述的一种基于KNN算法的交通流异常数据双向检测修复方法，其特征在于，所述的权重α_i的选择计算式为：

<mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> </mrow> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <msub> <mi>d</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>.</mo> </mrow>

6.根据权利要求1所述的一种基于KNN算法的交通流异常数据双向检测修复方法，其特征在于，所述的步骤4具体包括以下步骤：

将异常数据状态向量X与所有历史数据状态向量X_n之间的欧氏距离d按照从小到大的顺序排列，选取前k个欧氏距离作为优选的欧氏距离d_i。

7.根据权利要求6所述的一种基于KNN算法的交通流异常数据双向检测修复方法，其特征在于，所述的k取值为25。