CN101246645A - 一种识别离群交通数据的方法 - Google Patents

Abstract

一种识别离群交通数据的方法，其特征在于该方法首先采集获取交通数据，计算数据的平均局部离群因子，而后使用以下两个准则之一判断离群数据：平均局部离群因子最高的m个数据是离群数据，或平均局部离群因子大于给定阈值的数据是离群数据，最后删除或采用滤波方法修正所识别出的离群数据，或者分析离群数据所包含的隐藏信息。该方法可有效检出边界和内部的离群数据，其效果优于基于统计的离群检测方法。

Description

一种识别离群交通数据的方法

技术领域

本发明提出一种识别离群交通数据的方法，涉及智能交通系统所采集的交通数据的质量控制，属于智能交通系统中智能信息处理技术领域。

背景技术

交通数据在智能交通系统中占有重要的地位，智能交通系统(ITS)的核心技术之一是交通参数的实时估计与预测技术，由于采样失真、测量误差、突发交通事件以及其它可能存在的影响因素，采集的交通数据集中通常存在着不遵循数据模型的普遍行为的样本，这些异常点即为离群数据。当采集的交通数据用于建模时，这些异常点不具备代表性，不能有效地建模并描述系统。为了提高动态交通信息的准确性和可靠性，保证交通模型的使用效果，首先需要对异常数据加以识别并进行相应的处理。

目前，在交通工程领域中主要基于统计学的方法识别离群数据，该方法计算简单，但其应用需要事先知道数据的分布，这往往比较难，而且现实数据也往往不符合任何一种理想状态的数学分布。此外，基于统计的离群检测算法大多只适合于挖掘单变量的数值型数据，对高维、周期性数据、分类数据则较难进行识别，这限制了它的应用。

为了克服上述方法的缺陷，本发明提出使用基于密度的离群数据挖掘算法识别异常交通数据。

发明内容

技术问题：异常交通数据可使得所建模型的要点变得模糊，不能反映真实系统的本质，本发明提供一种基于密度的识别异常交通数据的方法，该方法可有效检出边界和内部的离群数据，其效果优于基于统计的离群检测方法。

技术方案：本发明的识别离群交通数据的方法首先计算数据的平均局部离群因子，而后使用以下两个准则之一判断离群点：平均局部离群因子最高的m个数据是离群点，或平均局部离群因子大于给定阈值的数据是离群点。

所述计算数据的平均局部离群因子方法为，在某一自然数k值下，计算每个数据的k-局部离群因子，以一定步长改变k值，重复计算每个数据的k-局部离群因子，而后通过平均得到每个数据平均局部离群因子，其计算方法为：

$\mathrm{lof}\left(p\right)=\frac{\underset{k}{\mathrm{\Σ}}{\mathrm{lof}}_k\left(p\right)}{\frac{k_2-k_1}{s}+1}--1$

其中，k₁和k₂分别是k的上下限，k₁是不小于10的自然数，s是步长，lof_k(p)为任一数据p的k-局部离群因子。

每个数据的k-局部离群因子计算方法为，p的k-邻域内所有数据的k-局部可达密度平均值与p的k-局部可达密度之比，即：

${\mathrm{lof}}_k\left(p\right)=\frac{\underset{o\∈N_k\left(p\right)}{\mathrm{\Σ}}\frac{{\mathrm{lrd}}_k\left(o\right)}{{\mathrm{lrd}}_k\left(p\right)}}{\left|N_k\left(p\right)\right|}--2$

其中，k是自然数，N_k(p)是数据p的k-邻域，|N_k(p)|是该邻域含有的元素个数；p的k-邻域由所有与p之间的距离不大于p的k-距离的数据组成，p的k-距离为数据p和离其最近的第k个数据之间的距离；lrd_k(p)为p的k-局部可达密度，o是p的k-邻域内任一数据，lrd_k(o)为o的k-局部可达密度。

任一数据p的k-局部可达密度为该数据与其k-距离邻域的平均可达距离的倒数，其计算方法为：

${\mathrm{lrd}}_k\left(p\right)=1/\frac{\underset{o\∈N_k\left(p\right)}{\mathrm{\Σ}}\mathrm{reach}\_{\mathrm{disp}}_k(p,o)}{\left|N_k\left(p\right)\right|}--3$

reach_disp_k(p，o)是p到其k-邻域内任一数据o的可达距离，p相对于o的可达距离为o的k-距离和p与o之间距离的较大值，即：

reach_disp _k(p，o)＝max{k_distance(o)，d(p，o)}    --4。

有益效果：在该方法中，一个点的离群程度与它周围的点有关，这体现了“局部”的概念，这是它与以往离群定义不同之处，也是优势所在。此外，使用局部离群因子的平均值判断离群点，使检测结果更加稳定，不随参数k值的变化而有较大变动。基于密度的离群挖掘算法能发现其它方法漏检的局部离群点，有其独到之处，有更好的应用价值。

附图说明

图1是本发明的步骤流程图。其中有：k最小值k_min，k最大值k_max，k改变步长k_step

图2是交通流到达率和密度关系及其离群数据，

图3是路面平整度测试数据及离群数据。

具体实施方式

下面将参考附图具体说明发明的实施方式。步骤如下：

1.运用智能交通系统中的数据采集设备，如车辆检测线圈、视频检测器、移动车辆、雷达、超声波等获取交通数据，如车速、车流量、占有率、旅行时间等，设所采集数据集为D；

2.计算D中每个数据的k-局部可达密度；

给定一个自然数k，计算每个数据p的k-距离(k-distance(p))，其值为p和离其最近的第k个邻居o∈D之间的距离d(p，o)，

p的k邻域定义为

N_k(p)＝{q∈D\{p}|d(p，q)≤k_distance(p)}    (1)

p相对于o的可达距离为

reach_disp _k(p，o)＝max{k_distance(o)，d(p，o)}    (2)

p的k-局部可达密度为数据p与其k-距离邻域的平均可达距离的倒数，

${\mathrm{lrd}}_k\left(p\right)=1/\frac{\underset{o\∈N_k\left(p\right)}{\mathrm{\Σ}}\mathrm{reach}\_{\mathrm{disp}}_k\left(o\right)}{\left|N_k\left(p\right)\right|}---\left(3\right)$

3.然后计算数据的k-局部离群因子；

p的k-局部离群因子定义为

${\mathrm{lof}}_k\left(p\right)=\frac{\underset{o\∈N_k\left(p\right)}{\mathrm{\Σ}}\frac{{\mathrm{lrd}}_k\left(o\right)}{{\mathrm{lrd}}_k\left(p\right)}}{\left|N_k\left(p\right)\right|}---\left(4\right)$

4. 以一定步长改变k值，重复步骤2和3，计算每个数据的k-局部离群因子。局部离群因子说明了数据的离群程度，一个数据的局部离群因子越大，其越有可能是离群数据。

5. 计算每个数据的平均局部离群因子，以消除参数k对检测结果的影响。

6. 基于平均局部离群因子判断离群点。可以使用以下两个准则：平均局部离群因子最高的m个数据是离群点，或平均局部离群因子大于给定阈值的数据都是离群点。

7. 删除或采用滤波技术修正所识别出的离群数据，或者分析这些离群数据获取隐藏信息。

实施例1：交通流建模

高速公路的交通流通常用平均车速、到达率、密度来描述，到达率和密度之间的关系可以用图描述，称之为交通流基本图形。检测设备或传输设备出错、突发交通事件都可能使交通流数据发生异常改变，不管是采样错误还是异常交通事件所产生的离群数据，都将使模型特征变得模糊，不能真正反应系统的内在规律。因此，在建立模型前需要找出并除去离群数据，以减少离群数据的影响，提高所建模型的准确性和可靠性。

现收集有南京碌口机场高速公路的交通流数据709个，采样周期为1分钟，拟建立到达率和密度之间的模型。运用基于密度的检测方法LOF寻找特异样本，令k＝20，计算所有样本的局部异常因子。以10为步长增加k值，重复计算所有样本的局部异常因子，直至k＝150。而后，计算所有样本的平均局部异常因子，取平均局部异常因子最高的12个数据为离群数据。图2是所交通流到达率和密度关系基本图表，其中加圈的即为离群数据。可以看出，边界和内部的离群数据都有效检出。

删除上述离群数据，而后采用不含离群数据的数据集建立高速公路的交通流模型。

实施例2：路面平整度测试应用

路面平整度是路面表面功能的一项重要指标，它不仅反映了路面的行驶舒适性，也从侧面反映出路面的健康状况。国际平整度指数IRI(International RoughnessIndex)已被世界各国广泛采用，定义为标准车身悬架的总位移(单位m)与行驶距离(单位km)之比，单位是m/km。现有IRI样本8000个，数据采集每隔一米一次，用澳大利亚进口路面平整度测试车测试所得.

运用基于密度的检测方法LOF寻找特异样本，令k从50为初始值开始，以步长10增加，计算所有样本的局部异常因子。而后求出所有样本的平均局部异常因子。这里，假设平均局部异常因子大于1.8的都是离群数据，则发现离群程度最强的28个点，如图3所示，其中加圈的即为离群数据。

与其他检测点相比，这些离群数据说明该处路面不平整或者路面损坏较严重，也可能是采样误差或噪音。对于每个检测出的异常值，需要人工参与，对当时的路面、检测设备等做进一步的分析，正确区分其产生的原因。

Claims (4)

1. 一种识别离群交通数据的方法，其特征在于该方法首先采集获取交通数据，计算数据的平均局部离群因子，而后使用以下两个准则之一判断离群数据：平均局部离群因子最高的m个数据是离群数据，或平均局部离群因子大于给定阈值的数据是离群数据，最后删除或采用滤波方法修正所识别出的离群数据，或者分析离群数据所包含的隐藏信息。

2. 根据权利要求1所述的一种识别离群交通数据的方法，其特征在于所述计算数据的平均局部离群因子方法为，在某一自然数k值下，计算每个数据的k-局部离群因子，以一定步长改变k值，重复计算每个数据的k-局部离群因子，而后通过平均得到每个数据平均局部离群因子，其计算方法为：

$\mathrm{lof}\left(p\right)=\frac{\underset{k}{\mathrm{\Σ}}{\mathrm{lof}}_k\left(p\right)}{\frac{k_2-k_1}{s}+1}--1$

其中，k₁和k₂分别是k的上下限，k₁是不小于10的自然数，s是步长，lof_k(p)为任一数据p的k-局部离群因子。

3. 根据权利要求2所述的一种识别离群交通数据的方法，其特征在于每个数据的k-局部离群因子计算方法为，p的k-邻域内所有数据的k-局部可达密度平均值与p的k-局部可达密度之比，即：

${\mathrm{lof}}_k\left(p\right)=\frac{\underset{o\∈N_k\left(p\right)}{\mathrm{\Σ}}\frac{{\mathrm{lrd}}_k\left(o\right)}{{\mathrm{lrd}}_k\left(p\right)}}{\left|N_k\left(p\right)\right|}--2$

其中，k是自然数，N_k(p)是数据p的k-邻域，|N_k(p)|是该邻域含有的元素个数；p的k-邻域由所有与p之间的距离不大于p的k-距离的数据组成，p的k-距离为数据p和离其最近的第k个数据之间的距离；lrd_k(p)为p的k-局部可达密度，o是p的k-邻域内任一数据，lrd_k(o)为o的k-局部可达密度。

4. 根据权利要求3所述的一种识别离群交通数据的方法，其特征在于任一数据p的k-局部可达密度为该数据与其k-距离邻域的平均可达距离的倒数，其计算方法为：

${\mathrm{lrd}}_k\left(p\right)=1/\frac{\underset{o\∈N_k\left(p\right)}{\mathrm{\Σ}}\mathrm{reach}\_{\mathrm{disp}}_k(p,o)}{\left|N_k\left(p\right)\right|}--3$

reach_disp_k(p，o)是p到其k-邻域内任一数据o的可达距离，其值为o的k-距离和p与o之间距离的较大值，即：

reach_disp _k(p，o)＝max{k_distance(o)，d(p，o)}    --4。

Images