CN104156579A - 一种动态交通异常数据检测与修复方法 - Google Patents

Abstract

本发明公开了一种动态交通异常数据检测与修复方法，包括异常数据检测和修复两部分，异常数据检测采用一种基于密度的局部异常孤立点发现的方法，异常数据修复采用一种基于灰色系统理论的修复方法。本发明实时有效地对动态交通中车辆运行数据中的异常数据进行了检测和修复，提高了数据质量，从而最终保障交通安全。

Description

一种动态交通异常数据检测与修复方法

技术领域

本发明涉及一种数据检测与修复方法，具体是一种动态交通异常数据检测与修复方法，属于动态交通中异常数据的检测与修复技术领域，

背景技术

动态交通车辆在运营过程中，由于受到道路环境、天气、车辆自身设备故障、甚至一些人为因素的影响，其车载系统采集到的车辆运营和运行状况等数据可能会出现丢失、错误、冗余等异常状况。异常数据的出现可能会给客运车辆的动态监管带来困难，并可能威胁到交通安全。

传统的处理方法是：首先采用基于统计、基于距离和基于偏差等传统的方法来对异常数据进行检测，或者采用聚类、支持向量机和神经网络等基于学习的算法来对异常数据进行检测，并在此基础上，采用相应的修复方法来对异常数据进行修复。然而，这些方法需要大量的统计数据或者需要大量的高质量的数据来对模型进行训练，实际操作中难以推广。

因此，需要设计一种局部异常孤立点发现方法来对异常数据进行检测，并采用实时修复方法来对异常数据进行实时修复，以保证运营企业和政府相关部门对车辆进行准确、有效地监控，提高车辆运营的效率和保障交通安全。

发明内容

为解决上述技术问题，本发明提供一种动态交通异常数据检测与修复方法，利用采集的车辆数据的密度信息与局部异常因子之间的关系对异常数据进行检测，并利用异常数据的偶然性和模糊性与灰色系统理论的相关性来实现对检测出的异常数据进行修复，能够有效保证运营企业和政府相关部门对车辆进行准确、有效地监控，提高车辆运营的效率和保障交通安全。

为了实现上述目的，本发明一种动态交通异常数据检测与修复方法，包括以下步骤：

(S1)将动态交通中实时采集的数据按照时间顺序通过长度为N的滑动窗(SlidingWindow)模型；

(S2)滑动窗中接收到新采集的交通数据后，立即开始计算滑动窗中所有数据对象的MinPts-距离邻域NminPts，并计算其到领域中每个对象的距离，其中，MinPts-距离邻域的计算式为：

N_MinPts(p)＝{q∈D\p|d(p,q)≤k-distance(p)}   (1)

(S3)计算滑动窗中所有数据点的可达密度lrd_MinPts，其计算式为：

${\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)=1/\left(\frac{{\mathrm{\Σ}}_{o\∈N_{\mathrm{MinPts}}\left(p\right)}\mathrm{reach}-{\mathrm{dist}}_{\mathrm{MinPts}}(p,o)}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}\right)---\left(2\right)$

(S4)计算滑动窗中所有数据点的局部异常因子LOF_MinPts，其计算式为：

${\mathrm{LOF}}_{\mathrm{MinPts}}\left(p\right)=\frac{{\mathrm{\Σ}}_{o\∈N_{\mathrm{MinPts}}\left(p\right)}\frac{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(o\right)}{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)}}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}---\left(3\right)$

(S5)计算局部异常因子的标准差σ_LOF其计算式为：

${\mathrm{\σ}}_{\mathrm{LOF}}\left(T\right)=\sqrt{\frac{{\mathrm{\Σ}}_{o\stackrel{`}{o}Y}{(\mathrm{LOF}\left(o\right)-\frac{{\mathrm{\Σ}}_{i=1}^N\mathrm{LOF}\left(i\right)}{N})}^2}{N}}---\left(4\right)$

(S6)计算数据更新前后局部异常因子标准差的比值R，其计算式为：

$R=\frac{{\mathrm{\σ}}_{\mathrm{LOF}}(T+1)}{{\mathrm{\σ}}_{\mathrm{LOF}}\left(T\right)}---\left(5\right)$

(S7)当R的值小于阈值时，新更新的交通数据不是异常数据，不需要对数据进行修复，返回步骤(S1)，直接等待新的交通数据的到来；当R的值等于或大于阈值时，新更新的交通数据是异常数据，需要对其进行修复，进入异常数据修复。

(S8)提取滑动窗中除去新更新的数据，构成一个原始数据序列X⁽⁰⁾，数据序列形式为：

X⁽⁰⁾＝(X⁽⁰⁾(1),X⁽⁰⁾(2),...,X⁽⁰⁾(n))   (6)

(S9)计算原始序列的邻均值等权生成序列Z⁽¹⁾，其计算式为：

$Z^{\left(1\right)}\left(k\right)=\frac{1}{2}(X^{\left(1\right)}\left(k\right)+X^{\left(1\right)}(k-1)),k=\mathrm{2,3},...,n---\left(7\right)$

(S10)计算原始序列的一次累加X⁽¹⁾，其计算式为：

X⁽¹⁾＝(X⁽¹⁾(1),X⁽¹⁾(2),...,X⁽¹⁾(n))   (8)

(S11)建立灰色模型GM(1,1)的矩阵形式Y：

$Y=B\widehat{\mathrm{\α}}---\left(9\right)$

(S12)求解在式(9)中的最小化问题，灰色模型GM(1,1)参数的估计值为：

$\widehat{\mathrm{\α}}={[a,u]}^T={\left(B^{T}B\right)}^{-1}{B}^{T}Y---\left(10\right)$

(S13)计算出异常数据的修复值X⁽⁰⁾，异常数据得到修复：

$\begin{array}{c}{X}^{\left(0\right)}(k+1)={\hat{X}}^{\left(1\right)}(k+1)-{\hat{X}}^{\left(1\right)}\left(k\right)\\ =(1-e^a)[X^{\left(0\right)}\left(1\right)-\frac{u}{a}]e^{-\mathrm{ak}},k=\mathrm{1,2},...,n\end{array}---\left(11\right)$

(S14)若车辆继续行驶，则返回步骤(S1)，若车辆停止，则结束；

所述步骤(S1)中的滑动窗模型中的数据包括已处理的数据和待辨识的数据；

所述步骤(S2)中的MinPts-距离定义为：任意的自然数k，定义对象p的k-距离(k-distance(p))为p和集合中D中某个对象o之间的距离；所述对象o至少存在k个对象使得并且至多存在k-1个对象使得

所述步骤(S5)中局部异常因子的标准差σ_LOF的初始值取0。

作为优选，步骤(S7)中数据更新前后局部异常因子标准差的比值R的阈值的实验取值为2.5。

与现有技术相比，本发明采用基于密度的局部异常孤立点发现方法和基于灰色系统理论的异常数据修复方法，所处理的数据是在一个滑动窗模型下进行的，滑动窗中的原始数据均是正常数据，新更新的数据为待辨识的数据，通过计算更新交通数据前后局部异常因子方差的比值来确定该数据是否为异常数据，若为异常数据则通过采用滑动窗中的原始数据，应用灰色系统理论计算对异常数据进行修复，从而实时有效地对动态交通中车辆运行数据中的异常数据进行检测和修复，提高了数据质量，从而最终保障交通安全。

附图说明

图1是本发明流程图；

图2是本发明数据流流向图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1和图2所示，本发明一种动态交通异常数据检测与修复方法，其特征在于，包括以下步骤：

(S1)将动态交通中实时采集的数据按照时间顺序通过长度为N的滑动窗(SlidingWindow)模型；

(S2)滑动窗中接收到新采集的交通数据后，立即开始计算滑动窗中所有数据对象的MinPts-距离邻域NminPts，并计算其到领域中每个对象的距离，其中，MinPts-距离邻域的计算式为：

N_MinPts(p)＝{q∈D\p|d(p,q)≤k-distance(p)}   (1)

(S3)计算滑动窗中所有数据点的可达密度lrd_MinPts，其计算式为：

${\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)=1/\left(\frac{{\mathrm{\Σ}}_{o\∈N_{\mathrm{MinPts}}\left(p\right)}\mathrm{reach}-{\mathrm{dist}}_{\mathrm{MinPts}}(p,o)}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}\right)---\left(2\right)$

(S4)计算滑动窗中所有数据点的局部异常因子LOF_MinPts，其计算式为：

${\mathrm{LOF}}_{\mathrm{MinPts}}\left(p\right)=\frac{{\mathrm{\Σ}}_{o\∈N_{\mathrm{MinPts}}\left(p\right)}\frac{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(o\right)}{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)}}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}---\left(3\right)$

(S5)计算局部异常因子的标准差σ_LOF其计算式为：

${\mathrm{\σ}}_{\mathrm{LOF}}\left(T\right)=\sqrt{\frac{{\mathrm{\Σ}}_{o\stackrel{`}{o}Y}{(\mathrm{LOF}\left(o\right)-\frac{{\mathrm{\Σ}}_{i=1}^N\mathrm{LOF}\left(i\right)}{N})}^2}{N}}---\left(4\right)$

(S6)计算数据更新前后局部异常因子标准差的比值R，其计算式为：

$R=\frac{{\mathrm{\σ}}_{\mathrm{LOF}}(T+1)}{{\mathrm{\σ}}_{\mathrm{LOF}}\left(T\right)}---\left(5\right)$

(S7)当R的值小于阈值时，新更新的交通数据不是异常数据，不需要对数据进行修复，返回步骤(S1)，直接等待新的交通数据的到来；当R的值等于或大于阈值时，新更新的交通数据是异常数据，需要对其进行修复，进入异常数据修复。

(S8)提取滑动窗中除去新更新的数据，构成一个原始数据序列X⁽⁰⁾，数据序列形式为：

X⁽⁰⁾＝(X⁽⁰⁾(1),X⁽⁰⁾(2),...,X⁽⁰⁾(n))   (6)

(S9)计算原始序列的邻均值等权生成序列Z⁽¹⁾，其计算式为：

$Z^{\left(1\right)}\left(k\right)=\frac{1}{2}(X^{\left(1\right)}\left(k\right)+X^{\left(1\right)}(k-1)),k=\mathrm{2,3},...,n---\left(7\right)$

(S10)计算原始序列的一次累加X⁽¹⁾，其计算式为：

X⁽¹⁾＝(X⁽¹⁾(1),X⁽¹⁾(2),...,X⁽¹⁾(n))   (8)

(S11)建立灰色模型GM(1,1)的矩阵形式Y：

$Y=B\widehat{\mathrm{\α}}---\left(9\right)$

(S12)求解在式(9)中的最小化问题，灰色模型GM(1,1)参数的估计值为：

$\widehat{\mathrm{\α}}={[a,u]}^T={\left(B^{T}B\right)}^{-1}{B}^{T}Y---\left(10\right)$

(S13)计算出异常数据的修复值X⁽⁰⁾，异常数据得到修复：

$\begin{array}{c}{X}^{\left(0\right)}(k+1)={\hat{X}}^{\left(1\right)}(k+1)-{\hat{X}}^{\left(1\right)}\left(k\right)\\ =(1-e^a)[X^{\left(0\right)}\left(1\right)-\frac{u}{a}]e^{-\mathrm{ak}},k=\mathrm{1,2},...,n\end{array}---\left(11\right)$

(S14)若车辆继续行驶，则返回步骤(S1)，若车辆停止，则结束；

所述步骤(S1)中的滑动窗模型中的数据包括已处理的数据和待辨识的数据；

所述步骤(S2)中的MinPts-距离定义为：任意的自然数k，定义对象p的k-距离(k-distance(p))为p和集合中D中某个对象o之间的距离；所述对象o至少存在k个对象使得并且至多存在k-1个对象使得

如图2所示，所述步骤(S1)中的滑动窗模型中的数据包括已处理的数据和待辨识的数据即新更新的交通数据；

所述步骤(S2)中的MinPts表示p的邻域中最小的对象个数；

所述步骤(S2)中的MinPts-距离定义为：任意的自然数k，定义对象p的k-距离(k-distance(p))为p和集合中D中某个对象o之间的距离；所述对象o至少存在k个对象使得并且至多存在k-1个对象使得

所述步骤(S5)中局部异常因子的标准差σ_LOF的初始值取0。

作为本发明对上述技术方案的优选方式，所述步骤(S7)中数据更新前后局部异常因子标准差的比值R的阈值的实验取值为2.5，实验的准确率最高，当然也可以选取其他的实验值进行对比。

工作时，将动态交通中实时采集的数据按照时间顺序通过长度为N的滑动窗(SlidingWindow)模型；使用式(1)计算所有数据的对象的MinPts-距离邻域；然后依次使用式(3)、(4)和(5)分别计算数据对象的可达密度、局部异常因子和局部异常因子的方差；再使用式(6)计算更新交通数据前后的局部异常因子的比值，根据比值大小判断新更新的数据是否为异常数据，如不是异常数据，则等待判断下一个交通数据，如是异常数据，进入数据修复流程；如新更新的数据位异常数据，依次使用式(8)、(9)、(10)、(11)和(12)计算灰色模型GM(1,1)的参数a和u；最后使用式(13)来对异常数据进行修复。

本发明通过采用基于密度的局部异常孤立点发现方法和基于灰色系统理论的异常数据修复方法，实时有效地对动态交通中车辆运行数据中的异常数据进行检测和修复，提高了数据质量，从而最终保障交通安全。

Claims (2)

1.一种动态交通异常数据检测与修复方法，其特征在于，包括以下步骤：

(S1)将动态交通中实时采集的数据按照时间顺序通过长度为N的滑动窗(SlidingWindow)模型；

(S2)滑动窗中接收到新采集的交通数据后，立即开始计算滑动窗中所有数据对象的MinPts-距离邻域NminPts，并计算其到领域中每个对象的距离，其中，MinPts-距离邻域的计算式为：

N_MinPts(p)＝{q∈D\p|d(p,q)≤k-distance(p)}   (1)

(S3)计算滑动窗中所有数据点的可达密度lrd_MinPts，其计算式为：

${\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)=1/\left(\frac{{\mathrm{\Σ}}_{o\∈N_{\mathrm{MinPts}}\left(p\right)}\mathrm{reach}-{\mathrm{dist}}_{\mathrm{MinPts}}(p,o)}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}\right)---\left(2\right)$

(S4)计算滑动窗中所有数据点的局部异常因子LOF_MinPts，其计算式为：

${\mathrm{LOF}}_{\mathrm{MinPts}}\left(p\right)=\frac{{\mathrm{\Σ}}_{o\∈N_{\mathrm{MinPts}}\left(p\right)}\frac{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(o\right)}{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)}}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}---\left(3\right)$

(S5)计算局部异常因子的标准差σ_LOF其计算式为：

${\mathrm{\σ}}_{\mathrm{LOF}}\left(T\right)=\sqrt{\frac{{\mathrm{\Σ}}_{o\stackrel{`}{o}Y}{(\mathrm{LOF}\left(o\right)-\frac{{\mathrm{\Σ}}_{i=1}^N\mathrm{LOF}\left(i\right)}{N})}^2}{N}}---\left(4\right)$

(S6)计算数据更新前后局部异常因子标准差的比值R，其计算式为：

$R=\frac{{\mathrm{\σ}}_{\mathrm{LOF}}(T+1)}{{\mathrm{\σ}}_{\mathrm{LOF}}\left(T\right)}---\left(5\right)$

(S7)当R的值小于阈值时，新更新的交通数据不是异常数据，不需要对数据进行修复，返回步骤(S1)，直接等待新的交通数据的到来；当R的值等于或大于阈值时，新更新的交通数据是异常数据，需要对其进行修复，进入异常数据修复。

(S8)提取滑动窗中除去新更新的数据，构成一个原始数据序列X⁽⁰⁾，数据序列形式为：

X⁽⁰⁾＝(X⁽⁰⁾(1),X⁽⁰⁾(2),...,X⁽⁰⁾(n))   (6)

(S9)计算原始序列的邻均值等权生成序列Z⁽¹⁾，其计算式为：

$Z^{\left(1\right)}\left(k\right)=\frac{1}{2}(X^{\left(1\right)}\left(k\right)+X^{\left(1\right)}(k-1)),k=\mathrm{2,3},...,n---\left(7\right)$

(S10)计算原始序列的一次累加X⁽¹⁾，其计算式为：

X⁽¹⁾＝(X⁽¹⁾(1),X⁽¹⁾(2),...,X⁽¹⁾(n))   (8)

(S11)建立灰色模型GM(1,1)的矩阵形式Y：

$Y=B\widehat{\mathrm{\α}}---\left(9\right)$

(S12)求解在式(9)中的最小化问题，灰色模型GM(1,1)参数的估计值为：

$\widehat{\mathrm{\α}}={[a,u]}^T={\left(B^{T}B\right)}^{-1}{B}^{T}Y---\left(10\right)$

(S13)计算出异常数据的修复值X⁽⁰⁾，异常数据得到修复：

$\begin{array}{c}{X}^{\left(0\right)}(k+1)={\hat{X}}^{\left(1\right)}(k+1)-{\hat{X}}^{\left(1\right)}\left(k\right)\\ =(1-e^a)[X^{\left(0\right)}\left(1\right)-\frac{u}{a}]e^{-\mathrm{ak}},k=\mathrm{1,2},...,n\end{array}---\left(11\right)$

(S14)若车辆继续行驶，则返回步骤(S1)，若车辆停止，则结束；

所述步骤(S1)中的滑动窗模型中的数据包括已处理的数据和待辨识的数据；

所述步骤(S2)中的MinPts-距离定义为：任意的自然数k，定义对象p的k-距离(k-distance(p))为p和集合中D中某个对象o之间的距离；所述对象o至少存在k个对象使得并且至多存在k-1个对象使得

步骤(S5)中局部异常因子的标准差σ_LOF的初始值取0。

2.根据权利要求1所述的一种动态交通异常数据检测与修复方法，其特征在于，所述步骤（S7）中数据更新前后局部异常因子标准差的比值R的阈值的实验取值为2.5。