CN102867421B - 一种识别有效停车泊位占有率中离群数据的方法 - Google Patents

Abstract

本发明公开了一种停车场有效泊位占有率离群数据识别方法，包括如下步骤：1）确定停车场有效泊位占有率的时间序列；2）用小波函数对有效泊位占有率时间序列进行N尺度的小波分解与重构，得到N+1个重构的时间序列，将这N+1个重构时间序列组成数据集D；3）计算N+1维数据集D中所有数据点的加权投影向量，构成加权数据集DW；4）利用基于密度的离群数据挖掘算法计算加权数据集DW的平均局部离群因子；5）基于加权数据集DW的平均局部离群因子判断离群点。本发明根据有效泊位占有率时间序列的周期性和波动性特征，提出基于小波分析和局部信息熵加权的离群数据挖掘算法对有效泊位占有率离群数据加以识别，降低误判率，提高可靠性。

Description

一种识别有效停车泊位占有率中离群数据的方法

技术领域

本发明属于智能交通系统中智能信息处理技术领域，涉及一种智能交通系统所采集的交通数据的质量控制方法。

背景技术

停车场是否有空余泊位可供停车是驾车者停车选择时最为关注的问题之一。利用停车泊位信息采集技术获得停车场内空余车位的信息是停车诱导信息系统的一项关键技术。比较准确地采集到停车场的空余泊位信息，供系统用户选择停车场时参考，不仅有利于用户合理地安排自己的出行，也有利于交通管理部门对交通的宏观调控。

由于采样失真、测量误差、设备故障以及其它可能存在的影响因素，采集的有效停车泊位占有率数据中通常存在着不遵循数据波动变化规律的样本，这些异常点即为离群数据。当采集的有效停车泊位占有率数据用于建模时，离群数据不具备代表性，也不能有效地建模并描述系统。为了提高动态停车诱导信息的准确性和可靠性，保证停车诱导与预测模型的使用效果，有必要对离群数据加以识别并进行相应的处理。

有效停车占有率中离群数据的识别，属于时间序列离群点检测的范畴，与常规数据的离群点检测有所不同。常规离群检测模式一般对映射在高维向量空间的单个数据点进行离群点挖掘，通过各种数据点之间的距离定义确定差别和判别阈值，这样的方法无法考虑时间序列中数据的周期性波动，而常会对处于高峰和低谷的数据产生误判。目前，在交通工程领域中主要基于统计学的方法识别离群数据，该方法计算简单，但其应用需要事先明确数据的分布，一般较难实现，而且现实数据往往不符合任何一种理想状态的数学分布。此外，基于统计学的离群检测算法大多只适合于挖掘单变量的数值型数据，对高维、周期性数据、分类数据则较难进行识别。

为了克服上述方法的缺陷，本发明提出使用基于小波分析和局部信息熵加权的离群数据挖掘算法识别异常停车泊位有效占有率数据。

发明内容

技术问题：本发明提供了一种可以考虑数据的周期性和波动性，降低误判率，提高可靠性的识别有效停车泊位占有率中离群数据的方法。

技术方案：本发明的识别有效停车占有率离群数据的方法，包括以下步骤：

1）统计出不同时间段内进入停车场的车辆数I_i和离开停车场的车辆数L_i，其中i=1，2，…，M，M为时间段个数，设停车场总泊位数为R，则各个时间段末的有效泊位数X_i为：X_i＝X_i-₁-I_i+L_i，各个时间段的有效泊位占有率c_0i为：c_0i=X_i/R，从而得到停车场的有效泊位占有率时间序列c₀＝{c₀₁，c₀₂，…，c_0M}；

2）用小波函数对步骤1）中得到的有效泊位占有率时间序c₀进行N尺度的小波分解，得到一个尺度为N的低频系数向量c_N和N个不同尺度下的高频系数向量d₁，d₂，…，d_N，其中尺度数N为整数且4≤N≤6；对低频系数向量c_N和高频系数向量d₁，d₂，…，d_N进行小波重构，得到N+1个重构的时间序列C_N，D₁，D₂，…，D_N，N+1个重构的时间序列均为行数为M的列向量，然后用N+1个重构的时间序列组成N+1维数据集D，即D=[C_N，D₁，D₂，…，D_N]，N+1维数据集D中共有M个数据点，最后对N+1维数据集D的维度重新编号，将C_N，D₁，D₂，…，D_N依次对应表示为：A₁，A₂，…，A_N+1，并将由A₁，A₂，…，A_N+1构成的向量A={A₁，A₂，…，A_N+1}称为数据集D的维度集；

3）计算步骤2）中得到的N+1维数据集D中所有数据点的加权投影向量，构成N+1维加权数据集DW={FW(1)，FW(2)，…，FW(N+1)}，每个数据点的加权投影向量计算方法如下：

首先计算数据点p的全部N+1个维度的局部信息熵，得到数据点p的局部信息熵向量LEA(p)={LEA_A1(p)，LEA_A2(p)，…，LEA_A(N+1)(p)}，其中p为数据点编号，LEA_Ai(p)为数据点p对维度A_i的局部信息熵；

然后对LEA(p)进行归一化处理，得到数据点p的维度权重向量w(p)=LEA(p)/sum(LEA(p))={w_p1，w_p2，…，w_p(N+1)}，

最后将数据点p在维度A_i上的权重和数据点p在维度A_i上的投影F_Ai(p)相乘，得到数据点p在维度A_i上的加权投影向量w_pi*F_Ai(p)，计算得到数据点p在所有维度上的加权投影向量后，即构成数据点p的加权投影向量FW(p)={w_p1*F_A1(p)，w_p2*F_A2(p)，…，w_p(N+1)*F_A(N+1)(p)}；

4）利用基于密度的离群数据挖掘算法计算步骤3）中得到的N+1维加权数据集DW的平均局部离群因子向量，具体方法为计算得到N+1维加权数据集DW的所有数据点的平均局部离群因子，然后构成N+1维加权数据集DW的平均局部离群因子向量lofmk={lofm_k(1)，lofm_k(2)，…，lofm_k(M)}，N+1维加权数据集DW的每个数据点的平均局部离群因子的计算步骤为：

41）计算N+1维加权数据集DW中数据点p的k邻域内的k-局部离群因子lof_k(p)，其中，数据点p的k邻域为与数据点p距离最近的k个点组成的集合。k的初始值为10；

42）判断k是否满足k>M/10和k>500两个条件，如均不满足则令k=k+10并回到步骤41），否则进入步骤43）；

43）将计算得到的所有k值对应的数据点p的k-局部离群因子取平均值，作为数据点p的平均局部离群因子lofm_k(p)；

5）首先计算步骤4）中得到的N+1维加权数据集DW的平均局部离群因子向量lofm_k的25%分位数Q₁和75%分位数Q₃，得到判定阀值F=Q₃+3（Q₃-Q1），然后将N+1维加权数据集DW中每个数据点的平均局部离群因子与判定阀值F对比，并将平均局部离群因子大于判定阈值F的数据点判断为离群数据。其中，N+1维加权数据集DW的平均局部离群因子向量lofm_k的25%分位数Q₁和75%分位数Q₃分别是将lofm_k排序后的25%位置的值和75%位置的值。

有益效果：本发明与现有技术相比，具有以下优点：

目前普遍采用的时间序列离群数据识别方法中，部分方法直接将普通离群数据挖掘算法应用到时间序列的离群数据发掘中，忽视了时间序列周期性和波动性的特点，误判率高。部分方法采用统计方法，如滑动四分位法来识别时间序列的离群数据，该方法对于小量离群数据有较好的识别效果，但对于大量集中出现的离群数据的识别效果很差。本发明首先采用小波分解与重构技术将时间序列中具有周期性、波动性的整体趋势信息和细节信息分离，再通过基于局部信息熵的加权方法对分离出的信息加权，提高信息量含量大的数据对离群数据筛选的影响力，最终采用基于密度的离群数据挖掘算法将离群数据识别出来。本发明提出的离群数据判别方法充分考虑了有效停车泊位占有率时间序列的周期性和波动性特征，可以更准确可靠地识别有效停车泊位占有率时间序列中的离群数据。

附图说明

图1为本发明停车场有效泊位占有率离群数据识别方法的流程图。

具体实施方式：

下面进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明的停车场有效泊位占有率离群数据识别方法，包括如下步骤：

1）得到初始有效泊位占有率时间序列c₀

统计出不同时间段内进入停车场的车辆数I_i（i=1，2，…，M，M为时间段个数）和离开停车场的车辆数L_i（i=1，2，…，M，M为时间段个数）。设停车场总泊位数为R，则各个时间段末的有效泊位数X_i(i=1，2，…，M)可表示为：X_i＝X_i-1-I_i+L_i，各个时间段的有效泊位占有率c_0i(i=1，2，…，M)为：c_0i=X_i/R，从而可以得出停车场有效泊位占有率的时间序列c₀＝{c₀₁,c_0i2,…,c_0M}。

2）对有效停车泊位占有率时间序列c₀进行小波分解和重构

由于有效泊位占有率时间序列c₀是离散的时间序列，故引入离散小波变换中的二进正交小波变换，并采用快速二进正交小波变换算法进行小波分解和重构。

快速二进正交小波变换算法表示为：

$\left\{\begin{array}{c}{c}_{n+1}={\mathrm{Hc}}_n\\ d_{n+1}={\mathrm{Gc}}_n\end{array}\right.,n=\mathrm{0,1,2},...,N---\left(1\right)$

式中，H和G分别为低通滤波器和高通滤波器，N为分解尺度，一般取大于5的数值。于是可以将有效泊位占有率时间序列c₀分解为高频系数向量d₁，d₂，…，d_N和低频系数向量c_N。

经快速二进正交小波变换算法分解后的序列可以用重构算法进行重构：C_n=H^*c_n+1+G^*d_n+₁，n=N-1，N-2，…，0。其中，H^*和G^*分别为H和G的对偶算子。采用上述重构算式可以对d₁，d₂，…，d_N和c_N分别进行重构，得到D₁，D₂，…，D_N和C_N，并且满足：C₀=C_N+D₁+D₂+…+D_N。其中，C_N为低频信号，反映有效泊位占有率本质变化趋势，D₁，D₂，…，D_N为高频干扰信号，反映有效泊位占有率的随机变化趋势。

得到N+1个重构的时间序列后，为充分利用时间序列中的信息，将N+1个重构的时间序列组成N+1维数据集D，D=[C_N，D₁，D₂，…，D_N]。N+1维数据集D中共有M个数据点，对N+1维数据集D的维度进行重新编号，C_N，D₁，D₂，…，D_N依次对应表示为：A₁，A₂，…，A_N+1，A₁，A₂，…，A_N+1构成的向量A={A₁，A₂，…，A_N+1}称为数据集D的维度集。

3）计算所述步骤2）中得到的N+1维数据集D中所有数据点的加权投影向量，构成N+1维加权数据集DW={FW(1)，FW(2)，…，FW(N+1)}，每个数据点的加权投影向量计算方法如下：

首先计算数据点p的全部N+1个维度的局部信息熵，得到数据点p的局部信息熵向量LEA(p)={LEA_A1(p)，LEA_A2(p)，…，LEA_A(N+1)(p)}，其中p为数据点编号，LEA_Ai(p)为数据点p对维度A_i的局部信息熵；

p关于Ai的局部信息熵的计算方法如下：

给定一个自然数k，计算每个数据p的k-距离(k-distance(p)),其值为p和离其最近的第k个邻居o∈D之间的距离d(p,o)。

基于p的k-距离(k-distance(p))，p的k邻域定义为

N_k(p)={q∈DW\{p}|d(p,q)≤k_distance(p)}    （2）

局部信息熵的计算方法如下。对p∈D,Ai∈A，p关于Ai的局部信息熵定义为

${\mathrm{LEA}}_{\mathrm{Ai}}\left(p\right)\text{=-}\underset{q\∈N_k\left(p\right)}{\mathrm{\Σ}}\frac{\mathrm{disp}(F_{\mathrm{Ai}}\left(p\right),F_{\mathrm{Ai}}\left(q\right))-d_{\max }}{d_{\max }-d_{\min }}\·{\log }_2\left(\frac{\mathrm{disp}(F_{\mathrm{Ai}}\left(p\right),F_{\mathrm{Ai}}\left(q\right))-d_{\max }}{d_{\max }-d_{\min }}\right)---\left(3\right)$

其中：

d_max=max{disp(F_Ai(p),F_Ai(q))|q∈N_k(p)}

d_min=min{disp(F_Ai(_p),F_Ai（q))|q∈N_k(p)}

局部信息熵LEA_Ai(p)，描述了数据点P及其邻近数据点在维度A_i上投影值的分布情况，其数值越大，说明以P为中心的数据点在维度A_i上表现出的不稳定性(非规范性)越大，则信息含量也越大，对应分配以较高的权重；数值越小，说明以P为中心的数据点在维度A_i上分布越趋规范，信息含量就较小，分配以较低的权重。

接着对其全部N+1个维度计算局部信息熵，得到局部信息熵向量LEA(p)={LEA_A1(p),LEA_A2(p),…,LEA_A(N+1)(p)}。对LEA(p)进行归一化处理则可以得到p的维度权重向量w(p)=LEA(p)/sum(LEA(p))={w_p1,w_p2,…,w_p(N+1)}。将数据点p在维度A_i上的权重和数据点p在维度A_i上的投影F_Ai(p)相乘，即可得到数据点p的加权投影向量FW(p)={w_p1*F_A1(p),w_p2*F_A2(p),…,w_p(N+1)*F_A(N+1)(p)}。

计算出N+1维数据集D中每个数据点的加权投影向量，构成N+1维加权数据集DW={FW(1),FW(2),…,FW(N+1)}。

4）对步骤3）中得到的N+1维加权数据集DW应用基于密度的离群数据挖掘算法。计算得到N+1维加权数据集DW的所有数据点的平均局部离群因子，然后构成N+1维加权数据集DW的平均局部离群因子向量lofm_k={lofm_k(1)，lofm_k(2)，…，lofm_k(M)}。其中N+1维加权数据集DW的每个数据点的平均局部离群因子的计算步骤为：

41）计算N+1维加权数据集DW中数据点p的k邻域内的k-局部可达密度lrd_k(p)和k-局部离群因子lof_k(p)，k的初始值为10；

给定一个自然数k，计算每个数据p的k-加权距离(kw-distance(p)),其值为DW中，p和离其最近的第k个数据点o∈D之间的距离d(p,o)。

基于p的k-加权距离(kw-distance(p))，p的k加权邻域定义为

NW_k(p)={q∈DW\{p}|d(p,q)≤kw_distance(p)}    （4）

p相对于o的可达距离为

reach_disp_k(p,o)=max{kw_distance(o),d(p,o)}    （5）

p的k-局部可达密度为数据点p与其k-加权距离邻域的平均可达距离的倒数,即

${\mathrm{lrd}}_k\left(p\right)=1/\frac{\underset{o\∈N{W}_k\left(p\right)}{\mathrm{\Σ}}\mathrm{reach}\_{\mathrm{disp}}_k\left(o\right)}{\left|{\mathrm{NW}}_k\left(p\right)\right|}---\left(6\right)$

然后计算每个数据点数据的k-局部离群因子lof_k(p)。

p的k-局部离群因子定义为

${\mathrm{lof}}_k\left(p\right)=\frac{\underset{o\∈{\mathrm{NW}}_k\left(p\right)}{\mathrm{\Σ}}\frac{{\mathrm{lrd}}_k\left(o\right)}{{\mathrm{lrd}}_k\left(p\right)}}{\left|{\mathrm{NW}}_k\left(p\right)\right|}---\left(7\right)$

42）判断k是否满足k>M/10和k>500两个条件，如均不满足则令k=k+10并回到步骤41），否则进入步骤43）；

43）将计算得到的所有k值对应的数据点p的k-局部离群因子取平均值，作为数据点p的平均局部离群因子lofmk(p)。

5）基于平均局部离群因子判断离群点。计算步骤4）中得到的加权数据集DW的平均局部离群因子向量lofm_k的25%分位数Q₁和75%分位数Q₃。将判定阀值F设为Q₃+3（Q₃-Q₁），然后将N+1维加权数据集DW中每个数据点的平均局部离群因子与判定阀值F对比，并将平均局部离群因子大于判定阈值F的数据点判断为离群数据。

Claims (1)

1.一种识别有效停车泊位占有率中离群数据的方法，步骤1）为：统计出不同时间段内进入停车场的车辆数I_i和离开停车场的车辆数L_i，其中i=1，2，···，M，M为时间段个数，设停车场总泊位数为R，则各个时间段末的有效泊位数X_i为：X_i＝X_i－1-I_i+L_i，各个时间段的有效泊位占有率c_0i为：c_0i=X_i/R，从而得到停车场的有效泊位占有率时间序列c₀＝{c₀₁，c₀₂，···，c_0M}；

其特征在于，该方法还包括以下步骤：

2）用小波函数对所述步骤1）中得到的有效泊位占有率时间序c₀进行N尺度的小波分解，得到一个尺度为N的低频系数向量c_N和N个不同尺度下的高频系数向量d₁，d₂，…，d_N，其中尺度数N为整数且4≤N≤6；对所述低频系数向量c_N和高频系数向量d₁，d₂，…，d_N进行小波重构，得到N+1个重构的时间序列C_N，D₁，D₂，…，D_N，所述N+1个重构的时间序列均为行数为M的列向量，然后用所述N+1个重构的时间序列组成N+1维数据集D，即D=[C_N，D₁，D₂，…，D_N]，所述N+1维数据集D中共有M个数据点，最后对N+1维数据集D的维度重新编号，将C_N，D₁，D₂，…，D_N依次对应表示为：A₁，A₂，…，A_N+1，并将由A₁，A₂，…，A_N+1构成的向量A={A₁，A₂，…，A_N+1}称为数据集D的维度集；

3）计算所述步骤2）中得到的N+1维数据集D中所有数据点的加权投影向量，构成N+1维加权数据集DW={FW(1)，FW(2)，…，FW(N+1)}，每个数据点的加权投影向量计算方法如下：

首先计算数据点p的全部N+1个维度的局部信息熵，得到数据点p的局部信息熵向量LEA(p)={LEA_A1(p)，LEA_A2(p)，…，LEA_A(N+1)(p)}，其中p为数据点编号，p∈D，LEA_Ai(p)为数据点p对维度A_i的局部信息熵，A_i∈A；

然后对所述LEA(p)进行归一化处理，得到数据点p的维度权重向量w(p)=LEA(p)/sum(LEA(p))={w_p1，w_p2，…，w_p(N+1)}，

最后将数据点p在维度A_i上的权重和数据点p在维度Ai上的投影F_Ai(p)相乘，得到数据点p在维度A_i上的加权投影向量w_pi*F_Ai(p)，计算得到数据点p在所有维度上的加权投影向量后，即构成数据点p的加权投影向量FW(p)={w_p1*F_A1(p)，w_p2*F_A2(p)，…，w_p(N+1)*F_A(N+1)(p)}；

4）利用基于密度的离群数据挖掘算法计算所述步骤3）中得到的N+1维加权数据集DW的平均局部离群因子向量，具体方法为计算得到N+1维加权数据集DW的所有数据点的平均局部离群因子，然后构成N+1维加权数据集DW的平均局部离群因子向量lofm_k={lofm_k(1)，lofm_k(2)，…，lofm_k(M)}，N+1维加权数据集DW的每个数据点的平均局部离群因子的计算步骤为：

41）计算N+1维加权数据集DW中数据点p的k邻域内的k-局部离群因子lof_k(p)，其中，数据点p的k邻域为与数据点p距离最近的k个点组成的集合，k的初始值为10；

42）判断k是否满足k>M/10和k>500两个条件，如均不满足则令k=k+10并回到步骤41），否则进入步骤43）；

43）将计算得到的所有k值对应的数据点p的k-局部离群因子取平均值，作为数据点p的平均局部离群因子向量lofm_k(p)；

5）首先计算所述步骤4）中得到的N+1维加权数据集DW的平均局部离群因子向量lofm_k的25%分位数Q₁和75%分位数Q₃，得到判定阀值F=Q₃+3（Q₃-Q₁），然后将N+1维加权数据集DW中每个数据点的平均局部离群因子与所述判定阀值F对比，并将平均局部离群因子大于判定阈值F的数据点判断为离群数据。

Images