CN101808339A - 一种应用k-means和先验知识的话务小区自适应分类方法 - Google Patents

Abstract

一种应用K-MEANS和先验知识的话务小区自适应分类方法，属于移动通信领域，本发明是为了解决进行话务量预测时，根据专家的历史经验对话务小区进行划分的方式带有很大的主观性、划分不准确的问题。本发明方法包括：一、按照先验知识将话务小区划分为四种类型：交通主干线、繁华商业区、高等院校和居民住宅区；二、预处理，获取每个话务小区的聚类特征，所述聚类特征包括相关系数、方差、最大值、中间值、平均值、最小值、出现频率最高的值和标准差；三、根据每个话务小区的聚类特征，并采用K-MEANS聚类算法依次对每种类型中的话务小区进行聚类，将每种类型中的话务小区细化成多个具有相似聚类特征的类别，完成对所有话务小区的分类。

Description

一种应用K-MEANS和先验知识的话务小区自适应分类方法

技术领域

本发明涉及一种应用K-MEANS和先验知识的话务小区自适应分类方法，属于移动通信领域。

背景技术

ARMA模型是一种最常见的重要的时间序列模型，它被广泛应用到各种行业预测中，比如股票、GDP增长等，同时它也是一种最为经典的时间序列预测方法。下面简单介绍这两种模型的原理。

ARMA系列模型的建模理论基础是利用历史数据序列的信息，根据统计获得的数据序列中存在的相关关系找到序列值之间相关关系的规律，拟合出可以描述这种关系的模型，进而利用模型对序列的未来走势进行预测。

对一个线性系统，输入白噪声序列a_t，输出一个平稳序列x_t，输入输出关系可以表示为ARMA模型，将时间序列x_t表示为当前时间之前的序列值、白噪声的过去值以及当前值的加权和的形式。

x_t＝φ₁x_t-1+φ₂x_t-2+L+φ_px_t-p+a_t-θ₁a_t-1-L-θ_qa_t-q    (1)

式(1)称为自回归滑动平均(Autoregressive-moving average)模型，记为ARMA(p，q)。其中，p和q分别为自回归项和滑动平均项的阶数。

针对一些数据序列中通常存在的趋势性和季节性的处理问题，Box和Jenkins提出了差分运算处理和ARMA模型相结合的ARIMA模型和季节ARIMA模型，并在实际应用中取得了良好的效果。

为了阐述的方便，定义延迟算子B。

$x_{t-p}=B^p{x}_t,\∀p\≥1---\left(2\right)$

一阶差分的概念就是取序列中前后相邻两个值之间的差值。

$\▿x_t=x_t-x_{t-1}=(1-B)x_t---\left(3\right)$

依此类推，可以得到多阶差分。

${\▿}^d{x}_t={\▿}^{d-1}{x}_t-{\▿}^{d-1}{x}_{t-1}={(1-B)}^d{x}_t---\left(4\right)$

与普通的差分运算不同的是，延迟差分取得的不是相邻序列值的差值，而是间隔为s的序列值的差值。

${\▿}_s{x}_t=x_t-x_{t-s}=(1-B^s)x_t---\left(5\right)$

对于某些时间序列，进行d阶差分后，符合ARMA模型。模型结构如下：

$\mathrm{\φ}\left(B\right){\▿}^d{x}_t=\mathrm{\θ}\left(B\right)a_t---\left(6\right)$

其中

φ(B)＝1-φ₁B-φ₂B²-L-φ_pB^p

θ(B)＝1-θ₁B-θ₂B²-L-θ_qB^q    (7)

称为求和自回归滑动平均(Autoregressive-Integrated moving average)模型，记为ARIMA(p，d，q)。

对于一些具有周期变化特点时间序列，进行以周期s为间隔的延迟差分处理后，符合ARMA模型，这类模型称为季节ARIMA模型。模型结构如下，：

$\mathrm{\Φ}\left(B^s\right){\▿}_s^D{x}_t=\mathrm{\Θ}\left(B^s\right)a_t---\left(8\right)$

其中Φ(B^s)和Θ(B^s)是B^s的P次和Q次多项式，形如式(7)。实际上，季节ARIMA模型体现了以周期s为间隔的各个序列值之间的相关关系。而对于序列值之间存在更加复杂关联性的情况，在考虑周期性的相关关系的基础上，应同时考虑非周期间隔的序列值之间的相关关系。假定a_t满足ARIMA模型：

$\mathrm{\φ}\left(B\right){\▿}^d{a}_t=\mathrm{\θ}\left(B\right)e_t---\left(9\right)$

结合季节ARIMA模型，得到乘积季节ARIMA模型：

$\mathrm{\φ}\left(B\right)\mathrm{\Φ}\left(B^s\right){\▿}^d{\▿}_s^D{x}_t=\mathrm{\θ}\left(B\right)\mathrm{\Θ}\left(B^s\right)e_t---\left(10\right)$

记为ARIMA(p，d，q)×(P，D，Q)s。实际上，可以把乘积季节ARIMA模型看作为疏系数ARIMA(p+sP，d+sD，q+sQ)模型。

应用ARIMA模型进行时间序列预测的过程主要包括：

模型识别——判断时间序列数据符合的模型类别；

参数估计与检验——估计模型中的参数，建立模型并对模型进行检验，判断模型是否适用；

预测——基于建立的模型对时间序列的未来值进行预测。

在移动通信领域采用ARIMA模型进行话务量预测时，首先要对话务小区进行分类划分，其划分的主要方式是根据专家的历史经验，根据以往小区的特点以及小区的相似性人为对话务小区进行划分，这种划分方法结合专家经验，在某些情况下可以较好的反映小区特点，但是这种方式也会带有很大的主观性，不够科学，划分不准确。

发明内容

本发明的目的是解决进行话务量预测时，根据专家的历史经验对话务小区进行划分的方式带有很大的主观性、划分不准确的问题，提供了一种应用K-MEANS和先验知识的话务小区自适应分类方法。

本发明方法包括以下步骤：

步骤一、按照先验知识将话务小区划分为四种类型，所述四种类型分别为：交通主干线、繁华商业区、高等院校和居民住宅区；

步骤二、对每种类型中的每个话务小区的话务数据进行预处理，获取每个话务小区的聚类特征，所述聚类特征包括相关系数、方差、最大值、中间值、平均值、最小值、出现频率最高的值和标准差；

步骤三、根据每个话务小区的聚类特征，并采用K-MEANS聚类算法依次对每种类型中的话务小区进行聚类，将每种类型中的话务小区细化成多个具有相似聚类特征的类别，完成对所有话务小区的分类。

本发明的优点：结合先验知识，使用聚类算法对话务小区进行细化的准确度有了很大的提高，能够清晰的将性质不同的小区分开，被细分为同一类的话务小区在预测模型确定以及参数选取上具有相似性，使得预测效率高。

附图说明

图1是本发明方法流程图，图2是基于K-means方法对一组对象进行聚类的初始分布图，图3是基于K-means方法对一组对象进行聚类根据平均值的再分布图，图4是基于K-means方法对一组对象进行聚类的最终分布图。

具体实施方式

具体实施方式一：下面结合图1至图4说明本实施方式，本实施方式方法包括以下步骤：

步骤一、按照先验知识将话务小区划分为四种类型，所述四种类型分别为：交通主干线、繁华商业区、高等院校和居民住宅区；

步骤二、对每种类型中的每个话务小区的话务数据进行预处理，获取每个话务小区的聚类特征，所述聚类特征包括相关系数、方差、最大值、中间值、平均值、最小值、出现频率最高的值和标准差；

步骤三、根据每个话务小区的聚类特征，并采用K-MEANS聚类算法依次对每种类型中的话务小区进行聚类，将每种类型中的话务小区细化成多个具有相似聚类特征的类别，完成对所有话务小区的分类。

其中，步骤一将话务小区分为四种类型的方法为：根据先验知识，人为对每个话务小区所属类别进行标定。

标定的方式采用模糊隶属函数方式给定。

本方法首先根据先验知识将话务小区划分为四种类型，再将每个类型中的话务小区通过聚类的方式进行细化，如将属于繁华商业区的197个话务小区进行聚类，繁华商业区的197个话务小区被细化成4小类具有相似聚类特征的类别，这样，细化后的每个小类里的话务小区进行话务量预测时可以选用相同的建模参数，预测的效果好，准确性高。

聚类方法的职能是建立一种分类方法，与其它的分类方法不同，聚类分析是在有了一批样本数据，但不知道它们的分类，甚至连分成几类也不知道的情况下，希望用某种方法把样本进行合理的分类，使得同一类的样本比较接近，不同类的样本相差较多。聚类方法完全根据样本数据特征对样本进行分类，由于没有有效利用样本数据的先验知识，虽然可以对某些问题取得较好的效果，但是存在一定问题。

目前，在移动通信领域，采用话务量数据特征，对小区的划分研究还相对较少。但是，根据各个小区的不同特征对采取不同的管理以及调度措施，分配不同的通信信道在实际中却有极大的实际意义。比如，可以根据不同特点的小区采取不同的管理机制。

将物理或抽象对象的集合分组成为有类似的对象组成的多个簇的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其它簇中的对象相异。在许多应用中，可以将一个簇中的数据对象作为一个整体来对待。通俗地讲，聚类就是对包含有多个属性的数据集进行分类的方法。目前在文献中存在大量的聚类算法。算法的选择取决于数据的类型、聚类的目的和应用。根据话务量数据的特点以及对小区进行划分所要达到的目的，本实施方式选取最经典的K-MEANS聚类算法。下面对K-MEANS算法简介如下：

给定一个对象或元组的数据库，一个划分方法构建数据的k个划分，每个划分表示一个聚簇，并且k≤n。也就是说，它将数据划分为k个组，同时满足如下要求：

(i)每个组至少包含一个对象；

(ii)每个对象必须属于且只属于一个组。

给定要构建的划分数目k，划分方法首先创建一个初始划分。然后采用一种迭代的重定位技术，尝试通过对象在划分间移动来改进划分。一个好的划分的一般准则是：在同一类中的对象之间尽可能“接近”或相关，而不同类中的对象之间尽可能“远离”或不同，还有许多其它划分质量评判准则。

为了达到全局最优，基于划分的聚类会要求穷举所有可能的划分。实际上，绝大多数应用采用了以下比较流行的启发式方法：

聚于质心的技术——K-MEANS算法，K-MEANS算法以k为参数，把n个对象分为k个簇，以使簇内具有较高的相似度，而簇间的相似度较低。相似度的计算根据一个簇中对象的平均值来进行，所述平均值被看作簇的中心。

K-MEANS算法的处理流程如下：首先，随机地选择k个对象，每个对象初始地代表1个簇的平均值或中心。对剩余的每个对象，根据其与各个簇中心的距离，将它赋给最近的簇。然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收敛。通常采用平方误差准则，其定义如下：

$E=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p=C_i}{\mathrm{\Σ}}{|p-m_i|}^2---\left(11\right)$

这里的E是数据库中所有对象的平方误差的总和，p是空间的点，表示给定的数据对象，m_i是簇C_i的平均值(p和m_i都是多维的)。这个准则是使生成的结果簇尽可能的紧凑和独立。

假设有一个分布在空间中的对象集合，如图2至图4所示。给出一个具体实施例，给定k＝3，即要求将这些对象聚类为三个簇。根据K-MEANS算法，我们任意选择三个对象作为初始簇的中心，簇中心在图中用“+”来标示。根据与簇中心的距离，每个对象分配给离其最近的一个簇。这样分布形成如图2中所绘的图形。

这样的分组会改变聚类的中心，也就是说，每个聚类的平均值会根据类中的对象重新计算。依据这些新的聚类中心，对象被重新分配到各个类中。这样重新分配形成了图3中描绘的轮廓。

以上的过程重复产生了图4的情况。最后，当没有对象重新分配发生时，处理过程结束，聚类的结果被返回。

为了验证采用K-MEANS算法对小区进行划分的有效性，需要对每个小区话务量数据进行预测和分析，根据预测过程中确定的模型参数以及误差评价指标，结合聚类划分结果，分析细分后的每个小区数据的在预测实验中的模型参数以及误差评价指标的特点，即分析被划分为同一类的小区的模型参数以及误差评价指标的相似性以及不同类小区的预测模型参数以及误差评价的差异性，再结合先验知识，确定使用聚类方法进行小区划分的有效性。

本实施方式中为了验证采用聚类算法进行小区细分的有效性，进行话务量预测时采用乘积季节ARIMA模型，所以评价ARIMA模型的预测效果显得尤为重要。为了全面和有效的评价ARIMA模型的预测效果，实验过程中采用了多个误差评价指标对ARIMA模型的预测效果进行评价。

1、实验中实际计算绝对误差平均值pmae

$\mathrm{pmae}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|y-\hat{y}|---\left(12\right)$

其中N代表预测步数，本实验中N＝24。

2、实验中实际计算的平均相对误差pmape

$\mathrm{pmape}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{|y_i-{\hat{y}}_i|}{y_i}---\left(13\right)$

式中N，y_i，

分别代表预测步数、话务量数据真值及其对应的预测值。

3、误差pmapes

$\mathrm{pmapes}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{|y_i-{\hat{y}}_i|}{\stackrel{\‾}{y}}---\left(14\right)$

其中， $\stackrel{\‾}{y}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i---\left(15\right)$

即在相对误差的表达式中用话务量数据的平均值替代话务量数据的真值y_i，其中N，y_i，

分别代表预测步数、话务量数据真值及其对应的预测值。

4、均方误差pmse

$\mathrm{pmse}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2---\left(16\right)$

5、均方根误差prmse

$\mathrm{prmse}=\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}---\left(17\right)$

6、归一化均方根误差pnrmse

$\mathrm{pnrmse}=\frac{\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}}{\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(y_i-\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\hat{y}}_i)}}---\left(18\right)$

7、归一化均方误差pne：

$\mathrm{pne}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-{\hat{y}}_i)}^2}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i)}^2}---\left(19\right)$

实验中提取每个小区2008年4月内话务量数据计算的统计量以及最终数据的保存格式见表4，表4给出数据预处理后得到的数据存储格式，其中每个样本点包含一个小区的小区ID属性、话务量数据的各种统计量，包括相关系数、方差、最大值、中间值、平均值、最小值、出现频率最高的值以及标准差等统计量，该数据用于后续的小区划分实验。

实验过程中，第一步从原始的话务量数据中提取出每个小区从2007年9月到2008年10月所有的话务量数据，以小区为单位进行保存。以小区为单位进行的话务量数据的预测实验采用这些数据进行。第二步以第一步保存的数据为对象，读取每个小区2008年4月内话务量数据，计算相应统计量，包括相关系数、方差、最大值、中间值、平均值、最小值、出现频率最高的值以及标准差，并将数据保存到数据文件，这样我们得到的实验数据就是包含每个小区2008年4月的话务量数据统计量的数据。数据提取工作分别采用SAS和Matlab两种工具软件进行，其中第一步使用SAS软件实现，第二步使用Matlab软件完成。

对选定的繁华商业区类内的197个小区的数据进行聚类，细化成4小类，属于细分结果中的第1类的共8个小区，属于细分结果中第2类的共19个小区。第1类和第2类小区所获得的实验结果基本相似，属于细分结果中第3类的共123个小区。模型参数统计结果如表1，误差评价指标统计结果如表3所示。

表1第3类数据模型参数选取情况

表中参数p，q，P，Q代表预测模型参数，它们的取值决定ARIMA模型的阶数，四个参数分别可以取值为0，1，2。频数代表某一参数取对应值的个数，比如p＝1所对应的频数值为59的含义是在整个123个小区中，最终预测模型中p＝1的共有59次，％一项为对应的百分比，以上例子为100×59/123。从表1中数据可以看出参数P和Q取值相对稳定，而p和q取值则不具有稳定性。属于第4类的共47个小区。模型参数统计结果如表2所示。

表2第4类数据模型参数选取情况

表2中各数值含义与表1相同。从表2中数据可以看出参数P和Q取值相对稳定，而p和q取值则不具有稳定性。说明在选择聚类数目时应该加以注意。但通过以上分析，我们发现在同一类数据中，预测模型的P和Q参数确实具有一定的稳定性，说明可以通过聚类方法确定某些模型参数。

表3各类数据预测误差平均值

表3给出的是4类数据的预测误差评价的平均值。结合表2数据表，可以看出第3类数据和第4类数据预测误差评价指标明显小于第1类和第2类数据，说明第1类和第2类数据需要更高阶模型或者需要改用其它预测模型才有可能给出更加准确的预测。说明聚类方法在确定预测模型阶数时确实具有一定的指导意义。

表4

表5

Claims (3)

1.一种应用K-MEANS和先验知识的话务小区自适应分类方法，其特征在于，该方法包括以下步骤：

步骤一、按照先验知识将话务小区划分为四种类型，所述四种类型分别为：交通主干线、繁华商业区、高等院校和居民住宅区；

步骤二、对每种类型中的每个话务小区的话务数据进行预处理，获取每个话务小区的聚类特征，所述聚类特征包括相关系数、方差、最大值、中间值、平均值、最小值、出现频率最高的值和标准差；

步骤三、根据每个话务小区的聚类特征，并采用K-MEANS聚类算法依次对每种类型中的话务小区进行聚类，将每种类型中的话务小区细化成多个具有相似聚类特征的类别，完成对所有话务小区的分类。

2.根据权利要求1所述的一种应用K-MEANS和先验知识的话务小区自适应分类方法，其特征在于，步骤一将话务小区分为四种类型的方法为：根据先验知识，人为对每个话务小区所属类别进行标定。

3.根据权利要求2所述的一种应用K-MEANS和先验知识的话务小区自适应分类方法，其特征在于，标定的方式采用模糊隶属函数方式给定。

Images