CN106326264A - 聚类设备和方法 - Google Patents

Abstract

提供了一种聚类设备，包括：获取单元，被配置为获取监测点的监测数据，所述监测数据是时空数据；划分单元，被配置为从所获取的监测数据中选取目标数据，并对选取的目标数据划分级别；构造单元，被配置为根据划分级别后的目标数据来构造聚类参数；以及确定单元，被配置为根据聚类参数来确定监测点的类别。还提供了一种聚类方法。采用本发明，能够获得监测点之间的时空变化的关联。就大气污染监测数据而言，能够获得污染传播链路相似的污染节点，从而实现了污染溯源。

Description

聚类设备和方法

技术领域

本申请涉及数据分析领域，具体涉及一种聚类设备和方法。

背景技术

大气污染的形成受排放物、扩散条件、地理环境等因素影响，其成因复杂多样，这为准确地分析某地区大气污染的分布和扩散趋势带来了困难。尤其是对污染源头的追溯，缺乏有效的数据分析方法。

发明内容

本发明综合考虑大气污染物、天气、地理等影响因素，挖掘大气污染监测点之间的时空关联特性，并以此聚合具有相同污染变化和扩散趋势等特征的监测点。本发明不仅能够适用于大气污染数据，也适用于其他具有相似时空特征的数据，如交通数据等。

根据本发明的一个方面，提供了一种聚类设备，包括：获取单元，被配置为获取监测点的监测数据，所述监测数据是时空数据；划分单元，被配置为从所获取的监测数据中选取目标数据，并对选取的目标数据划分级别；构造单元，被配置为根据划分级别后的目标数据来构造聚类参数；以及确定单元，被配置为根据聚类参数来确定监测点的类别。

在一个实施例中，划分单元被配置为：对选取的目标数据进行分组；以及通过对分组后的数据进行直方图均衡来划分级别。

在一个实施例中，构造单元被配置为：计算监测点之间的激活力，所述激活力表示监测点之间的关联程度；根据激活力来计算监测点之间的亲和度，所述亲和度表示监测点之间的传播链路的重合程度。

在一个实施例中，构造单元被配置为：计算监测点i的监测数据位于某个级别的频度f_i；计算监测点j的监测数据位于某个级别的频度f_j；计算监测点i和监测点j的监测数据同时位于某个级别的频度f_ij；计算监测点i和监测点j之间的加权距离d_ij；根据f_i、f_j、f_ij和d_ij来计算监测点i和监测点j之间的激活力。

在一个实施例中，f_ij是监测点i和监测点j在特定时间窗内同时出现在某个相同级别的次数，f_i是监测点i在特定时间窗内单独出现在该相同级别的次数，f_j是监测点j在特定时间窗内单独出现在该相同级别的次数。

在一个实施例中，f_ij是监测点i和监测点j在特定时间窗内从某个相同级别跨越至另一相同级别的次数，f_i是监测点i在特定时间窗内单独发生该级别跨越的次数，f_j是监测点j在特定时间窗内单独发生该级别跨越的次数。

在一个实施例中，构造单元被配置为根据以下参数来计算加权距离d_ij：监测点i和监测点j之间的地理距离、实时风力级别、风向与监测点i和监测点j的连线之间的夹角、监测点i和监测点j的海拔高度、以及风速监测点的海拔高度。

在一个实施例中，构造单元被配置为：确定指向监测点i和监测点j并且激活力大于预定阈值的监测点k的集合；确定监测点i和监测点j所指向的并且激活力大于所述预定阈值的监测点m的集合；基于监测点k的集合和监测点m的集合，计算监测点i和监测点j之间的亲和度。

优选地，监测数据包括大气污染监测数据或交通数据。

在一个实施例中，确定单元被配置为采用K-means聚类算法来确定监测点的类别。

根据本发明的另一个方面，提供了一种聚类方法，包括：获取监测点的监测数据，所述监测数据是时空数据；从所获取的监测数据中选取目标数据，并对选取的目标数据划分级别；根据划分级别后的目标数据来构造聚类参数；以及根据聚类参数来确定监测点的类别。

在一个实施例中，对选取的目标数据划分级别包括：对选取的目标数据进行分组；以及通过对分组后的数据进行直方图均衡来划分级别。

在一个实施例中，构造聚类参数包括：计算监测点之间的激活力，所述激活力表示监测点之间的关联程度；根据激活力来计算监测点之间的亲和度，所述亲和度表示监测点之间的传播链路的重合程度。

在一个实施例中，计算监测点之间的激活力包括：计算监测点i的监测数据位于某个级别的频度f_i；计算监测点j的监测数据位于某个级别的频度f_j；计算监测点i和监测点j的监测数据同时位于某个级别的频度f_ij；计算监测点i和监测点j之间的加权距离d_ij；根据f_i、f_j、f_ij和d_ij来计算监测点i和监测点j之间的激活力。

在一个实施例中，f_ij是监测点i和监测点j在特定时间窗内同时出现在某个相同级别的次数，f_i是监测点i在特定时间窗内单独出现在该相同级别的次数，f_j是监测点j在特定时间窗内单独出现在该相同级别的次数。

在一个实施例中，f_ij是监测点i和监测点j在特定时间窗内从某个相同级别跨越至另一相同级别的次数，f_i是监测点i在特定时间窗内单独发生该级别跨越的次数，f_j是监测点j在特定时间窗内单独发生该级别跨越的次数。

在一个实施例中，根据以下参数来计算加权距离d_ij：监测点i和监测点j之间的地理距离、实时风力级别、风向与监测点i和监测点j的连线之间的夹角、监测点i和监测点j的海拔高度、以及风速监测点的海拔高度。

在一个实施例中，计算监测点之间的亲和度包括：确定指向监测点i和监测点j并且激活力大于预定阈值的监测点k的集合；确定监测点i和监测点j所指向的并且激活力大于所述预定阈值的监测点m的集合；基于监测点k的集合和监测点m的集合，计算监测点i和监测点j之间的亲和度。

优选地，监测数据包括大气污染监测数据或交通数据。

在一个实施例中，采用K-means聚类算法来确定监测点的类别。

采用本发明的技术方案，能够获得数据点之间的时空变化关联。对于大气污染监测数据，能够获得污染传播链路相似的污染节点，从而实现了污染溯源。

附图说明

通过下文结合附图的详细描述，本发明的上述和其它特征将会变得更加明显，其中：

图1是示出了根据本发明一个实施例的聚类设备的框图。

图2是示出了根据本发明一个实施例的聚类方法的流程图。

图3是示出了根据本发明一个实施例的划分级别的示意图。

图4-12是示出了根据本发明一个具体示例的数据计算结果的示意图。

具体实施方式

下面，通过结合附图对本发明的具体实施例的描述，本发明的原理和实现将会变得明显。应当注意的是，本发明不应局限于下文所述的具体实施例。另外，为了简便起见，省略了与本发明无关的公知技术的详细描述。

图1是示出了根据本发明一个实施例的聚类设备的框图。如图1所示，聚类设备10包括获取单元110、划分单元120、构造单元130和确定单元140。下面，详细描述聚类设备10中的各个单元的操作。

获取单元110被配置为获取监测点的监测数据，该监测数据是时空数据。在本申请中，“时空数据”是指同时具有时间和空间维度的数据，例如大气污染监测数据、交通流量数据等等。

在一个示例中，对于大气污染监测站点来说，监测点的时空数据可以包括6种主要大气污染物(PM2.5、PM10、SO₂、NO₂、CO、O₃)的浓度及其对应空气质量指数(IAQI)值。

划分单元120被配置为从获取单元110获取的监测数据中选取目标数据，并对选取的目标数据划分级别。优选地，划分单元120首先对选取的目标数据进行分组，然后通过对分组后的数据进行直方图均衡来划分级别。例如，就大气污染监测数据来说，可依据六种大气污染物(PM2.5、PM10、SO₂、NO₂、CO、O₃)的分布趋势，将其分为三组。即，CO、NO₂、SO₂一组，O₃一组，PM2.5、PM10一组。各组的IAQI为其组内对应污染物IAQI的均值，分别记为IAQI1、IAQI2、和IAQI3。然后，对于不同季节/时间段，直方图均衡后的所划分的等级数目和等级之间的界限不尽相同，可以视实际需求而定。以2013.12-2014.2期间的大气污染监测数据为例，将其分为三组，每组10个污染等级，如图3中所示。

构造单元130被配置为根据划分级别后的目标数据来构造聚类参数。在一个实施例中，构造单元130首先计算监测点之间的激活力。在本申请人中，“激活力”表示监测点之间的关联程度。例如，监测点之间的“激活力”可以定义为：

${\mathrm{AF}}_{ij}=\frac{(f_{ij}/f_i)(f_{ij}/f_j)}{d_{ij}^2}$ 公式(1)

其中，f_i表示监测点i的监测数据位于某个级别的频度，f_j表示监测点j的监测数据位于某个级别的频度，f_ij表示监测点i和监测点j的监测数据同时位于某个级别的频度，而d_ij表示监测点i和监测点j之间的加权距离。

激活力AF_ij是监测点i被激活后，监测点i激活监测点j的程度的度量。激活力是一个有向的度量，即AF_ij≠AF_ji。

在一个示例中，f_ij是监测点i和监测点j在特定时间窗内同时出现在某个相同级别的次数，f_i是监测点i在特定时间窗内单独出现在该相同级别的次数，f_j是监测点j在特定时间窗内单独出现在该相同级别的次数。举例来说，假设监测点i在时间窗T内的级别依次为{1，1，2，2，，3}，而监测点j在时间窗T内的级别依次为{1，2，2，3，4}，则共现级别(即，监测点i和监测点j在时间窗T内同时出现的级别)为{1，2}。相应地，f_ij＝2，f_i＝4，f_j＝3。

在另一个示例中，f_ij是监测点i和监测点j在特定时间窗内同时发生级别跨越的次数，f_i是监测点i在特定时间窗内单独发生级别跨越的次数，f_j是监测点j在特定时间窗内单独发生级别跨越的次数。举例来说，假设监测点i在时间窗T内的级别依次为{1，1，2，2，，3}，而监测点j在时间窗T内的级别依次为{1，2，2，3，4}，则监测点i和监测点j同时发生级数跨越的次数是1(即，监测点i从2级跨越到3级，与此同时，监测点j从3级跨越4级)。相应地，f_ij＝1，f_i＝2，f_j＝3。

对于大气污染监测数据，大气污染的扩散与风向和地势有直接联系。在一个实施例中，可以根据监测点i与监测点j之间的风向和风力以及监测点所处地势，将距离d_ij定义为受地理距离、风向和地势影响的加权距离：

$d_{ij}=\frac{1}{2}\×d_0\×\[1+e^{-s\×cos\mathrm{\θ}}\×e^{-\left(\frac{h-h_0}{h_0}\right)}\]$ 公式(2)

其中，d₀为监测点i与j之间的地理距离，s为实时风力级别，θ为风向与i与j之间连线的夹角(其取值在[0，π])，h为监测点i和j所处的平均海拔高度，h0为风速监测点的海拔高度。由此可见，若i与j之间为顺风，则d_ij相对减小。若风向与i与j之间连线方向重合，则风速影响大。此外，根据大气运动理论，高度越大，风速越大，则d_ij也相对减小。

然后，构造单元130根据激活力来计算监测点之间的亲和度。在本申请中，“亲和度”表示监测点之间的传播链路的重合程度，并以此作为聚类依据。例如，“亲和度”可定义为：

$A_{ij}^{AF}=\sqrt{\frac{1}{\left|K_{ij}\right|}\underset{k\∈K_{ij}}{\Σ}OR({\mathrm{AF}}_{ki},{\mathrm{AF}}_{kj})\×\frac{1}{\left|M_{ij}\right|}\underset{m\∈M_{ij}}{\Σ}OR({\mathrm{AF}}_{im},{\mathrm{AF}}_{jm})}$ 公式(3)

其中，δ为预先设定的阈值，用来去除关联相对小的链路以提高亲和度的聚合度。

K_ij＝{k|AF_ki＞δor AF_kj＞δ}为所有指向监测点i和j且激活力大于δ的监测点的集合，|K_ij|表示集合K_ij中的元素的个数。

M_ij＝{m|AF_im＞δor AF_jm＞δ}为监测点i和j所指向的且激活力大于δ的监测点的集合，|M_ij|表示集合M_ij中的元素的个数。

表示用x和y中的较小值除以较大值。

确定单元140被配置为根据聚类参数来确定监测点的类别。例如，确定单元140可以采用K-means聚类算法来确定监测点的类别。具体说来，在获得亲和度矩阵A_ij后，确定单元140可根据监测点间的亲和度值进行聚类，使类内监测点的亲和度最大，类间监测点的亲和度较小。这样，具有相似污染传播链路的污染监测点将被聚为一类，从而能够对污染物进行溯源。

下面，通过一个具体计算示例来描述上述聚类设备10的操作。

在本示例中，获取单元110获取2013.12-2014.2期间北京10个官方监测点的大气污染监测数据，如图4所示。

划分单元120依据CO、NO₂、SO₂、O₃、PM2.5、PM10的分布趋势，将其分为三组。即，CO、NO₂、SO₂一组，O₃一组，PM2.5、PM10一组。各组的IAQI为其组内对应污染物IAQI的均值，分别记为IAQI1、IAQI2、IAQI3。然后，划分单元120将分组后的参数进行直方图均衡，均匀划分级别。直方图均衡后，将每组IAQI分为10个污染等级，所划分的等级数目和等级之间的界限如图3所示。特别地，其中以1号和2号监测点为例，依据其2013年12月5日单日24小时的IAQI3监测数据，污染级别划分结果如图5所示。

构造单元130构造计算激活力模型，计算测量点间的激活力。例如，构造单元130可以计算监测点i与监测点j在时间窗T内同时出现在同一级别的次数f_ij、监测点i单独出现在共现级别的次数f_i、以及监测点j单独出现在共现级别的次数f_j。以1号和2号监测站点2013年12月5日单日24小时的IAQI3监测数据为例，其计算结果如下：共现的级别分别为2和3，1号和2号监测点同时达到某一级别的次数f₁₂＝10，1号监测点出现在这两个级别的总次数f₁＝24，而2号监测点出现在这两个级别的总次数f₂＝18。

根据1号至10号监测点2013年12月(共336个小时)的IAQI3监测数据，在时间窗T＝1h，滑动步长P＝1h的条件下，构造单元130计算监测点间两两同时出现在同一级别的次数的结果，如图6所示。

另外，构造单元130计算监测点i单独出现在共现级别的次数f_i，结果如图7所示，构造单元130还计算监测点j单独出现在共现级别的次数f_j，结果如图8所示。

构造单元130根据1号至10号监测点的经纬度坐标，根据以上公式(2)计算监测点间的加权距离d_ij，结果如图9所示。

在得到f_i、f_j、和d_ij之后，构造单元130根据以上公式(1)计算得到2013年12月的AQI3激活力，结果如图10所示。

此后，构造单元130根据以上公式(3)计算得到2013年12月的AQI3亲和度，结果如图11所示。以计算1号和2号监测点的亲和度为例，由于监测点数目(10个)较少，所以在此情况下可以设阈值σ＝0。利用上述公式(3)，此时|K₁₂|为所有指向1号和2号监测点且激活力大于0的监测点的数目，|M₁₂|为1号和2号监测点所指向的所有其他监测点中激活力大于0的站点的数目。由激活力计算结果可知，|K₁₂|＝|M₁₂|＝10。

OR(AFk1，AFk2)＝min(AFk1，AFk2)/max(AFk1，AFk2)

其中，min(AFk1，AFk2)为对于监测点k，其指向1号和2号监测点的激活力中较小的值；max(AFk1，AFk2)为对于监测点k，其指向1号和2号监测点的激活力中较大的值。

记AF_ii＝1.000，则

$\begin{array}{c}\underset{k\∈K_{ij}}{\Σ}OR(A{F}_{ki},A{F}_{kj})=\mathrm{\Σ}min(AFk1,AFk2)/\max (AFk1,AFk2)\\ =\\ 181.2/100000+181.2/100000+6.198/15.35+3.251/4.9\\ 89+0.375/1.382+3.881/7.258+4.164/5.845+1.583/5.2\\ 66+0.394/0.632+1.552/3.202\\ =3.985\end{array}$

类似的， ${\mathrm{\Σ}}_{m\∈M_{ij}}OR({\mathrm{AF}}_{im},{\mathrm{AF}}_{jm})=\mathrm{\Σ}min(AF1l,AF2l)/\max (AF1l,AF2l),$

其中，min(AF1l，AF2l)为1号和2号监测点所指向l号监测点的激活力的较小值，max(AF1l，AF2l)为1号和2号监测点所指向l号监测点的激活力的较大值。由于本例中激活力矩阵为对称矩阵，所以∑min(AF1l，AF2l)/max(AF1l，AF2l)＝∑min(AFk1，AFk2)/max(AFk1，AFk2)＝3.985，即亲和度矩阵中A₁₂＝A₂₁＝0.3985≈0.399。

确定单元140根据1号至10号监测点处的2013年12月的IAQI3监测数据，基于K-means聚类算法进行聚类，结果如图12所示。

图2是示出了根据本发明一个实施例的聚类方法的流程图。如图2所示，方法20在步骤S210处开始。

在步骤S220，获取监测点的监测数据，该监测数据是时空数据。例如，该监测数据可以包括大气污染监测数据或交通数据。

在步骤S230，从所获取的监测数据中选取目标数据，并对选取的目标数据划分级别。优选地，对选取的目标数据进行分组，然后通过对分组后的数据进行直方图均衡来划分级别。

在步骤S240，根据划分级别后的目标数据来构造聚类参数。优选地，计算监测点之间的激活力，并根据激活力来计算监测点之间的亲和度。具体计算过程例如可以参考上文针对公式(1)-(3)的描述，此处不再重复。

在步骤S250，根据聚类参数来确定监测点的类别。优选地，可以采用K-means聚类算法来确定监测点的类别。

最后，方法20在步骤S260处结束。

应该理解，本发明的上述实施例可以通过软件、硬件或者软件和硬件两者的结合来实现。例如，上述实施例中的系统内的各种组件可以通过多种器件来实现，这些器件包括但不限于：模拟电路、数字电路、通用处理器、数字信号处理(DSP)电路、可编程处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(CPLD)，等等。

另外，本领域的技术人员可以理解，本发明实施例中描述的初始参数可以存储在本地数据库中，也可以存储在分布式数据库中或者可以存储在远程数据库中。

此外，这里所公开的本发明的实施例可以在计算机程序产品上实现。更具体地，该计算机程序产品是如下的一种产品：具有计算机可读介质，计算机可读介质上编码有计算机程序逻辑，当在计算设备上执行时，该计算机程序逻辑提供相关的操作以实现本发明的上述技术方案。当在计算系统的至少一个处理器上执行时，计算机程序逻辑使得处理器执行本发明实施例所述的操作(方法)。本发明的这种设置典型地提供为设置或编码在例如光介质(例如CD-ROM)、软盘或硬盘等的计算机可读介质上的软件、代码和/或其他数据结构、或者诸如一个或多个ROM或RAM或PROM芯片上的固件或微代码的其他介质、或一个或多个模块中的可下载的软件图像、共享数据库等。软件或固件或这种配置可安装在计算设备上，以使得计算设备中的一个或多个处理器执行本发明实施例所描述的技术方案。

尽管以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。

Claims (20)

1.一种聚类设备，包括：

获取单元，被配置为获取监测点的监测数据，所述监测数据是时空数据；

划分单元，被配置为从所获取的监测数据中选取目标数据，并对选取的目标数据划分级别；

构造单元，被配置为根据划分级别后的目标数据来构造聚类参数；以及

确定单元，被配置为根据聚类参数来确定监测点的类别。

2.根据权利要求1所述的设备，其中，所述划分单元被配置为：

对选取的目标数据进行分组；以及

通过对分组后的数据进行直方图均衡来划分级别。

3.根据权利要求1所述的设备，其中，所述构造单元被配置为：

计算监测点之间的激活力，所述激活力表示监测点之间的关联程度；

根据激活力来计算监测点之间的亲和度，所述亲和度表示监测点之间的传播链路的重合程度。

4.根据权利要求3所述的设备，其中，所述构造单元被配置为：

计算监测点i的监测数据位于某个级别的频度f_i；

计算监测点j的监测数据位于某个级别的频度f_j；

计算监测点i和监测点j的监测数据同时位于某个级别的频度f_ij；

计算监测点i和监测点j之间的加权距离d_ij；

根据f_i、f_j、f_ij和d_ij来计算监测点i和监测点j之间的激活力。

5.根据权利要求4所述的设备，其中，f_ij是监测点i和监测点j在特定时间窗内同时出现在某个相同级别的次数，f_i是监测点i在特定时间窗内单独出现在该相同级别的次数，f_j是监测点j在特定时间窗内单独出现在该相同级别的次数。

6.根据权利要求4所述的设备，其中，f_ij是监测点i和监测点j在特定时间窗内从某个相同级别跨越至另一相同级别的次数，f_i是监测点i在特定时间窗内单独发生该级别跨越的次数，f_j是监测点j在特定时间窗内单独发生该级别跨越的次数。

7.根据权利要求4所述的设备，其中，所述构造单元被配置为根据以下参数来计算加权距离d_ij：

监测点i和监测点j之间的地理距离、实时风力级别、风向与监测点i和监测点j的连线之间的夹角、监测点i和监测点j的海拔高度、以及风速监测点的海拔高度。

8.根据权利要求3所述的设备，其中，所述构造单元被配置为：

确定指向监测点i和监测点j并且激活力大于预定阈值的监测点k的集合；

确定监测点i和监测点j所指向的并且激活力大于所述预定阈值的监测点m的集合；

基于监测点k的集合和监测点m的集合，计算监测点i和监测点j之间的亲和度。

9.根据权利要求1所述的设备，其中，所述监测数据包括大气污染监测数据或交通数据。

10.根据权利要求1所述的设备，其中，所述确定单元被配置为：

采用K-means聚类算法来确定监测点的类别。

11.一种聚类方法，包括：

获取监测点的监测数据，所述监测数据是时空数据；

从所获取的监测数据中选取目标数据，并对选取的目标数据划分级别；

根据划分级别后的目标数据来构造聚类参数；以及

根据聚类参数来确定监测点的类别。

12.根据权利要求11所述的方法，其中，对选取的目标数据划分级别包括：

对选取的目标数据进行分组；以及

通过对分组后的数据进行直方图均衡来划分级别。

13.根据权利要求11所述的方法，其中，构造聚类参数包括：

计算监测点之间的激活力，所述激活力表示监测点之间的关联程度；

根据激活力来计算监测点之间的亲和度，所述亲和度表示监测点之间的传播链路的重合程度。

14.根据权利要求13所述的方法，其中，计算监测点之间的激活力包括：

计算监测点i的监测数据位于某个级别的频度f_i；

计算监测点j的监测数据位于某个级别的频度f_j；

计算监测点i和监测点j的监测数据同时位于某个级别的频度f_ij；

计算监测点i和监测点j之间的加权距离d_ij；

根据f_i、f_j、f_ij和d_ij来计算监测点i和监测点j之间的激活力。

15.根据权利要求14所述的方法，其中，f_ij是监测点i和监测点j在特定时间窗内同时出现在某个相同级别的次数，f_i是监测点i在特定时间窗内单独出现在该相同级别的次数，f_j是监测点j在特定时间窗内单独出现在该相同级别的次数。

16.根据权利要求14所述的方法，其中，f_ij是监测点i和监测点j在特定时间窗内从某个相同级别跨越至另一相同级别的次数，f_i是监测点i在特定时间窗内单独发生该级别跨越的次数，f_j是监测点j在特定时间窗内单独发生该级别跨越的次数。

17.根据权利要求14所述的方法，其中，根据以下参数来计算加权距离d_ij：

监测点i和监测点j之间的地理距离、实时风力级别、风向与监测点i和监测点j的连线之间的夹角、监测点i和监测点j的海拔高度、以及风速监测点的海拔高度。

18.根据权利要求13所述的方法，其中，计算监测点之间的亲和度包括：

确定指向监测点i和监测点j并且激活力大于预定阈值的监测点k的集合；

确定监测点i和监测点j所指向的并且激活力大于所述预定阈值的监测点m的集合；

基于监测点k的集合和监测点m的集合，计算监测点i和监测点j之间的亲和度。

19.根据权利要求11所述的方法，其中，所述监测数据包括大气污染监测数据或交通数据。

20.根据权利要求11所述的方法，其中，采用K-means聚类算法来确定监测点的类别。