CN102110172B - 一种分布式Web文档聚类方法 - Google Patents

Abstract

本申请提出一个分布式Web文档聚类系统DCS(Distributed Clustering System)，该系统采用的主要方法称之为DACWD(Distributed Approach to Clustering Web Documents)。DACWD方法的核心是一个基于信息瓶颈理论的文档聚类方法DCIB(Document Clustering using Information Bottleneck)。DACWD的局部聚类和全局聚类过程迭代使用了DCIB方法。

Description

一种分布式Web文档聚类方法

技术领域

本申请属于信息检索、数据挖掘、人工智能领域。

背景技术

为了揭示隐藏在Web数据之后具有潜在价值的信息或结构，近年来Web挖掘技术取得了较快的发展和广泛的应用。文档聚类是Web挖掘领域中最重要的工具之一，其目的是将一个文档集合分成若干个簇，要求同一个簇内的文本内容具有较高的相似度，而不同簇之间的相似度尽可能小。每个聚类过程主要包括相似度计算方法和聚类算法两个部分。

目前，研究者已经提出多种文档聚类算法，大致可分为4个类别，即层次化聚类算法、划分式聚类算法、基于密度和网格的聚类算法和其它聚类算法。这些聚类算法的研究主要是针对集中式数据源进行挖掘，即数据对象集中分布在同一个数据节点上。然而，在许多Web应用中，因为数据量庞大、访问效率等原因，不得不将数据分布在多个节点上，如众多站点为提高访问效率广泛采用了多镜像技术，使得数据对象分布在不同的镜像站点上。在这种应用环境中，必须将传统的聚类方法和分布式的策略相结合，即采用分布式聚类方法。分布式聚类方法通常包括两个步骤：①对各个节点的数据进行本地独立聚类(局部聚类)，获得数据的局部模式；②将各节点的聚类结果进行合并(全局聚类)，获得数据的全局模式。

发明内容

本申请提出一种分布式Web文档聚类方法DCS(Distributed Clustering System)，该方法采用的主要方法称之为DACWD(Distributed Approach to Clustering Web Documents)。DACWD方法的核心是一个基于信息瓶颈理论的文档聚类方法DCIB(Document Clustering using Information Bottleneck)。DACWD的局部聚类和全局聚类过程迭代使用了DCIB方法。

附图说明

图1是DCS系统的聚类过程图。

具体实施方式

DCS系统的聚类过程如图1所示。首先使用DCIB方法对各个节点上的Web文档进行本地聚类，然后将各个节点的聚类结果集合起来作为数据对象，再次使用DCIB方法进行聚类。

具体实现步骤如下：

图1说明了DCS系统聚类的基本过程。该过程分为局部聚类和全局聚类两个阶段。在局部聚类阶段，各数据节点将各自节点上的文档数据使用DCIB方法进行独立聚类，聚类结果代表了该节点上文档的总体特征；在全局聚类阶段，将局部聚类阶段产生的聚类结果作为数据输入，再次使用DCIB方法进行聚类。

DCIB方法是一种基于信息瓶颈理论的文档聚类方法。该方法采用信息瓶颈理论度量文档之间的“相似”关系，并使用增量聚类算法对文档数据进行聚类，最后对聚类结果进行调整。这样的聚类过程一方面避免了因随机选用相似度计算方法所造成的误差；另一方面是所采用的增量方式保证了较高的聚类效率，能够满足对时间性能有较高要求的Web应用；同时，针对聚类结果的调整过程减轻了文档次序对增量过程造成的影响，提高了聚类的准确率。DCIB首先随机选取一个文档初始化为一个簇，然后依次处理每个文档直至文档处理完毕。处理过程中比较新文档与现存各个簇合并所产生的最小共有信息损失，如果最小共有信息损失满足规定阈值，则将该文档合并到“距离”最近簇，否则新建一个簇存放该文档。

DACWD方法的详细步骤为：

1.假设在一个分布式的环境中，Web文档分布在n个数据节点N₁，N₂，…，N_n上，各个节点上的文档数目分别为s₁，s₂，…，s_n，节点N_i(1≤i≤n)上的文档表示为

假设文档的特征词集合为{t₁，t₂，…，t_m}，其中m为特征词个数。

2.针对每个节点N_i(1≤i≤n)，使用下述DCIB方法进行局部聚类

1)得到节点N_i(1≤i≤n)上各文档

的向量表示形式。根据文档中特征词的分布情况，文档 $d_j^i(1\≤i\≤n,1\≤j\≤s_i)$ 的向量形式表示为

${\stackrel{\→}{d}}_j^i=\{p\left(t_1\right|d_j^i),p\left(t_2{|d}_j^i\right),\·\·\·,p\left(t_m\right|d_j^i)\}$

其中，

(其中1≤a≤m)表示文档

中特征词t_a出现的条件概率，其计算方法为

表示文档

中特征词t_a的出现次数。

2)将节点N_i(1≤i≤n)上的文档

表示为一个集合

从中随机取一个文档表示为

将其初始化为一个簇，记为

存放在簇集合Cⁱ中，即

同时将从Xⁱ中删除。簇

的向量形式表示为：

${\stackrel{\→}{c}}_0^i=\{p\left(t_1\right|c_0^i),p\left(t_2\right|c_0^i),\·\·\·,p\left(t_m\right|c_0^i)\}=\{p\left(t_1\right|x_0^i),p\left(t_2\right|x_0^i),\·\·\·,p\left(t_m\right|x_0^i)\}$

其中，

(1≤a≤m)表示簇

中特征词t_a出现的条件概率。

(1≤a≤m)表示文档

中特征词t_a出现的条件概率。

3)从Xⁱ中取一个文档xⁱ，并将其初始化为一个簇

从Cⁱ中寻找簇cⁱ，使得

其中

表示合并

和

两个簇时产生的共有信息损失，其计算方法如下：

$D(c_e^i,c_f^i)=\underset{u=e,f}{\mathrm{\Σ}}\frac{\left|c_u^i\right|}{\left|X^i\right|}\underset{a=1}{\overset{m}{\mathrm{\Σ}}}p\left(t_a\right|c_u^i)\log \frac{p\left(t_a\right|c_u^i)}{p\left(t_a\right|c_e^i\∪c_f^i)}$

其中，|Xⁱ|表示集合Xⁱ中文档的个数，

表示合并

和

两个簇所得到的新簇中特征词t_a出现的条件概率，

$p\left(t_a\right|c_e^i\∪c_f^i)=\frac{\left|c_e^i\right|}{|c_e^i\∪c_f^i|}p\left(t_a\right|c_e^i)+\frac{\left|c_f^i\right|}{|c_e^i\∪c_f^i|}p\left(t_a\right|c_f^i)$

得到cⁱ之后，若

将

的值加入到最小值列表Lⁱ中，将xⁱ添加到簇cⁱ中；否则，为xⁱ新建一个簇保存，并将新建的簇添加到集合Cⁱ中，其中αⁱ为调节系数，averⁱ为最小值列表Lⁱ中所有最小值的算术平均，Lⁱ在初始时为空。

4)若Xⁱ中还有文档未处理，则重复步骤3。

5)对上述聚类结果进行调整。依次从Cⁱ的每个簇中取每个文档x构成一个新的簇{x}，根据共有信息损失最小原则，将{x}合并到Cⁱ包含的一个簇中，从而完成对聚类结果的一次调整。将上述针对调整过程循环sum次后，聚类过程完成。

3.综合各节点的聚类结果，使用DCIB方法进行全局聚类

1)节点N_i(1≤i≤n)上的文档经局部聚类后产生的簇集合表示为

k_i表示节点N_i上的聚类结果所包含的簇数目。由局部聚类的过程可知，簇

的向量表示形式为 ${\stackrel{\→}{c}}_v^i=\{p\left(t_1\right|c_v^i),p\left(t_2\right|c_v^i),\·\·\·,p\left(t_m\right|c_v^i)\},$ 其中(其中1≤a≤m)表示簇

中特征词t_a出现的条件概率。

2)将所有节点上聚类得到的簇集合进行合并，得到所有簇组成的集合C，即

$C=C^1\∪C^2\∪\·\·\·\∪C^n=\{c_1^1,c_2^1,\·\·\·,c_{k_1}^1,c_1^2,c_2^2,\·\·\·,c_{k_2}^2,\·\·\·c_1^n,c_2^n,\·\·\·,c_{k_n}^n\}=\{c_1{c}_2,\·\·\·,c_r\}$

其中，从集合C中随机取一个簇表示为c₀，存放在簇集合C′中，即C′＝{{c₀}}(注意，集合C′的元素为簇，这些簇并非由文档直接组成，而是由局部聚类阶段产生的簇组成，故集合C′形如C′＝{{c₁，c₂}，{c₃，c₄}，{c₅，c₆}})，同时将c₀从C中删除。簇c₀的向量形式表示为：

${\stackrel{\→}{c}}_0=\{p\left(t_1\right|c_0),p\left(t_2\right|c_0),\·\·\·,p\left(t_m\right|c_0)\}$

其中，p(t_a|c₀)(1≤a≤m)表示簇c₀中特征词t_a出现的条件概率。

3)从集合C中取一个簇记为c_e，从C′中寻找簇c，使得

其中D(c_e，c_f)表示合并c_e和c_f两个簇时产生的共有信息损失，其计算方法如下：

$D(c_e,c_f)=\underset{u=e,f}{\mathrm{\Σ}}\frac{\left|c_u\right|}{r}\underset{a=1}{\overset{m}{\mathrm{\Σ}}}p\left(t_a\right|c_u)\log \frac{p\left(t_a\right|c_u)}{p\left(t_a\right|c_e\∪c_f)}$

其中，|c_u|表示簇c_u所包含簇的个数，

表示合并c_e和c_f两个簇所得到的新簇中特征词t_a出现的条件概率，

$p\left(t_a\right|c_e\∪c_f)=\frac{\left|c_e\right|}{|c_e\∪c_f|}p\left(t_a\right|c_e)+\frac{\left|c_f\right|}{|c_e\∪c_f|}p\left(t_a\right|c_f)$

得到c之后，若D(c_e，c)＜α×aver，将D(c_e，c)的值加入到最小值列表L中，将c_e添加到簇c中；否则，为c_e新建一个簇保存，并将新建的簇添加到集合C中，其中α为调节系数，aver为最小值列表L中所有最小值的算术平均，L在初始时为空。

4)若C中还有簇未处理，则重复步骤3。

5)对上述聚类结果进行调整。依次从C的每个簇中取每个簇c构成一个新的簇{c}，根据共有信息损失最小原则，将{c}合并到C包含的一个簇中，从而完成对聚类结果的一次调整。将上述针对调整过程循环sum次后，聚类过程完成。

Claims (1)

1.一种分布式Web文档聚类方法，该方法包括多个局部数据节点服务器和一个中心数据节点服务器，每个局部数据节点服务器负责存储Web文档及完成局部聚类，中心数据节点服务器负责完成全局聚类，其特征在于：该方法采取以下步骤进行聚类：

①设在一个分布式的环境中，Web文档分布在n个数据节点N₁，N₂，…，N_n上，各个节点上的文档数目分别为s₁，s₂，…，s_n，节点N_i上的文档表示为

假设文档的特征词集合为{t₁，t₂，…，t_m}，其中n、i和m为自然数，且m为特征词个数，1≤i≤n；

②针对每个节点N_i，使用下述方法进行局部聚类：

1)得到节点N_i上各文档

的向量表示形式，根据文档中特征词的分布情况，文档

的向量形式表示为

${\stackrel{\→}{d}}_j^i=\{p\left(t_1\right|d_j^i),p\left(t_2\right|d_j^i),\·\·\·,p\left(t_m\right|d_j^i)\}$

其中，1≤j≤s_i，

表示文档

中特征词t_a出现的条件概率，1≤a≤m，其计算方法为

表示文档

中特征词t_a的出现次数；

2)将节点N_i上的文档

表示为一个集合

从中随机取一个文档表示为

将其初始化为一个簇，记为

存放在簇集合Cⁱ中，即

同时将

从Xⁱ中删除，簇

的向量形式表示为：

${\stackrel{\→}{c}}_0^i=\{p\left(t_1\right|c_0^i),p\left(t_2\right|c_0^i),\·\·\·,p\left(t_m\right|c_0^i)\}=\{p\left(t_1\right|x_0^i),p\left(t_2\right|x_0^i),\·\·\·,p\left(t_m\right|x_0^i)\}$

其中，

表示簇

中特征词t_a出现的条件概率，

(1≤a≤m)表示文档

中特征词t_a出现的条件概率；

3)从Xⁱ中取一个文档xⁱ，并将其初始化为一个簇

从Cⁱ中寻找簇cⁱ，使得

其中

表示合并

和两个簇时产生的共有信息损失，其计算方法如下：

$D(c_e^i,c_f^i)=\underset{u=e,f}{\mathrm{\Σ}}\frac{\left|c_u^i\right|}{\left|X^i\right|}\underset{a=1}{\overset{m}{\mathrm{\Σ}}}p\left(t_a\right|c_u^i)\log \frac{p\left(t_a\right|c_u^i)}{p\left(t_a\right|c_e^i\∪c_f^i)}$

其中，|Xⁱ|表示集合Xⁱ中文档的个数，

表示合并

和

两个簇所得到的新簇中特征词t_a出现的条件概率，

$p\left(t_a\right|c_e^i\∪c_f^i)=\frac{\left|c_e^i\right|}{|c_e^i\∪c_f^i|}p\left(t_a\right|c_e^i)+\frac{\left|c_f^i\right|}{|c_e^i\∪c_f^i|}p\left(t_a\right|c_f^i)$

得到cⁱ之后，若

将

的值加入到最小值列表Lⁱ中，将xⁱ添加到簇cⁱ中；否则，为xⁱ新建一个簇保存，并将新建的簇添加到集合Cⁱ中，其中αⁱ为调节系数，averⁱ为最小值列表Lⁱ中所有最小值的算术平均，Lⁱ在初始时为空；

4)若Xⁱ中还有文档未处理，则重复步骤3)；

5)对上述聚类结果进行调整，依次从Cⁱ的每个簇中取每个文档x构成一个新的簇{x}，根据共有信息损失最小原则，将{x}合并到Cⁱ包含的一个簇中，从而完成对聚类结果的一次调整，将上述针对调整过程循环sum次后，聚类过程完成，其中sum为一个自然数；

③综合各节点的聚类结果，使用DCIB方法进行全局聚类

1)节点N_i上的文档经局部聚类后产生的簇集合表示为k_i表示节点N_i上的聚类结果所包含的簇数目，由局部聚类的过程可知，簇

的向量表示形式为其中

表示簇中特征词t_a出现的条件概率，v为一个自然数，1≤v≤k_i；

2)将所有节点上聚类得到的簇集合进行合并，得到所有簇组成的集合C，即

$C=C^1\∪C^2\∪\·\·\·\∪C^n=\{c_1^1,c_2^1,\·\·\·,c_{k_1}^1,c_1^2,c_2^2,\·\·\·,c_{k_2}^2,\·\·\·c_1^n,c_2^n,\·\·\·,c_{k_n}^n\}=\{c_1{c}_2,\·\·\·,c_r\}$

其中，

从集合C中随机取一个簇表示为c₀，存放在簇集合C′中，即C′＝{{c₀}}，其中集合C′的元素为簇，这些簇由局部聚类阶段产生的簇组成，即C′＝{{c₁，c₂}，{c₃，c₄}，{c₅，c₆}})，同时将c₀从C中删除；簇c₀的向量形式表示为：

${\stackrel{\→}{c}}_0=\{p\left(t_1\right|c_0),p\left(t_2\right|c_0),\·\·\·,p\left(t_m\right|c_0)\}$

其中，p(t_a|c₀)表示簇c₀中特征词t_a出现的条件概率；

3)从集合C中取一个簇记为c_e，从C′中寻找簇c，使得

其中D(c_e，c_f)表示合并c_e和c_f两个簇时产生的共有信息损失，其计算方法如下：

$D(c_e,c_f)=\underset{u=e,f}{\mathrm{\Σ}}\frac{\left|c_u\right|}{r}\underset{a=1}{\overset{m}{\mathrm{\Σ}}}p\left(t_a\right|c_u)\log \frac{p\left(t_a\right|c_u)}{p\left(t_a\right|c_e\∪c_f)}$

其中，|c_u|表示簇c_u所包含簇的个数，表示合并c_e和c_f两个簇所得到的新簇中特征词t_a出现的条件概率，

$p\left(t_a\right|c_e\∪c_f)=\frac{\left|c_e\right|}{|c_e\∪c_f|}p\left(t_a\right|c_e)+\frac{\left|c_f\right|}{|c_e\∪c_f|}p\left(t_a\right|c_f)$

得到c之后，若D(c_e，c)＜α×aver，将D(c_e，c)的值加入到最小值列表L中，将c_e添加到簇c中；否则，为c_e新建一个簇保存，并将新建的簇添加到集合C中，其中α为调节系数，aver为最小值列表L中所有最小值的算术平均，L在初始时为空；

4)若C中还有簇未处理，则重复步骤3)；

5)对上述聚类结果进行调整，依次从C的每个簇中取每个簇c构成一个新的簇{c}，根据共有信息损失最小原则，将{c}合并到C包含的一个簇中，从而完成对聚类结果的一次调整；将上述针对调整过程循环sum次后，聚类过程完成。

Images