CN102902772B - 一种基于多目标优化的Web社区发现方法 - Google Patents

Abstract

本发明提出一种基于多目标优化的Web社区发现方法，应用于Web2.0下的社交网络，可以提升信息主动服务质量、增强网络文化安全等；其包括：设置粒子群规模、粒子位置和速度的范围与维度、粒子群惯性因子、邻域半径及外部存档最大容量等相关参数；建立Web信息网络各节点的邻居节点编号表；采用基于节点邻居有序表的编码方法初始化粒子群；重复如下操作直到停止条件满足：计算粒子适应度向量，比较粒子的Pareto支配关系，更新Pareto最优社区结构集，选择粒子飞行的leader，更新粒子的位置和速度；输出全部Pareto最优解集元素所对应的网络社区结构。与基于单目标优化策略的经典算法相比较，本发明提出的方法能发现更有效的Pareto最优网络社区结构。

Description

一种基于多目标优化的Web社区发现方法

技术领域

本发明涉及一种Web2.0下信息交互平台中的社区挖掘，特别是一种运用多目标优化理论的社区发现方法，属于社会网络技术领域。

背景技术

以自由开放共享为核心精神的Web 2.0使得广大网民成为互联网的主角，以博客网络、社交网络、wiki网络等为代表的信息网络已经深入到人们的工作、学习等各种活动中。如何从这些复杂的关系网络挖掘出有价值的结构模式已成为互联网的研究热点，Web社区发现研究就是其中热门话题之一。

虽然Web社区的严格定义还不存在，但是我们可以松散地将其定义为具有某种共同特征的相互连接的Web信息载体集合，例如，隶属于某个特定主题的Web页面集合，由具有某种共同兴趣爱好的微博者组成的微群，等等。从网络拓扑结构来看，一个网络社区就是一个网络图的稠密连通子图，在这个子图内的节点之间连接密度高于子图内部节点与外部节点的连接密度。

网络社区发现研究正吸引着来自物理学、生物学、社会学与计算机科学等不同领域学者的关注，近年来涌现出大量的方法。网络社区发现本质上就是基于网络链接的聚类学习，该聚类问题是一个与图最优划分等价的NP难问题，非凸最优化问题的一种有效解法是基于生物启发式优化的近似策略。Tasgin等人通过利用GA算法优化社区模块度Q函数来实现网络最优划分的近似. Pizzutiz首先给出用于评判网络划分质量的社区分数(community score)的定义，然后运用GA-Net进行优化网络划分。考虑到社会网络的海量性，Lipczak等人提出一个基于社区足够小且社区数有限假设的ACGA算法：将一个社区编码为一个个体，根据社区质量潜在提高量来选择个体进行遗传操作。段晓东等人引入粒子群算法对网络进行迭代二分实现Web社区的发现。黄发良等人提出的CDPSO算法采用基于节点邻居有序表的粒子编码方式，通过PSO全局搜索来挖掘社区。Gog等人提出一种基于个体信息共享机制的协同进化算法对网络社区结构进行寻优。这些算法主要是根据社区发现具体问题对进化算法从编码模，遗传算子与适应度函数等方面进行改造，其中的一个共同点是优化的目标函数只有一个而不是多个。而社区质量评判指标的多样性、耦合关联性与数据依赖性使得现有的基于单一评判指标优化的社区发现算法很难在实际工程问题中得到应用。

发明内容

本发明的目的是为了克服现有技术中的社区发现方法在Web网络挖掘过程中没有对各种相互依赖的社区质量评判指标进行综合考量的缺陷，提供一种基于多目标粒子群优化的网络社区发现方法。

为了实现上述目的，本发明提供了一种基于多目标优化的Web社区发现方法，其特征在于：应用于Web2.0下的社交网络，包括以下步骤：

步骤1）、设置发明方法的算法相关参数：粒子群规模，粒子位置和速度的范围与维度，粒子群惯性因子，邻域半径及外部存档最大容量，MOPSO算法的最大迭代次数；

步骤2）、对于给定Web信息网络中的所有节点进行编号，通过对每个节点的邻居根据其编号进行排序来构造邻居有序表；

步骤3）、采用基于节点邻居有序表的编码方法初始化粒子群，粒子群中的个体粒子产生方法如下：初始化一个长度为网络节点数的向量，该向量中的第i位分量取值为区间[1, NLL]中的一个随机整数，NLL为邻居有序表中的中心节点i对应的邻居列表长度；

步骤4）、通过MOPSO算法实现寻优Pareto最优解集元素所对应的网络社区结构。

本发明的有益效果是：比起传统的社区发现方法，本发明提出的方法能将各种网络社区质量评判指标进行综合考量，可以发现与网络社区真实结构更相符合的社区结构。本发明应用于以微博网络、邮件网络、BBS论坛网络等各种社交平台，可以优化信息网络结构、提升信息主动服务质量、增强网络文化安全等。

附图说明

图1为本发明的基于多目标优化的Web社区发现方法的总流程图；

图2为本发明方法中的基于节点邻居有序表的粒子编码方法；

图3为本发明方法中的基于核密度估计的leader选择机制；

具体实施方式：

下面结合附图和具体实施方式对本发明予以说明。

为了方便详细阐述本发明，首先统一说明相关基本概念。

定义1（Pareto支配关系） 对于由社区划分函数                                                发现的蕴含于网络G=(V, E)中的两种不同社区结构, 社区结构 Pareto支配社区结构当且仅当下式成立并记为:

      （1）

定义2(Pareto相等关系) 类似Pareto支配关系, 社区结构与社区结构Pareto相等当且仅当下式成立并记为:

                   （2）

定义3(Pareto不可明辨关系) 类似Pareto支配关系, 社区结构与社区结构满足Pareto不可明辨关系当且仅当下式成立并记为:

                   （3）

定义4(Pareto最优社区结构) 若网络社区划分方案集合P中的某一划分方案P^*被称为Pareto最优社区结构，当仅当如下条件成立:

                         （4）

定义5(Pareto最优社区结构集) 所有Pareto最优社区结构组成的集合称为Pareto最优社区结构集。

定义6(Pareto前沿) Pareto最优社区结构集的社区所对应的质量评判指标向量组成的集合称为Pareto前沿。

定义7(Web社区发现) 给定网络，V为Web信息载体（节点）的非空集合,E网络节点之间的连接关系，F为用户指定的目标函数集合，V所对应的k划分的网络社区划分方案，其中必须满足4个条件：,， 与，k值可由算法决定或用户给出. Web社区发现的过程就是寻找使F函数达到最优化的划分.

结合上述定义，Web社区结构划分的多目标优化问题可用如下数学模型加以描述:

                         （5）

其中X为给定网络的某种社区划分方案，X的具体表示形式由进化算法的个体编码方式而定，为目标向量，目标函数为第i种社区质量评判指标，与为约束函数，借此约束函数可以指定算法发现满足某些特定条件的网络社区结构。

如图1所示，图1是本发明的基于多目标优化的Web社区发现方法的总流程示意图，该基于多目标优化的Web社区发现方法一共有以下几个步骤：

步骤1：设置发明方法的算法相关参数：粒子群规模，粒子位置和速度的范围与维度，粒子群惯性因子，邻域半径及外部存档最大容量，MOPSO算法的最大迭代次数；

步骤2：对于给定Web信息网络，建立网络节点的邻居有序表，其实现方法为：首先对网络中所有节点进行编号，然后对每个节点的邻居根据其编号进行排序形成邻居有序表；

步骤3：根据步骤2建立的邻居有序表进行粒子群的初始化，其实现方法为：初始化一个长度为网络节点数的向量，该向量中的第i位分量取值为区间[1, NLL]中的一个随机整数，NLL为邻居有序表中中心节点i对应的邻居列表长度；

步骤4：借助多目标粒子群优化算法实现多个目标函数的Pareto最优解的寻优，对Pareto最优解对应粒子进行解码，并将解码结果作为网络社区结构输出。其实现方法如下：重复如下操作直到最大迭代次数的停止条件满足：计算粒子适应度向量，比较粒子的Pareto支配关系，调用UpdatePS方法更新Pareto最优社区结构集，调用leaderSelection方法选择粒子飞行的leader，依据粒子更新策略来更新粒子的位置和速度；输出全部Pareto最优解集元素所对应的网络社区结构。

邻居有序表创建

下面参考图2的一个具体例子来说明本发明方法中的邻居有序表创建。给定如图2（a）中的网络，网络节点是被抽象化了且被编号的Web信息载体，将网络中的每个节点视为中心节点，将其邻居依据标号升序排列成列表，即可完成邻居有序表的创建，与图2（a）中的网络对应的邻居有序表为图2（d）。

粒子编码与粒子初始化

下面参考图2的一个具体例子来说明本发明方法中的粒子编码与粒子初始化。图2（b）为图2（a）的网络的一种社区划分方案，其编码为粒子图2（c）,Dim表示中心节点的编号，Pos表示粒子。以标号1为的节点为例，该编码可以解释如下：在图2（b）中的社区划分方案，对于标号1为的节点，其编号为2的邻居在其邻居有序表中处于第1个位置，故粒子向量的第一分量值为1。

粒子适应度向量

网络社区质量评判指标存在着多样性，本发明方法选择最为常见的三个评判指标作为目标函数。第一个评判指标是Q值函数，其中表示子图m的节点集, 关联函数，它是通过比较子图与其对应随机图零模型的连接密度来定义的。Q值越大则网络社区质量越高。第二个评判指标是， 其试图在最大化社区内节点相似度的同时最小化社区间节点相似度，MinMaxCut值越小则网络社区质量越高。第三个评判指标是silhouette指标, 从图形显示的角度得出同一簇内的像素点值相似的观点,其可用公式（6）、（7）与（8）来描述. silhouette指标值越大则网络社区质量越高.

                      （6）

                          （7）

                          （8）

其中, 表示社区内节点与社区中其他节点的平均相似度,  ,,表示社区内节点与其他社区的最大平均相似度, 为节点的silhouette值.

根据上述三个优化目标，可以构造粒子适应度向量

UpdatePS方法

现有大多数多目标优化算法是借助外部存档(external archive，简写EA)来实现Pareto最优解的存储与更新，更新Pareto最优解的传统方法是: 通过对算法当前迭代过程中产生的最优解与EA中的元素进行Pareto关系的比较来实现Pareto最优解的更新, 即当EA中的元素数目达到其最大容量MAXP时, 直接将新生的非被支配解插入, 而当EA已满时, 随机决定是否用新生的非被支配解代替EA中的某个随机元素. 这种方法不能很好地达成一个优质多目标优化算法的期望: 使极优解的分布尽可能均匀. 本发明文提出一种启发式策略来实现Pareto最优社区结构集更新, 给外部存档中粒子赋以年龄属性,用以标识其从进入EA到当前迭代所经历的代数, 同时将EA表示成队列以提高计算效率。在给定外部存档EA与当前迭代过程产生的网络社区划分方案集合CurBestP的条件下求取更新后EA的UpdatePS基本流程为：

步骤1：将CurBestP中的每个网络社区划分方案与队列中的每个粒子对应的社区结构进行Pareto关系比较，若则在执行入队与删除操作；

步骤2：将CurBestP中的每个网络社区划分方案与队列中的每个粒子对应的社区结构进行Pareto关系比较，若队列未满，则：若, 则在执行入队操作，若队列已满，则：若, 则在执行入队与删除操作。

leaderSelection方法

leaderSelection方法是一种基于核密度估计的leader选择机制 (图3). 简要说明如下：令|objectives|=2, |NonSet|=10, 即优化目标数为2，算法当前迭代过程中共有10种相互之间不满足Pareto支配关系的网络社区划分方案，分布在由目标1与目标2构成的平面上. 对于NonSet中的每一个点x, 都存在一个以该点为中心的r邻域Neighbor(x,r), 计算该中心点到在其邻域内其他点的距离dist的平均值, 选择具有最大平均值的中心点作为leaders, 若存在多个这样的leader则从中选取具有最多r邻居者为leaders, 若此leaders含有多个leader, 则从中随机选取一个.在给定满足非支配关系的网络社区划分方案集合Nonset与邻域半径r，求解leader的leaderSelection方法的基本流程为：

步骤1：；

步骤2：若 则；

步骤3：若 则；

步骤4：return leaders

粒子更新策略

粒子通过在网络社区划分方案空间中飞行时的自学习与协作学习实现寻优, 而这种学习机制主要体现在粒子速度与粒子位置的更新。本发明文中的粒子速度与位置分别表示与，粒子速度依据公式(9)更新。

                         (9)

其中与分别是粒子i的位置与速度, t为进化代数，w为惯性系数，与为学习因子, rand()为均匀分布在[0, 1]之间的随机数, 是粒子i的历史最优位置, 是粒子i当前所处邻域中的最优粒子位置,决定的身份是全连接的粒子邻域拓扑结构。

粒子位置的更新是根据公式(10) 与(11)。

                  (10)

                                                     (11)

其中k为除当前连接邻居外的任一随机的邻居节点，即，ceil为上取整函数，表示节点的度，ρ为预定阈值。

性能评测：

本发明的实验是以3个真实网络（Karate 网络，Dolphins 网络与HLM网络）与3个人工网络 (SynNet_1, SynNet_2与SynNet_3)为数据集，从方法收敛性、最优解的分布性与聚类有效性三个方面对算法进行评价。

算法收敛性分析

为了评价MOCD_PSO算法的收敛性，我们引入世代距离(Generation Distance, 简写GD)作为评价标准，GD指标定义为公式(12)。GD越小, 说明求得的Pareto最优解集越逼近全局最优解集，即算法收敛性也越好。

                                (12)

其中|PS|为Pareto最优解集中解的数目，d _i 是第i个Pareto最优解到全局最优解的最小欧氏距离. 表3给出了MOCD_PSO算法对6个实验网络分别运行50次所得的GD指标的均值(Mean)与方差(Var). 由表3可以看出,不论在真实网络上, 还是在人工网络上, MOCD_PSO算法都表现出较好的收敛性.

表3. 各种不同测试网络上的GD指标

最优解的分布性

本小节从Pareto最优解的分布均匀性与分散度两个方面对MOCD_PSO算法生成的Pareto最优社区结构集进行分析. 首先利用SP指标描述Pareto最优解在目标空间上的分布范围, 令网络节点数是r, 表示第i个粒子的第k维, SP指标可定义为公式(13)、(14)与(15). SP越小则意味着Pareto最优解集分布越均匀. 我们把Pareto最优社区结构集的传统更新策略与本文的启发式更新策略进行对比(见表4), 表4给出了MOCD_PSO算法对6个实验网络分别运行50次所得的SP指标的均值(Mean)与方差(Var). 从表4中可以看出, 本文的启发式更新策略能使Pareto最优社区结构集的解分布更加均匀. 然后运用Pareto最优解集的统计量全距(Range)(公式(16))进行其分散度分析, 从表5可以看出, 本文的启发式更新策略能使Pareto最优社区结构集的解分布更加分散,并且最优解的个数与网络节点数、网络模块度相关.

                                     (13)

                                          (14)

                                   (15)

                (16)

表4. Pareto最优社区结构集的均匀性

表5.Pareto最优社区结构集的分散度

 聚类有效性分析

为了测评MOCD_PSO算法的有效性,我们采用聚类误差(clustering error)(公式(17))的评价标准来衡量MOCD_PSO算法的计算结果社区与网络真实社区相一致的程度, 将MOCD_PSO算法与三个代表性算法(GN、GA-Net与CDPSO)相比较, 其中GN算法是复杂网络社区挖掘中的经典算法, 而GA-Net算法与CDPSO算法是目前基于自然计算优化的社区挖掘代表性算法。表6给出了GN[23]、GA-Net[6]与CDPSO对6个真实网络分别进行50次试验所得的聚类误差的均值, 对MOCD_PSO算法的结果而言, Min_Avg表示每次试验中的各种不同社区结构的最小聚类误差的平均值(公式(18)), Avg_Avg表示从每次试验中的所有各种不同社区结构的平均聚类误差的平均值(公式(19)). 从表6中可以看出, 与GN算法与GA-Net算法相比较，无论在平均聚类误差(Avg_Avg)意义上, 还是在最小聚类误差(Min_Avg)意义上, MOCD_PSO算法发现的社区结构质量要远远高于这二者的结果社区结构质量， 在诸如Karate与Dophins之类的社区结构模块性较强的网络中，MOCD_PSO算法的优势体现得淋漓尽致，MOCD_PSO算法的结果社区结构质量要比前二者的结果社区结构质量高出一个数量级；与CDPSO算法相比较, 尽管从最小聚类误差(Min_Avg)意义上讲, MOCD_PSO算法只展现出微弱的优势, 但从平均聚类误差(Avg_Avg)意义上看, MOCD_PSO算法的结果社区质量要远远高于CDPSO算法的结果社区结构质量.

                                    (17)

P表示待比较算法生成的结果社区结构, 表示网络的真实社区结构, 表示结果社区结构中的第k个社区, 表示真实社区结构中的第个社区.

                              (18)

                                 (19)

RUNS表示试验的次数(RUNS=50)，这里取值为50，表示算法在第run次试验中计算所得的网络社区结构集合。

表6. 网络社区质量的比较

Claims (4)

1.一种基于多目标优化的Web社区发现方法，其特征在于：应用于Web2.0下的社交网络，包括以下步骤：

步骤1)、设置发明方法的算法相关参数：粒子群规模，粒子位置和速度的范围与维度，粒子群惯性因子，邻域半径及外部存档最大容量，MOPSO算法的最大迭代次数；

步骤2)、对于给定Web信息网络中的所有节点进行编号，通过对每个节点的邻居根据其编号进行排序来构造邻居有序表；

步骤3)、采用基于节点邻居有序表的编码方法初始化粒子群，粒子群中的个体粒子产生方法如下：初始化一个长度为网络节点数的向量，该向量中的第i位分量取值为区间[1,NLL]中的一个随机整数，NLL为邻居有序表中的中心节点i对应的邻居列表长度；

步骤4)、通过MOPSO算法实现寻优Pareto最优解集元素所对应的网络社区结构；所述的步骤4)包括：

步骤4-1)、计算粒子适应度向量其P为粒子对应的网络社区结构，Q、MinMaxCut与GS分别为网络社区结构质量评判指标模块度、最小最大割与轮廓(silhouette)指标；

步骤4-2)、比较粒子的Pareto关系，确定粒子对是满足Pareto支配关系、Pareto相等关系还是Pareto不可明辨关系；

步骤4-3)、更新Pareto最优社区结构集；

步骤4-4)、选择粒子飞行的leader；

步骤4-5)、更新粒子的位置和速度；

步骤4-6)、循环执行步骤4-1)、步骤4-2)、步骤4-3)、步骤4-4)与步骤4-5)直到最大迭代次数的停止条件满足，输出全部Pareto最优解集元素所对应的网络社区结构。

2.根据权利要求1所述的基于多目标优化的Web社区发现方法，其特征在于，所述的步骤4-3)包括：

步骤4-3-1)、将当前迭代过程产生的网络社区划分方案集合CurBestP中的每个网络社区划分方案P_i与存储Pareto历史最优解的队列Q_PS中的每个粒子对应的社区结构P_j进行Pareto关系比较，若社区结构P_i Pareto支配社区结构P_j则在Q_PS执行P_i入队与P_j删除操作；

步骤4-3-2)、将当前迭代过程产生的网络社区划分方案集合CurBestP中的每个网络社区划分方案P_i与队列Q_PS中的每个粒子对应的社区结构P_j进行Pareto关系比较，若队列Q_PS未满，则：若社区结构P_i与社区结构P_j满足Pareto不可明辨关系或者二者是满足Pareto相等关系的两个不同社区划分方案,则在Q_PS执行P_i入队操作，若队列Q_PS已满，则：若社区结构P_i与社区结构P_j满足Pareto不可明辨关系或者二者是满足Pareto相等关系的两个不同社区划分方案，则在Q_PS执行P_i入队与P_j删除操作。

3.根据权利要求1所述的基于多目标优化的Web社区发现方法，其特征在于，所述的步骤4-4)包括：

步骤4-4-1)、在不满足Pareto支配关系的网络社区划分方案对应的粒子集合中，对每一粒子x构造一个以该粒子为中心的r邻域Neighbor(x,r)，计算粒子x到其邻域内其他点的距离dist的平均值，选择具有最大平均值的中心点作为leaders；

步骤4-4-2)、若存在多个所述的leader则从中选取具有最多r邻居者为leaders；

步骤4-4-3)、若此leaders含有多个leader,则从中随机选取一个。

4.根据权利要求1所述的基于多目标优化的Web社区发现方法，其特征在于，所述的步骤4-5)包括：

步骤4-5-1)、根据V_i(t+1)＝wV_i(t)+c₁×rand()×(P_i-X_i(t))+c₂×rand()×(P_leader-X_i(t))更新粒子i的速度，其中X_i＝(x_i1,x_i2,…,x_id)与V_i＝(v_i1,v_i2,…,v_id)分别是粒子i的位置与速度,t为进化代数，w为惯性系数，c₁与c₂为学习因子,rand()为均匀分布在[0,1]之间的随机数,p_i＝(p_i1,p_i2,…,p_id)是粒子i的历史最优位置,p_leader＝(p_l1,p_l2,…,p_ld)是粒子i当前所处邻域中的最优粒子位置,决定p_leader的身份是全连接的粒子邻域拓扑结构；

步骤4-5-2)、根据 $x_{\mathrm{ij}}(t+1)=\left\{\begin{array}{cc}k,& \mathrm{if\&rho;}<\mathrm{sig}\left(v_{\mathrm{ij}}(t+1)\right)\&\mathrm{deg}\left(v_j\right)>1\\ x_{\mathrm{ij}}\left(t\right),& \mathrm{otherwise}\end{array}\right.$ 与 $\mathrm{sig}\left(v_{\mathrm{ij}}\right)=\left|\frac{1-\exp (-v_{\mathrm{ij}})}{1+\exp (-v_{\mathrm{ij}})}\right|$ 来更新粒子位置，其中k为除当前连接邻居外的任一随机的邻居节点，即k＝ceil(rand*deg(v_j))&k≠x_ij(t)，ceil为上取整函数，deg(v_j)表示节点v_j的度，ρ为预定阈值。