CN104156462B - 基于元胞自动学习机的复杂网络社团挖掘方法 - Google Patents

Abstract

一种基于元胞自动学习机的复杂网络社团挖掘方法，包括以下六个步骤：初始化元胞自动学习机；生成元胞自动学习机的状态向量；对元胞自动学习机的状态向量进行解码，获得对应的社团；计算响应信号；更新元胞自动学习机；社团结构比较。本发明将整个网络建模成一个元胞自动学习机，将网络中的社团映射为元胞自动学习机的状态向量，利用元胞自动学习机的迭代更新寻找出网络中最优的社团结构。本发明的时间复杂度很低，适用于大规模的复杂网络。此外，本发明拥有良好的寻找全局最优解的性能，并且能够保证局部社团的紧密性，所以对于社团检测的精确度很高。

Description

基于元胞自动学习机的复杂网络社团挖掘方法

技术领域

本发明涉及的是一种复杂网络社团挖掘技术领域，具体是一种基于元胞自动学习机的复杂网络社团挖掘方法。

背景技术

复杂网络是现实世界中复杂系统的一种抽象表现形式，网络中的节点代表系统中的个体，节点之间的连接则代表系统中个体之间的相互关系。目前，复杂网络已经广泛应用于表征电力网络、通信网络、互联网络、社交网络、神经网络、蛋白质网络等各种复杂系统。

社团结构是复杂网络的一个重要拓扑特性，整个复杂网络是由若干个社团组成，每个社团内部的节点连接非常紧密，而社团之间的连接则相对稀疏。复杂网络的社团对应于现实中拥有共同特点或功能的单元组织，例如在社交网络中社团就是拥有共同兴趣爱好的人组成的一个团体，而在蛋白质网络中社团则是拥有相似功能的蛋白质组成的细胞组织。因此，挖掘出复杂网络中的社团结构，对于分析网络的结构特点和拓扑性质具有十分重要的现实意义。

目前，已经提出了大量用来衡量复杂网络中社团结构优劣的评价指标，例如模块度、模块密度、传导率、社团适应度、社团评分等。以这些评价指标为目标函数，网络的社团挖掘可以转化为一个最优化问题。然而，基于最优化方法的网络社团挖掘是一个NP困难问题，这就要求网络的社团挖掘方法满足以下几个关键的性质：

第一，复杂度低。复杂网络的规模往往非常庞大，可以包含几千甚至上万的节点，如果方法的复杂度较高，那么进行社团挖掘的时间开销将会非常大；

第二，拥有良好的寻找全局最优解的性能。在某一评价指标下，全局最优解对应于最佳的社团结构，如果社团挖掘方法只能寻找到局部最优解，而不是全局最优解，那么得到的社团结构很有可能是不合理的；

第三，确保局部社团结构的紧密性。在某一评价指标下，全局最优解并不能保证局部社团结构的连接紧密，所以必须在寻找全局最优解的过程中，加入对于局部社团结构的约束，确保局部社团结构的紧密性。

经文献检索发现，M.E.J.Newman在文章“Fast algorithm for detectingcommunity structure innetworks[J]”(《在网络中挖掘社团结构的快速方法》)(Phys.Rev.E69,066133(2004))(物理评论)中提出了一种基于贪心方法的社团挖掘方案。其方法为：首先将网络中的每一个节点看成一个独立的社团；然后计算将任意两个社团进行合并后得到的模块度增量，合并模块度增量最大的两个社团；重复以上步骤，直到网络中的所有节点被合并为一个大的社团；整个合并过程中得到的最大模块度所对应的社团即为最佳的社团结构。该方案采用了贪心方法，方法复杂度较低，但是只能获得局部最优解，并不能获得全局最优解，所以检测精度不高。

再经检索发现，R.Guimera和L.A.N.Amaral在文章“Functional cartography ofcomplex metabolic networks[J]”(《复杂代谢网络的功能性制图》)(Nature433(7028),895-900(2005))(自然)中提出了一种基于模拟退火的社团挖掘方案。其方法为：首先随机生成一个初始的社团结构；然后通过将节点移动到其他社团、交换不同社团的节点、分裂社团或合并社团这四种行为来产生候选解；接着，计算每个候选解对应的社团结构的模块度，采用模拟退火的策略决定是否接受候选解；重复以上步骤，直到最优解对应的社团结构的模块度不再增大。该方案具有寻找全局最优解的能力，检测精度有一定的提升，但是方法的复杂度非常高，无法应用于大规模的网络。

再经检索发现，C.Pizzuti在文章“Community detection in social networkswith genetic algorithms[C]”(《利用遗传方法在社交网络中进行社团挖掘》)(Proceedings of the 10th annual conference on Genetic and evolutionarycomputation,1137-1138(2008))(第十届遗传和进化方法年度会议论文集)中提出了一个基于遗传方法的社团挖掘方案。其方法为：首先，随机生成一组社团，采用基因表示法将这组社团转化为一组初始解向量；然后，计算每个解向量的社团评分，根据社团评分，采用遗传方法对解向量进行交叉和变异操作，得到一组新的解向量；接着，将新的解向量和之前的解向量进行合并，淘汰社团评分较低的解向量；重复以上步骤，直到达到设定的迭代次数。该方案采用基因表示法用解向量表示社团结构，缩小了可行解的范围，提高了寻找最优解的速度，但是由于选择的优化目标函数的局限性，在社团结构不明显的网络中检测精度较差。

最后经检索发现，R.Shang和J.Bai等人在文章“Community detection based onmodularity and an improved genetic algorithm[J]”(基于模块度最优化和改进遗传方法的社团挖掘)(Physica A392(5),1215-1231(2013))(物理学)中提出了一种基于改进遗传方法的社团挖掘方案。其方法为：首先，随机生成一组社团，采用基因表示法将这组社团结构转化为一组初始解向量,作为父代解向量；然后，计算每个解向量的模块度，根据计算得到的模块度，采用遗传方法对解向量进行交叉和变异的操作，得到一组子代解向量；对于子代解向量，采用模拟退火的方法搜索局部最优解，完成对子代解向量的更新；最后，将父代解向量和子代解向量合并，淘汰模块度较小的解向量，将保留的解向量作为下次迭代的父代解向量；重复以上步骤，直到达到设定的迭代次数。该方案采用了局部最优解的搜索，大大提高了检测精度，但是也导致方法的复杂度升高；同时，由于忽略了局部社团结构的紧密性，得到的社团往往会包含不合理的社团。

发明内容

针对现有技术的不足，本发明结合元胞自动机学习机理论和复杂网络理论，通过元胞自动学习机的学习能力寻找网络的最优社团结构，提出一种检测精度高并且复杂度低的基于元胞自动学习机的复杂网络社团挖掘方法。

本发明的技术方案如下：

一种基于元胞自动学习机的复杂网络社团挖掘方法，包括以下步骤：

步骤1.初始化元胞自动学习机。具体为：

对于待测复杂网络G＝(V,E)，其中V＝{v_i|i＝1,2,...,N}是网络G的节点集合，v_i表示第i个节点，N为网络中节点的数量，E＝{e_ij＝(v_i,v_j)|i,j＝1,2,...,N}是网络G的边集合，e_ij＝(v_i,v_j)表示网络中连接节点v_i和节点v_j的边，构建网络G的邻接矩阵A，并且为网络中的每个节点i分配一个自动学习机L_i；网络中的所有自动学习机通过网络中的边进行连接，构成元胞自动学习机U；初始化网络中每个自动学习机L_i的状态概率向量p_i、选择向量Z_i、奖励向量W_i；初始化迭代次数t＝1。

所述的网络G的邻接矩阵A，是用来表示网络G中节点之间的连接情况的N×N矩阵，A_ij＝1表示节点i和节点j之间有边相连；A_ij＝0表示节点i和节点j之间没有边直接相连。

所述的自动学习机L_i，是网络G中节点i所对应的自动学习机，其结构可以用三元组L_i＝{α_i,β_i,p_i}来表示，其中α_i、β_i、p_i分别表示自动学习机L_i的状态集合，表示响应集合，表示状态概率向量，i＝1,2,...,N。

所述的自动学习机L_i的状态集合α_i，是网络中与节点i直接相连的所有节点的集合，即α_i＝{j|(i,j)∈E}，其中E为网络的边集合。

所述的自动学习机L_i的响应集合β_i，是指自动学习机L_i所接收到的响应信号的取值集合，它是一个二元集合{0,1}，其中0表示奖励，1表示惩罚。

所述的自动学习机L_i的状态概率向量p_i，其中p_ij表示自动学习机L_i选择第j个状态的概率，r_i表示自动学习机L_i的状态集合α_i的基数。状态概率向量p_i满足：p_ij≥0,j＝1,2,...,r_i且

所述的集合的基数，是指集合中元素的个数。

所述的自动学习机L_i的选择向量Z_i，是用来记录自动学习机L_i的每个状态目前被选择过的次数的向量其中Z_ij表示自动学习机L_i目前选择第j个状态的次数，r_i表示自动学习机L_i的状态集合α_i的基数。

所述的自动学习机L_i的奖励向量W_i，是用来记录自动学习机L_i的每个状态目前被奖励过的次数的向量其中W_ij表示自动学习机L_i目前奖励第j个状态的次数，r_i表示自动学习机L_i的状态集合α_i的基数。

所述的元胞自动学习机U，是网络中的所有节点所对应的自动学习机通过网络中的边进行连接，所构成的自动学习机网络，其结构可以用三元组U＝{G,L,S}来表示，其中G为待测复杂网络，用来表示元胞自动学习机的底层拓扑结构，L表示网络中所有自动学习机的集合，S表示网络中所有自动学习机的状态所组成的状态向量。

所述的初始化自动学习机L_i的状态概率向量p_i，具体为：令p_ij＝1/r_i,j＝1,2,...,r_i，i＝1,2,...,N。

所述的初始化自动学习机L_i的选择向量Z_i，具体为：令Z_ij＝0,j＝1,2,...,r_i，i＝1,2,...,N。

所述的初始化自动学习机L_i的奖励向量W_i，具体为：令W_ij＝0,j＝1,2,...,r_i，i＝1,2,...,N。

步骤2.生成元胞自动学习机的状态向量。具体为：

在第t次迭代时，对于网络中的每个自动学习机L_i，根据其状态概率向量p_i，从状态集合α_i中随机选择一个状态α_i(t)。网络中所有的自动学习机的状态，组成元胞自动学习机在第t次迭代的状态向量S(t)＝(α₁(t),α₂(t),...,α_i(t),...,α_N(t))。

所述的状态α_i(t)，是指自动学习机Li在t次迭代时随机选择的状态。

步骤3.对元胞自动学习机的状态向量进行解码，获得对应的社团。具体为：

在第t次迭代时，对元胞自动学习机的状态向量S(t)＝(α₁(t),α₂(t),...,α_i(t),...,α_N(t))进行解码，获得对应的社团C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))，其中c_i(t)表示节点i属于社团c_i(t)。

所述的解码，是指在网络中，根据元胞自动学习机的状态向量S(t)，遍历网络G中的所有节点，将每个节点i与节点α_i(t)合并为一个社团，最终得到对应的社团。

步骤4.计算响应信号。具体为：

在第t次迭代时，计算所获得的社团C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))的模块度Q(t)；对于每个自动学习机L_i，根据其选择的状态α_i(t)＝α_iq和获得的社团结构的模块度Q(t)，按照响应信号计算规则计算自动学习机L_i获得的响应信号β_i(t)。

所述的社团结构的模块度Q(t)，是衡量网络中社团结构优劣的评价指标，其计算公式如(1)所示：

其中，m是网络中边的总数，N是网络中节点的总数，A是网络的邻接矩阵，k_i是网络中节点i的度，δ(·)是克罗内克函数，c_i(t)是网络中节点i所隶属的社团的编号。

所述的节点i的度，是网络中与节点i直接相连的所有节点的数目。

所述的克罗内克函数δ(·)，是指：

所述的响应信号计算规则，是指：

其中，Q_best是目前所有迭代中获得的社团结构的最大模块度，k_i(c)是节点i与属于社团c的节点之间连边的数目响应信号β_i(t)，是指自动学习机L_i在t次迭代时获得的响应信号，其中β_i(t)＝0表示响应信号是奖励，β_i(t)＝1表示响应信号是惩罚。

步骤5.更新元胞自动学习机。具体为：

在第t次迭代时，对于每个自动学习机L_i，根据其选择的状态α_i(t)和获得的响应信号β_i(t)，按照自动学习机更新规则更新自动学习机L_i的状态概率向量p_i、选择向量Z_i和奖励向量W_i。所述的自动学习机更新规则，分为三个阶段：

第一阶段，假定自动学习机L_i在t次迭代时选择的是第q个状态，即α_i(t)＝α_iq，按照(4)式对选择向量Z_i和奖励向量W_i进行更新：

第二阶段，按照(5)式计算自动学习机L_i的每一个状态在目前被奖励的概率：

其中，D_ij表示表示自动学习机L_i的第j个状态在目前被奖励的概率。

第三阶段，按照(6)式更新自动学习机L_i的状态概率向量p_i：

其中，p_ij表示向量p_i的第j个元素；p′_i表示更新后的状态概率向量，其第j个元素表示为p′_ij；表示自动学习机L_i目前被奖励的概率最高的状态，a是人工设定的奖励系数。

步骤6.社团结构比较。具体为：

将第t次迭代得到的社团C(t)与之前T次迭代得到的社团C(t-T),C(t-T+1),…,C(t-1)进行比较，其中T是人工设定的比较范围。如果C(t)与C(t-T),C(t-T+1),…,C(t-1)均相同，那么迭代终止，输出最终的社团；否则，t＝t+1，并返回第2步继续生成元胞自动学习机的状态向量。

采用本发明方法，迭代结束后输出的社团C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))中，若c_i(t)＝c_j(t)(i≠j，i,j＝1,2,...,N)，则节点i、j隶属于同一个社团，即社团c包含的节点集合为{i|c_i(t)＝c,1≤i≤N}；并且，网络的所有社团相互独立，即每个社团所包含的节点集合与其他社团所包含的节点集合不存在交集。

本发明方法将整个网络建模成一个元胞自动学习机，将网络中的社团映射为元胞自动学习机的状态向量，通过网络中每个自动学习机与其他自动学习机的交互行为，学习出每个自动学习机的最优状态，进而挖掘出网络中最优的社团结构。本方法在元胞自动学习机理论的基础上，利用元胞自动学习机强大的学习能力，进行网络中社团的挖掘，具有良好的搜寻全局最优解的性能，并且能够确保局部社团的紧密性。此外，本方法具有线性时间复杂度，能够实际应用于大规模的复杂网络。

附图说明

图1为本发明的方法流程图。

图2为Zachary空手道俱乐部网络的拓扑结构示意图。

图3为本方法在Zachary空手道俱乐部网络中，第1次迭代得到的元胞自动学习机的状态向量示意图。

图4为本方法在Zachary空手道俱乐部网络中，第1次迭代得到的社团向量及对应的社团示意图。

图5为本方法在Zachary空手道俱乐部网络中，最终得到的元胞自动学习机的状态向量、社团向量以及对应的社团示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例采用社会网络中的经典数据集Zachary空手道俱乐部网络，该网络包含34个节点和78条边，网络拓扑结构如图2所示。具体包括步骤如下：

1.初始化元胞自动学习机。对于空手道俱乐部网络，构建其邻接矩阵A，并且为网络中的每个节点i分配一个自动学习机L_i。网络中的所有自动学习机通过网络中的边进行连接，构成元胞自动学习机U。初始化网络中每个自动学习机L_i的状态概率向量p_i、选择向量Z_i、奖励向量W_i。

利用本方法，以网络中的节点14为例，其对应的自动学习机L₁₄的状态集合是网络中与节点14相连的所有节点的集合α₁₄＝{1,2,3,4,34}，自动学习机L₁₄的响应集合β₁₄＝{0,1}。初始化自动学习机L₁₄的状态概率向量p₁₄＝(0.2,0.2,0.2,0.2,0.2)，选择向量Z₁₄＝(0,0,0,0,0)，奖励向量W₁₄＝(0,0,0,0,0)。

2.生成元胞自动学习机的状态向量。在t次迭代时，对于网络中的每个自动学习机L_i，根据其状态概率向量p_i，从状态集合α_i中随机选择一个状态α_i(t)。网络中所有的自动学习机的状态，组成元胞自动学习机的状态向量S(t)＝(α₁(t),α₂(t),...,α_i(t),...,α_N(t))。

利用本方法，以网络中的节点14为例，第1次迭代中根据自动学习机L₁₄的状态概率向量p₁₄＝(0.2,0.2,0.2,0.2,0.2)，得到自动学习机L₁₄选择每一个状态的概率均为0.2，自动学习机L₁₄随机选择了第3个状态，即α₁₄(1)＝α_14,3＝3。网络中所有的自动学习机的状态组成了元胞自动学习机的状态向量，第1次迭代得到的元胞自动学习机的状态向量S(1)如图3所示。

3.对元胞自动学习机的状态向量进行解码，获得对应的社团。在t次迭代时，对元胞自动学习机的状态向量S(t)＝(α₁(t),α₂(t),...,α_i(t),...,α_N(t))进行解码，获得对应的社团，用向量C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))来表示，其中c_i(t)表示节点i属于社团c_i(t)。

利用本方法，第1次迭代得到的社团向量C(1)及对应的社团如图4所示，得到的社团中不同的社团采用不同的标记表示。以网络中的节点14为例，c₁₄(1)＝2表明节点14在第一次迭代时被划分到了社团2。

4.计算响应信号。在t次迭代时，计算所获得的社团C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))的模块度Q(t)，对于每个自动学习机L_i，根据其选择的状态α_i(t)＝α_iq和获得的社团结构的模块度Q(t)，按照响应信号计算规则计算自动学习机L_i获得的响应信号β_i(t)。

利用本方法，第1次迭代得到的社团结构的模块度Q(1)＝0.3496。以网络中的节点14为例，按照响应信号计算规则，第1次迭代时自动学习机L₁₄获得了奖励信号β₁₄(1)＝0。

步骤5.更新元胞自动学习机。在t次迭代时，对于每个自动学习机L_i，根据其选择的状态α_i(t)和获得的响应信号β_i(t)，按照自动学习机更新规则更新自动学习机L_i的状态概率向量p_i、选择向量Z_i和奖励向量W_i。

利用本方法，以网络中的节点14为例，在第一次迭代中，由于自动学习机L₁₄选择的状态α₁₄(1)＝α_14,3，并且获得了奖励信号β₁₄(1)＝0，所以选择向量更新为Z₁₄＝(0,0,1,0,0)，奖励向量更新为W₁₄＝(0,0,1,0,0)，人工设定奖励系数a＝0.1，状态概率向量更新为p₁₄＝(0.18,0.18,0.28,0.18,0.18)。

步骤6.社团结构比较。将第t次迭代得到的社团C(t)与之前T次迭代得到的社团C(t-T),C(t-T+1),…,C(t-1)进行比较，其中T是人工设定的比较范围。如果C(t)与C(t-T),C(t-T+1),…,C(t-1)均相同，那么迭代终止，输出最终的社团；否则，返回第2步继续生成元胞自动学习机的状态向量。

利用本方法，人工设定比较范围T＝4，在第72次迭代时，满足社团C(72)＝C(71)＝C(70)＝C(69)＝C(68)，所以迭代终止，最终得到的元胞自动学习机的状态向量S(72)、社团向量C(72)以及对应的社团结构，如图5所示,最终得到的社团结构共包含4个社团，在图中采用不同的颜色表示。

以上实验使用典型网络数据集，对本发明的方法流程进行了详细的说明。模块度是一个用于衡量社团结构优劣的非常重要的指标参数，经计算本方法在空手道俱乐部网络下得到的社团结构的模块度为0.4188，达到了理论上的最大值。此外，该实验结果与数据集的背景知识也基本一致，被划分进入正确社团的节点比例达到了97.06％。上述分析验证了本方法的准确性和有效性。

Claims (4)

1.一种基于元胞自动学习机的网络社团挖掘方法，其特点在于：该方法包括以下步骤：

S1、构建待测复杂网络G的邻接矩阵A，并为复杂网络中的每个节点i分配一个自动学习机L_i＝{α_i,β_i,p_i}，其中，α_i、β_i、p_i分别表示自动学习机L_i的状态集合、响应集合和状态概率向量，i＝1,2,...,N；

将所有的自动学习机通过复杂网络中的边进行连接，构成元胞自动学习机U＝{G,L,S}，其中，G为待测复杂网络，用来表示元胞自动学习机的底层拓扑结构，L表示网络中所有自动学习机的集合，S表示网络中所有自动学习机的状态所组成的状态向量；

初始化网络中每个自动学习机L_i的状态概率向量选择向量奖励向量令p_ij＝1/r_i，Z_ij＝0，W_ij＝0，j＝1,2,...,r_i，i＝1,2,...,N，其中，p_ij表示自动学习机L_i选择第j个状态的概率，Z_ij表示自动学习机L_i目前选择第j个状态的次数，W_ij表示自动学习机L_i目前奖励第j个状态的次数，r_i表示自动学习机L_i的状态集合α_i的基数；

初始化迭代次数t，令t＝1；

S2、生成元胞自动学习机的状态向量S(t)＝(α₁(t),α₂(t),...,α_i(t),...,α_N(t))：

在第t次迭代时，对于网络中的每个自动学习机L_i，根据其状态概率向量p_i，从状态集合α_i中随机选择一个状态α_i(t)，将网络中所有的自动学习机的状态组成元胞自动学习机在第t次迭代的状态向量S(t)＝(α₁(t),α₂(t),...,α_i(t),...,α_N(t))；

S3.对元胞自动学习机的状态向量进行解码，获得对应的社团C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))：

在第t次迭代时，对元胞自动学习机的状态向量

S(t)＝(α₁(t),α₂(t),...,α_i(t),...,α_N(t))进行解码，获得对应的社团

C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))，其中c_i(t)表示节点i属于社团c_i(t)；

所述的解码，是指在网络中根据元胞自动学习机的状态向量S(t)，遍历网络G中的所有节点，将每个节点i与状态α_i(t)合并为一个社团，最终得到对应的社团；

S4.计算响应信号β_i(t)：

在第t次迭代时，计算所获得的社团C(t)＝(c₁(t),c₂(t),...,c_i(t),...,c_N(t))的模块度Q(t)，公式如下：

$Q\left(t\right)=\frac{1}{2m}\underset{i,j=1}{\overset{N}{\Σ}}(A_{ij}-\frac{k_i{k}_j}{2m})\mathrm{\δ}\left(c_i\right(t),c_j(t\left)\right)---\left(1\right)$

其中，m是网络中边的总数，N是网络中节点的总数，A是网络的邻接矩阵，k_i是网络中节点i的度，δ(·)是克罗内克函数，c_i(t)是网络中节点i所隶属的社团的编号；

对于每个自动学习机L_i，根据其选择的状态α_i(t)＝α_iq和获得的社团结构的模块度Q(t)，计算自动学习机L_i获得的响应信号β_i(t)，公式如下：

其中，Q_best是目前所有迭代中获得的社团结构的最大模块度，k_i(c)是节点i与属于社团c的节点之间连边的数目，β_i(t)＝0表示响应信号是奖励，β_i(t)＝1表示响应信号是惩罚；

S5.更新元胞自动学习机：

在第t次迭代时，对于每个自动学习机L_i，根据其选择的状态α_i(t)和获得的响应信号β_i(t)，按照自动学习机更新规则更新自动学习机L_i的状态概率向量p_i、选择向量Z_i和奖励向量W_i；

所述的自动学习机更新规则分为三个阶段：

第一阶段，假定自动学习机L_i在t次迭代时选择的是第q个状态，即α_i(t)＝α_iq，按照(4)式对选择向量Z_i和奖励向量W_i进行更新：

$\left\{\begin{array}{c}{W}_{iq}=W_{iq}+(1-{\mathrm{\β}}_i(t\left)\right)\\ Z_{iq}=Z_{iq}+1\end{array}\right.---\left(4\right)$

第二阶段，按照(5)式计算自动学习机L_i的每一个状态在目前被奖励的概率：

$D_{ij}=\left\{\begin{array}{cc}{W}_{ij}/Z_{ij},& Z_{ij}>0\\ 0,& Z_{ij}=0\end{array}\right.---\left(5\right)$

其中，D_ij表示表示自动学习机L_i的第j个状态在目前被奖励的概率；

第三阶段，按照(6)式更新自动学习机L_i的状态概率向量p_i：

$p_{\mathrm{ij}}^{\′}=\left\{\begin{array}{cc}{p}_{\mathrm{ij}}+a(1-p_{\mathrm{ij}}),& j=\underset{q}{\arg \max }\left(D_{\mathrm{iq}}\right)\\ (1-a)p_{\mathrm{ij}},& j\≠\underset{q}{\arg \max }\left(D_{\mathrm{iq}}\right)\end{array}\right.---\left(6\right)$

其中，p_ij表示向量p_i的第j个元素；p′_i表示更新后的状态概率向量，其第j个元素表示为p′_ij；表示自动学习机L_i目前被奖励的概率最高的状态，a是人工设定的奖励系数；

S6.社团结构比较：

将第t次迭代得到的社团C(t)分别与之前T次迭代得到的社团C(t-T)、C(t-T+1),…,C(t-1)进行比较，其中，T是人工设定的比较范围：

当C(t)＝C(t-T)＝C(t-T+1)＝…＝C(t-1)，则终止迭代并输出社团C(t)，否则，t＝t+1并返回步骤S2。

2.根据权利要求1所述的基于元胞自动学习机的网络社团挖掘方法，其特征是，所述的自动学习机L_i的状态集合α_i是指网络中与节点i直接相连的所有节点的集合，即α_i＝{j|(i,j)∈E}，其中E为网络的边集合；

所述的自动学习机L_i的响应集合β_i是指自动学习机L_i所接收到的响应信号的取值集合，是一个二元集合{0,1}，其中0表示奖励，1表示惩罚；

所述的自动学习机L_i的状态概率向量满足下式：

且

所述的自动学习机L_i的选择向量Z_i是用来记录自动学习机L_i的每个状态目前被选择过的次数的向量

所述的自动学习机L_i的奖励向量W_i是用来记录自动学习机L_i的每个状态目前被奖励过的次数的向量

3.根据权利要求1所述的基于元胞自动学习机的网络社团挖掘方法，其特征是，所述的复杂网络G＝(V,E)，其中V＝{v_i|i＝1,2,...,N}是复杂网络G的节点集合，v_i表示第i个节点，N为复杂网络中节点的数量，E＝{e_ij＝(v_i,v_j)|i,j＝1,2,...,N}是复杂网络G的边集合，e_ij＝(v_i,v_j)表示网络中连接节点v_i和节点v_j的边；

所述的复杂网络G的邻接矩阵A是用来表示复杂网络G中节点之间的连接情况的N×N矩阵，A_ij＝1表示节点i和节点j之间有边相连；A_ij＝0表示节点i和节点j之间没有边直接相连。

4.根据权利要求1所述的基于元胞自动学习机的网络社团挖掘方法，其特征是，所述的步骤S4.中所述的节点i的度是指复杂网络中与节点i直接相连的所有节点的数目；

所述的克罗内克函数δ(·)，是指：

$\mathrm{\δ}(x,y)=\left\{\begin{array}{cc}1,& x=y\\ 0,& x\≠y\end{array}\right.---\left(2\right).$