CN105760503B - 一种快速计算图节点相似度的方法 - Google Patents

Abstract

本发明公开了一种快速计算图节点相似度的方法，包括步骤：对于给定的图，进行路径采样并构建从节点到路径的倒排索引；对于所述图中的每个节点，根据所述倒排索引得到每个节点的共现路径节点，计算每个节点和所述共现路径节点之间的近邻相似度；对于所述图中的每个节点，选择top‑k个近邻相似点的相似值作为每个节点的特征向量；对于所述图中的每个节点的特征向量构建kd‑tree索引；根据所述kd‑tree索引，计算所述图中每个节点向量的top‑k个结构相似点。本发明具有如下优点：能够统一且快速地计算近邻和结构两种相似度。

Description

一种快速计算图节点相似度的方法

技术领域

本发明涉及数据挖掘领域，具体涉及一种快速计算图节点相似度的方法。

背景技术

计算图上两个点的相似度是许多网络分析任务的基础，也是很多数据挖掘算法的核心操作，例如聚类、图匹配以及对象检索等的核心都是对两个点相似度的估计。具体到领域应用，在学术合作网络上计算两个研究者的相似度，可以辅助专家推荐；在社交网络上计算两个用户的相似度，可以辅助好友推荐。在仅考虑网络拓扑的情况下，有研究者也将把其称之为结构相等。经调研可知，表示图上两个节点的结构相等一般有两个原则依据：一是两个节点的结构相等当且仅当它们的邻居相同；二是两个节点的结构相等当且仅当它们的的社会角色或者社会地位相等，而社会角色或者社会地位可以用中心度、紧密度、簇系数等网络特性来衡量。通常，基于第一种原则计算相似度得出的节点一般在距离上比较近，我们将其称之为近邻相似度；相反，基于第二种原则计算相似度得出的节点和距离远近没有关系，甚至两个完全不相连的节点，也可能非常相似，我们将其称之为结果相似度。

尽管计算网络中节点之间的相似度已经被很多人研究过，例如SimRank[Jeh,2002]是计算近邻相似度的典范，它的基本思想是两个点相似，当且仅当他们的邻居相似，所以算法本质上是个迭代方法。ReFex[Henderson,2011]是计算结构相似度的典范，它的基本思想是两个点相似，当且仅当他们的网络特性相似，例如度，簇系数，以及一度、二度、三都等邻居的度，簇系数的和值。然而传统方法的效率一般非常低。例如SimRank的时间复杂度是O(I|V|²d²)，其中I是迭代次数，|V|是网络中所有节点数，d是节点的平均度数。ReFex也是一个迭代算法，复杂度随着探测的邻居度数的增加而快速增加。近年来也涌现了一批加速方法，但是一般只有对近邻相似度的加速，例如[Lee,2012]，能够快速计算任意一个节点的Top-k个最相似的节点，对于结构相似度的加速几乎没有工作提及。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种快速计算图节点相似度的方法。

为了实现上述目的，本发明的实施例公开了一种快速计算图节点相似度的方法，包括以下步骤：S1：对于给定的图，进行路径采样并构建从节点到路径的倒排索引；S2：对于所述图中的每个节点，根据所述倒排索引得到每个节点的共现路径节点，计算每个节点和所述共现路径节点之间的近邻相似度；S3：对于所述图中的每个节点，选择近邻相似度最高的预设数量的近邻相似点的相似值作为每个节点的特征向量；S4：对于所述图中的每个节点的特征向量构建kd-tree索引；S5：根据所述kd-tree索引，计算所述图中每个节点向量相似度最高的预设数量的结构相似点。

根据本发明实施例的快速计算两种图节点相似度的方法，能够统一且快速地计算近邻和结构两种相似度。

另外，根据本发明上述实施例的快速计算两种图节点相似度的方法，还可以具有如下附加的技术特征：

进一步地，步骤S1进一步包括：S101：从给定图G＝(V,E,W)中等概率随机选择一个节点v_i，其中，V表示|V|个节点的集合，E表示|E|条边的集合，v_i表示一个节点，e_ij表示两个节点v_i和v_j之间的边，W表示权重矩阵，其中每一个元素w_ij表示v_i和v_j之间的权重，N(v_i)表示节点v_i的邻居节点集合，输出为网络G中每个节点v_i的相似度最高的预设数量的近邻相似节点和结构相似节点；S102：从节点v_i出发，按照节点之间的转移概率t_ij随机游走T步，生成T+1个节点的路径，转移概率t_ij的公式为：S103：更新所述从节点到路径的倒排索引。

进一步地，步骤S2进一步包括：S201：对于所述图中一个给定节点，从所述倒排索引中寻找所述给定节点出现的所有路径；S202：遍历每条路径上的每个节点，对所有与所述给定节点的共现路径的所述共现路径节点进行次数累加；S203：按照累加次数从高到低排序；S204：按照步骤S201至S203遍历所述图上的所有节点。

进一步地，所述近邻相似度的计算公式为：

θ(v_i)＝(S_RP(v_i,v₍₁₎),S_RP(v_i,v₍₂₎),...,S_RP(v_i,v_(D)))，

其中，SRP(vi,v(d))表示第d个与vi最相似的节点的相似度值，vi和vj之间的结构相似度可以用它们的特征向量之间的欧氏距离的倒数来表示。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的快速计算两种图节点相似度的方法的流程图；

图2是本发明一个示例的合作关系网络的示意图；

图3是本发明一个示例的结构相似度向量及相似度的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图描述根据本发明实施例的快速计算两种图节点相似度的方法。

图1是本发明一个实施例的快速计算两种图节点相似度的方法的流程图。请参考图1，一种快速计算图节点相似度的方法，包括以下步骤：

S1：对于给定的图，进行路径采样并构建从节点到路径的倒排索引。

在本发明的一个实施例中，步骤S1进一步包括：

S101：从给定图G＝(V,E,W)中等概率随机选择一个节点v_i。其中，V表示|V|个节点的集合，E表示|E|条边的集合，v_i表示一个节点，e_ij表示两个节点v_i和v_j之间的边，W表示权重矩阵，其中每一个元素w_ij表示v_i和v_j之间的权重，N(v_i)表示节点v_i的邻居节点集合，输出为网络G中每个节点v_i的相似度最高的预设数量的近邻相似节点和结构相似节点。

S102：从节点v_i出发，按照节点之间的转移概率t_ij随机游走T步，生成T+1个节点的路径，转移概率t_ij的公式为：

具体地，近邻相似度的基本思想是两个节点共现的路径条数越多，它们之间越相似。首先定义T-path的概念。一条T-path被定义为包含T+1个节点和T条边的序列p＝(v₁,…,v_T+1)。用符号Π来表示网络G中所有可能的T-path组成的集合。用w(p)表示一条路径的权重，可以灵活定义。基于上述定义，节点v_i和v_j之间的相似度可以表示为：

其中表示Π中同时包含v_i和v_j的路径集合。

要计算近邻相似度，需要枚举图中所有长度为一定值(例如T)的路径，其时间复杂度是以路径长度为底数呈指数递增。因此，从长度为T的全部路径中采样部分路径，假设采样R条，然后在该采样路径空间上近似计算路径相似度。为了采样一条路径，首先从全网中随机选取一个节点，然后从该节点开始执行T步随机游走。在随机游走的每一步中，其转移概率t_ij被定义为：

在无向带权图中，转移概率一般被简化为1/|N(v_i)||。如果一条包含T+1个节点的路径权重被定义所有两两节点之间转移概率的连乘，那么S_RP(v_i,v_j)＝|P_vi,_vj|/R,因为路径的权值已经被吸收到了随机游走的过程中。上述公式计算的时间复杂度是O(RT)，因为需要遍历R条路径。

S103：更新从节点到路径的倒排索引。

具体地，为了提高计算效率，为随机路径建立节点到路径的倒排索引。这样访问某一个节点的时间复杂度降为O(1)。那么计算的时间复杂度变为O(rT)，其中r是一个节点平均出现的路径条数，r与平均度数基本上成正比。

上述随机算法的一个核心参数是R，需要了解R设置为多少才能保证近似的精准度。研究表明该采样计算方法通过VC维理论可以证明当采样次数R满足以下公式时，采样计算结果与精确计算结果相比，可以以至少1-δ的概率达到ε的错误率。

其中c为常数,ε为错误率，1-δ为置信区间。可以看出，当给定错误率与置信区间时，采样次数仅与数据长度有关。实验验证，c一般设置为0.5，δ设置为0.1，ε设置为其中|E|是边的总数。

例如对图2示例的网络，在图上进行R＝3次采样，生成三条路径，p1＝(v0,v1,v3),p2＝(v2,v0,v1)以及p3＝(v4,v3,v1)。那么同时建立的倒排索引是v0->(p1,p2),v1->(p1,p2,p3),v2->(p2),v3->(p1,p3),v4->(p3)。

S2：对于所述图中的每个节点，根据所述倒排索引得到每个节点的共现路径节点，计算每个节点和所述共现路径节点之间的近邻相似度。在本发明的一个实施例中，步骤S2进一步包括：

S201：对于所述图中一个给定节点，从所述倒排索引中寻找所述给定节点出现的所有路径。

S202：遍历每条路径上的每个节点，对所有与所述给定节点的共现路径的所述共现路径节点进行次数累加。

S203：按照累加次数从高到低排序。

接着上述示例，要寻找v0的近邻相似点，首先查找它出现的路径，即p1和p2，然后遍历p1和p2上出现的点，累加后得出，v1出现两次，v2和v3各出现一次，那么SRP(v0,v1)＝2/3,SRP(v0,v2)＝1/3,SRP(v0,v3)＝1/3。然后把所有节点按照近邻相似度从高到低排序。

S3：对于所述图中的每个节点，选择top-k个近邻相似点的相似值作为每个节点的特征向量。

具体地，结构相似度的基本思想是两个节点结构相似当且仅当它们连接到其它节点的分布相似。为表征连接到其它节点的分布，本发明为每个节点构造一个D维的特征向量，采用近邻相似度计算出的Top-D个最相似节点的相似度值作为从高到低每一维度的值：

θ(v_i)＝(S_RP(v_i,v₍₁₎),S_RP(v_i,v₍₂₎),...,S_RP(v_i,v_(D)))

其中S_RP(v_i,v_(d))表示第d个与v_i最相似的节点的相似度值。最后，v_i和v_j之间的结构相似度可以用它们的特征向量之间的欧氏距离的倒数来表示。

在本发明的一个示例中，图3展示了三个不连通的子图中，按照该方法计算出左边子图中的v1与右下子图的v3的相似度大于右上子图的v2的相似度，而显然v3与v1的网络结构比v2更接近一些。可见该构造向量的方法有效地抓住了节点的结构特征。

S4：对于所述图中的每个节点的特征向量构建kd-tree索引。

具体地，给定一个向量，求与之最相似top-k向量，目前已有很多成熟的技术，例如kd-tree[Wald,2006]是一种经典的内存向量索引结构。在本专利实例中，我们使用kd-tree来提高相似向量的查找效率。Kd-tree是二分查找树的泛化形式，每个节点都是一个D维的向量。任给第h层的一个节点v，它的左子树的任何一个节点的第h％D(h除以D取余数)维的值都比v的第h％D维的值要小，它的右子树的任何一个节点的第h％D维的值都比v的第h％D维的值要大。

S5：根据所述kd-tree索引，计算所述图中每个节点向量的top-k个结构相似点。

具体地，基于构建的kd-tree可以快速查找任意一个向量的top-k相似向量。给定一个向量，如果恰好等于根节点，则返回；否则比较他的第一维的值是不是严格小于根节点的值，如果是，则继续比较左子树的根的第二维值，否则比较右子树的根。

近邻相似度的空间复杂度包括存储路径的复杂度O(RT)以及存储倒排索引的复杂度O(|V|d)。结构相似度需要额外的时间去构建kd-tree。其构建kd-tree的时间复杂度是O(|V|log|V|)。

另外，本发明实施例的快速计算两种图节点相似度的方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (4)

1.一种快速计算图节点相似度的方法，其特征在于，包括以下步骤：

S1：对于给定的图，进行路径采样并构建从节点到路径的倒排索引；

S2：对于所述图中的每个节点，根据所述倒排索引得到每个节点的共现路径节点，计算每个节点和所述共现路径节点之间的近邻相似度；

S3：对于所述图中的每个节点，选择近邻相似度最高的预设数量的近邻相似点的相似值作为每个节点的特征向量；

S4：对于所述图中的每个节点的特征向量构建kd-tree索引；

S5：根据所述kd-tree索引，计算所述图中每个节点向量相似度最高的预设数量的结构相似点。

2.根据权利要求1所述的快速计算图节点相似度的方法，其特征在于，步骤S1进一步包括：

S101：从给定图G＝(V,E,W)中等概率随机选择一个节点v_i，其中，V表示|V|个节点的集合，E表示|E|条边的集合，v_i表示一个节点，e_ij表示两个节点v_i和v_j之间的边，W表示权重矩阵，其中每一个元素w_ij表示v_i和v_j之间的权重，N(v_i)表示节点v_i的邻居节点集合，输出为网络G中每个节点v_i的相似度最高的预设数量的近邻相似节点和结构相似节点；

S102：从节点v_i出发，按照节点之间的转移概率t_ij随机游走T步，生成T+1个节点的路径，转移概率t_ij的公式为：

S103：更新所述从节点到路径的倒排索引。

3.根据权利要求1所述的快速计算图节点相似度的方法，其特征在于，步骤S2进一步包括：

S201：对于所述图中一个给定节点，从所述倒排索引中寻找所述给定节点出现的所有路径；

S202：遍历每条路径上的每个节点，对所有与所述给定节点的共现路径的所述共现路径节点进行次数累加；

S203：按照累加次数从高到低排序；

S204：按照步骤S201至S203遍历所述图上的所有节点。

4.根据权利要求2所述的快速计算图节点相似度的方法，其特征在于，所述近邻相似度的计算公式为：

θ(v_i)＝(S_RP(v_i,v₍₁₎),S_RP(v_i,v₍₂₎),...,S_RP(v_i,v_(D)))，

其中，SRP(vi,v(d))表示第d个与vi最相似的节点的相似度值，vi和vj之间的结构相似度可以用它们的特征向量之间的欧氏距离的倒数来表示。