CN108537342A - 一种基于邻居信息的网络表示学习方法及系统 - Google Patents

一种基于邻居信息的网络表示学习方法及系统 Download PDF

Info

Publication number
CN108537342A
CN108537342A CN201810180927.6A CN201810180927A CN108537342A CN 108537342 A CN108537342 A CN 108537342A CN 201810180927 A CN201810180927 A CN 201810180927A CN 108537342 A CN108537342 A CN 108537342A
Authority
CN
China
Prior art keywords
network
objective function
node
neighbor information
representation learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810180927.6A
Other languages
English (en)
Inventor
纪守领
杜天宇
陈建海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810180927.6A priority Critical patent/CN108537342A/zh
Publication of CN108537342A publication Critical patent/CN108537342A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于邻居信息的网络表示学习系统，包括：数据输入模块，将含各个网络节点关联信息的网络信息数据集输入所述的网络表示学习系统，构建并初始化各个网络节点的低维向量表示；目标函数构建模块，根据网络的一度关系和邻居信息构造网络的目标函数；目标函数优化模块，采用随机梯度下降算法对目标函数进行优化，得到各网络节点的最优向量表示；数据输出模块，输出学习到的网络节点的最优向量表示。本发明还公开了利用网络表示学习系统进行网络表示学习的方法。本发明的网络表示学习方法充分利用网络节点的邻居信息，可以解决网络结构一度关系稀疏性的问题，进而学习出更有代表性的节点向量。

Description

一种基于邻居信息的网络表示学习方法及系统
技术领域
本发明涉及网络表示学习技术领域，尤其涉及一种基于邻居信息的网络表示学习方法及系统。
背景技术
真实世界中的实体互相交互形成了大规模复杂网络。传统的网络分析技术将每个网络节点看作唯一的符号，这种方法存在的稀疏性问题极大地影响了个性化推荐、异常检测等问题的效果。为了克服稀疏性问题，针对复杂网络分析的表示学习方法被提出。网络表示学习是将大规模网络中节点的信息编码到一个低维空间中，这种低维表示可以用来判断节点之间的距离远近、有无关系等，还可以作为分类和聚类等任务的特征向量。
对于真实世界中的网络，节点往往拥有其他的附加信息。例如，在真实世界的电商平台中，一些卖家为了提升店铺的排名和销量通常会雇佣水军来进行刷单，恶意的刷单用户和正常的普通用户之间通常会形成一种群聚关系，即刷单用户与刷单店铺进行交易的比例占刷单用户总交易笔数较大，而普通用户与刷单店铺进行交易的比例占普通用户总交易笔数较小。这种群聚关系将他们约束在一个相似的群体中，利用这种关系可以解决网络结构一度关系稀疏性的问题，进而学习出更有代表性的节点向量以便进行后续的一些分析工作，例如识别恶意买家和卖家等。目前已有的工作，并没有将这种邻居信息考虑到表示向量的学习当中。
因此，同时考虑网络结构信息以及邻居信息对于学习更好的节点表示是十分必要的。
发明内容
本发明提供了一种基于邻居信息的网络表示学习方法，该方法可以充分利用已有信息，提高网络节点表示的质量。
本发明提供了如下技术方案：
一种基于邻居信息的网络表示学习方法，包括以下步骤：
(1)构建包含各个网络节点关联信息的网络信息数据集，所述关联信息用于表示网络的结构，构建并初始化各个网络节点的低维向量表示；
(2)根据网络的一度关系和邻居信息构造网络的目标函数；
(3)采用随机梯度下降算法对目标函数进行优化，得到各网络节点的最优向量表示；
(4)输出学习到的网络节点的最优向量表示。
在网络中，如果两个节点之间存在边，那么这两个节点就互为邻居。
本发明的网络表示学习方法结合网络节点的网络结构信息及邻居信息，充分利用网络节点的邻居信息，可以解决网络结构一度关系稀疏性的问题，进而学习出更有代表性的节点向量，以便进行后续的一些分析工作，如分类、聚类、推荐等。
本发明的网络表示学习方法适用于同构网络和异构网络两种不同类型的网络结构，具有较好的扩展性。
步骤(2)中，所述的目标函数通式为：
其中，为一度关系目标函数；为邻居信息目标函数；α为常数，表示背景向量的影响系数。背景向量的影响系数可根据具体的实际需要进行设定。
所述的通式为：
其中，S为网络中节点的个数；N(i)表示节点i的邻居数；D(x，y)为距离度量函数；vi为节点i的向量表示；表示节点i针对其每个邻居节点j(j＝1，2，...，N(i))的背景向量(context vector)。
背景向量的计算公式为：
其中，N(j)表示节点j的邻居数；vk表示除了节点i之外的所有节点j的邻居节点向量。
针对不同的网络类型，一度关系目标函数不同。
针对同构网络，用节点的联合概率分布来衡量网络结构中的一度关系，其一度关系目标函数表示为：
其中，K是负样本个数，E表示期望，vn是负样本(和节点vi不存在边关系的节点)，Pn(v)是负样本的采样概率分布，vn～Pn(v)表示采样过程。
为了使每一个训练样本仅仅改变一小部分参数，在所述的一度关系目标函数中，第二项利用了负采样算法。
为了和一度关系目标函数的形式保持一致，将邻居信息目标函数变形，表示为：
综合同构网络的一度关系目标函数和邻居信息目标函数，得到的同构网络的最终目标函数为：
针对异构网络(如，推荐系统)，学习节点的向量表示的基础任务是用两个节点向量的乘积去拟合预测评分，其一度关系目标函数为：
其中，S是用户节点集合，μ是常数项，bi、bj分别为节点i、j的偏置向量，lij为实际评分，为正则项。
假设节点A和节点B之间有边，且将邻居节点向量的平均值作为该节点的背景向量，那么节点A的向量应和节点B的背景向量相似，这种相似性用欧式距离来衡量，则异构网络的邻居信息目标函数为：
综合异构网络的一度关系目标函数和邻居信息目标函数，得到异构网络的最终目标函数为：
优选的，步骤(3)中，采用随机梯度下降算法对目标函数进行优化，包括：
(3-1)计算目标函数对每个参数的梯度；
(3-2)根据设定的学习速率，利用随机梯度下降算法最小化目标函数；
(3-3)重复步骤(3-1)和(3-2)直至目标函数收敛或迭代次数达到设定的最大迭代次数，得到各节点的最优向量表示。
优选的，步骤(3-1)中，对同构网络的目标函数的梯度求解方式为：
对异构网络的目标函数的梯度求解方式为：
优选的，设定的学习速率为0.001。
优选的，设定的最大迭代次数为1000。
本发明还提供了一种基于邻居信息的网络表示学习系统，包括：
数据输入模块，将含各个网络节点关联信息的网络信息数据集输入所述的网络表示学习系统，构建并初始化各个网络节点的低维向量表示；
目标函数构建模块，根据网络的一度关系和邻居信息构造网络的目标函数；
目标函数优化模块，采用随机梯度下降算法对目标函数进行优化，得到各网络节点的最优向量表示；
数据输出模块，输出学习到的网络节点的最优向量表示。
与现有技术相比，本发明的有益效果为：
本发明的网络表示学习方法结合网络节点的网络结构信息及邻居信息，充分利用网络节点的邻居信息，可以解决网络结构一度关系稀疏性的问题，进而学习出更有代表性的节点向量，以便进行后续的一些分析工作，如分类、聚类、推荐等。
附图说明
图1为本发明的网络表示学习系统的架构示意图；
图2为本发明的网络表示学习方法的流程示意图；
图3为在同构网络下网络表示学习方法的实施流程示意图。
具体实施方式
本发明提出的基于邻居信息的网络表示学习系统通过四个模块实现：数据输入模块、目标函数构建模块、目标函数优化模块、数据输出模块，其系统架构如图1所示。
基于网络表示学习系统的网络表示学习方法流程如图1所示。由于不同的网络结构仅在目标函数上有细微差别，其余部分完全相同，因此在下面的实例中仅以同构网络为例，并结合附图对上述方法进行更加详细的介绍。
假设现有一用户需要学习包含5个节点的网络表示，用户使用本发明网络表示学习系统进行网络表示学习时，其流程如图3所示，具体步骤如下：
(1-1)将网络节点关联信息数据输入系统，系统将网络存储为(1，5)，(2，5)，...(4，5)等节点之间的关联信息，由这些关联信息可恢复出整个网络结构；
(1-2)设定节点的低维向量表示维数为4、并初始化每个节点的低维向量表示为[1，1，1，1]，因此系统中的参数一共有4×5＝20个。
(2-1)构建一度关系目标函数：针对同构网络，用节点的联合概率分布来衡量网络结构中的一度关系，其一度关系目标函数表示为：
其中，K是负样本个数，E表示期望，vn是负样本(和节点vi不存在边关系的节点)，Pn(v)是负样本的采样概率分布，vn～Pn(v)表示采样过程。一般取K＝5。
为了使每一个训练样本仅仅改变一小部分参数，在所述的一度关系目标函数中，第二项利用了负采样算法。
(2-2)构建邻居信息目标函数：为了和一度关系目标函数的形式保持一致，将邻居信息目标函数变形，表示为：
(2-3)综合同构网络的一度关系目标函数和邻居信息目标函数，得到的同构网络的最终目标函数为：
其中，背景向量的影响系数α＝1；
(3-1)计算目标函数对每个参数的梯度，求解方式为：
(3-2)根据给定的学习速率(0.001)，利用随机梯度下降算法最小化目标函数；
(3-3)重复步骤(3-1)和(3-2)多次，直到目标函数收敛或迭代次数达到设定的最大迭代次数(1000次)；
(3-4)当目标函数收敛到最小值时，节点就学习到了最优向量表示，例如节点1的最优向量表示为V1＝[0.1，-0.5，0.9，-0.3]；
(4)用户读取学习到的网络节点最优向量表示，将其用于后续的各种网络分析任务，如分类、聚类、推荐等。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于邻居信息的网络表示学习方法，其特征在于，包括以下步骤：
(1)构建包含各个网络节点关联信息的网络信息数据集，所述关联信息用于表示网络的结构，构建并初始化各个网络节点的低维向量表示；
(2)根据网络的一度关系和邻居信息构造网络的目标函数；
(3)采用随机梯度下降算法对目标函数进行优化，得到各网络节点的最优向量表示；
(4)输出学习到的网络节点的最优向量表示。
2.根据权利要求1所述的基于邻居信息的网络表示学习方法，其特征在于，所述的目标函数通式为：
其中，为一度关系目标函数；为邻居信息目标函数；α为常数，表示背景向量的影响系数。背景向量的影响系数可根据具体的实际需要进行设定。
3.根据权利要求2所述的基于邻居信息的网络表示学习方法，其特征在于，所述的通式为：
其中，S为网络中节点的个数；N(i)表示节点i的邻居数；D(x，y)为距离度量函数；vi为节点i的向量表示；表示节点i针对其每个邻居节点j的背景向量，j＝1，2，K，N(i)。
4.根据权利要求3所述的基于邻居信息的网络表示学习方法，其特征在于，背景向量的计算公式为：
其中，N(j)表示节点j的邻居数；vk表示除了节点i之外的所有节点j的邻居节点向量。
5.根据权利要求4所述的基于邻居信息的网络表示学习方法，其特征在于，同构网络的目标函数为：
其中，K是负样本个数，E表示期望，vn是负样本(和节点vi不存在边关系的节点)，Pn(v)是负样本的采样概率分布，vn～Pn(v)表示采样过程。
6.根据权利要求4所述的基于邻居信息的网络表示学习方法，其特征在于，异构网络的目标函数为：
其中，S是用户节点集合，μ是常数项，bi、bj分别为节点i、j的偏置向量，lij为实际评分，为正则项。
7.根据权利要求1～6任一项所述的基于邻居信息的网络表示学习方法，其特征在于，步骤(3)中，采用随机梯度下降算法对目标函数进行优化，包括：
(3-1)计算目标函数对每个参数的梯度；
(3-2)根据设定的学习速率，利用随机梯度下降算法最小化目标函数；
(3-3)重复步骤(3-1)和(3-2)直至目标函数收敛或迭代次数达到设定的最大迭代次数，得到各节点的最优向量表示。
8.根据权利要求7所述的基于邻居信息的网络表示学习方法，其特征在于，步骤(3-1)中，对同构网络的目标函数的梯度求解方式为：
对异构网络的目标函数的梯度求解方式为：
9.一种基于邻居信息的网络表示学习系统，其特征在于，包括：
数据输入模块，将含各个网络节点关联信息的网络信息数据集输入所述的网络表示学习系统，构建并初始化各个网络节点的低维向量表示；
目标函数构建模块，根据网络的一度关系和邻居信息构造网络的目标函数；
目标函数优化模块，采用随机梯度下降算法对目标函数进行优化，得到各网络节点的最优向量表示；
数据输出模块，输出学习到的网络节点的最优向量表示。
CN201810180927.6A 2018-03-05 2018-03-05 一种基于邻居信息的网络表示学习方法及系统 Pending CN108537342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810180927.6A CN108537342A (zh) 2018-03-05 2018-03-05 一种基于邻居信息的网络表示学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810180927.6A CN108537342A (zh) 2018-03-05 2018-03-05 一种基于邻居信息的网络表示学习方法及系统

Publications (1)

Publication Number Publication Date
CN108537342A true CN108537342A (zh) 2018-09-14

Family

ID=63486579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810180927.6A Pending CN108537342A (zh) 2018-03-05 2018-03-05 一种基于邻居信息的网络表示学习方法及系统

Country Status (1)

Country Link
CN (1) CN108537342A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091005A (zh) * 2019-12-20 2020-05-01 北京邮电大学 一种基于元结构的无监督异质网络表示学习方法
CN111275189A (zh) * 2020-02-25 2020-06-12 支付宝(杭州)信息技术有限公司 一种网络表示学习方法、系统及装置
CN112600810A (zh) * 2020-12-07 2021-04-02 中山大学 一种基于图分类的以太坊网络钓鱼诈骗检测方法及装置
WO2023221659A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 表示学习方法及相关设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091005A (zh) * 2019-12-20 2020-05-01 北京邮电大学 一种基于元结构的无监督异质网络表示学习方法
CN111275189A (zh) * 2020-02-25 2020-06-12 支付宝(杭州)信息技术有限公司 一种网络表示学习方法、系统及装置
CN112600810A (zh) * 2020-12-07 2021-04-02 中山大学 一种基于图分类的以太坊网络钓鱼诈骗检测方法及装置
CN112600810B (zh) * 2020-12-07 2021-10-08 中山大学 一种基于图分类的以太坊网络钓鱼诈骗检测方法及装置
WO2023221659A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 表示学习方法及相关设备

Similar Documents

Publication Publication Date Title
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN108537342A (zh) 一种基于邻居信息的网络表示学习方法及系统
CN110138595A (zh) 动态加权网络的时间链路预测方法、装置、设备及介质
CN112381179B (zh) 一种基于双层注意力机制的异质图分类方法
CN112766229B (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN109447110A (zh) 综合邻居标签相关性特征和样本特征的多标签分类的方法
CN112200103A (zh) 一种基于图注意力的视频分析系统和方法
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN112364747A (zh) 一种有限样本下的目标检测方法
CN111488498A (zh) 基于图神经网络的“节点-图”跨层图匹配方法及系统
CN114742564B (zh) 一种融合复杂关系的虚假评论者群体检测方法
Wei et al. Center-aligned domain adaptation network for image classification
CN117036760A (zh) 一种基于图对比学习的多视图聚类模型实现方法
CN114973031A (zh) 一种无人机视角下的可见光-热红外图像目标检测方法
CN114254738A (zh) 双层演化的动态图卷积神经网络模型构建方法及应用
Zhang et al. Tree-shaped multiobjective evolutionary CNN for hyperspectral image classification
CN116597177B (zh) 一种基于双分支并行深度交互协同的多源图像块匹配方法
CN116662678A (zh) 一种采用异构图神经网络的社交兴趣嵌入方法
CN114841778B (zh) 一种基于动态图神经网络的商品推荐方法
CN112818982B (zh) 基于深度特征自相关性激活的农业害虫图像检测方法
CN114943016A (zh) 一种基于跨粒度联合训练的图对比表征学习方法及系统
CN112699271B (zh) 一种提升用户视频网站留存时间的推荐方法
CN113032612B (zh) 一种多目标图像检索模型的构建方法及检索方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914