CN111091475B - 一种基于非负矩阵分解的社交网络特征提取方法 - Google Patents
一种基于非负矩阵分解的社交网络特征提取方法 Download PDFInfo
- Publication number
- CN111091475B CN111091475B CN201911279182.XA CN201911279182A CN111091475B CN 111091475 B CN111091475 B CN 111091475B CN 201911279182 A CN201911279182 A CN 201911279182A CN 111091475 B CN111091475 B CN 111091475B
- Authority
- CN
- China
- Prior art keywords
- matrix
- view
- negative
- network
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 139
- 238000000605 extraction Methods 0.000 title claims abstract description 11
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011480 coordinate descent method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000003012 network analysis Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
技术领域
本发明属于网络科学领域,更具体地,涉及一种基于非负矩阵分解的社交网络特征提取方法。
背景技术
现实生活中物体之间的关系通常可以由一个网络来表示,物体作为网络中的节点,物体之间的关系作为网络中的边。更广义的角度来说,这种网络可以进一步用一张图来表示。网络科学领域的研究人员依靠传统的方法例如邻接矩阵等方式从复杂网络中提取特征。近年来,图数据处理的研究者开始广泛使用基于矩阵分解的方法,例如奇异值分解、非负矩阵分解等,将网络自动编码到低纬度的向量空间中。这种网络表示学习的方法相较传统方法更为轻松,而且在基于网络的相关任务中都展示了最先进的结果。目前该领域的研究主要集中在单视角网络,也就是只考虑网络中的节点之间存在的某一种关系。例如,专利CN109902203A公开了一种基于随机游走的单视角网络表示学习方法。
但是,由于节点之间往往存在不止一种类型的关系,网络中通常包含多个视角,每个视角反映了节点之间的一种类型的关系,显然每个视角都具有重要的意义。例如,在微博网络中,一个用户可以关注、点赞、转发以及评论另一个用户的博文,这四种关系可以抽象为这个网络的四个视角,分别描述了用户之间的四种不同的关系。显然这四种关系都反映了用户之间存在交互关系,但每个种关系背后反应的用户之间的亲密程度是不一样的。如何将网络的多个视角的信息同时映射到向量空间,是目前该领域需要发展的一个方向。
发明内容
针对现有技术的缺陷和改进需求,本发明提供了一种基于非负矩阵分解的社交网络特征提取方法,其目的在于准确地保留多视角网络的原始信息,并且得到更加鲁棒性的网络向量表示。
为实现上述目的,按照本发明的第一方面,提供了一种基于非负矩阵分解的社交网络特征提取方法,该方法包括以下步骤:
S1.计算K视角社交网络图的每个视角图的拉普拉斯矩阵Xk;
优选地,拉普拉斯矩阵Xk的计算公式如下:
其中,vol(Gk)表示图Gk邻接矩阵所有元素之和,b表示负采样数目,T表示窗口大小,Dk表示图Gk节点的度矩阵,Ak表示图Gk邻接矩阵。
优选地,进行L个阶段联合非负矩阵分解具体如下:
优选地,使用坐标下降法求解。
优选地,优化公式如下:
优选地,进行H个阶段独立非负矩阵分解具体如下:
优选地,得到网络向量后,计算用户节点之间的相似程度,用于向用户推荐好友。
为实现上述目的,按照本发明的第二方面,提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如第一方面的基于非负矩阵分解的社交网络特征提取方法。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
附图说明
图1为本发明实施例提供的一种基于非负矩阵分解的社交网络特征提取方法流程图;
图2为本发明实施例提供的2视角社交网络图特征提取过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提供了一种基于非负矩阵分解的社交网络特征提取方法,该方法包括以下步骤:
步骤S1.计算K视角社交网络图的每个视角图的拉普拉斯矩阵Xk,k=1,…,K。
如图2所示,多视角网络图中,黑色的点表示网络中的节点,虚线表示节点在视角之间的对齐关系,节点之间的实线表示节点之间的边。可以看到,多视角网络图中,每个视角中的节点集是完全一样的,由于不同的视角反映了节点之间不同的关系,因此对应的图的拓扑结构是不同的。以社交网络为例,将用户抽象为节点,用户之间不同的关系,例如,关注、点赞、转发等任何一种关系均可以被抽象为一个视角,进而构成一个多视角网络。以学术网络为例,将学术网络中的学者抽象为节点,学者之间的学术合作关系抽象为第一视角,学者之间学术引用关系抽象为第二个视角,这样可以得到一个多视角的学术网络。
根据图谱理论,计算每个视角图的拉普拉斯矩阵,从而将原始的图表示为一个计算机可以处理的矩阵。将拥有K个视角的多视角社交网络图中每个视角抽象为一个图G,定义其邻接矩阵为A,节点的度矩阵为D,vol(G)为邻接矩阵所有元素之和。并设置窗口大小为T,负采样数目为b。对于一个给定的节点,窗口大小用于限制与当前节点交互的邻居节点的数目,窗口越大,与之产生联系的邻居数目也越多。原始模型中存在大量的负样本,也就是与当前给定的节点没有产生联系的节点,如果直接优化会造成非常大的计算开销。因此,在实际计算中,通常采用负采样的手段从所有的负样本中采样一部分进行计算。
通常而言,窗口的大小太小,模型无法优化到最优解,窗口大小太大,则会引入额外的噪声,影响模型的性能,因此需要选择一个适中的窗口大小。对于负采样来说,负采样的数目越大计算复杂度越高,因此需要在效率与性能之间进行折中。本实施例中,设置窗口大小为T=5,负采样数目为b=5。
此外,所得的图拉普拉斯矩阵是经过了行归一化之后的结果,从而保证了每个节点的尺度一致,每一行的元素之和为1。根据图谱理论,所得的拉普拉斯矩阵可以保存原始图G的拓扑结构信息。
根据公式(1)求得第k个视角图Gk的拉普拉斯矩阵Xk:
其中,vol(Gk)表示图Gk邻接矩阵所有元素之和,b表示负采样数目,T表示窗口大小,Dk表示图Gk节点的度矩阵,Ak表示图Gk邻接矩阵。
多阶段的非负矩阵分解,允许先保留每个视角中的一致性信息,随后保留每个视角中的独立性信息,进而充分地保留原始网络所有视角的拓扑信息。多阶段的非负矩阵分解可以使得每一阶段的残差矩阵逐渐变得稀疏与低秩,从而矩阵分解的误差可以逐步降低,因此获得更好的网络表示学习效果。
本发明包括两种矩阵分解的策略——联合矩阵分解与独立矩阵分解,分别进行多个阶段。一般来说,执行分解的阶段越多,可以更好地降低矩阵分解的误差,但是耗费的计算时间也会相应增加。经验证,4个阶段的矩阵分解已经可以取得良好的表现。两种不同的分解规则,可以同时保留多视角网络中的一致性信息与独特性信息。
对所有视角的拉普拉斯矩阵Xk,进行L=4个阶段的联合非负矩阵分解:
其中,表示在第l个阶段第k个视角的残差矩阵,表示在第l阶段第k个视角的权重,γ表示超参数,通常选择一个大于5的实数,Ul表示在第l阶段第k个视角的非负矩阵分解的基矩阵,反映所有视角的一致性信息,表示在第l阶段第k个视角的非负矩阵分解的系数矩阵,K表示视角总数。
公式(2)~(3)是一个互相迭代的过程,并且随着迭代的过程残差矩阵会变得越来越稀疏。此外,由于Ul被所有视角共享(k=1,…,K),因此可以表示所有视角的一致性信息。
由于公式(2)在优化过程中不是凸函数,无法找到全局最优解。因此,使用坐标下降法求解。每次只优化中的一个变量,固定其他的所有变量,根据拉格朗日乘子法以及KKT条件(卡罗需-库恩-塔克条件,Karush-Kuhn-Tucker Conditions),得到以下的优化公式:
在L阶联合非负矩阵分解之后,将得到的残差矩阵进一步分解,从而可以有效的降低传统矩阵分解带来的误差。
公式(5)在每一个视角中为标准的非负矩阵分解过程,可以使用scikit-learn库中的NMF函数实现。公式(4)~(5)也是一个互相迭代的过程,并且随着迭代的过程残差矩阵会变得越来越稀疏。区别的是是每个视角私有的,因此可以表示各个视角的独特性信息。
由于随着算法的执行,残差矩阵会迅速变成一个稀疏矩阵,从而可以使用稀疏矩阵的保存方式存储在内存中。此外,算法的复杂度正比于残差矩阵中的非零元素的数目,因此算法的执行速度正比于网络中节点的数目与分解的阶数,具有比较高效的时间复杂度与空间复杂度。
步骤S4.将得到的所有的U矩阵在第二个维度级联,得到K视角社交网络图的特征向量。
将联合矩阵分解与独立矩阵分解得到的结果,最后采用级联的方式重新得到一个新的矩阵,作为网络最终的向量表示。值得注意的是,这个可以采用其他的方式,例如,深度神经网络,线性回归以及求和等方式,得到最终的向量表示,可以根据具体的场景需求灵活决定。
网络用N*d的向量Y表示, 表示级联运算。N行对应于N个节点(用户),d远小于N,这样可以将原始的网络高效的表示,避免使用邻接矩阵这种N*N的表示,节约了存储空间同时提高了后续任务的计算效率。对于给定的图,设置每次分解之后得到的矩阵U的第二个维度为16,第一个维度取决于网络中的节点数目。
获得了网络最终的向量表示之后,该向量的利用价值在于可以适用于后续的网络分析任务。在本实施例中,可以用来预测学术网络中学者们未来的学术合作关系。具体来说,对于每一位学者,已经获得了一个低维向量用来表示他(她),进而学者之间的亲密程度可以根据表示他们的向量的余弦距离来判断。如果两位学者的向量之间的余弦距离大于给定的某个阈值,就认为这两位学者具有强相似性,将来存在较大的学术合作概率。在社交网络中,当根据本发明提及的算法获得了用户的向量表示之后,类似于上述的实例,可以根据用户之间向量的相似程度(向量之间的余弦距离)为用户推荐新的好友。
如图2所示,本实施例中K=2,L=2,H=1。存在图G1邻接矩阵A1、图G2邻接矩阵A2。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于非负矩阵分解的社交网络特征提取方法,其特征在于,该方法包括以下步骤:
S1.计算K视角社交网络图的每个视角图的拉普拉斯矩阵Xk;
所述进行L个阶段联合非负矩阵分解具体如下:
3.如权利要求1所述的方法,其特征在于,进行L个阶段联合非负矩阵分解时,使用坐标下降法求解。
6.如权利要求1所述的方法,其特征在于,得到网络向量后,计算用户节点之间的相似程度,用于向用户推荐好友。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~6任一项所述的基于非负矩阵分解的社交网络特征提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911279182.XA CN111091475B (zh) | 2019-12-12 | 2019-12-12 | 一种基于非负矩阵分解的社交网络特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911279182.XA CN111091475B (zh) | 2019-12-12 | 2019-12-12 | 一种基于非负矩阵分解的社交网络特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111091475A CN111091475A (zh) | 2020-05-01 |
CN111091475B true CN111091475B (zh) | 2022-08-02 |
Family
ID=70395065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911279182.XA Active CN111091475B (zh) | 2019-12-12 | 2019-12-12 | 一种基于非负矩阵分解的社交网络特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091475B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113032722B (zh) * | 2021-03-29 | 2022-08-16 | 北京华大九天科技股份有限公司 | 一种电路仿真中减少矩阵分解的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102270241A (zh) * | 2011-08-16 | 2011-12-07 | 浙江大学 | 基于稀疏非负矩阵分解的图像检索方法 |
CN107016261A (zh) * | 2017-04-11 | 2017-08-04 | 曲阜师范大学 | 基于联合约束非负矩阵分解的差异表达基因辨识方法 |
CN108776812A (zh) * | 2018-05-31 | 2018-11-09 | 西安电子科技大学 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
CN109298633A (zh) * | 2018-10-09 | 2019-02-01 | 郑州轻工业学院 | 基于自适应分块非负矩阵分解的化工生产过程故障监测方法 |
CN110378423A (zh) * | 2019-07-22 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 特征提取方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
-
2019
- 2019-12-12 CN CN201911279182.XA patent/CN111091475B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102270241A (zh) * | 2011-08-16 | 2011-12-07 | 浙江大学 | 基于稀疏非负矩阵分解的图像检索方法 |
CN107016261A (zh) * | 2017-04-11 | 2017-08-04 | 曲阜师范大学 | 基于联合约束非负矩阵分解的差异表达基因辨识方法 |
CN108776812A (zh) * | 2018-05-31 | 2018-11-09 | 西安电子科技大学 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
CN109298633A (zh) * | 2018-10-09 | 2019-02-01 | 郑州轻工业学院 | 基于自适应分块非负矩阵分解的化工生产过程故障监测方法 |
CN110378423A (zh) * | 2019-07-22 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 特征提取方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
基于时空局部特征的人体行为识别方法研究;曹赛;《中国优秀硕士学位论文集》;20160415;全文 * |
基于联合矩阵分解的动态异质网络社区发现方法;黄瑞阳等;《计算机应用研究》;20161231(第10期);全文 * |
基于非负矩阵分解的人脸识别方法研究;汪雷;《中国优秀硕士学位论文集》;20190215;全文 * |
深度非负矩阵分解的链路预测方法研究;蔡菲等;《计算机工程与应用》;20191014(第15期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111091475A (zh) | 2020-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108108854B (zh) | 城市路网链路预测方法、系统及存储介质 | |
CN115688913B (zh) | 一种云边端协同个性化联邦学习方法、系统、设备及介质 | |
US20140204092A1 (en) | Classification of high dimensional data | |
CN113190688B (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及系统 | |
CN108280236B (zh) | 一种基于LargeVis的随机森林可视化数据分析方法 | |
CN112214499B (zh) | 图数据处理方法、装置、计算机设备和存储介质 | |
CN113807520A (zh) | 基于图神经网络的知识图谱对齐模型的训练方法 | |
Taherdangkoo et al. | A robust clustering method based on blind, naked mole-rats (BNMR) algorithm | |
CN112633481B (zh) | 一种多跳图卷积神经网络模型系统及训练方法 | |
CN112633482B (zh) | 一种高效宽度图卷积神经网络模型系统及训练方法 | |
CN108536844B (zh) | 一种文本增强的网络表示学习方法 | |
Yu et al. | Modeling spatial extremes via ensemble-of-trees of pairwise copulas | |
CN116010615A (zh) | 实体的对齐方法、装置、电子设备及计算机存储介质 | |
CN111091475B (zh) | 一种基于非负矩阵分解的社交网络特征提取方法 | |
Shaju et al. | Analysing effectiveness of grey theory-based feature selection for meteorological estimation models | |
CN113111193A (zh) | 知识图谱的数据处理方法及装置 | |
CN111738514B (zh) | 利用局部距离和节点秩优化函数的社交网络社区发现方法 | |
CN115564013B (zh) | 提高网络表示学习表示能力的方法、模型训练方法和系统 | |
CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和系统 | |
Alanazi | A mixture of regular vines for multiple dependencies | |
CN114330672A (zh) | 多信息聚合的图残差生成模型、分类方法、电子设备及存储介质 | |
CN114238504A (zh) | 面向电子政务的跨链数据查询及共识优化方法 | |
CN113807370A (zh) | 数据处理方法、装置、设备、存储介质及计算机程序产品 | |
Gkillas et al. | Resource efficient federated learning for deep anomaly detection in industrial IoT applications | |
Dennis et al. | Autoencoder-enhanced sum-product networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |