CN105760426B - 一种面向在线社交网络的主题社区挖掘方法 - Google Patents
一种面向在线社交网络的主题社区挖掘方法 Download PDFInfo
- Publication number
- CN105760426B CN105760426B CN201610059166.XA CN201610059166A CN105760426B CN 105760426 B CN105760426 B CN 105760426B CN 201610059166 A CN201610059166 A CN 201610059166A CN 105760426 B CN105760426 B CN 105760426B
- Authority
- CN
- China
- Prior art keywords
- theme
- community
- user node
- feature
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000005065 mining Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 238000009412 basement excavation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种面向在线社交网络的主题社区挖掘方法,该方法是基于非负矩阵分解(Nonnegative Matrix Factorization,NMF)的主题社区挖掘方法,可以通过NMF模型统一集成用户节点链接和内容信息,并应用矩阵近似分解方法得到用户节点与社区之间的归属关系矩阵以及各社区与主题特征词之间的关联强度矩阵,从而可以利用分解矩阵信息直接挖掘主题社区。该方法不仅可以采用统一模型处理用户节点的链接和内容两类信息,而且挖掘过程更加简单有效,具备更好的挖掘质量,因此更适合实际应用于挖掘在线社交网络存在的主题社区。
Description
技术领域
本发明涉及在线社交网络服务技术领域,更具体的,涉及一种面向在线社交网络的主题社区挖掘方法。
背景技术
在线社交网络的主题社区挖掘不同于传统的只基于用户节点链接信息的社区挖掘,它综合考虑了用户节点的链接以及内容信息,从而可以获得成员节点链接紧密而且主题特征相似的社区。主题社区的挖掘结果在现实中更具有应用价值,例如可以为在线社交网络群体行为监测、舆情分析、电子商务运营商进行精准社会化营销以及广告投放等提供有力支持。
目前主题社区挖掘已成为在线社交网络社区挖掘问题新的研究热点,研究人员提出了一些具有代表性的方法,其中包括基于距离相似度计算的SACluster方法,基于概率模型的BAGC、LCTA、SNLDA方法以及基于图聚类模型的CODICIL方法等。总的来说,上述主题社区挖掘方法都存在如下问题:对用户节点链接信息和内容信息需要分别设计不同模型处理,社区挖掘过程需要划分多个阶段,从而造成挖掘过程过于复杂,并不适合实际应用。因此,现有主题社区挖掘方法仍有不断改善的空间,需要设计一种更加有效的方法。
发明内容
本发明针对现有方法存在的问题,提出一种面向在线社交网络的主题社区挖掘方法,该方法是基于非负矩阵分解(Nonnegative Matrix Factorization,NMF)的主题社区挖掘方法,可以通过NMF模型统一集成用户节点链接和内容信息,并应用矩阵近似分解方法得到用户节点与社区之间的归属关系矩阵以及各社区与主题特征词之间的关联强度矩阵,从而可以利用分解矩阵信息直接挖掘主题社区。该方法不仅可以采用统一模型处理用户节点的链接和内容两类信息,而且挖掘过程更加简单有效,具备更好的挖掘质量,因此更适合实际应用于挖掘在线社交网络存在的主题社区。
为了实现上述目的,本发明的技术方案为:
一种面向在线社交网络的主题社区挖掘方法,包括:
步骤1:形式化表示在线社交网络:
将在线社交网络形式化表示为无向图G=(V,E,T),其中V={v0,v1,...,vn-1}为用户节点集合,E={eij|vi∈V,vj∈V}为用户节点的链接边集合,T={t0,t1,...,tm-1}为主题特征词汇集合,且有n=|V|以及m=|T|;
步骤2:构建用户节点链接矩阵和主题特征词关联矩阵其中表示非负数,;
对于任意两个用户节点vi和vj,如果则X中对应的元素xij=xji=1,否则xij=xji=0;
由于能够从用户节点的内容信息中抽取出每个节点所关联的主题特征词集合,那么都能够关联一个主题特征词向量(y0i,y1i,...,y(m-1)i),其中yji用于表示用户节点vi在特征词tj的取值,所有用户节点关联的主题特征词向量计算完成后,则构成主题特征词关联矩阵Y;
步骤3:构建主题社区挖掘模型:
设社区挖掘数为k,令用于表示用户节点与主题社区的归属关系矩阵,用于表示主题社区之间的交互程度矩阵,表示主题特征词与主题社区的关联强度矩阵,表示非负数,则主题社区挖掘模型为:
其中上标T表示矩阵转置;下标F表示Frobenius范数;
步骤4:求解主题社区挖掘模型:
通过将最小化目标函数J(H,S,W)转化为典型的受限约束求极值问题,然后应用拉格朗日乘数方法进行求解;
步骤5:获取主题社区挖掘结果:
首先设定迭代次数t以及收敛阈值ω,随机初始化H,S以及W,然后迭代应用H,S以及W的乘性迭代求解规则,当迭代次数超过t或者则可以获得H,S以及W的局部最优解,
最后根据H获取k个主题社区:假定待挖掘的k个主题社区为C={c0,c1,...,ck-1},对于任意一个用户节点vi,其中hil表示用户节点i与主题社区l的归属强度,表示将节点i具有最大归属强度的社区序号赋值给p,则有cp=cp U{vi},
且对于任意一个社区ci,根据W对应的列向量Wi获取该社区关联的主题特征词。
优选的,用于表示用户节点vi在特征词tj的取值yji,其取值采用经典的词袋模型TF/IDF进行计算,即有:yji=fjilogn/nj,其中fji为特征词tj在用户节点vi内容文档中出现的次数,nj为包含特征词tj的用户节点数量。
优选的,所述步骤4中通过将最小化目标函数J(H,S,W)转化为典型的受限约束求极值问题,应用拉格朗日乘数方法进行求解,其具体操作过程为:
(1)构建J(H,S,W)的拉格朗日乘数函数L为:
L=J(H,S,W)+tr(αHT)+tr(βST)+tr(λWT),
其中α=[αij]n×k、β=[βpq]k×k和λ=[λab]m×k分别为H,S和W对应的拉格朗日乘数;
(2)引入Karush-Kuhn-Tucker条件,计算:
(3)令以及根据KKT平滑条件,有hijαij=0,spqβpq=0,wabλab=0,则可以分别获得H,S以及W的乘性迭代求解规则为:
与现有主题社区挖掘技术相比,本发明的有益效果在于:具有统一的模型处理用户节点的链接信息以及内容信息,可以根据模型求解结果直接获得主题社区挖掘结果,更适合实际操作应用,同时主题社区挖掘质量可得到更好的保证。
附图说明
图1是本发明方法的流程图。
图2是一个在线社交网络示例,其中每一个用户节点都关联有主题特征词。
图3是对在线社交网络示例进行主题社区挖掘的结果。
具体实施方式
下面结合图2所示的一个在线社交网络示例说明本发明方法的具体实施方式。
步骤1:形式化表示在线社交网络。对在线社交网络示例形式化表示为G=(V,E,T),其中V=(v0,v1,v2,v3,v4,v5,v6,v7),
E={e01,e04,e12,e24,e34,e45,e56,e57,e67},T={社交网络,大数据},n=8,m=2。
步骤2:构建用户节点链接矩阵和主题特征词关联矩阵根据V和E,可得到X为:
对于Y,需要首先依次计算各用户节点关联的主题特征词特征向量。以用户节点v4为例,该节点关联2个主题特征词:社交网络和大数据,并且各出现1次,由于t0=(社交网络),t1=(大数据),则有f04=1,f14=1,具有主题特征词社交网络的用户节点数n0=4,具有主题特征词大数据的用户节点数n1=5,可以计算y04=1×log9/4=0.35,y14=1×log9/5=0.26,则v4关联的主题特征词特征向量为(0.35,0.26)。同理可计算其它用户节点v0、v1、v2、v3、v5、v6以及v7的主题特征词特征向量分别为[0,0.26]、[0,0.26]、[0,0.26]、[0,0.26]、[0.35,0]、[0.35,0]以及[0.35,0],可得到Y为:
步骤3:构建主题社区挖掘模型。设定社区挖掘数k=2,令用于表示用户节点与主题社区的归属关系矩阵,用于表示主题社区之间的交互程度矩阵,表示主题特征词与主题社区的关联强度矩阵,构建的主题社区挖掘模型为:
步骤4:求解主题社区挖掘模型。通过如下乘性迭代规则求解:
步骤5:获取主题社区挖掘结果。设置迭代次数t=30,收敛阈值ω=15,使用非负值随机初始化H、S以及W,本示例的H、S以及W的随机初始化结果为:
迭代收敛后获得的H、S以及W的结果为:
根据H可判断待挖掘的2个主题社区c0和c1的成员,例如对于用户节点v0,其在H中对应的社区归属度分布向量为[0.03,0.68],0.68>0.03,所以c1=c1U{v0},同理,可判断其余用户节点的社区归属关系,最终的主题社区划分结果为:c0={v5,v6,v7},c1={v0,v1,v2,v3,v4}。此外,根据W可判断每一个主题社区的强关联主题特征词,对于社区c0,其在W对应的主题特征词关联强度分布向量为[0.89,0.00],可判断该社区的强关联主题特征词为t0=(社交网络),同理可判断社区c1的强关联主题特征词为t1=(大数据)。
以上所述的本发明的实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围之内。
Claims (3)
1.一种面向在线社交网络的主题社区挖掘方法,其特征包括:
步骤1:形式化表示在线社交网络:
将在线社交网络形式化表示为无向图G=(V,E,T),其中V={v0,v1,...,vn-1}为用户节点集合,E={eij|vi∈V,vj∈V}为用户节点的链接边集合,T={t0,t1,...,tm-1}为主题特征词汇集合,且有n=|V|以及m=|T|;
步骤2:构建用户节点链接矩阵和主题特征词关联矩阵其中表示非负数;
对于任意两个用户节点vi和vj,如果则X中对应的元素xij=xji=1,否则xij=xji=0;
由于能够从用户节点的内容信息中抽取出每个节点所关联的主题特征词集合,那么都能够关联一个主题特征词向量(y0i,y1i,...,y(m-1)i),其中yji用于表示用户节点vi在特征词tj的取值,所有用户节点关联的主题特征词向量计算完成后,则构成主题特征词关联矩阵Y;
步骤3:构建主题社区挖掘模型:
设社区挖掘数为k,令用于表示用户节点与主题社区的归属关系矩阵,用于表示主题社区之间的交互程度矩阵,表示主题特征词与主题社区的关联强度矩阵,表示非负数,则主题社区挖掘模型为:
其中上标T表示矩阵转置;下标F表示Frobenius范数;
步骤4:求解主题社区挖掘模型:
通过将最小化目标函数J(H,S,W)转化为典型的受限约束求极值问题,然后应用拉格朗日乘数方法进行求解;
步骤5:获取主题社区挖掘结果:
首先设定迭代次数t以及收敛阈值ω,随机初始化H,S以及W,然后迭代应用H,S以及W的乘性迭代求解规则,当迭代次数超过t或者则可以获得H,S以及W的局部最优解,最后根据H获取k个主题社区:假定待挖掘的k个主题社区为C={c0,c1,...,ck-1},对于任意一个用户节点vi,其中hil表示用户节点i与主题社区l的归属强度,表示将节点i具有最大归属强度的社区序号赋值给p,则有cp=cp U{vi}。;
且对于任意一个社区ci,根据W对应的列向量Wi获取该社区关联的主题特征词。
2.根据权利要求1所述的方法,其特征在于,用于表示用户节点vi在特征词tj的取值yji,其取值采用经典的词袋模型TF/IDF进行计算,即有:yji=fjilogn/nj,其中fji为特征词tj在用户节点vi内容文档中出现的次数,nj为包含特征词tj的用户节点数量。
3.根据权利要求1所述的方法,其特征在于,所述步骤4中通过将最小化目标函数J(H,S,W)转化为典型的受限约束求极值问题,应用拉格朗日乘数方法进行求解,其具体操作过程为:
(1)构建J(H,S,W)的拉格朗日乘数函数L为:
L=J(H,S,W)+tr(αHT)+tr(βST)+tr(λWT),
其中α=[αij]n×k、β=[βpq]k×k和λ=[λab]m×k分别为H,S和W对应的拉格朗日乘数;
(2)引入Karush-Kuhn-Tucker条件,计算:
(3)令以及根据KKT平滑条件,有hijαij=0,spqβpq=0,wabλab=0,则能够分别获得H,S以及W的乘性迭代求解规则为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610059166.XA CN105760426B (zh) | 2016-01-28 | 2016-01-28 | 一种面向在线社交网络的主题社区挖掘方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610059166.XA CN105760426B (zh) | 2016-01-28 | 2016-01-28 | 一种面向在线社交网络的主题社区挖掘方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105760426A CN105760426A (zh) | 2016-07-13 |
CN105760426B true CN105760426B (zh) | 2018-12-21 |
Family
ID=56342692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610059166.XA Active CN105760426B (zh) | 2016-01-28 | 2016-01-28 | 一种面向在线社交网络的主题社区挖掘方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105760426B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107608962A (zh) * | 2017-09-12 | 2018-01-19 | 电子科技大学 | 基于复杂网络的推特大选数据分析方法 |
CN109658277B (zh) * | 2018-11-30 | 2022-12-27 | 华南师范大学 | 一种学术社交网络好友推荐方法、系统和存储介质 |
CN109859063B (zh) * | 2019-01-18 | 2023-05-05 | 河北工业大学 | 一种社区发现方法、装置、存储介质及终端设备 |
CN114707044B (zh) * | 2021-12-29 | 2023-06-23 | 哈尔滨理工大学 | 基于社区发现的集体社交行为的提取方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102132308A (zh) * | 2008-08-20 | 2011-07-20 | 雅虎公司 | 在线社区中的信息分享 |
CN102270204A (zh) * | 2010-06-02 | 2011-12-07 | 上海佳艾商务信息咨询有限公司 | 一种基于矩阵分解对在线论坛用户影响力进行计算的方法 |
CN103914571A (zh) * | 2014-04-25 | 2014-07-09 | 南京大学 | 一种基于网格分割的三维模型检索方法 |
CN105138538A (zh) * | 2015-07-08 | 2015-12-09 | 清华大学 | 一种面向跨领域知识发现的主题挖掘方法 |
-
2016
- 2016-01-28 CN CN201610059166.XA patent/CN105760426B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102132308A (zh) * | 2008-08-20 | 2011-07-20 | 雅虎公司 | 在线社区中的信息分享 |
US8719258B2 (en) * | 2008-08-20 | 2014-05-06 | Yahoo! Inc. | Information sharing in an online community |
CN102270204A (zh) * | 2010-06-02 | 2011-12-07 | 上海佳艾商务信息咨询有限公司 | 一种基于矩阵分解对在线论坛用户影响力进行计算的方法 |
CN103914571A (zh) * | 2014-04-25 | 2014-07-09 | 南京大学 | 一种基于网格分割的三维模型检索方法 |
CN105138538A (zh) * | 2015-07-08 | 2015-12-09 | 清华大学 | 一种面向跨领域知识发现的主题挖掘方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105760426A (zh) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105760426B (zh) | 一种面向在线社交网络的主题社区挖掘方法 | |
Kawaguchi et al. | Bayesian optimization with exponential convergence | |
CN103793501B (zh) | 基于社交网络的主题社团发现方法 | |
US11100688B2 (en) | Methods and systems for encoding graphs | |
CN110659744A (zh) | 训练事件预测模型、评估操作事件的方法及装置 | |
CN110968701A (zh) | 用于图神经网络的关系图谱建立方法以及装置、设备 | |
CN107391542A (zh) | 一种基于文件知识图谱的开源软件社区专家推荐方法 | |
CN113486190B (zh) | 一种融合实体图像信息和实体类别信息的多模态知识表示方法 | |
CN109118155B (zh) | 一种生成操作模型的方法及装置 | |
CN107507028A (zh) | 用户偏好确定方法、装置、设备及存储介质 | |
CN109376544B (zh) | 一种防止复杂网络中的社团结构被深度挖掘的方法 | |
CN107480213B (zh) | 基于时序文本网络的社区检测与用户关系预测方法 | |
Niu et al. | A label-based evolutionary computing approach to dynamic community detection | |
CN111160847B (zh) | 一种处理流程信息的方法和装置 | |
CN105243083B (zh) | 文档主题挖掘方法及装置 | |
CN110010196A (zh) | 一种基于异质网的基因相似性搜索算法 | |
CN105630797B (zh) | 数据处理方法及系统 | |
CN109783805A (zh) | 一种网络社区用户识别方法及装置 | |
Jabot et al. | Non‐random correlation of species dynamics in tropical tree communities | |
CN107133268B (zh) | 一种用于Web服务推荐的协同过滤方法 | |
CN105447004B (zh) | 查询推荐词的挖掘、相关查询方法及装置 | |
CN108427730B (zh) | 一种基于随机游走和条件随机场的社会标签推荐方法 | |
CN109213869A (zh) | 基于多源数据的热点技术预测方法 | |
Gialampoukidis et al. | Community detection in complex networks based on DBSCAN* and a Martingale process | |
CN110956199A (zh) | 一种基于采样子图网络的节点分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |