CN113076422B - 一种基于联邦图神经网络的多语种社交事件检测方法 - Google Patents

一种基于联邦图神经网络的多语种社交事件检测方法 Download PDF

Info

Publication number
CN113076422B
CN113076422B CN202110406469.5A CN202110406469A CN113076422B CN 113076422 B CN113076422 B CN 113076422B CN 202110406469 A CN202110406469 A CN 202110406469A CN 113076422 B CN113076422 B CN 113076422B
Authority
CN
China
Prior art keywords
message
social
messages
model
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110406469.5A
Other languages
English (en)
Other versions
CN113076422A (zh
Inventor
林绅文
贺敏
毛洪亮
崔佳
徐小磊
王秀文
杨菁林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN202110406469.5A priority Critical patent/CN113076422B/zh
Publication of CN113076422A publication Critical patent/CN113076422A/zh
Application granted granted Critical
Publication of CN113076422B publication Critical patent/CN113076422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及社交事件检测技术领域，且公开了一种基于联邦图神经网络的多语种社交事件检测方法，包括以下步骤：S1：提取消息，将社交信息中的消息提取出来，然后将和消息有关的消息也提取出来当作异构图中的节点；S2：添加节点边，根据社交信息添加节点之间的边；S3：预训练阶段，使用图神经网络学习消息的表征，对消息图进行初始化并且初始化模型。本发明将社会信息中丰富的语义和结构信息融合在一起，以获取更多的知识，能够应对持续的社交检测事件，并使用动态社交流扩展其知识，可以实现不同语言模态数据环境下高准确性的事件检测，有效缓解了少样本的小语种事件检测难题。

Description

一种基于联邦图神经网络的多语种社交事件检测方法
技术领域
本发明涉及社交事件检测技术领域，具体为一种基于联邦图神经网络的多语种社交事件检测方法。
背景技术
社会事件突出了我们日常生活中的重大事件，这些重大事件普遍反映了社会的群体行为和公众广泛的关注，社会事件检测非常重要，它为我们针对不同事件及时做出反应提供了宝贵的意见，因此在危机管理、产品推荐、决策等领域有很多应用，近些年来，社会事件检测成为社交媒体挖掘的研究热点，越来越受到工业界的关注和探索。
自从社交事件引起广泛关注之后，就有许多针对社交事件检测的研究，随着人工智能在数据挖掘方面的深入应用，社交事件的检测又进入的一个新的阶段，强大的用户行为挖掘能力，更容易在多维的非结构化用户行为数据中，发掘出社交事件，自相关研究开展以来，为了更好地提升对社交事件的检测能力，主要方法有以下几类：1、基于纯文本数据的在线事件检测方法，2、基于纯文本数据的离线事件检测，3、社交数据事件检测方法，上述针对社交事件检测问题，都有较好的结果，但是上述方法中并不能有效利用社交数据之间的关系来进行社交事件检测，不能充分挖掘数据之间的相互关系，不能验证联邦迁移学习能有效解决小语种的少样本问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于联邦图神经网络的多语种社交事件检测方法，解决了一般的检测方法并不能有效利用社交数据之间的关系来进行社交事件检测，不能充分挖掘数据之间的相互关系，不能验证联邦迁移学习能有效解决小语种的少样本问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：
一种基于联邦图神经网络的多语种社交事件检测方法，包括以下步骤：
S1：提取消息，将社交信息中的消息提取出来，然后将和消息有关的消息也提取出来当作异构图中的节点；
S2：添加节点边，根据社交信息添加节点之间的边；
S3：预训练阶段，使用图神经网络学习消息的表征，对消息图进行初始化并且初始化模型；
S4：构建三元对比损失，对于每个消息mi，称为目标消息，采样一个该目标消息的正样本
Figure BDA0003022483280000021
和该目标消息属于同一类事件，再采样一个负样本
Figure BDA0003022483280000022
和该目标消息属于不同类事件，这三个消息共同组成三元组mi、
Figure BDA0003022483280000023
三元对比损失；
S5：检测阶段，基于消息学习到的表征进行消息聚类，用时序的消息流对消息图进行更新并完成每次消息流到来之后的事件检测；
S6：形成模型，利用联邦迁移学习，将模型迁移至多个语种之上；
S7：维护阶段，从消息中清除过时的消息，使用上一个阶段到达的数据对模型进行更新。
作为本发明再进一步的方案，所述S2中将异构社交图映射成一个同构消息图，同构消息图中只包含了消息节点，如果两个消息之间有相同的属性，例如有相同的用户，或相同的时间戳，则在它们之间建立一条边，以此构成本方法所需要的图数据类型。
进一步的，所述S3中学习消息表征时训练一个GNN编码器，在图神经网络中对消息的嵌入表示进行学习，将增量学习应用在模型中，当新的信息流输入模型时，模型并没有见过这些数据，此时使用注意力机制提取邻居节点信息并进行聚合，提取器和聚合器考虑的是源消息及其邻居消息的表征之间的相似性。
在前述方案的基础上，所述S5中聚类方法为DBSCAN，得到我们最终检测到的事件总数。
进一步的，所述S6中在模型迁移时首先衡量不同语言之间的差异，基于语言之间的差异，在进行模型迁移时对模型的参数和模型的内部进行修改，最终完成模型的迁移，将用户的数据都放在本地进行训练，最终使用联邦学习将参数进行融合，形成最终的模型。
在前述方案的基础上，所述S7中维护阶段允许模型忘记过时的消息，使用最新的消息流来维护最新的模型。
本发明再进一步的方案，所述过时的消息为5-10天前的消息。
(三)有益效果
与现有技术相比，本发明提供了一种基于联邦图神经网络的多语种社交事件检测方法，具备以下有益效果：
1、本发明设计了一个新的图神经网络模型，将社会信息中丰富的语义和结构信息融合在一起，以获取更多的知识，能够应对持续的社交检测事件，并使用动态社交流扩展其知识。
2、本发明使得正样本与目标消息的距离更近，负样本与目标消息的距离更远，在验证增量学习的有效性中，将数据集按时间构造成流式数据，将流式数据依次输入本方法的模型或选取的比较方法模型中，本发明的模型表现出了最准确的社交事件检测结果。
3、本发明可以处理不断变化的消息图，最终学习到的消息的表征包含着文本的语义，时序信息以及同构信息图的结构信息。
4、本发明通过使用DBSCAN聚类方法，并不需要指定需要聚类的总类别数是多少，而这也符合社交事件检测中在检测前并不知道有多少种类别的现实情况，提高了适用性，可以实现不同语言模态数据环境下高准确性的事件检测，有效缓解了少样本的小语种事件检测难题。
附图说明
图1为本发明提出的一种基于联邦图神经网络的多语种社交事件检测方法的流程结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，一种基于联邦图神经网络的多语种社交事件检测方法，包括以下步骤：
S1：提取消息，将社交信息中的消息提取出来，然后将和消息有关的消息也提取出来当作异构图中的节点；
S2：添加节点边，根据社交信息添加节点之间的边；
S3：预训练阶段，使用图神经网络学习消息的表征，对消息图进行初始化并且初始化模型，设计了一个新的图神经网络模型，将社会信息中丰富的语义和结构信息融合在一起，以获取更多的知识，能够应对持续的社交检测事件，并使用动态社交流扩展其知识；
S4：构建三元对比损失，对于每个消息mi，称为目标消息，采样一个该消息的正样本
Figure BDA0003022483280000041
和该消息属于同一类事件，再采样一个负样本
Figure BDA0003022483280000042
和该消息属于不同类事件，这三个消息共同组成三元组mi、
Figure BDA0003022483280000043
三元对比损失，使得正样本与目标消息的距离更近，负样本与目标消息的距离更远，在验证增量学习的有效性中，将数据集按时间构造成流式数据，将流式数据依次输入本方法的模型或选取的比较方法模型中，本发明的模型表现出了最准确的社交事件检测结果；
S5：检测阶段，基于消息学习到的表征进行消息聚类，用时序的消息流对消息图进行更新并完成每次消息流到来之后的事件检测，选取Word2vec，使用消息中所有单词的预训练Word2vec嵌入表示的均值作为表征，LDA，一个生成统计模型，通过建模底层的主题和单词分布来学习消息表征，WMD(Word Mover’s Distance)；
S6：形成模型，利用联邦迁移学习，将模型迁移至多个语种之上；
S7：维护阶段，从消息中清除过时的消息，使用上一个阶段到达的数据对模型进行更新。
本发明的S2中将异构社交图映射成一个同构消息图，同构消息图中只包含了消息节点，如果两个消息之间有相同的属性，例如有相同的用户，相同的时间戳，则在它们之间建立一条边，以此构成本方法所需要的图数据类型，S3中学习消息表征时训练一个GNN编码器，在图神经网络中对消息的嵌入表示进行学习，将增量学习应用在模型中，当新的信息流输入模型时，模型并没有见过这些数据，此时使用注意力机制提取邻居节点信息并进行聚合，提取器和聚合器考虑的是源消息及其邻居消息的表征之间的相似性，通过这种方式，可以处理不断变化的消息图，最终学习到的消息的表征包含着文本的语义，时序信息以及同构信息图的结构信息，S5中聚类方法为DBSCAN，得到我们最终检测到的事件总数，DBSCAN聚类方法并不需要指定需要聚类的总类别数是多少，而这也符合社交事件检测中在检测前并不知道有多少种类别的现实情况，提高了适用性，可以实现不同语言模态数据环境下高准确性的事件检测，有效缓解了少样本的小语种事件检测难题。
需要特别说明的是，S6中在模型迁移时首先衡量不同语言之间的差异，基于语言之间的差异，在进行模型迁移时对模型的参数和模型的内部进行修改，最终完成模型的迁移，将用户的数据都放在本地进行训练，可以保护数据隐私而不流出，最终使用联邦学习将参数进行融合，形成最终的模型，S7中维护阶段允许模型忘记过时的消息，使用最新的消息流来维护最新的模型，过时的消息为7天前的消息。
在该文中的描述中，需要说明的是，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于联邦图神经网络的多语种社交事件检测方法，其特征在于，包括以下步骤：
S1：提取消息，将社交信息中的消息提取出来，然后将和消息有关的消息也提取出来当作异构图中的节点；
S2：添加节点边，根据社交信息添加节点之间的边；
S3：预训练阶段，使用图神经网络学习消息的表征，对消息图进行初始化并且初始化模型；
S4：构建三元对比损失，对于每个消息mi，称为目标消息，采样一个该目标消息的正样本
Figure FDA0003022483270000011
和该目标消息属于同一类事件，再采样一个负样本
Figure FDA0003022483270000012
和该目标消息属于不同类事件，这三个消息共同组成三元组mi、
Figure FDA0003022483270000013
三元对比损失；
S5：检测阶段，基于消息学习到的表征进行消息聚类，用时序的消息流对消息图进行更新并完成每次消息流到来之后的事件检测；
S6：形成模型，利用联邦迁移学习，将模型迁移至多个语种之上；
S7：维护阶段，从消息中清除过时的消息，使用上一个阶段到达的数据对模型进行更新。
2.根据权利要求1所述的一种基于联邦图神经网络的多语种社交事件检测方法，其特征在于，所述S2中将异构社交图映射成一个同构消息图，同构消息图中只包含了消息节点，如果两个消息之间有相同的属性，即有相同的用户或相同的时间戳，则在它们之间建立一条边，以此构成本方法所需要的图数据类型。
3.根据权利要求1所述的一种基于联邦图神经网络的多语种社交事件检测方法，其特征在于，所述S3中学习消息表征时训练一个GNN编码器，在图神经网络中对消息的嵌入表示进行学习，将增量学习应用在模型中，当新的信息流输入模型时，模型并没有见过这些数据，此时使用注意力机制提取邻居节点信息并进行聚合，提取器和聚合器考虑的是源消息及其邻居消息的表征之间的相似性。
4.根据权利要求1所述的一种基于联邦图神经网络的多语种社交事件检测方法，其特征在于，所述S5中聚类方法为DBSCAN，得到我们最终检测到的事件总数。
5.根据权利要求1所述的一种基于联邦图神经网络的多语种社交事件检测方法，其特征在于，所述S6中在模型迁移时首先衡量不同语言之间的差异，基于语言之间的差异，在进行模型迁移时对模型的参数和模型的内部进行修改，最终完成模型的迁移，将用户的数据都放在本地进行训练，最终使用联邦学习将参数进行融合，形成最终的模型。
6.根据权利要求1所述的一种基于联邦图神经网络的多语种社交事件检测方法，其特征在于，所述S7中维护阶段允许模型忘记过时的消息，使用最新的消息流来维护最新的模型。
7.根据权利要求6所述的一种基于联邦图神经网络的多语种社交事件检测方法，其特征在于，所述过时的消息为5-10天前的消息。
CN202110406469.5A 2021-04-15 2021-04-15 一种基于联邦图神经网络的多语种社交事件检测方法 Active CN113076422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110406469.5A CN113076422B (zh) 2021-04-15 2021-04-15 一种基于联邦图神经网络的多语种社交事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110406469.5A CN113076422B (zh) 2021-04-15 2021-04-15 一种基于联邦图神经网络的多语种社交事件检测方法

Publications (2)

Publication Number Publication Date
CN113076422A CN113076422A (zh) 2021-07-06
CN113076422B true CN113076422B (zh) 2022-06-03

Family

ID=76617607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110406469.5A Active CN113076422B (zh) 2021-04-15 2021-04-15 一种基于联邦图神经网络的多语种社交事件检测方法

Country Status (1)

Country Link
CN (1) CN113076422B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743677B (zh) * 2021-09-16 2023-06-30 成都数融科技有限公司 基于联邦学习的个人信用评价模型训练方法及评价方法
CN113779423A (zh) * 2021-10-22 2021-12-10 平安科技（深圳）有限公司 一种模型参数调整方法、装置、电子设备和存储介质
CN114091669A (zh) * 2021-11-23 2022-02-25 支付宝(杭州)信息技术有限公司 一种基于事件的图神经网络训练方法及装置
CN114492647A (zh) * 2022-01-28 2022-05-13 中国银联股份有限公司 基于分布式图嵌入的联邦图聚类方法、装置及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428116A (zh) * 2020-06-08 2020-07-17 四川大学 一种基于深度神经网络的微博社交机器人检测方法
CN111598710A (zh) * 2020-05-11 2020-08-28 北京邮电大学 社交网络事件的检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104667B2 (en) * 2012-09-24 2015-08-11 International Business Machines Corporation Social media event detection and content-based retrieval

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598710A (zh) * 2020-05-11 2020-08-28 北京邮电大学 社交网络事件的检测方法和装置
CN111428116A (zh) * 2020-06-08 2020-07-17 四川大学 一种基于深度神经网络的微博社交机器人检测方法

Also Published As

Publication number Publication date
CN113076422A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN113076422B (zh) 一种基于联邦图神经网络的多语种社交事件检测方法
Compton et al. Geotagging one hundred million twitter accounts with total variation minimization
Volkova et al. Inferring user political preferences from streaming communications
Sankaranarayanan et al. Twitterstand: news in tweets
CN104268271B (zh) 一种兴趣和网络结构双内聚的社交网络社区发现方法
Takaffoli et al. Community evolution prediction in dynamic social networks
CN111782965A (zh) 意图推荐方法、装置、设备及存储介质
Do et al. Multiview deep learning for predicting twitter users' location
CN108549647B (zh) 基于SinglePass算法实现无标注语料主动预测移动客服领域中突发事件的方法
CN113515634B (zh) 基于分层异质图神经网络的社交媒体谣言检测方法及系统
CN111242218B (zh) 融合用户多属性信息的跨社交网络用户身份识别方法
CN104731958A (zh) 一种面向用户需求倾向的云制造服务推荐方法
CN107818183A (zh) 一种基于三阶段组合推荐技术的党建视频推送方法
CN113239111A (zh) 一种基于知识图谱的网络舆情可视化分析方法及系统
CN115438274A (zh) 基于异质图卷积网络的虚假新闻识别方法
Zheng et al. Learning‐based topic detection using multiple features
CN112084418B (zh) 一种基于邻居信息和属性网络表征学习的微博用户社团发现方法
Ruch Can x2vec save lives? integrating graph and language embeddings for automatic mental health classification
JP2021177284A (ja) 複数の投稿時系列データを用いた異常・変化推定方法、プログラム及び装置
CN106407271B (zh) 一种智能客服系统及其智能客服知识库的更新方法
Fabian et al. Privacy on Reddit? Towards Large-scale User Classification.
CN111737594B (zh) 基于无监督标签生成的虚拟网络角色行为塑造方法
CN110096506B (zh) 一种多层需求的树形胞元结构描述及存储方法
Wang Retracted: Multi‐data multiple gray clustering analysis based on layered mining for ubiquitous clouds and social internet of things
Gupta et al. An analytical review of sentiment analysis on twitter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant