CN112949281A - 一种图神经网络的增量社交事件检测方法 - Google Patents

Abstract

本发明公开一种图神经网络的增量社交事件检测方法，面对流式传入的社交网络数据，提取文本中的信息进行异构信息网络建模；获取同构网络；得到同构社交消息图；采用图注意力模型对同构消息图进行学习，以获取基于知识保留增量的消息编码；同时，对消息编码进行采样进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型；对图注意力模型进行检测得到的编码，进行聚类，得到社交事件。本发明将丰富的语义和结构信息充分融入到社交消息中，通过图神经网络保留从社交消息中获取的知识，采用对比学习技术，并且定期维护消息图，能够在不耗费过多资源的条件下提升事件检测的准确率。

Description

一种图神经网络的增量社交事件检测方法

技术领域

本发明属于社交网络事件检测技术领域，特别是涉及一种图神经网络的增量社交事件检测方法。

背景技术

随着互联网技术的发展，全球信息化数据呈现出爆发增长、海量集聚、传播迅速等特点，人类社会已然进入“大数据时代”，这对文化传播、社会治理等产生了重大影响，从海量数据中检测社交事件的技术越来越受到关注，并成为当下的热点。事件检测是指通过分析社交网络数据挖掘出真实社会中发生的事件的技术。与传统文本相比，社交消息按时间生成，流式传输；内容简短，常包含字典中没有的缩写词；包含各种类型的元素，包括文本，时间，主题标签和隐式社交网络结构，难以表征。传统的事件检测技术都存在一定问题。

社交消息的复杂性和流式传输特性给传统的事件检测技术带来巨大挑战，主要面临以下问题：数据实时传输、短文本表征困难、文本数量庞大。现有的社交事件检测方法可以分为Document-Pivot和Feature-Pivot两类。前者根据社交信息之间的相关性对其进行聚类，后者根据社交消息的元素(如实体、关键词)的分布来对其进行聚类。许多基于Document-Pivot的方法在计算文本相似度时，难以有效的利用社交消息中的信息，忽略了其隐含的结构信息，在短文本环境下这一缺点更加明显。许多基于Feature-Pivot的方法无法有效的检测到“发酵类事件”，只能捕获到事件爆发阶段，即随着时间的推移，相应的社交消息逐渐增多，削弱了事件检测效果。

发明内容

为了解决上述问题，本发明提出了一种图神经网络的增量社交事件检测方法，本发明面对流式传入的社交网络数据，将丰富的语义和结构信息充分融入到社交消息中，通过图神经网络保留从社交消息中获取的知识，采用对比学习技术，并且定期维护消息图，能够在不耗费过多资源的条件下提升事件检测的准确率。

为达到上述目的，本发明采用的技术方案是：一种图神经网络的增量社交事件检测方法，包括步骤：

S10,面对流式传入的社交网络数据，采用自然语言处理工具提取文本中的信息；根据提取信息，进行异构信息网络建模；

S20；所述异构信息网络通过匹配关系映射为同构网络A；对文本和时间戳编码，得到向量X，从而得到同构社交消息图G＝(X,A)；

S30,采用图注意力模型对同构消息图G进行学习，以获取基于知识保留增量的消息编码；同时，对消息编码进行采样进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型；

S40,根据训练得到的图注意力模型，进行检测得到G的编码，使用编码后的向量进行聚类，得到社交事件。

进一步的是，在所述步骤S10中，包括步骤：

S11,面对流式传入的社交网络数据，利用自然语言处理工具从社交网络数据中提取的信息包括社交消息、用户、命名实体和关键词；

S12,将社交消息、用户、命名实体、关键词信息作为异构信息网络的节点，分别表示为m,u,e,o；进而根据各个节点在社交消息中的共现关系建立异构信息网络。

进一步的是，在所述步骤S20中,包括步骤：

S21,根据匹配关系将异构信息网络映射为只有社交消息节点的同构网络A：

其中，W_mk表示异构信息网络的子矩阵，是类型为m和类型为k的节点之间的邻接矩阵，i，j为节点；

S22,利用预训练词向量模型将提取的关键词和命名实体信息进行统一编码，利用消息的时间戳构造时间向量，然后将两个向量拼接为一个向量X；

S23,进而利用A和X,得到同构社交消息图G＝(X,A)。

进一步的是，所述预训练词向量模型采用Glove预训练模型。

进一步的是，在所述步骤S30中，采用图注意力模型对同构消息图G进行学习，基于知识保留增量的消息编码，包括步骤：

S311,对于节点i,根据共享参数W提取邻居节点的有效信息；

S312,然后逐个计算节点i的邻居节点和节点i之间的相似系数，归一化之后得到注意力系数；

S313,根据所得到的注意力系数，融合邻域信息，并与节点i原有特征进行聚合，生成节点i的新特征；

S314,引入多头注意力机制，同时使用多个共享参数W，将多个新生成的节点i的表达合并为一个，得到编码。

进一步的是，在所述步骤S30中，对消息编码进行采样得到三元组，利用所获得的三元组进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型。

进一步的是，对消息编码进行采样得到三元组，利用所获得的三元组进行对比学习计算损失，包括步骤：

S321,对每一条社交消息m_i，从和它属于同一类的事件中随机采样一条消息m_i+，其他事件中随机采样一条消息m_i-，从而构成一个三元组(m_i,m_i+,m_i-)；

S322,利用所获得的三元组，计算损失：

其中，D(,)计算两个向量的欧氏距离；

是一个超参数，控制同类消息和不同类消息之间的距离；T是采样的三元组集合，

表示和消息i属于同一事件的消息中随机采样的一条文本的表征，

表示和消息i不属于同一事件的消息中随机采样的一条文本的表征，

表示第i条文本的表征。

进一步的是，为了更好的利用同构消息图的结构信息，我们定义了一个全局-局部损失，使得模型能够发现并保持局部结构特征。它通过最大化局部消息特征和同构消息图的总体特征的互信息来最小化交叉损失。对消息编码进行采样进行对比学习计算损失还包括全局-局部损失，在所述三元组计算损失的基础上，引入全局-局部损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型。

进一步的是，所述全局-局部损失为：

其中，s∈R^d′是所有消息嵌入的平均值；S(,)是一个线性得分函数，它输出两个操作来自联合分布的概率；N是社交消息的总数量。

进一步的是，在线场景中随着新消息的到来，社交消息图也会发生变化，从头再进行训练会增加不必要的时间和资源消耗。为了克服上述问题，基于增量环境下事件检测建立维护图注意力模型的方法，包括步骤：

在模型维护阶段，删除图中原有的消息信息，使用最新传入的社交消息，重新构建社交消息图G’,使用G’来训练新的图注意力模型，而原先学习到的知识通过图注意力模型的参数得以保留。

采用本技术方案的有益效果：

本发明为了更有效的利用社交消息中的各类元素，挖掘隐藏的社交结构信息，充分挖掘社交消息的信息；构造了异构社交消息同构建模方法，利用异构图表示社交消息，然后将其映射到社交消息的邻近矩阵上转化成同构图，将社交消息中的元素和时间戳向量化，构造了包含消息文本特征和时间特征的特征向量，可以有效的表达社交消息中的不同元素以及它们之间的关系，从而获得了更多的知识，因此模型效果要优于一般的消息表示和相似性度量方法。

本发明为了有效利用标签数据，设计了基于对比学习的模型训练方法。在线上环境中事件的总数不是固定的，通过构造社交消息三元组来避免这种问题。采用基于对比学习的可扩展训练方法，设计的三元组损失项相比一般的Softmax交叉熵损失技术突破了事件总数的限制，引入全局局部对损失项有助于模型在不需要标签的情况下从图结构中学习更多知识，提升了社交事件检测模型的准确率。基于对比学习的可扩展训练方法。由于在线场景中新事件不断出现，事件的总数是不固定的，不能直接使用Softmax交叉熵损失的分类技术，因此在训练过程中引入对比学习技术，设计了一个三元组损失项，对于每一个需要计算损失的消息采样一个同类消息作为正消息，采样一个不同类消息作为负消息，将正消息对与相应的负消息对进行对比，能够在不限制事件总数的情况下区分事件。此外引入了一个额外的全局局部对损失项，通过最小化二进制交叉熵来最大化本地消息表示和消息图的全局摘要之间的互信息，以更好地利用消息图的结构信息。全局局部对损失项不需要任何标签，适合于现实世界的场景。

本发明构建图注意力模型对消息进行编码，因为图注意力模型学习到的参数可以保存之前学习到的知识。结合对图注意力模型采样进行对比学习，实时计算损失，调整图注意编码模型，更好的编码有利于提高聚类后的检测结果的精确度。为了能够学习新来的消息，采用注意力机制考虑源消息及其相邻消息的表示之间的相似性，通过这种方式，模型处理不断变化的消息图，其中新的消息节点不断加入进来，模型甚至可以推广到完全未知的消息图。学习的表示是对模型关于消息知识进行的编码，这是自然语言语义、时间信息和同构消息图结构信息的融合。学习的参数保留了模型对社交数据本质的认知。能够在不耗费过多资源的条件下提升事件检测的准确率。

本发明为了更加适应真实的在线环境，解决社交消息图在动态变化的问题，本发明设计了基于知识保留的增量消息编码方法和增量环境下事件检测框架。整个生命周期包含预训练、检测和维护三个阶段。检测阶段根据图神经网络学习到的消息表示对消息进行聚类，将生成的消息类簇作为社交事件输出。然而，随着新消息的到来，社交图也会发生变化，从头再进行训练会增加不必要的时间和资源消耗。因此维护阶段定期从社交图中删除过时的消息，以保持最新的消息图结构，再使用新数据恢复训练过程。这样的推理维护设计利用了图神经网络的归纳学习能力。通过不断更新社交消息图来训练模型，避免了训练数据的不断增加，有效适应了社交消息流式传输的环境。设计的增量消息检测生命周期能够适应社交消息图的动态变化，定期从消息图中删除过时的消息节点和与其相关联的边缘，只对最新的消息块进行训练，从被删除的信息中学习到的知识以模型参数的形式保留下来。维护轻量级的消息图有助于减少时间和内存的消耗，并且比用所有消息进行训练的准确率更高。

附图说明

图1为本发明的一种图神经网络的增量社交事件检测方法的流程示意图；

图2为本发明的一种图神经网络的增量社交事件检测方法的原理框架示意图；

图3为本发明实施例中整个检测生命周期的原理框架示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实施例中，参见图1和2所示，本发明提出了一种图神经网络的增量社交事件检测方法，包括步骤：

S10,面对流式传入的社交网络数据，采用自然语言处理工具提取文本中的信息；根据提取信息，进行异构信息网络建模；

S20；所述异构信息网络通过匹配关系映射为同构网络A；对文本和时间戳编码，得到向量X，从而得到同构社交消息图G＝(X,A)；

S30,采用图注意力模型对同构消息图G进行学习，以获取基于知识保留增量的消息编码；同时，对消息编码进行采样进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型；

S40,根据训练得到的图注意力模型，进行检测得到G的编码，使用编码后的向量进行聚类，得到社交事件。

作为上述实施例的优化方案1，一种图神经网络的增量社交事件检测方法，包括步骤：

在所述步骤S10中，包括步骤：

S11,面对流式传入的社交网络数据，利用自然语言处理工具从社交网络数据中提取的信息包括社交消息、用户、命名实体和关键词；

S12,将社交消息、用户、命名实体、关键词信息作为异构信息网络的节点，分别表示为m,u,e,o；进而根据各个节点在社交消息中的共现关系建立异构信息网络。

在所述步骤S20中,包括步骤：

S21,根据匹配关系将异构信息网络映射为只有社交消息节点的同构网络A：

其中，W_mk表示异构信息网络的子矩阵，是类型为m和类型为k的节点之间的邻接矩阵，i，j为节点；

S22,利用预训练词向量模型将提取的关键词和命名实体信息进行统一编码，利用消息的时间戳构造时间向量，然后将两个向量拼接为一个向量X；

S23,进而利用A和X,得到同构社交消息图G＝(X,A)。

优选的，所述预训练词向量模型采用Glove预训练模型。

在所述步骤S30中，采用图注意力模型对同构消息图G进行学习，基于知识保留增量的消息编码，包括步骤：

S311,对于节点i,根据共享参数W提取邻居节点的有效信息；

S312,然后逐个计算节点i的邻居节点和节点i之间的相似系数，归一化之后得到注意力系数；

S313,根据所得到的注意力系数，融合邻域信息，并与节点i原有特征进行聚合，生成节点i的新特征；

S314,引入多头注意力机制，同时使用多个共享参数W，将多个新生成的节点i的表达合并为一个，得到编码。

在所述步骤S30中，同时，对消息编码进行采样进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型；

S40,根据训练得到的图注意力模型，进行检测得到G的编码，使用编码后的向量进行聚类，得到社交事件。

作为上述实施例的优化方案2，在所述步骤S30中，对消息编码进行采样得到三元组，利用所获得的三元组进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型。

对消息编码进行采样得到三元组，利用所获得的三元组进行对比学习计算损失，包括步骤：

S321,对每一条社交消息m_i，从和它属于同一类的事件中随机采样一条消息m_i+，其他事件中随机采样一条消息m_i-，从而构成一个三元组(m_i,m_i+,m_i-)；

S322,利用所获得的三元组，计算损失：

其中，D(,)计算两个向量的欧氏距离；

是一个超参数，控制同类消息和不同类消息之间的距离；T是采样的三元组集合，

表示和消息i属于同一事件的消息中随机采样的一条文本的表征，

表示和消息i不属于同一事件的消息中随机采样的一条文本的表征，

表示第i条文本的表征。

作为上述实施例的优化方案3，为了更好的利用同构消息图的结构信息，我们定义了一个全局-局部损失，使得模型能够发现并保持局部结构特征。它通过最大化局部消息特征和同构消息图的总体特征的互信息来最小化交叉损失。对消息编码进行采样进行对比学习计算损失还包括全局-局部损失，在所述三元组计算损失的基础上，引入全局-局部损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型。

所述全局-局部损失为：

其中，s∈R^d′是所有消息嵌入的平均值；S(,)是一个线性得分函数，它输出两个操作来自联合分布的概率；N是社交消息的总数量。

作为上述实施例的优化方案4，在线场景中随着新消息的到来，社交消息图也会发生变化，从头再进行训练会增加不必要的时间和资源消耗。为了克服上述问题，基于增量环境下事件检测建立维护图注意力模型的方法，包括步骤：

在模型维护阶段，删除图中原有的消息信息，使用最新传入的社交消息，重新构建社交消息图G’,使用G’来训练新的图注意力模型，而原先学习到的知识通过图注意力模型的参数得以保留。

如图3所示，将上述步骤融合进入整个检测声明周期后，步骤为：

步骤一：模型预训练，首先根据传入的数据，构造社交消息图G，并且训练图注意力模型，学习相应参数。

步骤二：根据不断传入的消息，更新社交消息图，利用训练的模型得到社交消息的向量表征，采用聚类算法检测事件。

步骤三：在模型维护阶段，删除图中原有的消息信息，使用最新传入的社交消息，重新构建社交消息图G’,使用G’来训练新的图注意力模型，而原先学习到的知识通过图注意力模型的参数得以保留。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种图神经网络的增量社交事件检测方法，其特征在于，包括步骤：

S10,面对流式传入的社交网络数据，采用自然语言处理工具提取文本中的信息；根据提取信息，进行异构信息网络建模；

S20；所述异构信息网络通过匹配关系映射为同构网络A；对文本和时间戳编码，得到向量X，从而得到同构社交消息图G＝(X,A)；

S30,采用图注意力模型对同构消息图G进行学习，以获取基于知识保留增量的消息编码；同时，对消息编码进行采样进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型；

S40,根据训练得到的图注意力模型，进行检测得到G的编码，使用编码后的向量进行聚类，得到社交事件。

2.根据权利要求1所述的一种图神经网络的增量社交事件检测方法，其特征在于，在所述步骤S10中，包括步骤：

S11,面对流式传入的社交网络数据，利用自然语言处理工具从社交网络数据中提取的信息包括社交消息、用户、命名实体和关键词；

S12,将社交消息、用户、命名实体、关键词信息作为异构信息网络的节点，分别表示为m,u,e,o；进而根据各个节点在社交消息中的共现关系建立异构信息网络。

3.根据权利要求2所述的一种图神经网络的增量社交事件检测方法，其特征在于，在所述步骤S20中,包括步骤：

S21,根据匹配关系将异构信息网络映射为只有社交消息节点的同构网络A：

其中，W_mk表示异构信息网络的子矩阵，是类型为m和类型为k的节点之间的邻接矩阵，i，j为节点；

S22,利用预训练词向量模型将提取的关键词和命名实体信息进行统一编码，利用消息的时间戳构造时间向量，然后将两个向量拼接为一个向量X；

S23,进而利用A和X,得到同构社交消息图G＝(X,A)。

4.根据权利要求3所述的一种图神经网络的增量社交事件检测方法，其特征在于，所述预训练词向量模型采用Glove预训练模型。

5.根据权利要求3所述的一种图神经网络的增量社交事件检测方法，其特征在于，在所述步骤S30中，采用图注意力模型对同构消息图G进行学习，基于知识保留增量的消息编码，包括步骤：

S311,对于节点i,根据共享参数W提取邻居节点的有效信息；

S312,然后逐个计算节点i的邻居节点和节点i之间的相似系数，归一化之后得到注意力系数；

S313,根据所得到的注意力系数，融合邻域信息，并与节点i原有特征进行聚合，生成节点i的新特征；

S314,引入多头注意力机制，同时使用多个共享参数W，将多个新生成的节点i的表达合并为一个，得到编码。

6.根据权利要求1或5所述的一种图神经网络的增量社交事件检测方法，其特征在于，在所述步骤S30中，对消息编码进行采样得到三元组，利用所获得的三元组进行对比学习计算损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型。

7.根据权利要求6所述的一种图神经网络的增量社交事件检测方法，其特征在于，对消息编码进行采样得到三元组，利用所获得的三元组进行对比学习计算损失，包括步骤：

S321,对每一条社交消息m_i，从和它属于同一类的事件中随机采样一条消息m_i+，其他事件中随机采样一条消息m_i-，从而构成一个三元组(m_i,m_i+,m_i-)；

S322,利用所获得的三元组，计算损失：

其中，D(,)计算两个向量的欧氏距离；

是一个超参数，控制同类消息和不同类消息之间的距离；T是采样的三元组集合，

表示和消息i属于同一事件的消息中随机采样的一条文本的表征，

表示和消息i不属于同一事件的消息中随机采样的一条文本的表征，

表示第i条文本的表征。

8.根据权利要求7所述的一种图神经网络的增量社交事件检测方法，其特征在于，对消息编码进行采样进行对比学习计算损失还包括全局-局部损失，在所述三元组计算损失的基础上，引入全局-局部损失，并且根据返回的损失调整图注意力模型的参数，训练图注意力模型。

9.根据权利要求8所述的一种图神经网络的增量社交事件检测方法，其特征在于，所述全局-局部损失为：

其中，s∈R^d′是所有消息嵌入的平均值；S(,)是一个线性得分函数，它输出两个操作来自联合分布的概率；N是社交消息的总数量。

10.根据权利要求1所述的一种图神经网络的增量社交事件检测方法，其特征在于，基于增量环境下事件检测建立维护图注意力模型的方法，包括步骤：

在模型维护阶段，删除图中原有的消息信息，使用最新传入的社交消息，重新构建社交消息图G’,使用G’来训练新的图注意力模型，而原先学习到的知识通过图注意力模型的参数得以保留。

Images