CN115659966A - 基于动态异构图和多级注意力的谣言检测方法及系统 - Google Patents

基于动态异构图和多级注意力的谣言检测方法及系统 Download PDF

Info

Publication number
CN115659966A
CN115659966A CN202211340799.XA CN202211340799A CN115659966A CN 115659966 A CN115659966 A CN 115659966A CN 202211340799 A CN202211340799 A CN 202211340799A CN 115659966 A CN115659966 A CN 115659966A
Authority
CN
China
Prior art keywords
vector
post
content
level
comment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211340799.XA
Other languages
English (en)
Inventor
陈羽中
朱文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202211340799.XA priority Critical patent/CN115659966A/zh
Publication of CN115659966A publication Critical patent/CN115659966A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本发明涉及一种基于动态异构图和多级注意力的谣言检测方法及系统，该方法包括以下步骤：步骤A：在社交平台中采集帖子，提取帖子中的文本内容、评论内容和相关用户信息，并标注帖子的真实性标签，以此构建训练数据集DE；步骤B：使用训练数据集DE训练基于动态异构图和多级注意力的深度学习网络模型，通过此模型来分析帖子的真实性，并预测帖子的真实性标签；步骤C：将待检测帖子的文本内容、评论内容和相关用户信息输入到训练好的深度学习网络模型中，得到帖子的真实性标签。该方法及系统有利于提高谣言检测的准确性。

Description

基于动态异构图和多级注意力的谣言检测方法及系统
技术领域
本发明属于自然语言处理领域，具体涉及一种基于动态异构图和多级注意力的谣言检测方法及系统。
背景技术
谣言检测(Rumor Detection)，也称为虚假新闻检测，是自然语言处理(NLP)领域的一项重要任务。随着互联网的迅速发展，微博、Twitter等社交软件逐渐成为人们生活中不可缺少的交流工具。同时，由于社交软件传播速度快、范围广，谣言也逐渐成为人们关注的一大焦点。在社交媒体中，谣言是一种以某些途径广泛传播且未经证实的信息表述，并通常使用虚假的或者伪造的图像以及煽动性的语言，误导读者并迅速传播。谣言的出现往往会给社会造成严重的危害和巨大的经济损失。尽管各社交媒体机构陆续开通了辟谣平台来加强对谣言的管控，但这些辟谣平台仍然需要依靠人工收集的信息来识别谣言真实性，非常耗时耗力。因此，迫切需要一种能够有效检测谣言的自动化方法。
随着深度学习方法研究的不断深入，许多研究人员也将深度学习模型应用到谣言检测领域中。其中最常用的神经网络是卷积神经网络(CNN)和循环神经网络(RNN)。CNN可以从文本中捕获局部语义信息，因此一些研究人员将它们应用于基于文本内容的谣言检测中。然而，该网络并不能充分学习句子中的上下文信息，而这对于建模文本的整体语义关系至关重要。因此，基于CNN的谣言检测模型的性能在谣言检测任务中受到了限制。针对这个问题，许多研究人员采用了RNN，例如长短期记忆(LSTM)和门控循环单元(GRU)，来提取文本的上下文语义信息。与CNN不同，RNN将一个句子视为一个词序列，按时间顺序取每个词，将隐藏层的输出作为下一个隐藏层的输入，不断学习序列数据中的上下文信息。但是，上述方法仅利用文本内容信息进行检测谣言，忽略了谣言传播的拓扑关系。
因此，一些研究人员研究了基于文本语义信息及其传播结构的谣言检测方法。通过对帖子的传播结构建模，构建传播图，并采用图神经网络聚合邻居节点的特征，从而捕获谣言的传播结构特征。Ma等人利用自顶向下和自低向上的树形递归神经网络来捕获谣言的语义信息和传播特征。Khoo等人使用Transformer网络中的多头注意力机制对帖子之间的长距离交互进行建模，提出一种帖子级注意力模型。Bian等人利用双向图卷积网络学习谣言的传播模式，捕捉谣言扩散的结构。Wu等人为每个谣言构建传播图，并使用门控图神经网络对关系路径上的相邻节点交换信息，更新节点的表示，从而增强传播图的节点表示。
此外，部分研究人员则尝试构建异构图为模拟谣言传播过程提供新的视角，并取得了出色的性能表现。Yuan等人将推文、转推和用户的全局关系建模成异构图，然后从帖子的内容和用户的传播关系中捕获局部语义信息和全局结构信息。Huang等人构建了推文-词-用户异构图，利用基于元路径的异构图注意力网络捕获文本内容的全局语义关系和推文传播的全局结构信息。Ran等人提出一种多通道图注意力网络，该网络分别对源推文与其评论的关系、源推文与其词的关系、源推文与其相关用户的关系进行建模构建三个子图，并设计一个事件共享模块学习不同事件谣言中的共性特征。但现有基于异构图的谣言检测方法通常使用常规的同构图神经网络，不能充分学习传播图中的结构信息，忽略了异构传播图中节点特定于自身类型的信息。其次，忽略了谣言传播的动态过程，无法捕获谣言动态传播的演化模式。因此使得模型性能提升不明显。
发明内容
本发明的目的在于提供一种基于动态异构图和多级注意力的谣言检测方法及系统，该方法及系统有利于提高谣言检测的准确性。
为实现上述目的，本发明采用的技术方案是：一种基于动态异构图和多级注意力的谣言检测方法，包括以下步骤：
步骤A：在社交平台中采集帖子，提取帖子中的文本内容、评论内容和相关用户信息，并标注帖子的真实性标签，以此构建训练数据集DE；
步骤B：使用训练数据集DE训练基于动态异构图和多级注意力的深度学习网络模型，通过此模型来分析帖子的真实性，并预测帖子的真实性标签；
步骤C：将待检测帖子的文本内容、评论内容和相关用户信息输入到训练好的深度学习网络模型中，得到帖子的真实性标签。
进一步地，所述步骤B具体包括以下步骤：
步骤B1：对训练数据集DE中的所有训练样本进行初始编码，得到文本内容的初始表征向量Es、评论内容的初始表征向量Er和用户初始表征向量Eu；
步骤B2：将步骤B1得到的文本内容初始表征向量Es和评论内容初始表征向量Er同时输入到一个多头交叉注意力机制中，得到评论内容的词级表征向量Cr，随后将文本内容初始表征向量Es输入到多头自注意力机制中，得到文本内容的词级表征向量Cs；然后通过把评论内容的词级表征向量Cr和文本内容的词级表征向量Cs分别输入到池化层中进行平均池化操作，得到评论内容的句子级表征向量
Figure BDA0003916173060000031
和文本内容的句子级表征向量
Figure BDA0003916173060000032
步骤B3：将帖子对应的所有评论内容的句子级表征向量
Figure BDA0003916173060000033
拼接起来，得到评论内容的句子级表征矩阵Tr，同时将文本内容的句子级表征向量
Figure BDA0003916173060000034
复制m次，得到文本内容的句子级表征矩阵Ts；随后将评论内容的句子级表征矩阵Tr和文本内容的句子级表征矩阵Ts一起输入到多头交叉注意力机制中，并通过平均池化得到评论内容的综合语义表征向量
Figure BDA0003916173060000035
然后将文本内容的句子级表征向量
Figure BDA0003916173060000036
和评论内容的综合语义表征向量
Figure BDA0003916173060000037
输入到融合门控机制中，得到帖子基于评论的文本细粒度语义表征向量Xsr；
步骤B4：根据用户转发或评论的时间，构建T个异构传播图快照G1，...，Gt，...，GT；将任意一个异构传播图快照输入到多层图神经网络HGN中，先得到帖子节点与邻接用户节点的注意力分布向量AHGN和邻接用户节点的信息表征向量IHGN；然后再将注意力分布作为权重聚合邻接用户节点的信息，得到第t个异构传播图快照中帖子节点的信息表征向量
Figure BDA0003916173060000038
并经过L层HGN后得到帖子节点si传播结构信息表征向量
Figure BDA0003916173060000039
步骤B5：将所有异构传播图快照G1，...，Gt，...，GT分别通过步骤B4，得到每个异构传播图快照的节点表征向量集
Figure BDA00039161730600000310
然后将各快照的节点表征向量集
Figure BDA00039161730600000311
分别输入到旋转记忆单元RUM中，得到快照记忆表征向量集ht；然后将帖子节点si在各快照中的记忆表征向量拼接，得到帖子节点si的记忆表征向量矩阵Hi；再将Hi输入到时序注意力中，并通过池化操作得到帖子节点si的动态信息表征向量Bs；
步骤B6：将步骤B3得到的帖子基于评论的文本细粒度语义表征向量Xsr与步骤B5得到的帖子的动态信息表征向量Bs相拼接，得到帖子最终表征向量Vf；随后将Vf输入全连接层和softmax函数，得到预测结果；然后根据目标损失函数loss，通过反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数；
步骤B7：当深度学习网络模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数，则终止深度学习网络模型的训练过程。
进一步地，所述步骤B1具体包括以下步骤：
步骤B11：对训练数据集DE进行遍历，同时对帖子的文本内容和评论内容进行分词处理并去除特殊符号和停用词，DE中的每个训练样本表示为de＝(si，Ri，Ui，c)；其中，si为帖子的文本内容，Ri为帖子si相应的评论集合，Ri＝{r1，…，rm}，Ui为参与转发或评论帖子si的用户信息集合，
Figure BDA0003916173060000041
p为帖子对应的真实性标签，c∈{非谣言，假谣言，真谣言，未经证实的谣言}；
帖子的文本内容si表示为：
Figure BDA0003916173060000042
其中，
Figure BDA0003916173060000043
为帖子文本内容si中的第t个词，t＝1，2，…，n，n为帖子文本内容si的词语数量；
帖子的评论内容rj表示为：
Figure BDA0003916173060000044
其中，
Figure BDA0003916173060000045
为评论内容rj中的第t个词，i＝1，2，…，m，m为评论内容rj的词语数量；
步骤B12：对步骤B11得到文本内容
Figure BDA0003916173060000046
进行编码，得到文本内容si的初始表征向量Es；Es表示为：
Figure BDA0003916173060000047
其中，
Figure BDA0003916173060000048
表示从预训练的词向量矩阵
Figure BDA0003916173060000049
中查找得到的词嵌入表征向量，
Figure BDA00039161730600000410
为第t个词
Figure BDA00039161730600000411
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|表示词典V中的词语数；
步骤B13：对步骤B11得到评论内容
Figure BDA00039161730600000412
进行编码，得到评论内容rj的初始表征向量Er；Er表示为：
Figure BDA00039161730600000413
其中，
Figure BDA00039161730600000414
表示从预训练的词向量矩阵
Figure BDA00039161730600000415
中查找得到的词嵌入表征向量，
Figure BDA00039161730600000416
表示第j个词
Figure BDA00039161730600000417
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|是词典V中的词语数；
步骤B14：通过将粉丝数量、关注数量、是否经过官方认证作为用户特征，对步骤B11得到用户信息uk进行编码，得到用户初始表征向量
Figure BDA00039161730600000418
其中d为特征向量的维度。
进一步地，所述步骤B2具体包括以下步骤：
步骤B21：将文本内容si的初始表征向量Es作为矩阵Q′，帖子相应评论内容集合Ri＝{r1，…，rm}的初始表征向量Er作为K′和V′，分别对帖子的每一条评论rj进行多头交叉注意力，得到评论内容的词级表征向量Cr，其计算过程如下：
Cr＝MultiHead(Es，Er，Er)
MultiHead(Q′，K′，V′)＝Concat(head1，…，headh)Wo
Figure BDA0003916173060000051
Figure BDA0003916173060000052
其中，MultiHead表示多头注意力机制，h是并行头数，
Figure BDA0003916173060000053
是线性投影的权重矩阵，
Figure BDA0003916173060000054
是比例因子，headi表示第i个注意力函数的输出，i∈[1，h]；
步骤B22：将文本内容初始表征向量Es作为矩阵Q′、K′和V′输入到多头自注意力机制中，得到文本内容的词级表征向量Cs，其计算过程如下：
Cs＝MultiHead(Es，Es，Es)
MultiHead(Q′，K′，V′)＝Concat(head1，…，headh)Wo
Figure BDA0003916173060000055
Figure BDA0003916173060000056
其中，MultiHead表示多头注意力机制，h是并行头数，
Figure BDA0003916173060000057
是线性投影的权重矩阵，
Figure BDA0003916173060000058
是比例因子，headi表示第i个注意力函数的输出，i∈[1，h]；
步骤B23：将评论内容的词级表征向量Cr和文本内容的词级表征向量Cs分别输入到池化层中进行平均池化操作，得到评论内容的句子级表征向量
Figure BDA0003916173060000059
和文本内容的句子级表征向量
Figure BDA00039161730600000510
其计算过程如下：
Figure BDA00039161730600000511
Figure BDA00039161730600000512
其中，
Figure BDA00039161730600000513
MeanPool(·)表示平均池化函数。
进一步地，所述步骤B3具体包括以下步骤：
步骤B31：将帖子相应所有评论内容的句子级表征向量
Figure BDA00039161730600000514
进行拼接，得到评论内容的句子级表征矩阵Tr，同时将文本内容的句子级表征向量
Figure BDA0003916173060000061
复制m次，得到文本内容的句子级表征矩阵Ts，其计算过程如下：
Figure BDA0003916173060000062
其中，矩阵
Figure BDA0003916173060000063
Figure BDA0003916173060000064
表示第t个评论的句子级表征向量；
步骤B32：将文本内容的句子级表征矩阵Ts作为Q′，评论内容的句子级表征矩阵Tr作为矩阵K′和V′，一起输入到多头交叉注意力机制中，并通过平均池化得到评论内容的综合语义表征向量
Figure BDA0003916173060000065
其计算过程如下：
Figure BDA0003916173060000066
T′＝MultiHead(Ts，Tr，Tr)
MultiHead(Q′，K′，V′)＝Concat(head1，…，headh)Wo
Figure BDA0003916173060000067
Figure BDA0003916173060000068
其中，MeanPool(·)表示平均池化函数，MultiHead表示多头注意力机制，h是并行头数，
Figure BDA0003916173060000069
是线性投影的权重矩阵，
Figure BDA00039161730600000610
是比例因子，headi表示第i个注意力函数的输出，i∈[1，h]；
步骤B33：将文本内容的句子级表征向量
Figure BDA00039161730600000611
和评论内容的综合语义表征向量
Figure BDA00039161730600000612
共同输入到融合门控机制中，得到帖子si基于评论的文本细粒度语义表征向量Xsr，其计算过程如下：
Figure BDA00039161730600000613
Figure BDA00039161730600000614
其中，σ(·)是sigmoid激活函数，
Figure BDA00039161730600000615
和
Figure BDA00039161730600000616
是融合门控机制中可学习参数。
进一步地，所述步骤B4具体包括以下步骤：
步骤B41：根据用户转发或评论的时间，设置T个快照时间点，构建T个异构传播图G1，...，Gt，...，GT；其中，Gt＝(Vt，Et)表示为第t个异构传播图快照，节点集Vt包含数据集DE在第t个时间点中的所有帖子节点、发布帖子的用户节点和转发或评论帖子的用户节点，边集合Vt包含发布、转发和评论关系；并将步骤B1得到的文本内容的初始表征向量Es和用户初始表征向量Eu作为各节点的初始表征向量；
步骤B42：将第t个异构传播图快照Gt＝(Vt，Et)输入到多层图神经网络HGN中，HGN为不同类型的节点和边提供相应的线性映射函数，最大程度建模不同类型节点的分布差异性，捕获不同节点对之间的语义关联，得到帖子节点si与邻接用户节点的注意力分布向量AHGN和邻接用户节点的信息表征向量IHGN，其计算过程如下：
Figure BDA0003916173060000071
Figure BDA0003916173060000072
Figure BDA0003916173060000073
Figure BDA0003916173060000074
AHGN＝Softmax(Concat(head1，…，headk))
IHGN＝Concat(Info_head1(u，e，si)，…，Info_headH(u，e，si))
其中，k∈[1，H]，τ(si)表示节点si的类型，φ(e)表示边e的类型，
Figure BDA0003916173060000075
Figure BDA0003916173060000076
分别表示为τ(si)和τ(u)类型节点的线性映射函数，
Figure BDA0003916173060000077
表示τ(u)类型节点的线性映射函数，
Figure BDA0003916173060000078
表示φ(e)类型边的权重矩阵，Concat(·)为拼接函数，H为并行头数；
步骤B43：将帖子si邻接的所有用户节点的注意力分布向量AHGN作为权重聚合所有邻接用户节点的信息表征向量IHGN，得到第t个异构传播图快照中帖子节点si的信息表征向量
Figure BDA0003916173060000079
并通过根节点增强得到节点si的增强信息表征向量
Figure BDA00039161730600000710
最后，经过L层HGN后得到帖子节点si传播结构信息表征向量
Figure BDA00039161730600000711
其计算过程如下：
Pu＝AHGN·IHGN
Figure BDA00039161730600000712
Figure BDA00039161730600000713
其中，
Figure BDA0003916173060000081
表示将帖子节点映射回对应类别的特征分布空间，σ(·)为非线性激活函数。
进一步地，所述步骤B5具体包括以下步骤：
步骤B51：将所有异构传播图快照G1，...，Gt，...，GT分别通过步骤B4，得到每个异构传播图快照的节点表征向量集
Figure BDA0003916173060000082
其中t表示第t个快照，i表示第i个帖子节点，d是每个节点嵌入的维度；在每个时间步长t，将节点表征向量集
Figure BDA0003916173060000083
作为zt输入到旋转记忆单元RUM中，得到快照记忆表征向量集
Figure BDA0003916173060000084
Figure BDA0003916173060000085
其计算过程如下：
Figure BDA0003916173060000086
Figure BDA0003916173060000087
ut＝sigmoid(u′t)
Figure BDA0003916173060000088
Figure BDA0003916173060000089
Figure BDA00039161730600000810
Figure BDA00039161730600000811
Figure BDA00039161730600000812
Figure BDA00039161730600000813
Figure BDA00039161730600000814
Figure BDA00039161730600000815
Figure BDA00039161730600000816
Figure BDA00039161730600000817
其中，σ(·)是非线性激活函数，⊙是逐元素矩阵乘法运算，
Figure BDA00039161730600000818
Figure BDA00039161730600000819
是可训练的参数，λ和η是可设置的系数，d是输入向量的维度，l是隐藏层神经元数，||·||是L2正则化操作；
步骤B52：将帖子节点si在各快照中的记忆表征向量拼接，得到帖子节点si的记忆表征向量矩阵Hi，
Figure BDA0003916173060000091
然后将Hi输入到时序注意力中，并通过池化操作得到帖子节点si的动态信息表征向量Bs，其计算过程如下：
Figure BDA0003916173060000092
Bs＝MeanPool(Zi)
其中，MeanPool(·)表示平均池化函数，
Figure BDA0003916173060000093
是可训练参数，
Figure BDA0003916173060000094
表示掩码矩阵；如果Mu，v＝-∞，则意味着时间u到v不记录注意力系数；当时间u≤v时，设置Mu，v＝0；否则Mu，v＝--∞。
进一步地，所述步骤B6具体包括以下步骤：
步骤B61：将步骤B33得到的文本细粒度语义表征向量Xsr和步骤B52得到的动态信息表征向量Bs进行连接，得到最终表征向量Vf，计算公式如下：
Vf＝Concat(Xsr，Bs)
步骤B62：将最终表征向量Vf输入到全连接层，并使用softmax归一化，计算帖子文本内容属于各类别的概率，计算公式如下：
y＝WoVf+b
pc(y)＝softmax(y)
其中，y是全连接层的输出向量，
Figure BDA0003916173060000095
为全连接层权重矩阵，b为全连接层的偏置项，pc(y)是预测该文本内容对应类别为c的概率，0≤pc(y)≤1，c∈{非谣言，假谣言，真谣言，未经证实的谣言}；
步骤B63：用交叉熵作为损失函数计算损失值，通过梯度优化算法Adam对学习率进行更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；最小化损失函数loss的计算公式如下：
Figure BDA0003916173060000096
其中，
Figure BDA0003916173060000097
是L2正则化项，λ是学习率，θ为模型包含的所有参数。
本发明还提供了采用上述方法的基于动态异构图和多级注意力的谣言检测系统，包括：
数据收集模块，用于提取社交平台中帖子的文本内容、评论内容和相关用户信息，并对帖子的真实性进行标注，构建训练数据集；
文本处理模块，用于对训练数据集中的训练样本进行预处理；
文本编码模块，用于在预训练的词向量矩阵中查找经过预处理的文本内容和评论内容中词的词向量，得到文本内容的初始表征向量和评论内容的初始表征向量；
用户编码模块，用于根据多种用户特征对用户信息进行编码，得到用户初始表征向量；
传播图构造模块，用于根据用户转发或评论的时间，构建多个异构传播图快照，并将文本内容的初始表征向量和用户初始表征向量作为各节点的初始表征向量；
网络模型训练模块，用于将文本内容的初始表征向量、评论内容的初始表征向量和异构传播图快照输入到深度学习网络中，得到帖子的最终表征向量，利用该表征向量预测属于某一类别的概率，并通过与训练数据集中的真实类别标注作对比计算损失，以最小化损失为目标来对整个深度学习网络进行训练，得到基于动态异构图和多级注意力的深度学习网络模型；
谣言检测模块，用于检测帖子的真实性，利用训练好的基于动态异构图和多级注意力的深度学习网络模型对输入的待检测帖子进行分析处理，提取帖子基于评论的文本语义信息和异构传播图中的结构信息和动态信息，输出预测的帖子真实性标签。
与现有技术相比，本发明具有以下有益效果：提供了一种基于动态异构图和多级注意力的谣言检测方法及系统，该方法及系统通过构建基于动态异构图和多级注意力的深度学习网络模型来分析帖子的真实性并预测帖子的真实性标签，可以有效提高谣言检测的准确性，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的方法实现流程图；
图2是本发明实施例中模型架构图；
图3是本发明实施例的系统结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于动态异构图和多级注意力的谣言检测方法，包括以下步骤：
步骤A：在社交平台中采集帖子，提取帖子中的文本内容、评论内容和相关用户信息，并标注帖子的真实性标签，以此构建训练数据集DE。
步骤B：使用训练数据集DE训练基于动态异构图和多级注意力的深度学习网络模型，得到如图2所示的深度学习网络模型，通过此模型来分析帖子的真实性，并预测帖子的真实性标签。
步骤C：将待检测帖子的文本内容、评论内容和相关用户信息输入到训练好的深度学习网络模型中，得到帖子的真实性标签。
在本实施例中，所述步骤B具体包括以下步骤：
步骤B1：对训练数据集DE中的所有训练样本进行初始编码，得到文本内容的初始表征向量Es、评论内容的初始表征向量Er和用户初始表征向量Eu。所述步骤B1具体包括以下步骤：
步骤B11：对训练数据集DE进行遍历，同时对帖子的文本内容和评论内容进行分词处理并去除特殊符号和停用词，DE中的每个训练样本表示为de＝(si，Ri，Ui，c)；其中，si为帖子的文本内容，Ri为帖子si相应的评论集合，Ri＝{r1，…，rm}，Ui为参与转发或评论帖子si的用户信息集合，
Figure BDA0003916173060000114
p为帖子对应的真实性标签，c∈{非谣言，假谣言，真谣言，未经证实的谣言}；
帖子的文本内容si表示为：
Figure BDA0003916173060000111
其中，
Figure BDA0003916173060000112
为帖子文本内容si中的第t个词，t＝1，2，…，n，n为帖子文本内容si的词语数量。
帖子的评论内容rj表示为：
Figure BDA0003916173060000113
其中，
Figure BDA0003916173060000121
为评论内容rj中的第t个词，i＝1，2，…，m，m为评论内容rj的词语数量。
步骤B12：对步骤B11得到文本内容
Figure BDA0003916173060000122
进行编码，得到文本内容si的初始表征向量Es；Es表示为：
Figure BDA0003916173060000123
其中，
Figure BDA0003916173060000124
表示从预训练的词向量矩阵
Figure BDA0003916173060000125
中查找得到的词嵌入表征向量，
Figure BDA0003916173060000126
为第t个词
Figure BDA0003916173060000127
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|表示词典V中的词语数。
步骤B13：对步骤B11得到评论内容
Figure BDA0003916173060000128
进行编码，得到评论内容rj的初始表征向量Er；Er表示为：
Figure BDA0003916173060000129
其中，
Figure BDA00039161730600001210
表示从预训练的词向量矩阵
Figure BDA00039161730600001211
中查找得到的词嵌入表征向量，
Figure BDA00039161730600001212
表示第j个词
Figure BDA00039161730600001216
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|是词典V中的词语数。
步骤B14：通过将粉丝数量、关注数量、是否经过官方认证等作为用户特征，对步骤B11得到用户信息uk进行编码，得到用户初始表征向量
Figure BDA00039161730600001213
其中d为特征向量的维度。
步骤B2：将步骤B1得到的文本内容初始表征向量Es和评论内容初始表征向量Er同时输入到一个多头交叉注意力机制中，得到评论内容的词级表征向量Cr，随后将文本内容初始表征向量Es输入到多头自注意力机制中，得到文本内容的词级表征向量Cs；然后通过把评论内容的词级表征向量Cr和文本内容的词级表征向量Cs分别输入到池化层中进行平均池化操作，得到评论内容的句子级表征向量
Figure BDA00039161730600001214
和文本内容的句子级表征向量
Figure BDA00039161730600001215
所述步骤B2具体包括以下步骤：
步骤B21：将文本内容si的初始表征向量Es作为矩阵Q′，帖子相应评论内容集合Ri＝{r1，…，rm}的初始表征向量Er作为K′和V′，分别对帖子的每一条评论rj进行多头交叉注意力，得到评论内容的词级表征向量Cr，其计算过程如下：
Cr＝MultiHead(Es，Er，Er)
MultiHead(Q′，K′，V′)＝Concat(head1，…，headh)Wo
Figure BDA0003916173060000131
Figure BDA0003916173060000132
其中，MultiHead表示多头注意力机制，h是并行头数，
Figure BDA0003916173060000133
是线性投影的权重矩阵，
Figure BDA0003916173060000134
是比例因子，headi表示第i个注意力函数的输出，i∈[1，h]。
步骤B22：将文本内容初始表征向量Es作为矩阵Q′、K′和V′输入到多头自注意力机制中，得到文本内容的词级表征向量Cs，其计算过程如下：
Cs＝MultiHead(Es，Es，Es)
MultiHead(Q′，K′，V′)＝Concat(head1，…，headh)Wo
Figure BDA0003916173060000135
Figure BDA0003916173060000136
其中，MultiHead表示多头注意力机制，h是并行头数，
Figure BDA0003916173060000137
是线性投影的权重矩阵，
Figure BDA0003916173060000138
是比例因子，headi表示第i个注意力函数的输出，i∈[1，h]。
步骤B23：将评论内容的词级表征向量Cr和文本内容的词级表征向量Cs分别输入到池化层中进行平均池化操作，得到评论内容的句子级表征向量
Figure BDA0003916173060000139
和文本内容的句子级表征向量
Figure BDA00039161730600001310
其计算过程如下：
Figure BDA00039161730600001311
Figure BDA00039161730600001312
其中，
Figure BDA00039161730600001313
MeanPool(·)表示平均池化函数。
步骤B3：将帖子对应的所有评论内容的句子级表征向量
Figure BDA00039161730600001314
拼接起来，得到评论内容的句子级表征矩阵Tr，同时将文本内容的句子级表征向量
Figure BDA00039161730600001315
复制m次，得到文本内容的句子级表征矩阵Ts；随后将评论内容的句子级表征矩阵Tr和文本内容的句子级表征矩阵Ts一起输入到多头交叉注意力机制中，并通过平均池化得到评论内容的综合语义表征向量
Figure BDA00039161730600001316
然后将文本内容的句子级表征向量
Figure BDA00039161730600001317
和评论内容的综合语义表征向量
Figure BDA00039161730600001318
输入到融合门控机制中，得到帖子基于评论的文本细粒度语义表征向量Xsr。所述步骤B3具体包括以下步骤：
步骤B31：将帖子相应所有评论内容的句子级表征向量
Figure BDA0003916173060000141
进行拼接，得到评论内容的句子级表征矩阵Tr，同时将文本内容的句子级表征向量
Figure BDA0003916173060000142
复制m次，得到文本内容的句子级表征矩阵Ts，其计算过程如下：
Figure BDA0003916173060000143
其中，矩阵
Figure BDA0003916173060000144
Figure BDA0003916173060000145
表示第t个评论的句子级表征向量。
步骤B32：将文本内容的句子级表征矩阵Ts作为Q′，评论内容的句子级表征矩阵Tr作为矩阵K′和V′，一起输入到多头交叉注意力机制中，并通过平均池化得到评论内容的综合语义表征向量
Figure BDA0003916173060000146
其计算过程如下：
Figure BDA0003916173060000147
T′＝MultiHead(Ts，Tr，Tr)
MultiHead(Q′，K′，V′)＝Concat(head1，…，headh)Wo
Figure BDA0003916173060000148
Figure BDA0003916173060000149
其中，MeanPool(·)表示平均池化函数，MultiHead表示多头注意力机制，h是并行头数，
Figure BDA00039161730600001410
是线性投影的权重矩阵，
Figure BDA00039161730600001411
是比例因子，headi表示第i个注意力函数的输出，i∈[1，h]。
步骤B33：将文本内容的句子级表征向量
Figure BDA00039161730600001412
和评论内容的综合语义表征向量
Figure BDA00039161730600001413
共同输入到融合门控机制中，得到帖子si基于评论的文本细粒度语义表征向量Xsr，其计算过程如下：
Figure BDA00039161730600001414
Figure BDA00039161730600001415
其中，σ(·)是sigmoid激活函数，
Figure BDA00039161730600001416
和
Figure BDA00039161730600001417
是融合门控机制中可学习参数。
步骤B4：根据用户转发或评论的时间，构建T个异构传播图快照G1，...，Gt，...，GT；将任意一个异构传播图快照输入到多层图神经网络HGN中，先得到帖子节点与邻接用户节点的注意力分布向量AHGN和邻接用户节点的信息表征向量IHGN；然后再将注意力分布作为权重聚合邻接用户节点的信息，得到第t个异构传播图快照中帖子节点的信息表征向量
Figure BDA0003916173060000151
并经过L层HGN后得到帖子节点si传播结构信息表征向量
Figure BDA0003916173060000152
所述步骤B4具体包括以下步骤：
步骤B41：根据用户转发或评论的时间，设置T个快照时间点，构建T个异构传播图G1，...，Gt，...，GT；其中，Gt＝(Vt，Et)表示为第t个异构传播图快照，节点集Vt包含数据集DE在第t个时间点中的所有帖子节点、发布帖子的用户节点和转发或评论帖子的用户节点，边集合Vt包含发布、转发和评论关系；并将步骤B1得到的文本内容的初始表征向量Es和用户初始表征向量Eu作为各节点的初始表征向量。
步骤B42：将第t个异构传播图快照Gt＝(Vt，Et)输入到多层图神经网络HGN中，HGN为不同类型的节点和边提供相应的线性映射函数，最大程度建模不同类型节点的分布差异性，捕获不同节点对之间的语义关联，得到帖子节点si与邻接用户节点的注意力分布向量AHGN和邻接用户节点的信息表征向量IHGN，其计算过程如下：
Figure BDA0003916173060000153
Figure BDA0003916173060000154
Figure BDA0003916173060000155
Figure BDA0003916173060000156
AHGN＝softmax(Concat(head1，…，headk))
IHGN＝Concat(Info_head1(u，e，si)，…，Info_headH(u，e，si))
其中，k∈[1，H]，τ(si)表示节点si的类型，φ(e)表示边e的类型，
Figure BDA0003916173060000157
Figure BDA0003916173060000158
分别表示为τ(si)和τ(u)类型节点的线性映射函数，
Figure BDA0003916173060000159
表示τ(u)类型节点的线性映射函数，
Figure BDA00039161730600001510
表示φ(e)类型边的权重矩阵，Concat(·)为拼接函数，H为并行头数。
步骤B43：将帖子si邻接的所有用户节点的注意力分布向量AHGN作为权重聚合所有邻接用户节点的信息表征向量IHGN，得到第t个异构传播图快照中帖子节点si的信息表征向量
Figure BDA0003916173060000161
并通过根节点增强得到节点si的增强信息表征向量
Figure BDA0003916173060000162
最后，经过L层HGN后得到帖子节点si传播结构信息表征向量
Figure BDA0003916173060000163
其计算过程如下：
Pu＝AHGN·IHGN
Figure BDA0003916173060000164
Figure BDA0003916173060000165
其中，
Figure BDA0003916173060000166
表示将帖子节点映射回对应类别的特征分布空间，σ(·)为非线性激活函数。
步骤B5：将所有异构传播图快照G1，...，Gt，...，GT分别通过步骤B4，得到每个异构传播图快照的节点表征向量集
Figure BDA0003916173060000167
然后将各快照的节点表征向量集
Figure BDA0003916173060000168
分别输入到旋转记忆单元RUM中，得到快照记忆表征向量集ht；然后将帖子节点si在各快照中的记忆表征向量拼接，得到帖子节点si的记忆表征向量矩阵Hi；再将Hi输入到时序注意力中，并通过池化操作得到帖子节点si的动态信息表征向量Bs。所述步骤B5具体包括以下步骤：
步骤B51：将所有异构传播图快照G1，...，Gt，...，GT分别通过步骤B4，得到每个异构传播图快照的节点表征向量集
Figure BDA0003916173060000169
其中t表示第t个快照，i表示第i个帖子节点，d是每个节点嵌入的维度；在每个时间步长t，将节点表征向量集
Figure BDA00039161730600001610
作为zt输入到旋转记忆单元RUM中，得到快照记忆表征向量集
Figure BDA00039161730600001611
Figure BDA00039161730600001612
其计算过程如下：
Figure BDA00039161730600001613
Figure BDA00039161730600001614
ut＝sigmoid(u′t)
Figure BDA00039161730600001615
Figure BDA00039161730600001616
Figure BDA00039161730600001617
Figure BDA0003916173060000171
Figure BDA0003916173060000172
Figure BDA0003916173060000173
Figure BDA0003916173060000174
Figure BDA0003916173060000175
Figure BDA0003916173060000176
Figure BDA0003916173060000177
其中，σ(·)是非线性激活函数，⊙是逐元素矩阵乘法运算，
Figure BDA0003916173060000178
Figure BDA0003916173060000179
是可训练的参数，λ和η是可设置的系数，d是输入向量的维度，l是隐藏层神经元数，||·||是L2正则化操作。
步骤B52：将帖子节点si在各快照中的记忆表征向量拼接，得到帖子节点si的记忆表征向量矩阵Hi，
Figure BDA00039161730600001710
然后将Hi输入到时序注意力中，并通过池化操作得到帖子节点si的动态信息表征向量Bs，其计算过程如下：
Figure BDA00039161730600001711
Bs＝MeanPool(Zi)
其中，MeanPool(·)表示平均池化函数，
Figure BDA00039161730600001712
是可训练参数，
Figure BDA00039161730600001713
表示掩码矩阵；如果Mu，v＝-∞，则意味着时间u到v不记录注意力系数；当时间u≤v时，设置Mu，v＝0；否则Mu，v＝-∞。
步骤B6：将步骤B3得到的帖子基于评论的文本细粒度语义表征向量Xsr与步骤B5得到的帖子的动态信息表征向量Bs相拼接，得到帖子最终表征向量Vf；随后将Vf输入全连接层和softmax函数，得到预测结果；然后根据目标损失函数loss，通过反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数。所述步骤B6具体包括以下步骤：
步骤B61：将步骤B33得到的文本细粒度语义表征向量Xsr和步骤B52得到的动态信息表征向量Bs进行连接，得到最终表征向量Vf，计算公式如下：
Vf＝Concat(Xsr，Bs)
步骤B62：将最终表征向量Vf输入到全连接层，并使用softmax归一化，计算帖子文本内容属于各类别的概率，计算公式如下：
y＝WoVf+b
pc(y)＝softmax(y)
其中，y是全连接层的输出向量，
Figure BDA0003916173060000181
为全连接层权重矩阵，b为全连接层的偏置项，pc(y)是预测该文本内容对应类别为c的概率，0≤pc(y)≤1，c∈{非谣言，假谣言，真谣言，未经证实的谣言}。
步骤B63：用交叉熵作为损失函数计算损失值，通过梯度优化算法Adam对学习率进行更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；最小化损失函数loss的计算公式如下：
Figure BDA0003916173060000182
其中，
Figure BDA0003916173060000183
是L2正则化项，λ是学习率，θ为模型包含的所有参数。
步骤B7：当深度学习网络模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数，则终止深度学习网络模型的训练过程。
如图3所示，本实施例还提供了采用上述方法的基于动态异构图和多级注意力的谣言检测系统，包括数据收集模块、文本处理模块、文本编码模块、用户编码模块、传播图构造模块、网络模型训练模块和谣言检测模块。
所述数据收集模块用于提取社交平台中帖子的文本内容、评论内容和相关用户信息，并对帖子的真实性进行标注，构建训练数据集。
所述文本处理模块用于对训练数据集中的训练样本进行预处理，包括分词处理、去除停用词等。
所述文本编码模块用于在预训练的词向量矩阵中查找经过预处理的文本内容和评论内容中词的词向量，得到文本内容的初始表征向量和评论内容的初始表征向量。
所述用户编码模块用于根据多种用户特征对用户信息进行编码，得到用户初始表征向量。
所述传播图构造模块用于根据用户转发(或评论)的时间，构建多个异构传播图快照，并将文本内容的初始表征向量和用户初始表征向量作为各节点的初始表征向量。
所述网络模型训练模块用于将文本内容的初始表征向量、评论内容的初始表征向量和异构传播图快照输入到深度学习网络中，得到帖子的最终表征向量，利用该表征向量预测属于某一类别的概率，并通过与训练数据集中的真实类别标注作对比计算损失，以最小化损失为目标来对整个深度学习网络进行训练，得到基于动态异构图和多级注意力的深度学习网络模型。
所述谣言检测模块用于检测帖子的真实性，利用训练好的基于动态异构图和多级注意力的深度学习网络模型对输入的待检测帖子进行分析处理，提取帖子基于评论的文本语义信息和异构传播图中的结构信息和动态信息，输出预测的帖子真实性标签。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于动态异构图和多级注意力的谣言检测方法，其特征在于，包括以下步骤：
步骤A：在社交平台中采集帖子，提取帖子中的文本内容、评论内容和相关用户信息，并标注帖子的真实性标签，以此构建训练数据集DE；
步骤B：使用训练数据集DE训练基于动态异构图和多级注意力的深度学习网络模型，通过此模型来分析帖子的真实性，并预测帖子的真实性标签；
步骤C：将待检测帖子的文本内容、评论内容和相关用户信息输入到训练好的深度学习网络模型中，得到帖子的真实性标签。
2.根据权利要求1所述的基于动态异构图和多级注意力的谣言检测方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：对训练数据集DE中的所有训练样本进行初始编码，得到文本内容的初始表征向量Es、评论内容的初始表征向量Er和用户初始表征向量Eu；
步骤B2：将步骤B1得到的文本内容初始表征向量Es和评论内容初始表征向量Er同时输入到一个多头交叉注意力机制中，得到评论内容的词级表征向量Cr，随后将文本内容初始表征向量Es输入到多头自注意力机制中，得到文本内容的词级表征向量Cs；然后通过把评论内容的词级表征向量Cr和文本内容的词级表征向量Cs分别输入到池化层中进行平均池化操作，得到评论内容的句子级表征向量
Figure FDA0003916173050000011
和文本内容的句子级表征向量
Figure FDA0003916173050000012
步骤B3：将帖子对应的所有评论内容的句子级表征向量
Figure FDA0003916173050000013
拼接起来，得到评论内容的句子级表征矩阵Tr，同时将文本内容的句子级表征向量
Figure FDA0003916173050000014
复制m次，得到文本内容的句子级表征矩阵Ts；随后将评论内容的句子级表征矩阵Tr和文本内容的句子级表征矩阵Ts一起输入到多头交叉注意力机制中，并通过平均池化得到评论内容的综合语义表征向量
Figure FDA0003916173050000015
然后将文本内容的句子级表征向量
Figure FDA0003916173050000016
和评论内容的综合语义表征向量
Figure FDA0003916173050000017
输入到融合门控机制中，得到帖子基于评论的文本细粒度语义表征向量Xsr；
步骤B4：根据用户转发或评论的时间，构建T个异构传播图快照G1,…,Gt,…,GT；将任意一个异构传播图快照输入到多层图神经网络HGN中，先得到帖子节点与邻接用户节点的注意力分布向量AHGN和邻接用户节点的信息表征向量IHGN；然后再将注意力分布作为权重聚合邻接用户节点的信息，得到第t个异构传播图快照中帖子节点的信息表征向量
Figure FDA0003916173050000021
并经过L层HGN后得到帖子节点si传播结构信息表征向量
Figure FDA0003916173050000022
步骤B5：将所有异构传播图快照G1,…,Gt,…,GT分别通过步骤B4，得到每个异构传播图快照的节点表征向量集
Figure FDA0003916173050000023
然后将各快照的节点表征向量集
Figure FDA0003916173050000024
分别输入到旋转记忆单元RUM中，得到快照记忆表征向量集ht；然后将帖子节点si在各快照中的记忆表征向量拼接，得到帖子节点si的记忆表征向量矩阵Hi；再将Hi输入到时序注意力中，并通过池化操作得到帖子节点si的动态信息表征向量Bs；
步骤B6：将步骤B3得到的帖子基于评论的文本细粒度语义表征向量Xsr与步骤B5得到的帖子的动态信息表征向量Bs相拼接，得到帖子最终表征向量Vf；随后将Vf输入全连接层和softmax函数，得到预测结果；然后根据目标损失函数loss，通过反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数；
步骤B7：当深度学习网络模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数，则终止深度学习网络模型的训练过程。
3.根据权利要求2所述的基于动态异构图和多级注意力的谣言检测方法，其特征在于，所述步骤B1具体包括以下步骤：
步骤B11：对训练数据集DE进行遍历，同时对帖子的文本内容和评论内容进行分词处理并去除特殊符号和停用词，DE中的每个训练样本表示为de＝(si,Ri,Ui,c)；其中，si为帖子的文本内容，Ri为帖子si相应的评论集合，Ri＝{r1,…,rm}，Ui为参与转发或评论帖子si的用户信息集合，
Figure FDA0003916173050000025
p为帖子对应的真实性标签，c∈{非谣言，假谣言，真谣言，未经证实的谣言}；
帖子的文本内容si表示为：
Figure FDA0003916173050000026
其中，
Figure FDA0003916173050000027
为帖子文本内容si中的第t个词，t＝1,2,…,n，n为帖子文本内容si的词语数量；
帖子的评论内容rj表示为：
Figure FDA0003916173050000028
其中，
Figure FDA0003916173050000029
为评论内容rj中的第t个词，i＝1,2,…,m，m为评论内容rj的词语数量；
步骤B12：对步骤B11得到文本内容
Figure FDA00039161730500000210
进行编码，得到文本内容si的初始表征向量Es；Es表示为：
Figure FDA0003916173050000031
其中，
Figure FDA0003916173050000032
表示从预训练的词向量矩阵
Figure FDA0003916173050000033
中查找得到的词嵌入表征向量，
Figure FDA0003916173050000034
为第t个词
Figure FDA0003916173050000035
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|表示词典V中的词语数；
步骤B13：对步骤B11得到评论内容
Figure FDA0003916173050000036
进行编码，得到评论内容rj的初始表征向量Er；Er表示为：
Figure FDA0003916173050000037
其中，
Figure FDA0003916173050000038
表示从预训练的词向量矩阵
Figure FDA0003916173050000039
中查找得到的词嵌入表征向量，
Figure FDA00039161730500000310
表示第j个词
Figure FDA00039161730500000311
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|是词典V中的词语数；
步骤B14：通过将粉丝数量、关注数量、是否经过官方认证作为用户特征，对步骤B11得到用户信息uk进行编码，得到用户初始表征向量
Figure FDA00039161730500000312
其中d为特征向量的维度。
4.根据权利要求3所述的基于动态异构图和多级注意力的谣言检测方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：将文本内容si的初始表征向量Es作为矩阵Q'，帖子相应评论内容集合Ri＝{r1,…,rm}的初始表征向量Er作为K'和V'，分别对帖子的每一条评论rj进行多头交叉注意力，得到评论内容的词级表征向量Cr，其计算过程如下：
Cr＝MultiHead(Es,Er,Er)
MultiHead(Q′,K′,V′)＝Concat(head1,…,headh)Wo
Figure FDA00039161730500000313
Figure FDA00039161730500000314
其中，MultiHead表示多头注意力机制，h是并行头数，
Figure FDA00039161730500000315
是线性投影的权重矩阵，
Figure FDA00039161730500000316
是比例因子，headi表示第i个注意力函数的输出，i∈[1,h]；
步骤B22：将文本内容初始表征向量Es作为矩阵Q'、K'和V'输入到多头自注意力机制中，得到文本内容的词级表征向量Cs，其计算过程如下：
Cs＝MultiHead(Es,Es,Es)
MultiHead(Q′,K′,V′)＝Concat(head1,…,headh)Wo
Figure FDA0003916173050000041
Figure FDA0003916173050000042
其中，MultiHead表示多头注意力机制，h是并行头数，
Figure FDA0003916173050000043
是线性投影的权重矩阵，
Figure FDA0003916173050000044
是比例因子，headi表示第i个注意力函数的输出，i∈[1,h]；
步骤B23：将评论内容的词级表征向量Cr和文本内容的词级表征向量Cs分别输入到池化层中进行平均池化操作，得到评论内容的句子级表征向量
Figure FDA0003916173050000045
和文本内容的句子级表征向量
Figure FDA0003916173050000046
其计算过程如下：
Figure FDA0003916173050000047
Figure FDA0003916173050000048
其中，
Figure FDA0003916173050000049
MeanPool(·)表示平均池化函数。
5.根据权利要4所述的基于动态异构图和多级注意力的谣言检测方法，其特征在于，所述步骤B3具体包括以下步骤：
步骤B31：将帖子相应所有评论内容的句子级表征向量
Figure FDA00039161730500000410
进行拼接，得到评论内容的句子级表征矩阵Tr，同时将文本内容的句子级表征向量
Figure FDA00039161730500000411
复制m次，得到文本内容的句子级表征矩阵Ts，其计算过程如下：
Figure FDA00039161730500000412
其中，矩阵
Figure FDA00039161730500000413
Figure FDA00039161730500000414
表示第t个评论的句子级表征向量；
步骤B32：将文本内容的句子级表征矩阵Ts作为Q'，评论内容的句子级表征矩阵Tr作为矩阵K'和V'，一起输入到多头交叉注意力机制中，并通过平均池化得到评论内容的综合语义表征向量
Figure FDA00039161730500000415
其计算过程如下：
Figure FDA00039161730500000416
T′＝MultiHead(Ts,Tr,Tr)
MultiHead(Q′,K′,V′)＝Concat(head1,…,headh)Wo
Figure FDA0003916173050000051
Figure FDA0003916173050000052
其中，MeanPool(·)表示平均池化函数，MultiHead表示多头注意力机制，h是并行头数，
Figure FDA0003916173050000053
是线性投影的权重矩阵，
Figure FDA0003916173050000054
是比例因子，headi表示第i个注意力函数的输出，i∈[1,h]；
步骤B33：将文本内容的句子级表征向量
Figure FDA0003916173050000055
和评论内容的综合语义表征向量
Figure FDA0003916173050000056
共同输入到融合门控机制中，得到帖子si基于评论的文本细粒度语义表征向量Xsr，其计算过程如下：
Figure FDA0003916173050000057
Figure FDA0003916173050000058
其中，σ(·)是sigmoid激活函数，
Figure FDA0003916173050000059
和
Figure FDA00039161730500000510
是融合门控机制中可学习参数。
6.根据权利要求5所述的基于动态异构图和多级注意力的谣言检测方法，其特征在于，所述步骤B4具体包括以下步骤：
步骤B41：根据用户转发或评论的时间，设置T个快照时间点，构建T个异构传播图G1,…,Gt,…,GT；其中，Gt＝(Vt,Et)表示为第t个异构传播图快照，节点集Vt包含数据集DE在第t个时间点中的所有帖子节点、发布帖子的用户节点和转发或评论帖子的用户节点，边集合Vt包含发布、转发和评论关系；并将步骤B1得到的文本内容的初始表征向量Es和用户初始表征向量Eu作为各节点的初始表征向量；
步骤B42：将第t个异构传播图快照Gt＝(Vt,Et)输入到多层图神经网络HGN中，HGN为不同类型的节点和边提供相应的线性映射函数，最大程度建模不同类型节点的分布差异性，捕获不同节点对之间的语义关联，得到帖子节点si与邻接用户节点的注意力分布向量AHGN和邻接用户节点的信息表征向量IHGN，其计算过程如下：
Figure FDA00039161730500000511
Figure FDA00039161730500000512
Figure FDA0003916173050000061
Figure FDA0003916173050000062
AHGN＝Softmax(Concat(head1,…,headk))
IHGN＝Concat(Info_head1(u,e,si),…,Info_headH(u,e,si))
其中，k∈[1,H]，τ(si)表示节点si的类型，φ(e)表示边e的类型，
Figure FDA0003916173050000063
Figure FDA0003916173050000064
分别表示为τ(si)和τ(u)类型节点的线性映射函数，
Figure FDA0003916173050000065
表示τ(u)类型节点的线性映射函数，
Figure FDA0003916173050000066
表示φ(e)类型边的权重矩阵，Concat(·)为拼接函数，H为并行头数；
步骤B43：将帖子si邻接的所有用户节点的注意力分布向量AHGN作为权重聚合所有邻接用户节点的信息表征向量IHGN，得到第t个异构传播图快照中帖子节点si的信息表征向量
Figure FDA0003916173050000067
并通过根节点增强得到节点si的增强信息表征向量
Figure FDA0003916173050000068
最后，经过L层HGN后得到帖子节点si传播结构信息表征向量
Figure FDA0003916173050000069
其计算过程如下：
Pu＝AHGN·IHGN
Figure FDA00039161730500000610
Figure FDA00039161730500000611
其中，
Figure FDA00039161730500000612
表示将帖子节点映射回对应类别的特征分布空间，σ(·)为非线性激活函数。
7.根据权利要求6所述的一种基于动态异构图和多级注意力的谣言检测方法，其特征在于，所述步骤B5具体包括以下步骤：
步骤B51：将所有异构传播图快照G1,…,Gt,…,GT分别通过步骤B4，得到每个异构传播图快照的节点表征向量集
Figure FDA00039161730500000613
其中t表示第t个快照，i表示第i个帖子节点，d是每个节点嵌入的维度；在每个时间步长t，将节点表征向量集
Figure FDA00039161730500000614
作为zt输入到旋转记忆单元RUM中，得到快照记忆表征向量集
Figure FDA00039161730500000615
Figure FDA00039161730500000616
其计算过程如下：
Figure FDA0003916173050000071
Figure FDA0003916173050000072
ut＝sigmoid(u′t)
Figure FDA0003916173050000073
Figure FDA0003916173050000074
Figure FDA0003916173050000075
Figure FDA0003916173050000076
Figure FDA0003916173050000077
Figure FDA0003916173050000078
Figure FDA0003916173050000079
Figure FDA00039161730500000710
Figure FDA00039161730500000711
Figure FDA00039161730500000712
其中，σ(·)是非线性激活函数，⊙是逐元素矩阵乘法运算，
Figure FDA00039161730500000713
Figure FDA00039161730500000714
是可训练的参数，λ和η是可设置的系数，d是输入向量的维度，l是隐藏层神经元数，||·||是L2正则化操作；
步骤B52：将帖子节点si在各快照中的记忆表征向量拼接，得到帖子节点si的记忆表征向量矩阵Hi，
Figure FDA00039161730500000715
然后将Hi输入到时序注意力中，并通过池化操作得到帖子节点si的动态信息表征向量Bs，其计算过程如下：
Figure FDA00039161730500000716
Bs＝MeanPool(Zi)
其中，MeanPool(·)表示平均池化函数，
Figure FDA00039161730500000717
是可训练参数，
Figure FDA00039161730500000718
表示掩码矩阵；如果Mu,v＝-∞，则意味着时间u到v不记录注意力系数；当时间u≤v时，设置Mu,v＝0；否则Mu,v＝-∞。
8.根据权利要求7所述的一种基于动态异构图和多级注意力的谣言检测方法，其特征在于，所述步骤B6具体包括以下步骤：
步骤B61：将步骤B33得到的文本细粒度语义表征向量Xsr和步骤B52得到的动态信息表征向量Bs进行连接，得到最终表征向量Vf，计算公式如下：
Vf＝Concat(Xsr,Bs)
步骤B62：将最终表征向量Vf输入到全连接层，并使用softmax归一化，计算帖子文本内容属于各类别的概率，计算公式如下：
y＝WoVf+b
pc(y)＝softmax(y)
其中，y是全连接层的输出向量，
Figure FDA0003916173050000081
为全连接层权重矩阵，b为全连接层的偏置项，pc(y)是预测该文本内容对应类别为c的概率，0≤pc(y)≤1，c∈{非谣言，假谣言，真谣言，未经证实的谣言}；
步骤B63：用交叉熵作为损失函数计算损失值，通过梯度优化算法Adam对学习率进行更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；最小化损失函数loss的计算公式如下：
Figure FDA0003916173050000082
其中，
Figure FDA0003916173050000083
是L2正则化项，λ是学习率，θ为模型包含的所有参数。
9.一种采用如权利要求1-8任一项所述方法的基于动态异构图和多级注意力的谣言检测系统，其特征在于，包括：
数据收集模块，用于提取社交平台中帖子的文本内容、评论内容和相关用户信息，并对帖子的真实性进行标注，构建训练数据集；
文本处理模块，用于对训练数据集中的训练样本进行预处理；
文本编码模块，用于在预训练的词向量矩阵中查找经过预处理的文本内容和评论内容中词的词向量，得到文本内容的初始表征向量和评论内容的初始表征向量；
用户编码模块，用于根据多种用户特征对用户信息进行编码，得到用户初始表征向量；
传播图构造模块，用于根据用户转发或评论的时间，构建多个异构传播图快照，并将文本内容的初始表征向量和用户初始表征向量作为各节点的初始表征向量；
网络模型训练模块，用于将文本内容的初始表征向量、评论内容的初始表征向量和异构传播图快照输入到深度学习网络中，得到帖子的最终表征向量，利用该表征向量预测属于某一类别的概率，并通过与训练数据集中的真实类别标注作对比计算损失，以最小化损失为目标来对整个深度学习网络进行训练，得到基于动态异构图和多级注意力的深度学习网络模型；
谣言检测模块，用于检测帖子的真实性，利用训练好的基于动态异构图和多级注意力的深度学习网络模型对输入的待检测帖子进行分析处理，提取帖子基于评论的文本语义信息和异构传播图中的结构信息和动态信息，输出预测的帖子真实性标签。
CN202211340799.XA 2022-10-29 2022-10-29 基于动态异构图和多级注意力的谣言检测方法及系统 Pending CN115659966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211340799.XA CN115659966A (zh) 2022-10-29 2022-10-29 基于动态异构图和多级注意力的谣言检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211340799.XA CN115659966A (zh) 2022-10-29 2022-10-29 基于动态异构图和多级注意力的谣言检测方法及系统

Publications (1)

Publication Number Publication Date
CN115659966A true CN115659966A (zh) 2023-01-31

Family

ID=84993429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211340799.XA Pending CN115659966A (zh) 2022-10-29 2022-10-29 基于动态异构图和多级注意力的谣言检测方法及系统

Country Status (1)

Country Link
CN (1) CN115659966A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245197A (zh) * 2023-02-21 2023-06-09 北京数美时代科技有限公司 一种提升语言模型的训练速率的方法、系统、介质及设备
CN116612843A (zh) * 2023-03-10 2023-08-18 武汉大学 一种心理测评掩饰性行为识别方法及系统
CN117708568A (zh) * 2024-02-02 2024-03-15 智慧眼科技股份有限公司 大语言模型的特征提取方法、装置、计算机设备及介质
CN117892019A (zh) * 2024-03-14 2024-04-16 南京信息工程大学 一种跨社交网络身份链接方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245197A (zh) * 2023-02-21 2023-06-09 北京数美时代科技有限公司 一种提升语言模型的训练速率的方法、系统、介质及设备
CN116245197B (zh) * 2023-02-21 2023-11-07 北京数美时代科技有限公司 一种提升语言模型的训练速率的方法、系统、介质及设备
CN116612843A (zh) * 2023-03-10 2023-08-18 武汉大学 一种心理测评掩饰性行为识别方法及系统
CN116612843B (zh) * 2023-03-10 2024-07-19 武汉大学 一种心理测评掩饰性行为识别方法及系统
CN117708568A (zh) * 2024-02-02 2024-03-15 智慧眼科技股份有限公司 大语言模型的特征提取方法、装置、计算机设备及介质
CN117892019A (zh) * 2024-03-14 2024-04-16 南京信息工程大学 一种跨社交网络身份链接方法及装置
CN117892019B (zh) * 2024-03-14 2024-05-14 南京信息工程大学 一种跨社交网络身份链接方法及装置

Similar Documents

Publication Publication Date Title
WO2023065545A1 (zh) 风险预测方法、装置、设备及存储介质
WO2023024412A1 (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN115659966A (zh) 基于动态异构图和多级注意力的谣言检测方法及系统
CN111292195A (zh) 风险账户的识别方法及装置
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN111523421B (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN116383517A (zh) 动态传播特征增强的多模态谣言检测方法及系统
CN107402859A (zh) 软件功能验证系统及其验证方法
CN114863091A (zh) 一种基于伪标签的目标检测训练方法
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
Yang et al. C-RPNs: Promoting object detection in real world via a cascade structure of Region Proposal Networks
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN115952438B (zh) 社交平台用户属性预测方法、系统、移动设备及存储介质
CN111783688A (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN110705638A (zh) 一种利用深度网络学习模糊信息特征技术的信用评级预测分类方法
CN113343041B (zh) 基于图模型表示学习的消息回复关系判断系统
CN114706977A (zh) 基于动态多跳图注意力网络的谣言检测方法及系统
Bahrami et al. Image concept detection in imbalanced datasets with ensemble of convolutional neural networks
CN114882409A (zh) 一种基于多模态特征融合的智能暴力行为检测方法及装置
Zhang et al. MTSCANet: Multi temporal resolution temporal semantic context aggregation network
al Atrash et al. Detecting and Counting People's Faces in Images Using Convolutional Neural Networks
Yu et al. Construction of garden landscape design system based on multimodal intelligent computing and deep neural network
Tang Research on Image Processing and Recognition Algorithms in Software Information Systems Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination