CN113705099A - 基于对比学习的社交平台谣言检测模型构建方法及检测方法 - Google Patents
基于对比学习的社交平台谣言检测模型构建方法及检测方法 Download PDFInfo
- Publication number
- CN113705099A CN113705099A CN202111008424.9A CN202111008424A CN113705099A CN 113705099 A CN113705099 A CN 113705099A CN 202111008424 A CN202111008424 A CN 202111008424A CN 113705099 A CN113705099 A CN 113705099A
- Authority
- CN
- China
- Prior art keywords
- rumor
- event
- graph
- neural network
- social platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 230000000052 comparative effect Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000005295 random walk Methods 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000003416 augmentation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001575980 Mendoza Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于对比学习的社交平台谣言检测模型构建方法及预测方法，利用事件增强对原始数据集进行扩充和增强，再将增强后的数据输入对比学习和图神经网络进行自监督图表示学习，得到无标签训练下的模型。然后用部分或全部有标签的数据对网络模型进行训练，利用有监督的信息对模型进行微调，得到代表源博文信息的嵌入表示，最后输入神经网络分类器，获得谣言的分类结果。本发明基于图神经网络的对比学习方法和事件增强策略，缓解了现实情况下谣言数据集稀缺、制作数据集标签困难的现状。进一步，本发明将学习到的谣言嵌入表示输入神经网络分类器，从而达到对在线网络平台谣言检测的目的。
Description
技术领域
本发明属于社交平台信息处理技术领域，涉及一种基于深度学习的社交平台谣言检测技术，利用事件增强(Event Augmentation)策略对已有的谣言事件数据进行增强，并在此基础上主要利用对比学习(Contrastive Learning)对模型进行自监督(Self-Supervised Learning)预训练，然后利用少量标签对模型进行微调(Fine-tune)，从而在少量有监督信息的情况下能够得到良好的训练结果。最后将学习到的嵌入表示输入神经网络分类器，对社交网络平台上的信息进行分类，达到判断一个社交平台上的用户发布的内容是不是谣言的目的。
背景技术
谣言检测(Rumor Detection)的主要目的是验证在线社交平台上发布内容的真实性。广泛可用的在线平台和移动互联网络促进了信息的传播，但同时也有助于迅速散步未经证实的谣言和阴谋论。这些信息常常引起迅速、广泛的社会反映，甚至有些谣言对经济和国民生产造成严重影响。在信息传播的早期阶段就检测和验证其真实性可以最小化其负面影响。正因如此，谣言检测最近引起了越来越多的关注。
谣言是一种从一个人传到另一个人的信息，其中所描述的事件在发布的时刻未经证实。一条信息实体对应的发布博文和其后续所有的转发评论博文生成的传播路径通常是一个树状结构，被称为信息传播树。其中根节点表示信息发布源博文，其他节点表示后续的转发评论博文。谣言检测的输入包含源博文和其后续转发评论博文的文本信息和传播路径形成的图结构信息，模型目标是挖掘这些信息，再将它们表示成嵌入，最后将学习到的嵌入输入神经网络分类器，判断该源博文属于哪个类别。
传统的谣言检测系统分为两种，一种方法通过训练有监督学习的分类器(如决策树、随机森林和支持向量机等)，基于传统的特征工程人工提取特征来完成谣言的分类；另一种方法基于深度学习，利用强大的时间和结构技术(如LSTM，GRU，RvNN)从谣言传播或卷积神经网络中捕捉转发顺序特征，以学习如何从传播过程中提取高级的嵌入来表示谣言。
尽管如此，现有方法仍然面临重大挑战：大多数的方法都严重依赖有监督的训练。这种训练方法需要大量的标记数据，但是标记数据昂贵且难以获取。标记可靠的谣言数据非常耗时耗力，这个过程通常需要专家级注释器对相关证据和报告的上下文进行仔细地分析。也有学者利用数据增强的技术，从文本语义上下文相关性的角度对谣言数据进行扩充。但是这种只考虑文本的数据增强技术忽略了谣言演化过程的结构特征和网络模型的预训练。
综上所述，传统谣言检测系统及方法主要是基于有监督的训练，在缺少标记训练数据的情况下，难以实现对谣言的有效监测。
发明内容
本发明的目的是提供一种基于对比学习的社交平台谣言检测模型构建方法，能够依据传播源内容、转发评论内容和转发评论过程结构，对其进行事件增强和自监督对比学习，来解决谣言检测问题，即验证在线社交平台上发布信息的真实性。
本发明的另一目的是提供使用上述基于对比学习的社交平台谣言检测模型实现的社交平台谣言检测方法。
本发明的思路为，利用事件增强对原始数据集进行扩充和增强，再将增强后的数据输入对比学习和图神经网络进行自监督图表示学习，得到无标签训练下的模型。然后用部分或全部有标签的数据对网络模型进行训练，利用有监督的信息对模型进行微调，得到代表源博文信息的嵌入表示，最后输入神经网络分类器，获得谣言的分类结果。
本发明基于对比学习的社交平台谣言检测模型主要由图卷积神经网络编码器和神经网络分类器构成。所述神经网络分类器包括全连接层和softmax层。基于上述发明思路，本发明提出基于对比学习的社交平台谣言检测模型构建方法，其具体包括以下步骤：
S1，设计若干事件增强策略，对训练用谣言数据集进行扩充和增强；
S2，基于对比学习的方式，学习步骤S1得到的训练用谣言数据集来谣言事件的嵌入表示，得到学习的图卷积神经网络编码器；
S3，对包含图卷积神经网络编码器的社交平台谣言检测模型进行微调，构建得到社交平台谣言检测模型,该步骤包括以下分步骤：
S31，对于训练用谣言数据集中的标签样本，聚合与标签样本相关的事件图信息，生成标签样本事件图嵌入表示；
S32，使用包含事件图嵌入表示的标签样本对包含图卷积神经网络编码器的社交平台谣言检测模型进行训练，完成对社交平台谣言检测模型的构建。
本发明中，所述步骤S1的目标是通过事件增强策略获取扩充增强后的数据集，使原本有限的数据得到扩充和增强，充分反映谣言事件图数据本身所固有的特征。本发明定义一个谣言数据集为C＝[C1,C2,…,C|C|]，其中Ci是第i个事件，|C|是事件的数量。具体地，
其中ri是源推文，
表示源推文事件中第j个相关的转发或评论推文，|vi|表示源推文的转推评论数量，Gi＝<vi,εi>代表每个时间图网络中的一系列点vi和其中边的集合εi(例如：如果
回复了
那么就存在一条有向边
)。定义特征矩阵为
(d表示特征向量的长度)，邻接矩阵
对于给定数据集C，设计若干个事件增强的策略对谣言数据集进行增强和扩充。本发明中设计了三个事件增强策略，具体包括：
S11，节点屏蔽--事件增强策略。节点屏蔽是指随机屏蔽事件图中除根节点以外的节点特征。具体操作如，给定不带根节点的节点特征矩阵
和屏蔽率p，应用节点屏蔽后的特征矩阵的计算为：
其中M∈{0,1}(|v-1|)×d是屏蔽矩阵，通过随机地对其中的行生成(v-1)×p行零向量得到，⊙表示点积符号。
S12，生成子图--事件增强策略。本策略目的在于从根节点随机游走(randomwalk)，来生成原谣言事件图Gi的子图。随机游走是指通过平行和迭代的方式，从一个节点以概率q游走到它的邻居节点。当随机游走节点数达到上限时，随机游走结束，获得了这次随机游走的子图Gi_sub。重复此过程，可以生成原谣言事件图Gi的多个子图。
S13，删边--事件增强策略。删边策略的目的在于去除事件图中的一部分结构关系，点与点之间的连接关系。删边是缓解基于图神经网络模型的过度拟合和平滑的一种技术，它随机地从输入图中删除边，这有助于增加训练数据并且减少消息传递，同时减少回声腔效应。给定一个事件图Gi＝<vi,εi>，其邻接矩阵为A，且具有|εi|条边。设边的删除率为k，计算完成删边策略之后的邻接矩阵Adrop为：
Adrop＝A-A′ (2)
其中A′表示随机从Gi采样|εi|×k条边构建的邻接矩阵。
本发明可以分别采用三个事件增强策略对谣言数据集进行增强和扩充，也可以使用其中的一个或两个事件增强策略对谣言数据集进行增强和扩充。
本发明中，所述步骤S2的目的在于，设计谣言检测对比学习框架，利用对比学习的方式和增强后的数据，来学习谣言事件的嵌入表示，得到学习的图卷积神经网络编码器。本步骤基于步骤S1采取事件增强策略之后得到的谣言数据集C，通过对比学习的方式，利用预训练的训练方法和最大化互信息的交叉熵，不采用任何的标签信息，对图卷积神经网络编码器进行自监督的预训练，并保存模型参数。步骤S2具体包括以下分步骤：
S21，对于每个事件图G，用图卷积神经网络学习整个图的信息，表示为整个图的嵌入H(G)。对于事件图G，图卷积神经网络学习过程如下：
其中，
表示第N层节点j的特征向量，K表示卷积神经网络的层数，GCL表示图卷积神经网络编码器，hj通过将GCL的所有层的特征向量编码汇总为单个向量得到，H(G)是对所有节点应用READOUT，将所有点的表示聚合，得到给定事件图G的全局表示。本发明中采用GIN(Graph Isomorphism Network，图同构网络)作为图卷积神经网络编码器，除此之外，还可以采用GCN(Graph Convolutional Network，图卷积网络)、GAT(Graph AttentionNetwork，图注意力网络)等。本发明对所有的向量取平均值mean作为READOUT操作。
S22，采用对比学习的方式，结合互信息熵函数，最大化节点与其所属图之间的互信息，充分反映局部和整体信息，对网络模型进行自监督训练。
其中，Iψ是互信息估计量，
表示期望，Tψ是正负样本鉴别器(鉴别器计算两个样本间的相似性，鉴别器将两个样本的表示分别输入两个非线形转换网络，然后利用两个非线性转换网络的输出点积来计算转换后表示的相似性,表示为Tψ；其中，每个非线性转换网络由3层依次设置的前馈神经网络组成，每个前馈神经网络后跟着一个Relu激活函数)，ψ表示神经网络的参数，Gi为输入事件图样本，
为原图Gi的正样本，
为原图Gi的负样本，sp(d)＝log(1+ez)为softplus激活函数，
分别为点j在图
和
上的隐含嵌入表示。对于这些正样本，将步骤S1生成的
Gi_sup和Gi(Adrop)看作原事件图Gi的正样本。将一批训练中原事件图Gi及正样本之外的其他事件图看作负样本。
当互信息估计量趋于稳定，或者说是Iψ的绝对值最小时，完成对图卷积神经网络的训练。
本发明中，步骤S3的目的在于，在步骤S2的预训练模型基础上，用谣言数据集中有标签的标签样本信息对步骤S2训练过的图卷积神经网络编码器GCL(即经预训练后保存的图卷积神经网络编码器)进行微调，最后将其学到的事件图嵌入表示输入神经网络分类器，输出其分类结果。
上述步骤S31中，与标签样本相关的事件图信息，包括步骤S2中对比学习得到的事件图向量、事件图文本内容向量和源推文特征。定义由步骤S2得到的预训练事件图向量为H(Gi)，对于事件
计算所有推文特征的平均值，得到事件图文本内容向量oi：
最后，融合对比学习的向量H(Gi)、事件图文本内容向量oi和源推文特征ri：
Si＝CONCAT(H(Gi),oi,ri) (7)
上述步骤S32中，在微调阶段，使用步骤S2训练好的的图卷积神经网络编码器参数初始化社交平台谣言检测模型中相应参数，然后使用标记的数据(即谣言数据集中包含谣言种类标签的谣言数据)训练图卷积神经网络编码器，最后通过全连接层FC和softmax层预测事件图分类。
社交平台谣言检测模型的最终输出为：
最后，计算所有事件的预测值与真实值之间的交叉熵损失来定义损失函数：
其中，vi表示事件真实值，
表示事件预测值，
为对所有模型参数Θ的L2正则化项，λ为折衷系数。
当损失函数
趋于稳定，或者说是
最小时，完成对检测模型的微调训练。
由于步骤S2给出的是一种自监督训练方法，并不涉及谣言数据样本的种类标签，因此步骤S2中使用的训练用谣言数据集可以是包含谣言种类标签的谣言数据集，也可以是不包谣含言种类标签的谣言数据集。步骤S3中微调时需要使用包含谣言种类标签的谣言数据集，步骤S3与步骤S2使用的训练用谣言数据集中样本可以相同，也可以不同。
本发明中，为了更好的整合事件图的文本内容和图结构信息，将文本特征与事件图学习到的互信息相结合，作为事件图的表示形式。
本发明进一步提供了基于对比学习的社交平台谣言检测方法，将待检测谣言数据输入到构建的社交平台谣言检测模型中，输出该待检测谣言数据的分类结果。
所述社交平台谣言检测模型首先基于待检测谣言事件Cl，
利用图卷积神经网络编码器生成图向量H(Gl)，然后通过公式(6)得到该谣言事件文本内容向量
融合图向量H(Gl)、事件文本内容向量ol和源推文特征rl，得到全连接层的输入特征向量Sl＝CONCAT(H(Gl),ol,rl)；最后，通过全连接层FC和softmax层预测事件图分类：
至此，本发明实现了一种基于对比学习的社交平台谣言检测方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明基于对比学习，采用事件增强策略对训练用谣言数据集进行扩充增强，利用谣言事件图数据本身所固有的特征，结合自监督对比学习方法，使用无标签的扩充后的数据对图神经网络进行预训练。
2、本发明利用部分或者全部标签信息，结合微调训练，对预训练的模型进行微调，使其加入有监督的信号，进一步提升模型的分类准确率。
3、本发明基于图神经网络的对比学习方法和事件增强策略，缓解了现实情况下谣言数据集稀缺、制作数据集标签困难的现状；进一步，本发明将学习到的谣言嵌入表示输入神经网络分类器，从而达到对在线网络平台谣言检测的目的。
附图说明
图1为我们发明的简要图示，描述了我们发明的大概流程。
术语解释
Contrastive Learning表示“对比学习”，对比学习是自监督学习的一种，不依赖标注数据，要从无标注信息中自己学习知识。其技术方法可以参考文献【
P.,Fedus,W.,Hamilton,W.L.,Liò,P.,Bengio,Y.and jelm,R.D.,“Deep graph infomax,”inICLR,2019.】。
Event Augmentation表示“事件增强”，对比学习是自监督学习的一种，不依赖标注数据，要从无标注信息中自己学习知识。
Fine-tune表示微调，原理就是利用已知的网络结构和已知的网络参数，修改output层为具体任务预测层，微调最后一层前的若干层的参数，这样就有效利用了深度神经网络强大的泛化能力，又免去了设计复杂的模型以及耗时良久的训练，所以微调是当数据量不足时的一个比较合适的选择。
具体实施方式
结合附图对本发明做进一步描述。
实施例
本实施例提供的基于对比学习的社交平台谣言检测模型主要由图卷积神经网络编码器和神经网络分类器构成。图卷积神经网络编码器使用的是GIN。神经网络分类器包括全连接层FC和softmax层。
如图1所示，本实施例先在源数据集上通过上述三种事件增强策略(节点屏蔽、生成子图、删边)来得到大量扩充和增强数据，得到训练用谣言数据集。然后在扩充和增强后的训练用谣言数据集上进行对比学习，以自监督的方式对网络模型进行训练，最后再在目标数据集(这里使用的是训练用谣言数据集中的标签样本)上对预训练的模型进行微调得到能够用于谣言检测的模型。
本实施例提出的基于对比学习的社交平台谣言检测模型构建方法包括以下步骤：
S1，设计若干事件增强策略，对训练用谣言数据集进行扩充和增强。
对于给定的谣言数据集，将其作为训练用的源谣言数据集C，按照前面给出的节点屏蔽、生成子图、删边等事件增强策略(S11-S13)分别对源谣言数据集进行扩冲增强处理，生成谣言数据集中原事件图Gi(Gi表示谣言数据集中第i个事件)的正样本，即
Gi_sub和Gi(Adnop)，从而对源谣言数据集进行扩充和增强，得到训练用的谣言数据集。
S2，基于对比学习的方式，学习步骤S1得到的训练用谣言数据集来谣言事件的嵌入表示，得到学习的图卷积神经网络编码器。
本步骤包括以下分步骤：
S21，对于每个事件图G用图卷积神经网络学习整个图的信息，表示为整个图的嵌入H(G)。对于事件图G，图卷积神经网络学习过程如下：
其中，
表示第k层节点j的特征向量，GCL表示图卷积神经网络编码器，hj通过将GCL的所有层的特征向量编码汇总为单个向量得到，H(G)是对所有节点应用READOUT，将所有点的表示聚合，得到给定事件图G的全局表示。本实施例对所有的向量取平均值mean作为READOUT操作。
S22，采用对比学习的方式，结合互信息熵函数(如下式所示)，最大化节点与其所属图之间的互信息，对网络模型进行自监督训练。
其中Iψ是互信息估计量，
表示期望，表示Tψ是正负样本鉴别器，ψ表示图卷积神经网络的参数，Gi为输入事件图样本，
为原图Gi的正样本，
为原图Gi的负样本，sp(d)＝log(1+ez)为softplus激活函数，
分别为点j在图
和
上的隐含嵌入表示。对于这些正样本，将步骤S1生成的
Gi_sub和Gi(Adnop)看作原事件图Gi的正样本。将一批训练中原事件图Gi及正样本之外的其他事件图看作负样本。
调节图卷积神经网络的参数，当互信息估计量Iψ趋于稳定，或者说是Iψ的绝对值最小时，完成对图卷积神经网络的训练。
S3，对图卷积神经网络编码器进行微调，微调后的图卷积神经网络编码器和神经网络分类器构建得到社交平台谣言检测模型。
本步骤使用训练用的谣言数据集中的标签样本数据对图卷积神经网络编码器按照以下分步骤进行微调：
S31，对于训练用谣言数据集中的标签样本，聚合与标签样本相关的事件图信息，生成标签样本事件图嵌入表示。
这里，与标签样本相关的事件图信息，包括步骤S2中对比学习得到的事件图向量H(Gi)、事件图文本内容向量oi和源推文特征ri(具体解释和定义如前所述)。
最后，融合对比学习的向量H(Gi)、事件图文本内容向量oi和源推文特征ri：
Si＝CONCAT(H(Gi),oi,ri) (7)
S32，使用包含事件图嵌入表示的标签样本对步骤S2学习得到的图卷积神经网络编码器进行训练，完成对社交平台谣言检测模型的构建。
本实施例中，社交平台谣言检测模型的最终输出为：
以所有事件的预测值与真实值之间的交叉熵损失来定义损失函数：
其中，
为对所有模型参数Θ的L2正则化项，λ为折衷系数。
本步骤中，采用五折交叉验证方法对包含图卷积神经网络编码器的社交平台谣言检测模型进行训练，将训练用的谣言数据集中标签样本数据构成目标数据集，将目标数据集均分为五等分，每一轮训练中，依次以其中的一等分作为测试集，其余作为训练集，首先利用训练集对社交平台谣言检测模型进行训练，然后利用测试集对训练后的模型进行测试，并按照上述损失函数定义式获取损失函数。重复上述过程，当损失函数
趋于稳定，或者说是
最小时，完成对检测模型的微调训练，得到构建的社交平台谣言检测模型。
该构建的社交平台谣言检测模型，先通过图卷积神经网络编码器学习得到H(Gl)，然后以事件图嵌入表示Sl＝CONCAT(H(Gl),ol,rl)作为神经网络分类器的输入，再以
作为神经网络分类器的输出，实现对谣言数据的分类。
应用例
一般谣言信息预测结果一般分为4类，真实谣言(True Rumor)、虚假谣言(FalseRumor)、未经证实谣言(Unverified Rumor)和非谣言(Non-Rumor)，每个谣言事件都对应这4类中的某一个。
本应用例采用实施例提供的基于事件增强的社交平台谣言检测方法对两个不同的真实数据集(Twitter15数据集、Twitter16数据集，两者来源见参考文献【J.Ma,W.Gao,and K.Wong,“Detect Rumors in Microblog Posts Using Propagation Structure viaKernel Learning,”in ACL,2017.】)上分别产生的效果。每个谣言信息对应：真实谣言(True Rumor)、虚假谣言(False Rumor)、未经证实谣言(Unverified Rumor)和非谣言(Non-Rumor)其中一种，这里用(T、F、U和N)表示。
为了说明本发明提供的基于对比学习的社交平台谣言检测方法的检测效果本应用例同时利用五种基线方法(SVM-TS、DTC、RvNN、PPRC_RNN+CNN、Bi-GCN)对每个数据集进行训练和测试。对于每个数据集分为训练集(占80％)和测试集(占20％)。首先分别利用两个训练集在五种基线方法上训练得到谣言检测模型，然后利用这五种模型在测试集中预测谣言的分类，所得到的预测效果见表1未加粗字体部分。
再使用上述实施例提供的基于对比学习的社交平台谣言检测模型构建方法分别利用两个数据集(Twitter15数据集、Twitter16数据集)中谣言数据对社交平台谣言检测模型进行训练，得到实现谣言检测的社交平台谣言检测模型(RDEA)，然后使用模型在测试集中预测谣言信息的分类，所得到的分类效果见表1加粗字体部分。本应用例中，分别针对两个数据集各训练一个社交平台谣言检测模型(RDEA)。针对每个社交平台谣言检测模型构建过程中，均以两个数据集的真实数据集作为最初始的数据集，先按照步骤S1进行数据增强和扩充。然后利用增强和扩充后的数据集按照步骤S2对图卷积神经网络编码器进行训练，训练完成后保存模型参数。再按照步骤S3采用五折交叉验证方法对包含图卷积神经网络编码器的社交平台谣言检测模型进行微调。训练完成后以训练和测试用所有数据的准确度取平均作为最终准确率。
本应用例中，使用准确率(ACC)对所有分类进行评估，和F-measure(F1)对每一类(N、F、U和N)进行评估(值越高，模型方法越好)。
表1：在两种数据集上进行谣言检测的效果
对表格中其余方法的介绍如下：
SVM-TS：基于线性支持向量机的时间序列模型，利用手工制作的特征进行预测。其实现过程可参考文献【J.Ma,W.Gao,Z.Wei,Y.Lu,and K.Wong,“Detect Rumors Using TimeSeries of Social Context Information on Microblogging Websites,”in CIKM,2015.】
DTC：一种采用决策树的谣言检测方法，利用推文的特征来评价信息的可信度。其实现过程可参考文献【C.Castillo,M.Mendoza,and B.Poblete,“Informationcredibility on twitter,”in WWW,2011.】
RvNN：利用门控循环单元的递归树结构模型，通过树结构来学习谣言信息的嵌入表示。其实现过程可参考文献【J.Ma,W.Gao,and K.Wong,“Rumor Detection on Twitterwith Tree-structured Recursive Neural Networks,”in ACL,2018.】
PPC_RNN+CNN：结合循环神经网络(RNN)和卷积神经网络(CNN)技术，通过对用户信息和源推文信息进行建模，学习谣言的嵌入表示，在谣言的早期阶段对其进行检测。
其实现过程可参考文献【Y.Liu and Y.Wu 2018,“Early Detection of FakeNews on Social Media Through Propagation Path Classification with Recurrentand Convolutional Networks,”in AAAI,2018.】
Bi-GCN：将有向的图卷积神经网络(GCN)改造为具有双向传播结构的(Bi-GCN)，来学习谣言数据的嵌入表示。其实现过程可参考文献【T.Bian,Xi Xiao,T.Xu,P.Zhao,W.Huang,Yu Rong,and J.Huang,“Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks,”in AAAI,2020.】
从表1的实验结果可以看出，本发明提出的基于对比学习的社交平台谣言检测方法，其谣言信息分类的精确度全面高于现有的一些方法。
由此可知，本发明利用对比学习和图卷积神经网络方法来对谣言信息进行自监督学习嵌入表示，利用有标签的信息进行模型微调，训练神经网络分类器，实现了优于现有方法的社交平台谣言检测。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (10)
1.一种基于对比学习的社交平台谣言检测模型构建方法，其特征在于所述社交平台谣言检测模型主要由图卷积神经网络编码器和神经网络分类器构成；所述神经网络分类器包括全连接层和softmax层；
所述社交平台谣言检测模型构建方法，包括以下步骤：
S1，设计若干事件增强策略，对训练用谣言数据集进行扩充和增强；
S2，基于对比学习的方式，学习步骤S1得到的训练用谣言数据集来谣言事件的嵌入表示，得到学习的图卷积神经网络编码器；
S3，对包含图卷积神经网络编码器的社交平台谣言检测模型进行微调，构建得到社交平台谣言检测模型，该步骤包括以下分步骤：
S31，对于训练用谣言数据集中的标签样本，聚合与标签样本相关的事件图信息，生成标签样本事件图嵌入表示；与标签样本相关的事件图信息，包括步骤S2中对比学习得到的事件图向量、事件图文本内容向量和源推文特征；
S32，使用包含事件图嵌入表示的标签样本对包含图卷积神经网络编码器的社交平台谣言检测模型进行训练，完成对社交平台谣言检测模型的构建。
2.根据权利要求1所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于步骤S1中，设计了三个事件增强策略，具体包括：
S11，节点屏蔽--事件增强策略；节点屏蔽是指随机屏蔽事件图中除根节点以外的节点特征；
S12，生成子图--事件增强策略，从根节点随机游走，来生成原谣言事件图Gi的子图；
S13，删边一事件增强策略，随机地去除事件图中的一部分结构关系，即点与点之间的连接关系。
3.根据权利要求2所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于步骤S11中，具体操作为：给定不带根节点的节点特征矩阵
和屏蔽率p，应用节点屏蔽后的特征矩阵的计算为：
其中M∈{0，1}(|v-1|)×d是屏蔽矩阵，通过随机地对其中的行生成(v-1)×p行零向量得到，⊙表示点积符号。
4.根据权利要求2所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于步骤S12中，随机游走是指通过平行和迭代的方式，从一个节点以概率q游走到它的邻居节点。当随机游走节点数达到上限时，随机游走结束，获得了这次随机游走的子图Gi_sub。
5.根据权利要求2所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于步骤S13中，具体操作为，给定一个事件图Gi＝<vi，εi>，其邻接矩阵为A，且具有|εi|条边；设边的删除率为k，计算完成删边策略之后的邻接矩阵Adrop为：
Adrop＝A-A′ (2)
其中A′表示随机从Gi采样|εi|×k条边构建的邻接矩阵。
6.根据权利要求1所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于步骤S2具体包括以下分步骤：
S21，将每个事件图G，用图卷积神经网络学习整个图的信息，表示为整个图的嵌入H(G)；对于事件图G，图卷积神经网络学习过程如下：
其中，
是第k层节点j的特征向量，GCL是图卷积神经网络编码器，hj通过将GCL的所有层的特征向量编码汇总为单个向量得到，H(G)是对所有节点应用READOUT，将所有点的表示聚合，得到给定事件图G的全局表示；对所有的向量取平均值mean作为READOUT操作；
S22，采用对比学习的方式，结合互信息熵函数，对网络模型进行自监督训练：
其中，Iψ是互信息估计量，Tψ是鉴别器，ψ表示神经网络的参数，Gi为输入事件图样本，
为原图Gi的正样本，
为原图Gi的负样本，sp(z)＝log(1+ez)为softplus激活函数，
分别为点j在图
和
上的隐含嵌入表示。
7.根据权利要求6所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于所述图卷积神经网络编码器为GIN、GCN或GAT。
8.根据权利要求6或7所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于步骤S31中，定义由步骤S2得到的预训练事件图向量为H(Gi)，对于事件
计算所有推文特征的平均值，得到事件图文本内容向量oi：
最后，融合对比学习的向量H(Gi)、事件图文本内容向量oi和源推文特征ri：
Si＝CONCAT(H(Gi)，oi，ri) (7)。
9.根据权利要求6或7所述基于对比学习的社交平台谣言检测模型构建方法，其特征在于步骤S32中，社交平台谣言检测模型的最终输出为：
最后，计算所有事件的预测值与真实值之间的交叉熵损失来定义损失函数：
其中，
为对所有模型参数Θ的L2正则化项，λ为折衷系数。
10.一种基于对比学习的社交平台谣言检测方法，其特征在于将待检测谣言数据输入到权利要求1至4任一权利要求构建的社交平台谣言检测模型中，输出该待检测谣言数据的分类结果，具体操作为：
首先，基于待检测谣言事件
利用图卷积神经网络编码器生成图向量H(Gl)；
然后，通过以下公式得到该谣言事件文本内容向量ol：
接着，融合图向量H(Gl)、事件文本内容向量ol和源推文特征rl，得到全连接层的输入特征向量Sl＝CONCAT(H(Gl)，ol，rl)；
最后，通过全连接层FC和softmax层预测事件图分类：
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110502675 | 2021-05-09 | ||
| CN2021105026756 | 2021-05-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705099A true CN113705099A (zh) | 2021-11-26 |
| CN113705099B CN113705099B (zh) | 2023-06-13 |
Family
ID=78657309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111008424.9A Active CN113705099B (zh) | 2021-05-09 | 2021-08-31 | 基于对比学习的社交平台谣言检测模型构建方法及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705099B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444516A (zh) * | 2022-04-08 | 2022-05-06 | 四川大学 | 一种基于深度语义感知图卷积网络的粤语谣言检测方法 |
| CN115049415A (zh) * | 2022-07-20 | 2022-09-13 | 北京工商大学 | 一种基于社区传播结构的社交媒体虚假新闻检测方法 |
| CN117633635A (zh) * | 2024-01-23 | 2024-03-01 | 南京信息工程大学 | 一种基于时空传播图的动态谣言检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763319A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 融合用户行为和文本信息的社交机器人检测方法和系统 |
| CN109471932A (zh) * | 2018-11-26 | 2019-03-15 | 国家计算机网络与信息安全管理中心 | 基于学习模型的谣言检测方法、系统及存储介质 |
| CN110826698A (zh) * | 2019-11-04 | 2020-02-21 | 电子科技大学 | 一种通过上下文相关的图嵌入表示人群移动模式的方法 |
| CN111160452A (zh) * | 2019-12-25 | 2020-05-15 | 北京中科研究院 | 一种基于预训练语言模型的多模态网络谣言检测方法 |
| US10803387B1 (en) * | 2019-09-27 | 2020-10-13 | The University Of Stavanger | Deep neural architectures for detecting false claims |
| CN111966786A (zh) * | 2020-07-31 | 2020-11-20 | 南京邮电大学 | 一种微博谣言检测方法 |
| CN112270187A (zh) * | 2020-11-05 | 2021-01-26 | 中山大学 | 一种基于bert-lstm的谣言检测模型 |
| CN112612970A (zh) * | 2020-12-25 | 2021-04-06 | 南京邮电大学 | 一种基于微博事件关系的谣言检测方法及其系统 |
-
2021
- 2021-08-31 CN CN202111008424.9A patent/CN113705099B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763319A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 融合用户行为和文本信息的社交机器人检测方法和系统 |
| CN109471932A (zh) * | 2018-11-26 | 2019-03-15 | 国家计算机网络与信息安全管理中心 | 基于学习模型的谣言检测方法、系统及存储介质 |
| US10803387B1 (en) * | 2019-09-27 | 2020-10-13 | The University Of Stavanger | Deep neural architectures for detecting false claims |
| CN110826698A (zh) * | 2019-11-04 | 2020-02-21 | 电子科技大学 | 一种通过上下文相关的图嵌入表示人群移动模式的方法 |
| CN111160452A (zh) * | 2019-12-25 | 2020-05-15 | 北京中科研究院 | 一种基于预训练语言模型的多模态网络谣言检测方法 |
| CN111966786A (zh) * | 2020-07-31 | 2020-11-20 | 南京邮电大学 | 一种微博谣言检测方法 |
| CN112270187A (zh) * | 2020-11-05 | 2021-01-26 | 中山大学 | 一种基于bert-lstm的谣言检测模型 |
| CN112612970A (zh) * | 2020-12-25 | 2021-04-06 | 南京邮电大学 | 一种基于微博事件关系的谣言检测方法及其系统 |
Non-Patent Citations (2)
| Title |
|---|
| ZHIYUAN ZHOU等: "A C-GRU Neural Network for Rumors Detection", pages 704 * |
| 刘政等: "基于卷积神经网络的谣言检测", no. 11, pages 3053 - 3056 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444516A (zh) * | 2022-04-08 | 2022-05-06 | 四川大学 | 一种基于深度语义感知图卷积网络的粤语谣言检测方法 |
| CN115049415A (zh) * | 2022-07-20 | 2022-09-13 | 北京工商大学 | 一种基于社区传播结构的社交媒体虚假新闻检测方法 |
| CN115049415B (zh) * | 2022-07-20 | 2024-06-14 | 北京工商大学 | 一种基于社区传播结构的社交媒体虚假新闻检测方法 |
| CN117633635A (zh) * | 2024-01-23 | 2024-03-01 | 南京信息工程大学 | 一种基于时空传播图的动态谣言检测方法 |
| CN117633635B (zh) * | 2024-01-23 | 2024-04-16 | 南京信息工程大学 | 一种基于时空传播图的动态谣言检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705099B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508085B (zh) | 基于感知神经网络的社交网络链路预测方法 | |
| CN108388651B (zh) | 一种基于图核和卷积神经网络的文本分类方法 | |
| Jadhav et al. | Comparative study of K-NN, naive Bayes and decision tree classification techniques | |
| Sharma et al. | Classification through machine learning technique: C4. 5 algorithm based on various entropies | |
| Chang et al. | Data: Differentiable architecture approximation | |
| CN113705099B (zh) | 基于对比学习的社交平台谣言检测模型构建方法及检测方法 | |
| Khawar et al. | Autofeature: Searching for feature interactions and their architectures for click-through rate prediction | |
| CN111737535B (zh) | 一种基于元结构和图神经网络的网络表征学习方法 | |
| CN106570128A (zh) | 一种基于关联规则分析的挖掘算法 | |
| CN112329444B (zh) | 融合文本和传播结构的早期谣言检测方法 | |
| CN104239553A (zh) | 一种基于Map-Reduce框架的实体识别方法 | |
| CN110851176B (zh) | 一种自动构造并利用伪克隆语料的克隆代码检测方法 | |
| WO2023155508A1 (zh) | 一种基于图卷积神经网络和知识库的论文相关性分析方法 | |
| Chen | Mining of instant messaging data in the Internet of Things based on support vector machine | |
| CN114461890A (zh) | 分层多模态的知识产权搜索引擎方法与系统 | |
| CN111259264B (zh) | 一种基于生成对抗网络的时序评分预测方法 | |
| CN112487110A (zh) | 基于网络结构和节点内容的重叠社区演化分析方法及系统 | |
| Rijal et al. | Integrating Information Gain methods for Feature Selection in Distance Education Sentiment Analysis during Covid-19. | |
| Moholkar et al. | Lioness adapted GWO-based deep belief network enabled with multiple features for a novel question answering system | |
| CN114842247B (zh) | 基于特征累加的图卷积网络半监督节点分类方法 | |
| Li et al. | ipath: Forecasting the pathway to impact | |
| CN113159976B (zh) | 一种微博网络重要用户的识别方法 | |
| CN111160077A (zh) | 一种大规模人脸动态聚类方法 | |
| Prajapati et al. | A survey of link prediction in social network using deep learning approach | |
| CN114706977A (zh) | 基于动态多跳图注意力网络的谣言检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |