CN112528015B - 在消息交互传播中进行谣言判别的方法及装置 - Google Patents
在消息交互传播中进行谣言判别的方法及装置 Download PDFInfo
- Publication number
- CN112528015B CN112528015B CN202011154448.0A CN202011154448A CN112528015B CN 112528015 B CN112528015 B CN 112528015B CN 202011154448 A CN202011154448 A CN 202011154448A CN 112528015 B CN112528015 B CN 112528015B
- Authority
- CN
- China
- Prior art keywords
- rumor
- interaction
- representing
- model
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 20
- 230000005540 biological transmission Effects 0.000 title claims description 16
- 230000003993 interaction Effects 0.000 claims abstract description 96
- 239000013598 vector Substances 0.000 claims abstract description 55
- 230000006870 function Effects 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 11
- 230000004931 aggregating effect Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007480 spreading Effects 0.000 description 4
- 238000003892 spreading Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种在消息交互传播中进行谣言判别的方法及装置，其涉及人工智能识别技术领域，包括：对帖子的文本信息进行编码，并分析相关联的帖子之间的关系，从而生成消息交互的控制向量a；根据动态时间序列模型捕获交互信息的变化，应用注意力机制将各个时间阶段信息进行聚合，对帖子是否属于谣言进行预测；基于消息交互的控制向量a得到模型总体的损失函数，计算损失函数然后进行梯度回传，从而对提出模型进行训练和拟合，计算得到模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测。本申请能够通过传播过程中信息交互模式的建模和与交互模式的时序演化特征捕捉时间动态结构匹配以提高谣言判别的准确性。
Description
技术领域
本发明涉及人工智能识别技术领域，特别涉及一种在消息交互传播中进行谣言判别的方法及装置。
背景技术
随着社交媒体平台开放性的提高，未经验证的消息可以轻松地在人与人之间传播，并导致大量的谣言，从而给个人和社会带来巨大威胁。
在过去几年中也有不少人广泛地研究了自动识别和消除谣言，主要集中在两条途径上。一种是按照时间顺序构造顺序表示，然后利用时间特征来捕获动态信号。尽管源消息的内容在传播过程中保持不变，但随着更多人参与传播，不断提供事实线索或进行事实扭曲，会使得讨论话题的真伪性逐渐浮现。另一种现有流行的方法旨在研究谣言扩散的传播结构，但基于传播结构的模型性能稳定性不足。因此，有必要进一步的提高识别谣言的准确性。
发明内容
为了克服现有技术的上述缺陷，本发明实施例中提供了一种在消息交互传播中进行谣言判别的方法及装置，其能够通过传播过程中信息交互模式的建模和与交互模式时序特征的捕捉提高谣言判别的准确性。
本发明实施例的具体技术方案是：
一种在消息交互传播中进行谣言判别的方法，包括以下步骤：
采用离散变分自编码器对帖子的文本信息进行编码，并分析相关联的帖子之间的关系，从而生成消息交互的控制向量a；
根据动态时间序列模型捕获交互信息的变化，应用注意力机制将各个时间阶段信息进行聚合，对帖子是否属于谣言进行预测；
基于消息交互的控制向量a得到模型总体的损失函数，计算损失函数然后进行梯度回传，从而对提出模型进行训练和拟合，计算得到模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测，以使得模型在进行谣言判别和消息对交互模式表示上更为准确。
优选地，在步骤采用离散变分自编码器对帖子的文本信息进行编码，并分析相关联的帖子之间的关系，从而生成消息交互的形式中，具体包括：
对于每一个推文r，将文字信息转化为单词的序列{ω1,ω2,…,ωn}，提取推文的发布时间t，并查找相对应的转发自的父节点消息rp；
基于单词的序列{ω1,ω2,…,ωn}，将每一个ωi映射成一个向量αi；
基于向量αi在每个推文上采用卷积层捕获本身的语法信息Si；
基于语法信息Si获取与单词级别上上下文有关的帖子c；
根据父节点消息rp获得相应的父帖子cp；
基于帖子c和相应的父帖子cp分析得到潜在的交互模式Z，再将语义信号与潜在的交互模式Z进行合并以得到消息交互的控制向量a。
优选地，在步骤基于单词的序列{ω1,ω2,…,ωn}，将每一个ωi映射成一个向量αi中，其具体公式如下：
αi＝Eωi,i＝1,2,…,n
其中，E表示嵌入矩阵，αi表示单词ωi的嵌入形式。
优选地，在步骤基于向量αi在每个推文上采用卷积层捕获本身的语法信息 Si中，语法信息Si表示如下：
其中，Ws表示卷积核函数的权重矩阵，bs表示卷积核函数的偏差矢量，lw表示卷积层中的窗口长度。
优选地，在步骤基于语法信息Si获取与单词级别上上下文有关的帖子c中，具体公式如下：
mi＝tanh(Wmsi+bm)
其中，Wm表示对语法信息进行线性降维的权重矩阵，ωu表示将语义单元转换为数值的权重向量，bm表示对语法信息进行线性降维的偏差向量，ui表示单词序列中第i个单词的注意力权值，mi表示单词序列中第i个单词向量的激活表示，mj表示以j为临时指示下标对单词序列包含的所有词进行遍历并进行加和。
优选地，在步骤基于帖子c和相应的父帖子cp分析得到潜在的交互模式Z，再将语义信号与潜在的交互模式Z进行合并以得到消息交互的控制向量a中，其具体包括：
以帖子c为条件，通过单个全连接层计算得到潜在空间的临时分布表示l，其具体表示如下：
其中，
表示计算临时分布采用的权重矩阵，
表示计算临时分布采用的偏差向量，M表示相互独立的隐变量的数目，通过实验可确定最佳数目；
令{g1,g2,…,gk}是Gumbel随机变量的独立同分布序列，将Gumbel噪声gk加到loglik中重新分类类别分布，然后通过引入温度参数τ进行松弛以获得后验分布qR(z|c)的分离元素，具体表示如下：
其中，温度参数τ决定了平滑程度，温度参数τ值越大，离散变量的分布更为均匀、梯度变化更为平缓；温度参数τ值越小，离散变量分布中某一具体值所处的峰更为尖锐、更趋近于直接取最大值角标；dik表示第i个变量在取第K种可能值时的概率；
根据分离元素计算获得每个zi的离散码，其具体如下：
zi＝arg max dik
k∈[1,2,…K]
将c和cp串联起来形成语义信号，并将语义信号与潜在交互模式Z合并以生成表示消息交互的控制向量a，具体如下：
其中，
和
均是对交互模式Z进行维度扩充的权重矩阵，
是对交互模式Z进行维度扩充时的偏差矢量，
表示向量拼接，sigmoid函数允许Z控制从父子帖子语义表示流出的语义信息的程度。
优选地，在步骤根据动态时间序列模型捕获交互信息的变化，应用注意力机制将各个时间阶段信息进行聚合，对帖子是否属于谣言进行预测中，包括：
按照时间顺序采用分区策略将信息传播的过程划分为多个阶段，以保证发布时间相近的帖子位于同一阶段内，并以此消除因原传播序列过长而导致的长距离依赖问题；
应用注意力机制来聚合第i个阶段的信息，以便将此阶段内数目不固定的成对的交互式消息合并为固定长度，其表示为υi；
根据固定长度采用双向LSTM层获得中间隐藏状态hi，具体如下：
hi＝BiLSTM(υi,hi-1)
其中，vi表示成对的交互式消息合并后的固定长度，hi-1表示上一级的中间隐藏状态，
再次应用注意力机制对整个序列的中间隐藏状态进行聚合，得到传播树级别的表示，通过全连接层进行线性变换以获得传播树在谣言判别任务中的预测标签。
优选地，在步骤基于消息交互的控制向量a得到模型总体的损失函数，计算损失函数然后进行梯度回传，从而对提出模型进行训练和拟合，计算得到模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测，以使得模型在进行谣言判别和消息对交互模式表示上更为准确中，包括：
基于消息交互的控制向量a得到模型总体的损失函数如下：
其中，每一项损失函数计算方式为：
其中，λ表示权衡的超参数，N表示数据集中实例的数目，L表示帖子可被预测的类别数目，qφ(z)表示作为因变量先验分布的可学习的参数化网络；
表示第i个数据实例是否为第j类标签的真实情况，
表示第i个数据实例是否为第j 类标签的预测情况，a表示消息交互的控制向量，DKL表示计算qΦ概率分布与先验的qR分布之间的KL散度，即两个概率分布之间的差异大小，E表示对所有可能的隐变量计算当其服从qΦ的概率分布时，所生成的交互表示a对数似然的期望，即生成交互表示与原帖子表示之间偏差的期望；
将模型总体的损失函数计算出来，通过梯度回传的方式进行模型训练和拟合，以获取模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测，以使得模型在进行谣言判别和消息对交互模式表示上更为准确。
一种在消息交互传播中进行谣言判别的装置，它包括：存储器和处理器，存储器中存储计算机程序，所述计算机程序在被所述处理器执行时，实现以下步骤：如上述任一所述的在消息交互传播中进行谣言判别的方法。
本申请为了捕获本地传播模式并探讨交互性如何随时间变化，对学习传播过程中的对话消息交互，并与时间动态结构配合以提高谣言判别的性能。为了对消息交互进行建模，通过离散变分自动编码器了解向原始帖子转发的潜在交互模式，该模型在学习分类潜在模式方面具有较大的潜力。为了解决谣言，此潜在空间不仅代表参与者的态度，而且还控制了文本信息的影响程度。然后，我们采用基于注意力机制的层次化框架来捕获消息交互的时间变化。本申请具有以下特点：1、探索帖子对之间的交互，将传播结构与时间序列建模相结合； 2、利用离散变分自编码器捕获社交网络中对话讨论之间的交互模式，并解释与文本信息相关的消息交互的潜在表示形式。
附图说明
在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本发明的理解，并不是具体限定本发明各部件的形状和比例尺寸。本领域的技术人员在本发明的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本发明。
图1为本发明在实施例中的流程图。
图2为本发明实施例中通过卷积神经网络捕获帖子的语义信息的示意图。
图3为本发明实施例中通过离散变分自编码器对消息交互进行建模的示意图。
图4为本发明实施例中基于注意力进行分类的层次结构示意图。
具体实施方式
结合附图和本发明具体实施方式的描述，能够更加清楚地了解本发明的细节。但是，在此描述的本发明的具体实施方式，仅用于解释本发明的目的，而不能以任何方式理解成是对本发明的限制。在本发明的教导下，技术人员可以构想基于本发明的任意可能的变形，这些都应被视为属于本发明的范围。
谣言判别任务所采用的模型和方法通常以信息传播树作为输入，经过对其涉及的消息进行表示与融合，得到树级别的表示，最后输出信息传播树的真伪性标签。本发明提出的模型利用信息传播树中消息之间的转发关系，对具有转发关系的消息对之间的交互模式采用离散变分自编码器进行建模，再根据消息的发布时间基于时间序列的方法捕捉交互特征随时间的变化，进而对传播树所属的真伪类别进行判断。
为了能够通过传播过程中信息交互模式的建模和与交互模式的时序演化特征捕捉提高谣言判别的准确性，在本申请中提出了一种在消息交互传播中进行谣言判别的方法及装置，图1为本发明在实施例中的流程图，如图1所示，在消息交互传播中进行谣言判别的方法可以包括以下步骤：
S101：采用离散变分自编码器对帖子的文本信息进行编码，并分析相关联的帖子之间的关系，从而生成消息交互的形式，其具体可以包括如下步骤：
S201：对于每一个推文r，将文字信息转化为单词的序列{ω1,ω2,…,ωn}，提取推文的发布时间t，并查找相对应的转发自的父节点消息rp。图2为为本发明实施例中通过卷积神经网络捕获帖子的语义信息的示意图。
S202：基于单词的序列{ω1,ω2,…,ωn}，将每一个ωi映射成一个向量αi，其具体公式可以如下：
αi＝Eωi,i＝1,2,…,n
其中，E表示嵌入矩阵，αi表示单词ωi的嵌入形式。
S203：基于向量αi在每个推文上采用卷积层捕获本身的语法信息Si，语法信息Si可以表示如下：
其中，Ws表示卷积核函数的权重矩阵，bs表示卷积核函数的偏差矢量，lw表示卷积层中的窗口长度。
S204：基于语法信息Si获取与单词级别上上下文有关的帖子c，c可以通过如下方式表示：
mi＝tanh(Wmsi+bm)
其中，Wm表示对语法信息进行线性降维的权重矩阵，ωu表示将语义单元转换为数值的权重向量，bm表示对语法信息进行线性降维的偏差向量，ui表示单词序列中第i个单词的注意力权值，mi表示单词序列中第i个单词词向量的激活表示，mj表示以j为临时指示下标对单词序列包含的所有词进行遍历并进行加和。
S205：根据父节点消息rp获得相应的父帖子cp。
与上述步骤相类似的，可以根据rp获得相应的父帖子cp，在此不再进行赘述。
S206：基于帖子c和相应的父帖子cp分析得到潜在的交互模式Z，再将语义信号与潜在的交互模式Z进行合并以得到消息交互的控制向量a。
为了对消息交互进行建模，需要分析三个随机变量之间的关系：即，重新发布的推文c，父帖子cp和潜在的交互模式Z。
一方面，Z的潜在含义应独立于cp，这是因为很有可能在同一原始帖子之后出现矛盾的观点。另一方面，与文本生成不同，潜在动作Z是c和cp之间交互作用的产物，应与文本信息交互作用以指导谣言辨别。因此，本申请中的离散可变自动编码器可以包括两个关键因素：一个是识别转推帖子态度的识别网络 R：qR(z|c)；另一个是策略网络π:pπ(a|z,c,cp)，图3为本发明实施例中通过离散变分自编码器对消息交互进行建模的示意图，如图3所示，它约束Z的分布并合并文本信息以形成消息交互a。
本步骤具体可以包括以下步骤：
S301：以帖子c为条件，通过单个全连接层计算得到潜在空间的临时分布表示l。
在离散可变自动编码器的设置中，潜在变量Z是一系列K向分类变量 {z1,z2,…,zM}，其中，zi为彼此独立的，M表示潜在变量的数量。识别网络以转发的帖子C为条件，通过单个全连接层来计算潜在空间的临时分布l，具体表示如下：
其中，
表示计算临时分布采用的权重矩阵，
表示计算临时分布采用的偏差向量，M表示相互独立的隐变量的数目，通过实验可确定最佳数目，li表示 K维向量，表示有K种可能取值，每一维具体数值表示第i个隐变量取特定值时的可能性大小。
S302：基于令{g1,g2,…,gk}是Gumbel随机变量的独立同分布序列，将Gumbel 噪声gk加到loglik中重新分类类别分布，然后通过引入温度参数τ进行松弛以获得后验分布qR(z|c)的分离元素。
由于通过argmax操作模拟l的Z分布对反向传播提出了巨大挑战，因此，本申请应用Gumbel-Softmax技巧为分类变量创建了可导的估计量。在使用 argmax操作获取离散变量具体的类别值时，若临时隐分布有一些细微变化，就可能使得到的离散值产生很大变化，也就会导致计算的梯度剧烈波动，从而无法用梯度回传的方式稳定训练。因此需要引入Gumbel-softmax，加入一定的噪声，使得在取离散值的时候，其分布在某一具体值的时候是一个较为平缓的分布峰。如果g＝-log(-log(u)，且u满足服从U(0，1)的均匀分布，则随机变量 g具有标准的Gumbel分布。为解决对临时分布进行离散化处理易导致的训练过程梯度剧烈波动问题，对临时分布表示进行平滑处理。令{g1,g2,…,gk}是Gumbel 随机变量的独立同分布序列，通过将Gumbel噪声gk加到loglik中可以适当地重新分类类别分布，然后通过引入温度参数τ进行松弛可以实现连续逼近并为优化提供保证。
通过使用Gumbel-Softmax技巧，在本申请中将获得后验分布qR(z|c)的分离元素进行如下表示，
其中，τ表示温度参数，温度参数τ决定了平滑程度，温度参数τ值越大，离散变量的分布更为均匀、梯度变化更为平缓，甚至看起来是连续的；温度参数τ值越小，离散变量分布中某一具体值所处的峰更为尖锐、更趋近于直接取最大值角标；dik表示第i个变量在取第K种可能值时的概率。
S303：根据分离元素计算获得每个zi的离散码。
根据分离元素获得每个zi的离散码，其具体如下：
zi＝arg max dik
k∈[1,2,…K]
S304：将c和cp串联起来形成语义信号，并将语义信号与潜在交互模式Z合并以生成表示消息交互的控制向量a。
在策略网络中，本申请将c和cp串联起来形成语义信号，并将该信号与学习到的潜在交互模式Z合并，以生成表示消息交互的控制向量a，具体如下：
其中，
和
均是对交互模式Z进行维度扩充的权重矩阵，
是对交互模式Z进行维度扩充时的偏差矢量，
表示向量拼接。在上述式中，sigmoid函数允许Z控制从父子帖子语义表示流出的语义信息的程度。
S102：根据动态时间序列模型捕获交互信息的变化，应用注意力机制将各个时间阶段信息进行聚合，对帖子是否属于谣言进行预测。
在探究消息之间的交互性之后，本申请采用并修改了动态时间序列模型以捕获这些交互信息的时间变化，如图4所示。与现有模型的不同在于，本申请同时将注意力集中在间隔聚合和时间积分中，以捕获贡献失衡。
本步骤包括以下步骤：
S401：按照时间顺序采用分区策略将信息传播的过程划分为多个阶段。通过该步骤可以保证发布时间相近的帖子位于同一阶段内，并以此消除因原传播序列过长而导致的现有深度学习模型难以解决的长距离依赖问题。
由于谣言声称包含的消息数可能从几到数千不等，这使得很难克服长期依赖的问题，因此，按照时间顺序采用分区策略将所有消息划分为固定长度的若干阶段，以使得发布时间较为接近的消息分布于同一阶段内。
S402：应用注意力机制来聚合第i个阶段的信息，以便将此阶段内数目不固定的成对的交互式消息合并为固定长度，表示为υi。
在本申请中没有考虑每个时间间隔的平均特征，而是考虑了不同交互模式的不均匀贡献。因此在本申请中将应用注意力机制并聚合第i个间隔的信息，以便将这些成对的交互式消息合并为固定长度，其表示υi。
S403：根据固定长度采用双向LSTM层获得中间隐藏状态hi。
在顺序间隔表示上采用双向LSTM层，以获得中间隐藏状态hi，具体如下：
hi＝BiLSTM(υi,hi-1)
其中，hi-1表示上一级的中间隐藏状态，LSTM表示长短期记忆网络，延续了 RNN(循环神经网络)采用可重复性的神经网络模块对序列化数据进行轻量化建模的特点，又加入门控机制对序列传递时信息的保留程度加以控制，可较好缓解因序列过长而导致的长期依赖问题。
应用注意力机制将各个阶段的隐藏状态进行聚合，从而生成传播树级别表示，在结果表示上应用一个线性层以获得预测结果
即把传播树划分为虚假消息、真实消息、或存疑消息。
S103：基于消息交互的控制向量a得到模型总体的损失函数，计算损失函数然后进行梯度回传，从而对提出模型进行训练和拟合，计算得到模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测，以使得模型在进行谣言判别和消息对交互模式表示上更为准确。
设计损失函数时，一方面需要使消息对之间的交互表示更为准确，另一方面，需要实现对信息传播树进行精确的区分。所以，优化目标必须从两个方面考虑影响。
将损失函数定义为：
其中，λ是权衡的超参数，用于权衡谣言判别类别预测损失函数与离散自编码器的损失函数。
第一个损失项(损失函数)是在谣言解决任务上定义的，采用交叉熵损失，表示产生的离散化的交互表示与原语义信息的偏差，具体如下：
其中，N表示数据集中实例的数目，L表示帖子可被预测的类别数目。
表示第i个数据实例是否为第j类标签的真实情况，
表示第i个数据实例是否为第j 类标签的预测情况。
第二项是根据离散可变自动编码器生成的有效性定义的，表示离散自编码器中隐空间分布与预设的先验分布之间的偏差。为了进行交互建模的推断，引入了参数化网络qφ(z|c,cp)来近似后验分布pπ(z|c,cp)。由于它是一个可训练的参数空间，因此将表达式简化为qφ(z)。将离散可变自编码器的目标编写如下：
其中，qφ(z)表示作为因变量先验分布的可学习的参数化网络；a表示消息交互，DKL表示计算qΦ概率分布与先验的qR分布之间的KL散度，即两个概率分布之间的差异大小，E表示对所有可能的隐变量计算当其服从qΦ的概率分布时，所生成的交互表示a对数似然的期望，即生成交互表示与原帖子表示之间偏差的期望。
其中，qΦ(z)表示关于z的分布通过神经网络计算所得；qR(z|c)表示通过神经网络定义的参数网络；
训练时，通过上述步骤可计算出总体的损失函数
再经过梯度回传的训练方式，可得到最优的参数网络。上述方法中的权重矩阵和权重向量均为模型参数，通过大量真实数据进行训练可拟合出最优参数。本申请采用计算损失函数并进行梯度回传的方式进行模型训练。在此最优参数网络下的模型对帖子是否属于谣言进行预测，可使得模型的谣言判别性能及帖子之间的交互表示更加准确。
本申请为了捕获本地传播模式并探讨交互性如何随时间变化，对学习传播过程中的对话消息交互，并与时间动态结构配合以提高谣言判别的性能。为了对消息交互进行建模，通过离散变分自动编码器了解向原始帖子转发的潜在交互模式，该模型在学习分类潜在模式方面具有较大的潜力。为了解决谣言，此潜在空间不仅代表参与者的态度，而且还控制了文本信息的影响程度。然后，我们采用基于一般注意力的层次结构来捕获消息交互的时间变化。本申请具有以下特点：1、探索帖子对之间的交互，将传播结构与时间序列建模相结合；2、利用离散变分自编码器捕获社交网络中对话讨论之间的交互模式，并解释与文本信息相关的消息交互的潜在表示形式。
另外，本申请提出了一种在消息交互传播中进行谣言判别的装置，它包括：存储器和处理器，存储器中存储计算机程序，所述计算机程序在被所述处理器执行时，实现以下步骤：如上述任一所述的在消息交互传播中进行谣言判别的方法。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入 /输出接口、网络接口和内存。该计算机软件产品可以包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。该计算机软件产品可以存储在内存中，内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括短暂电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
Claims (9)
1.一种在消息交互传播中进行谣言判别的方法，其特征在于，包括以下步骤：
采用离散变分自编码器对帖子的文本信息进行编码，并分析相关联的帖子之间的关系，从而生成消息交互的控制向量a；
根据动态时间序列模型捕获交互信息的变化，应用注意力机制将各个时间阶段信息进行聚合，对帖子是否属于谣言进行预测；
基于消息交互的控制向量a得到模型总体的损失函数，计算损失函数然后进行梯度回传，从而对提出模型进行训练和拟合，计算得到模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测，以使得模型在进行谣言判别和消息对交互模式表示上更为准确。
2.根据权利要求1所述的在消息交互传播中进行谣言判别的方法，其特征在于，在步骤采用离散变分自编码器对帖子的文本信息进行编码，并分析相关联的帖子之间的关系，从而生成消息交互的形式中，具体包括：
对于每一个推文r，将文字信息转化为单词的序列{ω1,ω2,…,ωn}，提取推文的发布时间t，并查找相对应的转发自的父节点消息rp；
基于单词的序列{ω1,ω2,…,ωn}，将每一个ωi映射成一个向量αi；
基于向量αi在每个推文上采用卷积层捕获本身的语法信息Si；
基于语法信息Si获取与单词级别上上下文有关的帖子c；
根据父节点消息rp获得相应的父帖子cp；
基于帖子c和相应的父帖子cp分析得到潜在的交互模式Z，再将语义信号与潜在的交互模式Z进行合并以得到消息交互的控制向量a。
3.根据权利要求2所述的在消息交互传播中进行谣言判别的方法，其特征在于，在步骤基于单词的序列{ω1,ω2,…,ωn}，将每一个ωi映射成一个向量αi中，其具体公式如下：
αi＝Eωi,i＝1,2,…,n
其中，E表示嵌入矩阵，αi表示单词ωi的嵌入形式。
4.根据权利要求2所述的在消息交互传播中进行谣言判别的方法，其特征在于，在步骤基于向量αi在每个推文上采用卷积层捕获本身的语法信息Si中，语法信息Si表示如下：
其中，Ws表示卷积核函数的权重矩阵，bs表示卷积核函数的偏差矢量，lw表示卷积层中的窗口长度。
5.根据权利要求2所述的在消息交互传播中进行谣言判别的方法，其特征在于，在步骤基于语法信息Si获取与单词级别上上下文有关的帖子c中，具体公式如下：
mi＝tanh(Wmsi+bm)
其中，Wm表示对语法信息进行线性降维的权重矩阵，ωu表示将语义单元转换为数值的权重向量，bm表示对语法信息进行线性降维的偏差向量，ui表示单词序列中第i个单词的注意力权值，mi表示单词序列中第i个单词向量的激活表示，mj表示以j为临时指示下标对单词序列包含的所有词进行遍历并进行加和。
6.根据权利要求2所述的在消息交互传播中进行谣言判别的方法，其特征在于，在步骤基于帖子c和相应的父帖子cp分析得到潜在的交互模式Z，再将语义信号与潜在的交互模式Z进行合并以得到消息交互的控制向量a中，其具体包括：
以帖子c为条件，通过单个全连接层计算得到潜在空间的临时分布表示
其具体表示如下：
其中，
表示计算临时分布采用的权重矩阵，
表示计算临时分布采用的偏差向量，M表示相互独立的隐变量的数目，通过实验确定的最佳数目；
令{g1,g2,...,gk}是Gumbel随机变量的独立同分布序列，将Gumbel噪声gk加到
中重新分类类别分布，然后通过引入温度参数τ进行松弛以获得后验分布qR(z|c)的分离元素，具体表示如下：
其中，温度参数τ决定了平滑程度，温度参数τ值越大，离散变量的分布更为均匀、梯度变化更为平缓；温度参数τ值越小，离散变量分布中某一具体值所处的峰更为尖锐、更趋近于直接取最大值角标；dik表示第i个变量在取第K种可能值时的概率；
根据分离元素计算获得每个zi的离散码，其具体如下：
zi＝arg max dik
k∈[1,2,…K]
将c和cp串联起来形成语义信号，并将语义信号与潜在交互模式Z合并以生成表示消息交互的控制向量a，具体如下：
其中，
和
均是对交互模式Z进行维度扩充的权重矩阵，
是对交互模式Z进行维度扩充时的偏差矢量，
表示向量拼接，sigmoid函数允许Z控制从父子帖子语义表示流出的语义信息的程度。
7.根据权利要求1所述的在消息交互传播中进行谣言判别的方法，其特征在于，在步骤根据动态时间序列模型捕获交互信息的变化，应用注意力机制将各个时间阶段信息进行聚合，对帖子是否属于谣言进行预测中，包括：
按照时间顺序采用分区策略将信息传播的过程划分为多个阶段，以保证发布时间相近的帖子位于同一阶段内，并以此消除因原传播序列过长而导致的长距离依赖问题；
应用注意力机制来聚合第i个阶段的信息，以便将此阶段内数目不固定的成对的交互式消息合并为固定长度，其表示为υi；
根据固定长度采用双向LSTM层获得中间隐藏状态hi，具体如下：
hi＝BiLSTM(υi,hi-1)
其中，vi表示成对的交互式消息合并后的固定长度，hi-1表示上一级的中间隐藏状态，
再次应用注意力机制对整个序列的中间隐藏状态进行聚合，得到传播树级别的表示，通过全连接层进行线性变换以获得传播树在谣言判别任务中的预测标签。
8.根据权利要求1所述的在消息交互传播中进行谣言判别的方法，其特征在于，在步骤基于消息交互的控制向量a得到模型总体的损失函数，计算损失函数然后进行梯度回传，从而对提出模型进行训练和拟合，计算得到模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测，以使得模型在进行谣言判别和消息对交互模式表示上更为准确，包括：
基于消息交互的控制向量a得到模型总体的损失函数如下：
其中，每一项损失函数计算方式为：
其中，λ表示权衡的超参数，N表示数据集中实例的数目，L表示帖子可被预测的类别数目，qφ(z)表示作为因变量先验分布的可学习的参数化网络；
表示第i个数据实例是否为第j类标签的真实情况，
表示第i个数据实例是否为第j类标签的预测情况，a表示消息交互的控制向量，DKL表示计算qΦ概率分布与先验的qR分布之间的KL散度，即两个概率分布之间的差异大小，E表示对所有可能的隐变量计算当其服从qΦ的概率分布时，所生成的交互表示a对数似然的期望，即生成交互表示与原帖子表示之间偏差的期望，c代表帖子，z代表隐变量，cp代表父帖子，pπ代表在帖子、父帖子以及隐变量状态时，交互表示的概率分布；
将模型总体的损失函数计算出来，通过梯度回传的方式进行模型训练和拟合，以获取模型的最优参数网络，使用最优参数网络下的模型对帖子是否属于谣言进行预测，以使得模型在进行谣言判别和消息对交互模式表示上更为准确。
9.一种在消息交互传播中进行谣言判别的装置，其特征在于，它包括：存储器和处理器，存储器中存储计算机程序，所述计算机程序在被所述处理器执行时，实现以下步骤：如权利要求1至8中任一所述的在消息交互传播中进行谣言判别的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011154448.0A CN112528015B (zh) | 2020-10-26 | 2020-10-26 | 在消息交互传播中进行谣言判别的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011154448.0A CN112528015B (zh) | 2020-10-26 | 2020-10-26 | 在消息交互传播中进行谣言判别的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528015A CN112528015A (zh) | 2021-03-19 |
| CN112528015B true CN112528015B (zh) | 2022-11-18 |
Family
ID=74980380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011154448.0A Active CN112528015B (zh) | 2020-10-26 | 2020-10-26 | 在消息交互传播中进行谣言判别的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528015B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115759482A (zh) * | 2022-12-29 | 2023-03-07 | 人民网股份有限公司 | 一种社交媒体内容传播预测方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804608A (zh) * | 2018-05-30 | 2018-11-13 | 武汉烽火普天信息技术有限公司 | 一种基于层次attention的微博谣言立场检测方法 |
| CN108959551A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 近邻语义的挖掘方法、装置、存储介质和终端设备 |
| CN110909125A (zh) * | 2019-10-30 | 2020-03-24 | 中山大学 | 推文级社会媒体谣言检测方法 |
| CN111079444A (zh) * | 2019-12-25 | 2020-04-28 | 北京中科研究院 | 一种基于多模态关系的网络谣言检测方法 |
| US10803387B1 (en) * | 2019-09-27 | 2020-10-13 | The University Of Stavanger | Deep neural architectures for detecting false claims |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10831834B2 (en) * | 2018-11-27 | 2020-11-10 | Sap Se | Unsupervised document summarization by attention and reconstruction |
| US11699079B2 (en) * | 2019-01-22 | 2023-07-11 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for time series analysis using attention models |
-
2020
- 2020-10-26 CN CN202011154448.0A patent/CN112528015B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804608A (zh) * | 2018-05-30 | 2018-11-13 | 武汉烽火普天信息技术有限公司 | 一种基于层次attention的微博谣言立场检测方法 |
| CN108959551A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 近邻语义的挖掘方法、装置、存储介质和终端设备 |
| US10803387B1 (en) * | 2019-09-27 | 2020-10-13 | The University Of Stavanger | Deep neural architectures for detecting false claims |
| CN110909125A (zh) * | 2019-10-30 | 2020-03-24 | 中山大学 | 推文级社会媒体谣言检测方法 |
| CN111079444A (zh) * | 2019-12-25 | 2020-04-28 | 北京中科研究院 | 一种基于多模态关系的网络谣言检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Modeling conversation structureandtemporal dynamics for jointly predicting rumor stanceandveracity;Penghui Wei等;《arXiv》;20190918;全文 * |
| MVAE: Multimodal Variational Autoencoder for Fake News;Dhruv Khattar等;《WWW "19：万维网会议》;20190513;全文 * |
| VRoC: Variational Autoencoder-aided Multi-task Rumor;Mingxi Cheng等;《WWW "20: Proceedings of The Web Conference》;20200420;全文 * |
| 基于分层注意力网络的社交媒体谣言检测;廖祥文等;《中国科学(信息科学)》;20181231(第011期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528015A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ren et al. | A sentiment-aware deep learning approach for personality detection from text | |
| CN110263324A (zh) | 文本处理方法、模型训练方法和装置 | |
| CN110321563B (zh) | 基于混合监督模型的文本情感分析方法 | |
| Chen et al. | Swafn: Sentimental words aware fusion network for multimodal sentiment analysis | |
| CN110390397A (zh) | 一种文本蕴含识别方法及装置 | |
| Xu et al. | BERT gated multi-window attention network for relation extraction | |
| Aziguli et al. | A robust text classifier based on denoising deep neural network in the analysis of big data | |
| CN115408525A (zh) | 基于多层级标签的信访文本分类方法、装置、设备及介质 | |
| CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
| Qiu et al. | Chinese Microblog Sentiment Detection Based on CNN‐BiGRU and Multihead Attention Mechanism | |
| CN117217277A (zh) | 语言模型的预训练方法、装置、设备、存储介质及产品 | |
| CN113836934B (zh) | 基于标签信息增强的文本分类方法和系统 | |
| Tong et al. | A Multimodel‐Based Deep Learning Framework for Short Text Multiclass Classification with the Imbalanced and Extremely Small Data Set | |
| CN110019796A (zh) | 一种用户文本信息分析方法及装置 | |
| Lee et al. | Detecting suicidality with a contextual graph neural network | |
| CN112528015B (zh) | 在消息交互传播中进行谣言判别的方法及装置 | |
| Indra et al. | Modeling of optimal deep learning based flood forecasting model using twitter data | |
| CN117312562A (zh) | 内容审核模型的训练方法、装置、设备及存储介质 | |
| Wakchaure et al. | A scheme of answer selection in community question answering using machine learning techniques | |
| Akula et al. | Credibility of social-media content using bidirectional long short-term memory-recurrent neural networks | |
| Dasgupta et al. | A Review of Generative AI from Historical Perspectives | |
| Wang et al. | Prediction method of college students’ psychological pressure based on deep neural network | |
| Yu et al. | Multi‐scale event causality extraction via simultaneous knowledge‐attention and convolutional neural network | |
| Feng et al. | A new method of microblog rumor detection based on transformer model | |
| KR102666388B1 (ko) | 유망기술 발전가능성 예측정보 생성 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |