CN116383517A - 动态传播特征增强的多模态谣言检测方法及系统 - Google Patents
动态传播特征增强的多模态谣言检测方法及系统 Download PDFInfo
- Publication number
- CN116383517A CN116383517A CN202310333838.1A CN202310333838A CN116383517A CN 116383517 A CN116383517 A CN 116383517A CN 202310333838 A CN202310333838 A CN 202310333838A CN 116383517 A CN116383517 A CN 116383517A
- Authority
- CN
- China
- Prior art keywords
- vector
- text
- post
- node
- posts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 46
- 239000008186 active pharmaceutical agent Substances 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 224
- 238000012512 characterization method Methods 0.000 claims description 136
- 230000006870 function Effects 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种动态传播特征增强的多模态谣言检测方法及系统，该方法包括以下步骤：步骤A：在社交媒体中收集多媒体帖子，提取出帖子中的文本、评论、图像和用户资料，并对帖子的真实性标签进行标注，以此构建训练数据集DS；步骤B：使用训练数据集DS训练具有动态传播特征增强的多模态谣言检测模型M，以利用模型M来分析帖子的真实性，并得出帖子的预测标签；步骤C：将未检测多媒体帖子的文本、评论、图像和用户资料输入到训练好的多模态谣言检测模型M中，获得多媒体帖子的真实性标签。该方法及系统有利于提高社交媒体中谣言检测的准确性和可靠性。
Description
技术领域
本发明属于自然语言处理领域，具体涉及一种动态传播特征增强的多模态谣言检测方法及系统。
背景技术
谣言检测(Rumor Detection)，又称虚假新闻检测，是自然语言处理(NLP)领域中一项重要的研究任务。随着社交媒体的兴起，微博、Twitter等社交媒体已经成为人们不可缺少的交流工具。但由于社交媒体传播速度快且范围广，谣言已逐渐成为人们关注的重要问题。在社交媒体中，谣言是一种未经证实的信息表述，通常会使用虚假或者伪造的图像以及煽动性的文字误导用户。谣言的出现常常会给个人或社会造成巨大的经济损失和严重的危害。虽然各社交媒体机构已陆续上线了辟谣平台来加强对谣言的管控，但这些平台仍需要耗费大量人力物力收集信息来判断谣言的真实性。因此，迫切需要一种能够有效检测谣言的自动化方法。
由于深度学习方法相较于传统机器学习方法具有很大的性能优势，越来越多的研究学者开始将深度学习方法应用到谣言检测问题中。深度神经网络能够自动学习质量更高、更具有本质代表性的数据特征，例如卷积神经网络和循环神经网络。卷积神经网络可以从文本中捕获局部的语义信息，因此一些研究学者将其应用于基于文本内容的谣言检测中。但是，卷积神经网络往往不能充分学习文本句子中的上下文信息，而上下文信息对于理解文本的整体语义来说非常的重要。因此基于卷积神经网络的谣言检测模型在性能上受到了限制。为了解决这个问题，一些研究学者提出利用循环神经网络来提取文本中的上下文语义信息，例如长短期记忆(LSTM)和门控循环单元(GRU)等。与卷积神经网络不同，循环神经网络将句子视为一个单词序列，按时间顺序选取每个单词，将隐藏层的输出作为下一个隐藏层的输入，不断学习序列数据中的上下文信息，能够让模型很好地理解句子的整体语义，提高谣言检测的性能。尽管基于循环神经网络的谣言检测模型在性能上取得了一定的突破，但是仍然存在一些缺陷。这种方法只利用了文本信息来检测谣言，忽略了谣言传播过程的拓扑关系。
因此，一些研究学者研究了基于文本信息和传播图的谣言检测方法。通过对帖子的传播过程建模构建传播图，使用图神经网络聚合邻居节点的信息，以达到捕获谣言的传播结构特征的目的。例如Wu等人对每个样本帖子构建传播图，利用门控图神经网络对关系路径上的邻接节点交换信息，更新节点表示，从而增强传播图的节点特征表示。Ma等人利用自顶向下和自低向上的树形循环神经网络来捕获谣言的语义特征和传播特征。此外，部分研究学者开始尝试构建异构传播图为模拟谣言传播过程提供新的研究方向，并取得了出色的性能表现。Huang等人构建了帖子-词-用户异构图，利用基于关系路径的异构图注意力网络来捕获文本的全局语义关系和帖子传播的全局结构信息。Khoo等人使用多头注意力机制对不同帖子之间的长距离交互进行建模，提出一种帖子级注意力模型。Ran等人提出一种多通道图注意力网络，该网络分别对源帖子与评论的关系、源帖子与用户的关系、源推文与其单词的关系进行建模构建三个异构子图，并设计了事件共享模块来学习不同谣言事件中的共性特征。Bian等人利用双向图卷积网络学习谣言的传播模式，捕捉谣言扩散的结构特征。Yuan等人将帖子、转帖和用户的全局关系建模成异构图，然后从帖子和用户的传播关系中捕获局部语义信息和全局结构信息。
随着多媒体技术的发展，社交媒体上的信息逐渐呈现出多模态的特点，即包含文本、图像等多种类型的信息。图像也渐渐成为谣言的重要组成部分，它通常比文字更容易吸引和误导用户，从而快速传播。因此，基于多模态的谣言检测已经成为了一个新的热点研究方向。Khattar等人提出了一种用于谣言检测的多模态变分自动编码器来学习文本和图片两个模态的共享表示。Zhang等人通过引入立场任务，设计了一个多模态多任务学习框架。Zhou等人考虑文本信息和视觉信息之间的相关性，根据文本和图像的不匹配信息来识别谣言。
虽然目前有关谣言检测的研究在准确率上取得了一定的成果，但在学习谣言传播过程和多模态融合中仍然存在问题。现有基于多模态的谣言检测模型通常只考虑帖子的文本和图像信息，忽略了谣言的传播过程和规律，并且在进行多模态融合时只是简单地拼接不同模态的特征，没有考虑跨模态之间的关系。其次，现有基于传播图的谣言检测模型在使用图神经网络聚合传播图节点信息时，无法区分邻接节点对目标节点的影响。这些问题都可能导致谣言的检测性能下降。
发明内容
本发明的目的在于提供一种动态传播特征增强的多模态谣言检测方法及系统，该方法及系统有利于提高社交媒体中谣言检测的准确性和可靠性。
为实现上述目的，本发明采用的技术方案是：一种动态传播特征增强的多模态谣言检测方法，包括以下步骤：
步骤A：在社交媒体中收集多媒体帖子，提取出帖子中的文本、评论、图像和用户资料，并对帖子的真实性标签进行标注，以此构建训练数据集DS；
步骤B：使用训练数据集DS训练具有动态传播特征增强的多模态谣言检测模型M，以利用模型M来分析帖子的真实性，并得出帖子的预测标签；
步骤C：将未检测多媒体帖子的文本、评论、图像和用户资料输入到训练好的多模态谣言检测模型M中，获得多媒体帖子的真实性标签。
进一步地，所述步骤B具体包括以下步骤：
步骤B1：对训练数据集DS中的所有训练样本进行初始编码，得到文本初始表征向量Et、评论初始表征向量Er和用户初始表征向量Eu；
步骤B2：将文本初始表征向量Et和帖子中的图像分别输入到Text-CNN和ResNet50中得到帖子文本特征表征向量Ft和视觉特征表征向量Fv；
步骤B3：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图G；将异构传播图G输入到多层动态异构图神经网络DyHGN中，DyHGN主要包括符号注意力机制和根节点增强模块，首先通过符号注意力机制得到节点ni与所有邻接节点的注意力系数向量A，然后将注意力系数作为权重来聚合所有邻接节点的信息，通过根节点增强后得到节点ni的信息表征向量H(l)[ni]，最后经过L层DyHGN后得到节点ni的动态传播特征表征向量Fg；
步骤B4：将帖子的文本特征表征向量Ft和视觉特征表征向量Fv输入到共同注意力网络中，获得帖子文本和视觉的联合表征向量Ftv；再将帖子的文本特征表征向量Ft和动态传播特征表征向量Fg输入到共同注意力网络中，获得帖子文本和传播图的联合表征向量Ftg；
步骤B5：将步骤B4得到的帖子文本和视觉的联合表征向量Ftv和帖子文本和传播图的联合表征向量Ftg在自监督损失的情况下进行模态对齐操作，得到对齐后的文本视觉的联合表征向量
和文本传播图的联合表征向量/>
然后将模态对齐后的文本视觉联合表征向量/>
和文本传播图联合表征向量/>
输入到共同注意力网络中，得到帖子的多模态表征向量Ftvg；
步骤B6：将帖子的多模态表征向量Ftvg输入到全连接层中，获得到帖子的预测结果；然后根据目标损失函数loss，通过利用反向传播方法计算多模态谣言检测模型中各参数的梯度，并利用反向传播迭代更新模型的所有参数；
步骤B7：当多模态谣言检测模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数时，则终止模型的训练过程。
进一步地，所述步骤B1具体包括以下步骤：
步骤B11：对训练数据集DS的样本数据进行遍历，对帖子的文本和评论内容同时进行分词处理并去除停用词和特殊符号，并对包含无效图像的帖子进行删除；DS中的每个样本帖子si表示为si＝(ti，ri，ui，vi，a)；其中，ti，vi和ui分别表示帖子的文本、图像和发布者，ri表示帖子si相应的评论集合，
表示帖子si的第j条评论；此外，每个评论/>
都是由相应用户/>
发布；a为帖子对应的真实性标签，a∈{非谣言，谣言}；
帖子的文本ti表示为：
其中，
为帖子文本内容ti中的第k个词，k＝1，2，…，n，n为帖子文本ti的词语数量；
帖子的评论
表示为：
其中，
为评论内容/>
中的第k个词，i＝1，2，…，m，m为评论/>
的词语数量；
步骤B12：对步骤B11得到文本
通过word2vec进行编码，得到文本ti的初始表征向量Et；Et表示为：
其中，
表示从预训练的词向量矩阵/>
中查找得到的词嵌入表征向量，
表示第k个词/>
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|表示词典V中的单词数；
步骤B13：对步骤B11得到的评论
通过word2vec进行编码，得到评论/>
的初始表征向量Er；Er表示为：
其中，
表示从预训练的词向量矩阵/>
中查找得到的词嵌入表征向量，
表示第k个词/>
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|是词典V中的单词数；
步骤B14：利用word2vec对用户资料中的历史发布帖子进行编码，然后取所有编码向量的平均值得到用户ui的初始表征向量
其中d为表征向量的维度。
进一步地，所述步骤B2具体包括以下步骤：
步骤B21：将帖子文本ti的初始表征向量Et输入到Text-CNN中，使用尺寸为h的卷积核对输入矩阵进行卷积操作，得到第j个单词开始的连续h个单词的序列特征表示cj，其计算过程如下：
其中，卷积核大小h∈{3，4，5}，Wt表示过滤器的权重矩阵，σ(·)表示ReLU激活函数；
步骤B22：然后将文本所有单词经过卷积核卷积操作后的结果c进行最大池化操作，得到卷积后的表征向量，最后将不同尺寸卷积核的池化结果进行拼接，得到文本特征表征向量Ft：
c＝(c1…cj…cn-h+1)
其中，maxpool(·)表示最大池化函数；
步骤B23：将帖子中的图像vi输入到ResNet50中，提取ResNet50最后第二层的输出表示为VResNet，再将其通过一个全连接层，获得视觉特征表征向量Fv：
Fv＝σ(Wv·VResNet)
其中，Wv是全连接层的参数，σ(·)表示非线性激活函数。
进一步地，所述步骤B3具体包括以下步骤：
步骤B31：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图G＝(V，E)；其中，节点集V包含数据集DS中的所有帖子节点、评论节点、发布帖子的用户节点和发布评论的用户节点，边集合E包含发布和评论关系；并将步骤B1得到的文本初始表征向量Et、评论初始表征向量Er和用户初始表征向量Eu分别作为各对应节点的初始表征向量；
步骤B32：将异构传播图G＝(V，E)输入到多层动态异构图神经网络DyHGN中，DyHGN首先利用相对时间编码机制来建模异构传播图中的动态依赖关系，将节点的时间戳信息都考虑在内，对于图中的帖子节点ni和它的所有邻接节点集合
其计算过程如下：
RTE(ΔT(ni，n′j))＝Linear(PE(ΔT(ni，n′j)))
其中，Linear(·)为线性映射函数，ΔT(ni，n′j)表示节点ni和节点n′j的相对时间间隔；
步骤B33：然后将相对于节点ni的时间编码加入到评论节点n′j的表示中，得到节点n′j的初始表征向量
其计算过程如下：
其中，n′j表示节点ni的第j个邻接节点；
步骤B34：通过步骤B33得到所有邻接节点的初始表征向量后，DyHGN为不同类型的节点和边分别设置了不同的线性映射函数和参数矩阵，通过参数共享尽可能为节点和边保留特定于自身类型的特性，分别计算节点ni和邻接节点的注意力权重，以表示不同邻接节点对节点ni的不同重要性，得到节点ni与所有邻接节点的注意力系数向量
其计算过程如下：
其中，τ(ni)表示节点si的类型，φ(e)表示边e的类型；
分别表示为τ(ni)类型和τ(n′j)类型节点的线性映射函数，/>
表示φ(e)类型边的参数矩阵；
步骤B35：DyHGN使用符号注意力机制来捕获相邻节点之间的正负相关性，以区分邻接节点对目标节点的影响；具体为：将步骤B34得到的注意力系数向量A进行反转得到注意力向量
并通过softtmax得到标准化权重向量A′和/>
然后使用标准化权重对所有邻居节点的信息进行聚合，得到节点ni新的特征表征向量/>
其计算过程如下：
A′＝softmax(A)
其中，Wg表示全连接层的参数矩阵，||表示拼接符号，σ(·)表示激活函数；
步骤B36：将节点ni新的特征表征向量
通过根节点增强来更好地利用来自源节点的信息，得到更准确的节点表示H(l)[ni]，其计算过程如下：
其中，
为线性映射函数表示将节点ni映射回对应类别的特征空间中；最后将第L层DyHGN的输出结果作为最终输出，即重复执行L次步骤B32至步骤B36后得到节点ni的动态传播特征表示Fg。
进一步地，所述步骤B4具体包括以下步骤：
步骤B41：将步骤B2得到的文本特征表征向量Ft和视觉特征表征向量Fv输入到共同注意力网络中，通过两个交叉注意力子层分别得到基于图像的文本特征表征向量Zt和基于文本的图像特征表征向量Zv，其计算过程如下：
Zt＝CrossAtt(Ft，Fv)
Zv＝CrossAtt(Fv，Ft)
其中，CrossAtt(·)表示交叉注意力函数；
步骤B42：将基于图像的文本特征表征向量Zt和基于文本的图像特征表征向量Zv分别输入到两个自注意力子层中，引导模型关注到每个单模态特定于自身的关键特征，然后将两个自注意力子层的输出进行拼接，得到文本和视觉的联合表征表示Ftv，其计算过程如下：
其中，SelfAtt(·)表示自注意力函数，Concat(·)表示拼接函数；
步骤B43：将步骤B2得到的文本特征表征向量Ft和步骤B3得到的动态传播特征表征向量Fg一起输入到共同注意力网络中，执行和步骤B41和步骤B42相同的操作，得到文本和传播图的联合表征向量Ftg。
进一步地，所述步骤B5具体包括以下步骤：
步骤B51：将步骤B4得到的帖子文本和视觉的联合表征向量Ftv和帖子文本和传播图的联合表征向量Ftg在自监督损失的情况下进行模态对齐操作，采用均方损失作为自监督的损失函数，将两种模态映射在同一个特征空间中，得到对齐后的文本视觉的联合表征向量
和文本传播图的联合表征向量/>
并将对齐的损失函数表示为Lalign，其计算过程如下：
其中Wtv和Wtg表示可学习参数矩阵；
步骤B52：将对齐后的联合特征表示
和/>
输入到共同注意力网络中进行下一步的多模态融合，执行和步骤B41和步骤B42相同的操作，得到多媒体帖子的多模态特征表示Ftvg，其计算公式如下：
进一步地，所述步骤B6具体包括以下步骤：
步骤B61：将步骤B52得到的多模态表征向量Ftvg输入到全连接层中，并使用softmax进行标准化，得到帖子属于各类别的预测概率，计算公式如下：
y＝WoFtvg+b
pa(y)＝softmax(y)
其中，y表示全连接层输出向量，
为全连接层参数矩阵，b为全连接层偏置项，pa(y)表示预测该帖子标签类别为a的概率，0≤pa(y)≤1，a∈{非谣言，谣言}；
步骤B62：使用交叉熵损失函数作为分类的损失函数计算损失值，其计算公式如下：
其中，
是L2正则化项，λ是学习率，θ为模型包含的所有参数；
步骤B63：将对齐损失Lalign和分类损失Lclassify一起作为模型的最终损失函数loss，利用梯度优化算法Adam作为优化器，通过反向传播迭代更新模型的所有参数，以最小化损失函数loss来训练模型，计算公式如下：
loss＝βaLalign+βcLclassify
其中，βa和βc为用来平衡两种损失的系数。
本发明还提供了一种采用上述方法的动态传播特征增强的多模态谣言检测系统，包括：
数据收集模块，用于提取社交媒体中帖子的文本、评论、图像和相关用户资料，并对帖子的真实性标签类别进行标注，构建训练数据集；
数据处理模块，用于对训练数据集中的训练样本数据进行预处理；
文本编码模块，用于从预训练的词向量字典中查找经过预处理后的帖子文本内容和评论内容中单词的词向量，得到帖子文本内容的初始表征向量和评论内容的初始表征向量；
用户编码模块，用于根据用户资料信息对用户进行编码，得到用户的初始表征向量；
模型训练模块，用于将帖子文本的初始表征向量、评论的初始表征向量和用户的初始表征向量输入到多模态谣言检测模型中，得到帖子的多模态表征向量，利用该表征向量预测其属于某一标签类别的概率，并通过与该帖子的真实类别标注作对比计算损失，以最小化损失为目标来对整个多模态谣言检测模型进行训练，得到具有动态传播特征增强的多模态谣言检测模型；
多模态谣言检测模块，用于检测多媒体帖子的真实性，利用训练好的具有动态传播特征增强的多模态谣言检测模型对输入的待检测帖子进行分析和处理，提取帖子的文本语义信息、视觉信息和异构传播图中的动态传播信息，将三种模态信息有效融合，最终输出帖子的预测标签。
与现有技术相比，本发明具有以下有益效果：提供了一种动态传播特征增强的多模态谣言检测方法及系统，该方法及系统通过构建具有动态传播特征增强的多模态谣言检测模型，基于动态传播特征增强对帖子进行多模态表征，并融合多模态特征，进而对帖子的真实性进行判断，提高了社交媒体中帖子谣言检测的准确性和可靠性，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的方法实现流程图；
图2是本发明实施例中多模态谣言检测模型的架构图；
图3是本发明实施例的系统结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种动态传播特征增强的多模态谣言检测方法，包括以下步骤：
步骤A：在社交媒体中收集多媒体帖子，提取出帖子中的文本、评论、图像和用户资料，并对帖子的真实性标签进行标注，以此构建训练数据集DS。
步骤B：使用训练数据集DS训练具有动态传播特征增强的多模态谣言检测模型M，模型架构如图2所示，以利用模型M来分析帖子的真实性，并得出帖子的预测标签。
步骤C：将未检测多媒体帖子的文本、评论、图像和用户资料输入到训练好的多模态谣言检测模型M中，获得多媒体帖子的真实性标签。
在本实施例中，所述步骤B具体包括以下步骤：
步骤B1：对训练数据集DS中的所有训练样本进行初始编码，得到文本初始表征向量Et、评论初始表征向量Er和用户初始表征向量Eu。
在本实施例中，所述步骤B1具体包括以下步骤：
步骤B11：对训练数据集DS的样本数据进行遍历，对帖子的文本和评论内容同时进行分词处理并去除停用词和特殊符号，并对包含无效图像的帖子进行删除；DS中的每个样本帖子si表示为si＝(ti，ri，ui，vi，a)；其中，ti，vi和ui分别表示帖子的文本、图像和发布者，ri表示帖子si相应的评论集合，
表示帖子si的第j条评论；此外，每个评论/>
都是由相应用户/>
发布；a为帖子对应的真实性标签，a∈{非谣言，谣言}。
帖子的文本ti表示为：
其中，
为帖子文本内容ti中的第k个词，k＝1，2，…，n，n为帖子文本ti的词语数量。
帖子的评论
表示为：
其中，
为评论内容/>
中的第k个词，i＝1，2，…，m，m为评论/>
的词语数量。
步骤B12：对步骤B11得到文本
通过word2vec进行编码，得到文本ti的初始表征向量Et；Et表示为：
其中，
表示从预训练的词向量矩阵/>
中查找得到的词嵌入表征向量，
表示第k个词/>
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|表示词典V中的单词数。
步骤B13：对步骤B11得到的评论
通过word2vec进行编码，得到评论/>
的初始表征向量Er；Er表示为：
其中，
表示从预训练的词向量矩阵/>
中查找得到的词嵌入表征向量，
表示第k个词/>
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|是词典V中的单词数。
步骤B14：利用word2vec对用户资料中的历史发布帖子进行编码，然后取所有编码向量的平均值得到用户ui的初始表征向量
其中d为表征向量的维度。
步骤B2：将文本初始表征向量Et和帖子中的图像分别输入到Text-CNN和ResNet50中得到帖子文本特征表征向量Ft和视觉特征表征向量Fv。
在本实施例中，所述步骤B2具体包括以下步骤：
步骤B21：将帖子文本ti的初始表征向量Et输入到Text-CNN中，使用尺寸为h的卷积核对输入矩阵进行卷积操作，得到第j个单词开始的连续h个单词的序列特征表示cj，其计算过程如下：
其中，卷积核大小h∈{3，4，5}，Wt表示过滤器的权重矩阵，σ(·)表示ReLU激活函数。
步骤B22：然后将文本所有单词经过卷积核卷积操作后的结果c进行最大池化操作，得到卷积后的表征向量，最后将不同尺寸卷积核的池化结果进行拼接，得到文本特征表征向量Ft：
c＝(c1…cj…cn-h+1)
其中，maxpool(·)表示最大池化函数。
步骤B23：将帖子中的图像vi输入到ResNet50中，提取ResNet50最后第二层的输出表示为VResNet，再将其通过一个全连接层，获得视觉特征表征向量Fv：
Fv v＝σ(Wv·VResNet)
其中，Wv是全连接层的参数，σ(·)表示非线性激活函数。
步骤B3：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图G；将异构传播图G输入到多层动态异构图神经网络DyHGN中，DyHGN网络主要包括符号注意力机制和根节点增强模块，首先通过符号注意力机制得到节点ni与所有邻接节点的注意力系数向量A，然后将注意力系数作为权重来聚合所有邻接节点的信息，通过根节点增强后得到节点ni的信息表征向量H(l)[ni]，最后经过L层DyHGN后得到节点ni的动态传播特征表征向量Fg。
在本实施例中，所述步骤B3具体包括以下步骤：
步骤B31：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图G＝(V，E)；其中，节点集V包含数据集DS中的所有帖子节点、评论节点、发布帖子的用户节点和发布评论的用户节点，边集合E包含发布和评论关系；并将步骤B1得到的文本初始表征向量Et、评论初始表征向量Er和用户初始表征向量Eu分别作为各对应节点的初始表征向量。
步骤B32：将异构传播图G＝(V，E)输入到多层动态异构图神经网络DyHGN中，DyHGN首先利用相对时间编码机制来建模异构传播图中的动态依赖关系，将节点的时间戳信息都考虑在内，对于图中的帖子节点ni和它的所有邻接节点集合
其计算过程如下：
RTE(ΔT(ni，n′j))＝Linear(PE(ΔT(ni，n′j)))
其中，Linear(·)为线性映射函数，ΔT(ni，n′j)表示节点ni和节点n′j的相对时间间隔。
步骤B33：然后将相对于节点ni的时间编码加入到评论节点n′j的表示中，得到节点n′j的初始表征向量
其计算过程如下：
其中，n′j表示节点ni的第j个邻接节点。
步骤B34：通过步骤B33得到所有邻接节点的初始表征向量后，DyHGN为不同类型的节点和边分别设置了不同的线性映射函数和参数矩阵，通过参数共享尽可能为节点和边保留特定于自身类型的特性，分别计算节点ni和邻接节点的注意力权重，以表示不同邻接节点对节点ni的不同重要性，得到节点ni与所有邻接节点的注意力系数向量
其计算过程如下：
其中，τ(ni)表示节点si的类型，φ(e)表示边e的类型；
分别表示为τ(ni)类型和τ(n′j)类型节点的线性映射函数，/>
表示φ(e)类型边的参数矩阵。
步骤B35：DyHGN使用符号注意力机制来捕获相邻节点之间的正负相关性，以区分邻接节点对目标节点的影响；具体为：将步骤B34得到的注意力系数向量A进行反转得到注意力向量
并通过softtmax得到标准化权重向量A′和/>
然后使用标准化权重对所有邻居节点的信息进行聚合，得到节点ni新的特征表征向量/>
其计算过程如下：
A′＝softmax(A)
其中，Wg表示全连接层的参数矩阵，||表示拼接符号，σ(·)表示激活函数。
步骤B36：将节点ni新的特征表征向量
通过根节点增强来更好地利用来自源节点的信息，得到更准确的节点表示H(l)[ni]，其计算过程如下：
其中，
为线性映射函数表示将节点ni映射回对应类别的特征空间中；最后将第L层DyHGN的输出结果作为最终输出，即重复执行L次步骤B32至步骤B36后得到节点ni的动态传播特征表示Fg。
步骤B4：将帖子的文本特征表征向量Ft和视觉特征表征向量Fv输入到共同注意力网络中，获得帖子文本和视觉的联合表征向量Ftv；再将帖子的文本特征表征向量Ft和动态传播特征表征向量Fg输入到共同注意力网络中，获得帖子文本和传播图的联合表征向量Ftg。
在本实施例中，所述步骤B4具体包括以下步骤：
步骤B41：将步骤B2得到的文本特征表征向量Ft和视觉特征表征向量Fv输入到共同注意力网络中，通过两个交叉注意力子层分别得到基于图像的文本特征表征向量Zt和基于文本的图像特征表征向量Zv，其计算过程如下：
Zt＝CrossAtt(Ft，Fv)
Zv＝CrossAtt(Fv，Ft)
其中，CrossAtt(·)表示交叉注意力函数。
步骤B42：将基于图像的文本特征表征向量Zt和基于文本的图像特征表征向量Zv分别输入到两个自注意力子层中，引导模型关注到每个单模态特定于自身的关键特征，然后将两个自注意力子层的输出进行拼接，得到文本和视觉的联合表征表示Ftv，其计算过程如下：
其中，SelfAtt(·)表示自注意力函数，Concat(·)表示拼接函数。
步骤B43：将步骤B2得到的文本特征表征向量Ft和步骤B3得到的动态传播特征表征向量Fg一起输入到共同注意力网络中，执行和步骤B41和步骤B42相同的操作，得到文本和传播图的联合表征向量Ftg。
步骤B5：将步骤B4得到的帖子文本和视觉的联合表征向量Ftv和帖子文本和传播图的联合表征向量Ftg在自监督损失的情况下进行模态对齐操作，得到对齐后的文本视觉的联合表征向量
和文本传播图的联合表征向量/>
然后将模态对齐后的文本视觉联合表征向量/>
和文本传播图联合表征向量/>
输入到共同注意力网络中，得到帖子的多模态表征向量Ftvg。
在本实施例中，所述步骤B5具体包括以下步骤：
步骤B51：将步骤B4得到的帖子文本和视觉的联合表征向量Ftv和帖子文本和传播图的联合表征向量Ftg在自监督损失的情况下进行模态对齐操作，采用均方损失作为自监督的损失函数，将两种模态映射在同一个特征空间中，得到对齐后的文本视觉的联合表征向量
和文本传播图的联合表征向量/>
并将对齐的损失函数表示为Lalign，其计算过程如下：
其中Wtv和Wtg表示可学习参数矩阵。
步骤B52：将对齐后的联合特征表示
和/>
输入到共同注意力网络中进行下一步的多模态融合，执行和步骤B41和步骤B42相同的操作，得到多媒体帖子的多模态特征表示Ftvg，其计算公式如下：
步骤B6：将帖子的多模态表征向量Ftvg输入到全连接层中，获得到帖子的预测结果；然后根据目标损失函数loss，通过利用反向传播方法计算多模态谣言检测模型中各参数的梯度，并利用反向传播迭代更新模型的所有参数。
在本实施例中，所述步骤B6具体包括以下步骤：
步骤B61：将步骤B52得到的多模态表征向量Ftvg输入到全连接层中，并使用softmax进行标准化，得到帖子属于各类别的预测概率，计算公式如下：
y＝WoFtvg+b
pa(y)＝softmax(y)
其中，y表示全连接层输出向量，
为全连接层参数矩阵，b为全连接层偏置项，pa(y)表示预测该帖子标签类别为a的概率，0≤pa(y)≤1，a∈{非谣言，谣言}。
步骤B62：使用交叉熵损失函数作为分类的损失函数计算损失值，其计算公式如下：
其中，
是L2正则化项，λ是学习率，θ为模型包含的所有参数。
步骤B63：将对齐损失Lalign和分类损失Lclassify一起作为模型的最终损失函数loss，利用梯度优化算法Adam作为优化器，通过反向传播迭代更新模型的所有参数，以最小化损失函数loss来训练模型，计算公式如下：
loss＝βaLalign+βcLclassify
其中，βa和βc为用来平衡两种损失的系数。
步骤B7：当多模态谣言检测模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数时，则终止模型的训练过程。
如图3所示，本实施例还提供了采用上述方法的动态传播特征增强的多模态谣言检测系统，包括：数据收集模块、数据处理模块、文本编码模块、用户编码模块、模型训练模块和多模态谣言检测模块。
所述数据收集模块用于提取社交媒体中帖子的文本、评论、图像和相关用户资料，并对帖子的真实性标签类别进行标注，构建训练数据集。
所述数据处理模块用于对训练数据集中的训练样本数据进行预处理。
所述文本编码模块用于从预训练的词向量字典中查找经过预处理后的帖子文本内容和评论内容中单词的词向量，得到帖子文本内容的初始表征向量和评论内容的初始表征向量。
所述用户编码模块用于根据用户资料信息对用户进行编码，得到用户的初始表征向量。
所述模型训练模块用于将帖子文本的初始表征向量、评论的初始表征向量和用户的初始表征向量输入到多模态谣言检测模型中，得到帖子的多模态表征向量，利用该表征向量预测其属于某一标签类别的概率，并通过与该帖子的真实类别标注作对比计算损失，以最小化损失为目标来对整个多模态谣言检测模型进行训练，得到具有动态传播特征增强的多模态谣言检测模型。
所述多模态谣言检测模块用于检测多媒体帖子的真实性，利用训练好的具有动态传播特征增强的多模态谣言检测模型对输入的待检测帖子进行分析和处理，提取帖子的文本语义信息、视觉信息和异构传播图中的动态传播信息，将三种模态信息有效融合，最终输出帖子的预测标签。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (9)
1.一种动态传播特征增强的多模态谣言检测方法，其特征在于，包括以下步骤：
步骤A：在社交媒体中收集多媒体帖子，提取出帖子中的文本、评论、图像和用户资料，并对帖子的真实性标签进行标注，以此构建训练数据集DS；
步骤B：使用训练数据集DS训练具有动态传播特征增强的多模态谣言检测模型M，以利用模型M来分析帖子的真实性，并得出帖子的预测标签；
步骤C：将未检测多媒体帖子的文本、评论、图像和用户资料输入到训练好的多模态谣言检测模型M中，获得多媒体帖子的真实性标签。
2.根据权利要求1所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：对训练数据集DS中的所有训练样本进行初始编码，得到文本初始表征向量Et、评论初始表征向量Er和用户初始表征向量Eu；
步骤B2：将文本初始表征向量Et和帖子中的图像分别输入到Text-CNN和ResNet50中得到帖子文本特征表征向量Ft和视觉特征表征向量Fv；
步骤B3：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图G；将异构传播图G输入到多层动态异构图神经网络DyHGN中，DyHGN主要包括符号注意力机制和根节点增强模块，首先通过符号注意力机制得到节点ni与所有邻接节点的注意力系数向量A，然后将注意力系数作为权重来聚合所有邻接节点的信息，通过根节点增强后得到节点ni的信息表征向量H(l)[ni]，最后经过L层DyHGN后得到节点ni的动态传播特征表征向量Fg；
步骤B4：将帖子的文本特征表征向量Ft和视觉特征表征向量Fv输入到共同注意力网络中，获得帖子文本和视觉的联合表征向量Ftv；再将帖子的文本特征表征向量Ft和动态传播特征表征向量Fg输入到共同注意力网络中，获得帖子文本和传播图的联合表征向量Ftg；
步骤B5：将步骤B4得到的帖子文本和视觉的联合表征向量Ftv和帖子文本和传播图的联合表征向量Ftg在自监督损失的情况下进行模态对齐操作，得到对齐后的文本视觉的联合表征向量
和文本传播图的联合表征向量/>
然后将模态对齐后的文本视觉联合表征向量
和文本传播图联合表征向量/>
输入到共同注意力网络中，得到帖子的多模态表征向量Ftvg；
步骤B6：将帖子的多模态表征向量Ftvg输入到全连接层中，获得到帖子的预测结果；然后根据目标损失函数loss，通过利用反向传播方法计算多模态谣言检测模型中各参数的梯度，并利用反向传播迭代更新模型的所有参数；
步骤B7：当多模态谣言检测模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数时，则终止模型的训练过程。
3.根据权利要求2所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B1具体包括以下步骤：
步骤B11：对训练数据集DS的样本数据进行遍历，对帖子的文本和评论内容同时进行分词处理并去除停用词和特殊符号，并对包含无效图像的帖子进行删除；DS中的每个样本帖子si表示为si＝(ti,ri,ui,vi,a)；其中，ti，vi和ui分别表示帖子的文本、图像和发布者，ri表示帖子si相应的评论集合，
表示帖子si的第j条评论；此外，每个评论
都是由相应用户/>
发布；a为帖子对应的真实性标签，a∈{非谣言，谣言}；
帖子的文本ti表示为：
其中，
为帖子文本内容ti中的第k个词，k＝1,2,…,n，n为帖子文本ti的词语数量；
帖子的评论
表示为：
其中，
为评论内容/>
中的第k个词，i＝1,2,…,m，m为评论/>
的词语数量；
步骤B12：对步骤B11得到文本
通过word2vec进行编码，得到文本ti的初始表征向量Et；Et表示为：
其中，
表示从预训练的词向量矩阵/>
中查找得到的词嵌入表征向量，
表示第k个词/>
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|表示词典V中的单词数；
步骤B13：对步骤B11得到的评论
通过word2vec进行编码，得到评论
的初始表征向量Er；Er表示为：
其中，
表示从预训练的词向量矩阵/>
中查找得到的词嵌入表征向量，
表示第k个词/>
所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|V|是词典V中的单词数；
步骤B14：利用word2vec对用户资料中的历史发布帖子进行编码，然后取所有编码向量的平均值得到用户ui的初始表征向量
其中d为表征向量的维度。
4.根据权利要求3所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：将帖子文本ti的初始表征向量Et输入到Text-CNN中，使用尺寸为h的卷积核对输入矩阵进行卷积操作，得到第j个单词开始的连续h个单词的序列特征表示cj，其计算过程如下：
其中，卷积核大小h∈{3,4,5}，Wt表示过滤器的权重矩阵，σ(·)表示ReLU激活函数；
步骤B22：然后将文本所有单词经过卷积核卷积操作后的结果c进行最大池化操作，得到卷积后的表征向量，最后将不同尺寸卷积核的池化结果进行拼接，得到文本特征表征向量Ft：
c＝(c1…cj…cn-h+1)
其中，maxpool(·)表示最大池化函数；
步骤B23：将帖子中的图像vi输入到ResNet50中，提取ResNet50最后第二层的输出表示为VResNet，再将其通过一个全连接层，获得视觉特征表征向量Fv：
Fv＝σ(Wv·VResNet)
其中，Wv是全连接层的参数，σ(·)表示非线性激活函数。
5.根据权利要求4所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B3具体包括以下步骤：
步骤B31：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图G＝(V,E)；其中，节点集V包含数据集DS中的所有帖子节点、评论节点、发布帖子的用户节点和发布评论的用户节点，边集合E包含发布和评论关系；并将步骤B1得到的文本初始表征向量Et、评论初始表征向量Er和用户初始表征向量Eu分别作为各对应节点的初始表征向量；
步骤B32：将异构传播图G＝(V,E)输入到多层动态异构图神经网络DyHGN中，DyHGN首先利用相对时间编码机制来建模异构传播图中的动态依赖关系，将节点的时间戳信息都考虑在内，对于图中的帖子节点ni和它的所有邻接节点集合
其计算过程如下：
RTE(ΔT(ni,n′j))＝Linear(PE(ΔT(ni,n′j)))
其中，Linear(·)为线性映射函数，ΔT(ni,n'j)表示节点ni和节点n'j的相对时间间隔；
步骤B33：然后将相对于节点ni的时间编码加入到邻接节点n'j的表示中，得到节点n'j的初始表征向量
其计算过程如下：
其中，n'j表示节点ni的第j个邻接节点；
步骤B34：通过步骤B33得到所有邻接节点的初始表征向量后，DyHGN为不同类型的节点和边分别设置了不同的线性映射函数和参数矩阵，通过参数共享尽可能为节点和边保留特定于自身类型的特性，分别计算节点ni和邻接节点的注意力权重，以表示不同邻接节点对节点ni的不同重要性，得到节点ni与所有邻接节点的注意力系数向量
其计算过程如下：
其中，τ(ni)表示节点si的类型，φ(e)表示边e的类型；
分别表示为τ(ni)类型和τ(n'j)类型节点的线性映射函数，/>
表示φ(e)类型边的参数矩阵；
步骤B35：DyHGN使用符号注意力机制来捕获相邻节点之间的正负相关性，以区分邻接节点对目标节点的影响；具体为：将步骤B34得到的注意力系数向量A进行反转得到注意力向量
并通过softmax得到标准化权重向量A'和/>
然后使用标准化权重对所有邻居节点的信息进行聚合，得到节点ni新的特征表征向量/>
其计算过程如下：
A′＝softmax(A)
其中，Wg表示全连接层的参数矩阵，||表示拼接符号，σ(·)表示激活函数；
步骤B36：将节点ni新的特征表征向量
通过根节点增强来更好地利用来自源节点的信息，得到更准确的节点表示H(l)[ni]，其计算过程如下：
其中，
为线性映射函数表示将节点ni映射回对应类别的特征空间中；最后将第L层DyHGN的输出结果作为最终输出，即重复执行L次步骤B32至步骤B36后得到节点ni的动态传播特征表示Fg。
6.根据权利要求5所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B4具体包括以下步骤：
步骤B41：将步骤B2得到的文本特征表征向量Ft和视觉特征表征向量Fv输入到共同注意力网络中，通过两个交叉注意力子层分别得到基于图像的文本特征表征向量Zt和基于文本的图像特征表征向量Zv，其计算过程如下：
Zt＝CrossAtt(Ft,Fv)
Zv＝CrossAtt(Fv,Ft)
其中，CrossAtt(·)表示交叉注意力函数；
步骤B42：将基于图像的文本特征表征向量Zt和基于文本的图像特征表征向量Zv分别输入到两个自注意力子层中，引导模型关注到每个单模态特定于自身的关键特征，然后将两个自注意力子层的输出进行拼接，得到文本和视觉的联合表征表示Ftv，其计算过程如下：
其中，SelfAtt(·)表示自注意力函数，Concat(·)表示拼接函数；
步骤B43：将步骤B2得到的文本特征表征向量Ft和步骤B3得到的动态传播特征表征向量Fg一起输入到共同注意力网络中，执行和步骤B41和步骤B42相同的操作，得到文本和传播图的联合表征向量Ftg。
7.根据权利要求6所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B5具体包括以下步骤：
步骤B51：将步骤B4得到的帖子文本和视觉的联合表征向量Ftv和帖子文本和传播图的联合表征向量Ftg在自监督损失的情况下进行模态对齐操作，采用均方损失作为自监督的损失函数，将两种模态映射在同一个特征空间中，得到对齐后的文本视觉的联合表征向量
和文本传播图的联合表征向量/>
并将对齐的损失函数表示为Lalign，其计算过程如下：
其中Wtv和Wtg表示可学习参数矩阵；
步骤B52：将对齐后的联合特征表示
和/>
输入到共同注意力网络中进行下一步的多模态融合，执行和步骤B41和步骤B42相同的操作，得到多媒体帖子的多模态特征表示Ftvg，其计算公式如下：
8.根据权利要求7所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B6具体包括以下步骤：
步骤B61：将步骤B52得到的多模态表征向量Ftvg输入到全连接层中，并使用softmax进行标准化，得到帖子属于各类别的预测概率，计算公式如下：
y＝WoFtvg+b
pa(y)＝softmax(y)
其中，y表示全连接层输出向量，
为全连接层参数矩阵，b为全连接层偏置项，pa(y)表示预测该帖子标签类别为a的概率，0≤pa(y)≤1，a∈{非谣言，谣言}；
步骤B62：使用交叉熵损失函数作为分类的损失函数计算损失值，其计算公式如下：
其中，
是L2正则化项，λ是学习率，θ为模型包含的所有参数；
步骤B63：将对齐损失Lalign和分类损失Lclassify一起作为模型的最终损失函数loss，利用梯度优化算法Adam作为优化器，通过反向传播迭代更新模型的所有参数，以最小化损失函数loss来训练模型，计算公式如下：
loss＝βcLalign+βcLclassify
其中，βa和βc为用来平衡两种损失的系数。
9.一种采用如权利要求1-8任一项所述方法的动态传播特征增强的多模态谣言检测系统，其特征在于，包括：
数据收集模块，用于提取社交媒体中帖子的文本、评论、图像和相关用户资料，并对帖子的真实性标签类别进行标注，构建训练数据集；
数据处理模块，用于对训练数据集中的训练样本数据进行预处理；
文本编码模块，用于从预训练的词向量字典中查找经过预处理后的帖子文本内容和评论内容中单词的词向量，得到帖子文本内容的初始表征向量和评论内容的初始表征向量；
用户编码模块，用于根据用户资料信息对用户进行编码，得到用户的初始表征向量；
模型训练模块，用于将帖子文本的初始表征向量、评论的初始表征向量和用户的初始表征向量输入到多模态谣言检测模型中，得到帖子的多模态表征向量，利用该表征向量预测其属于某一标签类别的概率，并通过与该帖子的真实类别标注作对比计算损失，以最小化损失为目标来对整个多模态谣言检测模型进行训练，得到具有动态传播特征增强的多模态谣言检测模型；
多模态谣言检测模块，用于检测多媒体帖子的真实性，利用训练好的具有动态传播特征增强的多模态谣言检测模型对输入的待检测帖子进行分析和处理，提取帖子的文本语义信息、视觉信息和异构传播图中的动态传播信息，将三种模态信息有效融合，最终输出帖子的预测标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310333838.1A CN116383517A (zh) | 2023-03-31 | 2023-03-31 | 动态传播特征增强的多模态谣言检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310333838.1A CN116383517A (zh) | 2023-03-31 | 2023-03-31 | 动态传播特征增强的多模态谣言检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116383517A true CN116383517A (zh) | 2023-07-04 |
Family
ID=86978224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310333838.1A Pending CN116383517A (zh) | 2023-03-31 | 2023-03-31 | 动态传播特征增强的多模态谣言检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116383517A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592481A (zh) * | 2023-10-27 | 2024-02-23 | 辽宁省网联数字科技产业有限公司 | 基于人工智能的主体云库处理方法及系统 |
-
2023
- 2023-03-31 CN CN202310333838.1A patent/CN116383517A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592481A (zh) * | 2023-10-27 | 2024-02-23 | 辽宁省网联数字科技产业有限公司 | 基于人工智能的主体云库处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108073568B (zh) | 关键词提取方法和装置 | |
| CN113704460B (zh) | 一种文本分类方法、装置、电子设备和存储介质 | |
| CN112686022A (zh) | 违规语料的检测方法、装置、计算机设备及存储介质 | |
| CN110795944A (zh) | 推荐内容处理方法及装置、情感属性确定方法及装置 | |
| CN112528658B (zh) | 层次化分类方法、装置、电子设备和存储介质 | |
| CN111783903A (zh) | 文本处理方法、文本模型的处理方法及装置、计算机设备 | |
| CN115659966A (zh) | 基于动态异构图和多级注意力的谣言检测方法及系统 | |
| Lin et al. | PS-mixer: A polar-vector and strength-vector mixer model for multimodal sentiment analysis | |
| CN116383517A (zh) | 动态传播特征增强的多模态谣言检测方法及系统 | |
| CN114742071A (zh) | 基于图神经网络的汉越跨语言观点对象识别分析方法 | |
| Maree et al. | Semantic graph based term expansion for sentence-level sentiment analysis | |
| Nadeem et al. | SSM: Stylometric and semantic similarity oriented multimodal fake news detection | |
| Wang et al. | Multi-modal transformer using two-level visual features for fake news detection | |
| CN113297525A (zh) | 网页分类方法、装置、电子设备、及存储介质 | |
| CN117033626A (zh) | 一种文本审核方法、装置、设备及存储介质 | |
| Ermatita et al. | Sentiment Analysis of COVID-19 using Multimodal Fusion Neural Networks. | |
| Sumathi et al. | Fake review detection of e-commerce electronic products using machine learning techniques | |
| Constantin et al. | Hateful meme detection with multimodal deep neural networks | |
| Kumari et al. | Emotion aided multi-task framework for video embedded misinformation detection | |
| CN113239143A (zh) | 融合电网故障案例库的输变电设备故障处理方法及系统 | |
| Chandurkar et al. | Sentiment analysis: A review and comparative analysis on colleges | |
| Prabhu et al. | A dynamic weight function based BERT auto encoder for sentiment analysis | |
| CN117521674B (zh) | 对抗信息的生成方法、装置、计算机设备和存储介质 | |
| CN116738962B (zh) | 一种面向社交媒体的事实核查方法及系统 | |
| CN116150428B (zh) | 视频标签获取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |