CN113946683A - 一种知识融合的多模态虚假新闻识别方法及装置 - Google Patents

一种知识融合的多模态虚假新闻识别方法及装置 Download PDF

Info

Publication number
CN113946683A
CN113946683A CN202111044450.7A CN202111044450A CN113946683A CN 113946683 A CN113946683 A CN 113946683A CN 202111044450 A CN202111044450 A CN 202111044450A CN 113946683 A CN113946683 A CN 113946683A
Authority
CN
China
Prior art keywords
knowledge
neural network
matrix
news
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111044450.7A
Other languages
English (en)
Inventor
王茜
戴娇
韩冀中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202111044450.7A priority Critical patent/CN113946683A/zh
Publication of CN113946683A publication Critical patent/CN113946683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种知识融合的多模态虚假新闻识别方法及装置，包括：分别提取新闻中的文本特征与图像特征；利用文本信息及知识图谱信息构建知识邻接关系矩阵，并将知识邻接关系矩阵输入卷积神经网络，得到知识特征；融合文本特征、图像特征与知识特征，并基于融合后的特征进行分类，得到所述新闻的识别结果。本发明直接使用卷积神经网络提取知识邻接关系矩阵的特征，简单鲁棒的引入了外部的大型知识图谱中的信息，整体提升了多模态虚假新闻识别的性能，具有良好的使用性。

Description

一种知识融合的多模态虚假新闻识别方法及装置
技术领域
本发明涉及深度学习、知识图谱应用、计算机视觉及自然语言处理领域，具体为一种知识 融合的多模态虚假新闻识别方法及装置。
背景技术
社交网络是人们共享信息的重要途径之一。任何人都能够在社交网络上发布信息，这为虚 假新闻的生产与传播提供了便捷。同时，由于社交网络的流行，虚假新闻可能被迅速的大规 模传播，从而对公共安全产生巨大的负面影响。
虚假新闻识别中的主要研究路线包括基于传播的检测和基于内容的检测两类。其中，基于 传播的检测方法主要利用新闻在传播中的特征，如用户、转发、评论等进行检测。利用传播 特征的检测方法通常使用基于图的优化方法。具体来说，该类方法将每条新闻看作图上的一 个节点。用当前节点的相邻节点的可信度来估计当前节点的可信度。这类型方法对虚假新闻 的辨别更依赖新闻之间的相关性而非新闻的内容本身。另一类方法更关注对新闻的内容进行 辨别，这类方法称为基于内容的虚假新闻识别方法。在此类方法中，关键的部分在于如何提 取内容的特征，如文本特征和视觉特征等。传统的基于内容的方法通常使用一些手工设计的 特征来识别虚假新闻。例如，统计虚假新闻中的常用词分布来分析新闻的写作语言风格；计 算新闻中一对实体在知识图谱中的路径长度用于事实验证，等。然而，这类手工设计的特征 难以应对丰富的具有多样性的大规模的数据的检测要求。近年来，深度神经网络被应用于虚 假新闻识别任务中去。如，使用卷积神经网络自动的提取文本的写作风格特征，利用深度神 经网络发掘文本的隐含的写作模式。同时，考虑到新闻通常包含文本和图像等多种模态，还 有方法利用深度神经网络同时提取新闻中的文本和图像的特征，融合两种模态的特征进行虚 假新闻识别，并提高了虚假新闻识别任务的效果。然而，这类基于深度学习的方法不能考虑 到外部变化的知识和信息，它们的方法将每个新闻看成一个独立的与外部事物隔离开的个体。 而外部的知识和信息对虚假新闻识别是十分重要的。例如，新闻“2020东京奥运会将延迟举 办”，在2020年3月24日之前是谣言，奥组委还多次发布辟谣申明。然而，在2020年3月 24日奥组委正式宣布之后，该新闻内容属实。由此可见，在判定新闻真伪时应考虑到外部的 知识和事件信息。
发明内容
针对上述技术问题，本发明提出一种知识融合的多模态虚假新闻识别方法及装置，通过利 用知识图谱的信息将外部环境的特征考虑进来，同时融合了新闻的文本、视觉、及知识三部 分的特征用于虚假新闻识别任务。
具体来说，本发明的技术方案如下：
一种知识融合的多模态虚假新闻识别方法，其步骤包括：
1)分别提取新闻中的文本特征与图像特征；
2)利用文本信息及知识图谱信息，构建知识邻接关系矩阵，并将知识邻接关系矩阵输入 卷积神经网络，得到知识特征；
3)融合文本特征、图像特征与知识特征，并基于融合后的特征进行分类，得到所述新闻 的识别结果。
进一步地，提取文本特征的方法包括：使用词嵌入方法和TEXT-CNN。
进一步地，提取图像特征的方法包括：使用视觉神经网络VGG-19。
进一步地，通过以下步骤构建知识邻接关系矩阵：
1)基于文本信息进行分词，并将得到的词组作为知识图的一节点；
2)利用知识图谱信息，获取各节点的连接关系，得到知识图的边；
3)根据所述知识图，获取知识邻接关系矩阵。
进一步地，将知识邻接关系矩阵输入卷积神经网络之前，通过以下策略对知识邻接关系 矩阵进行预处理：
1)当n<m时，则在知识邻接关系矩阵的右侧及下侧补0，直至知识邻接关系矩阵的大 小为m行m列，其中m为卷积神经网络输入矩阵的行数和列数，n为知识邻接关系矩阵的行数 和列数；
2)当n＝m时，则不对知识邻接关系矩阵进行预处理；
3)当n>m时，则截取知识邻接关系矩阵的前m行m列作为卷积神经网络的输入矩阵。
进一步地，所述卷积神经网络的结构包括：若干个块和一全连接层，其中每一块的结构 包括：一个2维卷积层、一个激活层和一个平均池化层。
进一步地，进行分类的方法包括：使用一个全连接层的多层感知机分类器。
一种使用上述任一方法的深度神经网络模型，其中深度神经网络模型进行训练时，将训 练数据的判别结果与训练数据的真实标签进行比较，计算交叉熵损失，并通过反向传播算法 迭代调整深度神经网络模型的参数，得到最优的深度神经网络模型。
一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运 行时执行以上所述方法。
一种电子装置，包括存储器和处理器，其中存储器存储执行以上所述方法的程序。
本发明的有益效果在于：本发明一方面考虑到了传统的基于事实验证的方法中对知识、事 实、事件信息的使用，另一方面又能够利用深度学习的方法对大规模数据进行自动的特征提 取。本发明中，通过直接使用卷积神经网络提取知识邻接关系矩阵的特征，简单鲁棒的引入 了外部的大型知识图谱中的信息。整体提升了多模态虚假新闻识别的性能，具有良好的使用 性。
附图说明
图1是本发明的算法流程图。
图2知识邻接关系矩阵特征提取的网络结构的实例。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，下面通过具体实施例和附图对本发明 进行进一步详细阐述。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限 定本发明。
本发明提供的多模态虚假新闻识别方法，面向多模态的虚假新闻识别任务，因此，本发 明识别的对象是同时包含图片和文字的新闻。对于一篇包含图片和文字的新闻，模型给出判 断该新闻为真或假的结果。
我们将一条新闻定义为P＝{T,I}，其中，T表示新闻的文本信息，I表示图像。我们模型 的框图如图1所示。模型的输入是新闻的文本和图像内容。通过联合特征提取模块得到新闻 三个域上的联合特征。三个域的特征分别用三个分支进行提取，分别是：通过词嵌入(Word Embedding,WE)和TEXT-CNN提取文本特征；通过视觉神经网络VGG-19提取图像特征；从知 识图谱得到新闻文本中实体关系矩阵，并用CNN对关系矩阵进行特征提取，我们称该分支为 知识特征提取。接着，将三种特征进行融合，得到新闻特征的联合表示。最后，联合特征通 过全连接神经网络多层感知机进行最终分类。下面，我们分别介绍模型的各个部分的实例。
(一)知识特征的提取
本发明提出一种简单鲁棒的方法来融合外部的大型开放知识图谱信息，同时，能够表征出 文本的整体的知识特征。我们的模型得出的特征能够很容易的与其他模态的特征相结合。本 发明将一条新闻的文本看作是一个图。对文本进行分词，每个词看作是图中的一个节点。计 算节点之间的关系。具体方法是比对节点之间在大型的开放知识图谱中是否有连接。如果两 个节点在知识图谱中有连接，我们认为这一对节点相关，反之为不相关。从而得到了每条新 闻的知识邻接关系矩阵。
在计算知识邻接关系矩阵时，该矩阵是一个n行n列的对称矩阵。其中，n为对文本分词 后文本中包含的词语的个数。知识邻接关系矩阵中，第i行，第j列上的元素的值代表了文 本中第i个词和第j个词之间的关系。
在计算文本中第i个词和第j个词之间的关系时，将第i个词和第j个词看做是两个实 体ei和ej。在知识图谱中进行检索，如果存在三元组(ei,relation,ej)或(ej,relation,ei)，则将第i个词和第j个词之间的关系值设为1，反之设为0。其中，三元组中的relation可以是任意的值。
具体来说，在我们的模型中，我们将新闻的文本看作是一个图，定义为G＝(V,E)。其中V 是构成新闻的词组的集合，每个词组被看作一个节点。E是词组之间的关系集合。首先，我 们使用文本分割得到新闻文本中的词。在这里我们没有使用知识图谱中的三元组提取方法。 因为三元组提取通常会对句子有更高的语法要求。而社交媒体上的句子通常是自由书写风格 随意，我们直接使用文本分割能够加大算法的鲁棒性，更多的保留句子中的词组。在知识图 谱中，一个三元组可以表示为Triplet＝(entitystart,relation,entityend)。那么，文本G的知识邻接关 系矩阵A中的元素由计算节点间的关系得到，为：
Figure BDA0003250705700000041
其中，eij是A中的元素。这样，我们得到了一个2维的邻接关系矩阵A。在传统的基于知 识的方法中，他们总是使用正则表达式来分析A中的关系，在本方法中，我们使用了二维CNN 来获取邻接矩阵的特征，具体的网络结构如图2所示。
网络的输入是包含知识信息的2维邻接矩阵。如图2所示，一个块的计算过程是，先经 过2维卷积层，接着通过激活层：y＝σ(f(x,w))，最后通过平均池化层得到输出。邻接矩阵特 征提取网络由n个块和一个全连接层组成。2维邻接矩阵通过该网络后得到一个1维的知识 特征表示。我们将该知识特征标记为RA。
其中，该二维CNN的输入是一个m行m列的矩阵。当知识邻接关系矩阵的维度n小于m时，在知识邻接关系矩阵的右侧和下侧补0直至知识邻接关系矩阵的大小为m行m列。当n 大于m时，截取知识邻接关系矩阵的前m行m列作为卷积神经网络的输入
(二)文本特征的提取
文本特征提取方法可包括Text-CNN、Transformer、Bert等等，下面以Text-CNN为例进 行说明。
文本在虚假新闻的识别中至关重要。CNN被证实对文本的分类任务有效。由于CNN的结 构更适合进行快速的批量训练，因此我们采用Text-CNN的方法进行文本的特征提取。在Text- CNN中，将词向量矩阵作为模型的输入。词向量矩阵定义为C∈Rn×k。其中，n是一个给定的 值，表示最多能接受的单词的数量。k是词嵌入后得到的特征的维度。接着，多组卷积核被用 于输入向量矩阵的处理。在计算机视觉任务中，卷积核大小通常被设置为正方形m×m。然而， 在自然语言处理(Natural Language Processing,NLP)任务中，词向量特征通常为1维， 且有其特殊的含义。因此，在实例中，长方形卷积核代替正方形的卷积核。卷积核被定义为 Kernel∈Rk×window_size。在同一组的卷积核拥有相同大小的window_size。接着，每组卷积核 的输出被串联起来，通过一个全连接层得到最终的文本特征输出RT。
(三)图像特征的提取
图像特征提取的方法可包括VGG-19的model、ResNet、ViT等等，下面以VGG-19的model 为例进行说明。
我们使用一个预训练的VGG-19网络来提取新闻的图像特征。同时，我们在VGG-19网络 的最后一层增加一个全连接层，来调整最终输出的图像特征的维度。图像特征标记为RV。其 计算公式如下：
RV＝σ(Wv·Fvgg)
其中，Fvgg是VGG-19网络最后一层的输出，Wv是添加的全连接层的参数。
(四)特征融合并分类
通过上述步骤，我们分别得到了知识、文本和图像三个域上的特征。我们将这三个域上 的特征串联起来得到新闻的联合特征表示RF，如下：
Figure BDA0003250705700000061
最后，联合特征表示RF通过一个全连接层的多层感知机分类器，用逻辑回归函数softmax 得到最终的二分类结果，判断新闻是真或假。
本发明的模型训练采用端到端的训练方式，训练时，将训练数据送入基于知识融合的深度 神经网络模型，得到的判别结果与数据真实的标签进行比较，计算其交叉熵损失，并通过反 向传播算法迭代调整模型的参数，得到最优的模型。
本发明的模型预测时，将待识别的多模态新闻数据送入训练好的基于知识融合的深度神 经网络模型，得到模型计算出来的新闻是真或假的标签。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可 以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保 护范围应以权利要求所述为准。

Claims (10)

1.一种知识融合的多模态虚假新闻识别方法，其步骤包括：
1)分别提取新闻中的文本特征与图像特征；
2)利用文本信息及知识图谱信息，构建知识邻接关系矩阵，并将知识邻接关系矩阵输入卷积神经网络，得到知识特征；
3)融合文本特征、图像特征与知识特征，并基于融合后的特征进行分类，得到所述新闻的识别结果。
2.如权利要求1所述的方法，其特征在于，提取文本特征的方法包括：使用词嵌入方法和TEXT-CNN。
3.如权利要求1所述的方法，其特征在于，提取图像特征的方法包括：使用视觉神经网络VGG-19。
4.如权利要求1所述的方法，其特征在于，通过以下步骤构建知识邻接关系矩阵：
1)基于文本信息进行分词，并将得到的词组作为知识图的一节点；
2)利用知识图谱信息，获取各节点的连接关系，得到知识图的边；
3)根据所述知识图，获取知识邻接关系矩阵。
5.如权利要求1所述的方法，其特征在于，将知识邻接关系矩阵输入卷积神经网络之前，通过以下策略对知识邻接关系矩阵进行预处理：
1)当n<m时，则在知识邻接关系矩阵的右侧及下侧补0，直至知识邻接关系矩阵的大小为m行m列，其中m为卷积神经网络输入矩阵的行数和列数，n为知识邻接关系矩阵的行数和列数；
2)当n＝m时，则不对知识邻接关系矩阵进行预处理；
3)当n>m时，则截取知识邻接关系矩阵的前m行m列作为卷积神经网络的输入矩阵。
6.如权利要求1所述的方法，其特征在于，所述卷积神经网络的结构包括：若干个块和一全连接层，其中每一块的结构包括：一个2维卷积层、一个激活层和一个平均池化层。
7.如权利要求1所述的方法，其特征在于，进行分类的方法包括：使用一个全连接层的多层感知机分类器。
8.一种使用权利要求1-7中任一方法的深度神经网络模型，其特征在于，深度神经网络模型进行训练时，将训练数据的判别结果与训练数据的真实标签进行比较，计算交叉熵损失，并通过反向传播算法迭代调整深度神经网络模型的参数，得到最优的深度神经网络模型。
9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。
10.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。
CN202111044450.7A 2021-09-07 2021-09-07 一种知识融合的多模态虚假新闻识别方法及装置 Pending CN113946683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111044450.7A CN113946683A (zh) 2021-09-07 2021-09-07 一种知识融合的多模态虚假新闻识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111044450.7A CN113946683A (zh) 2021-09-07 2021-09-07 一种知识融合的多模态虚假新闻识别方法及装置

Publications (1)

Publication Number Publication Date
CN113946683A true CN113946683A (zh) 2022-01-18

Family

ID=79328103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111044450.7A Pending CN113946683A (zh) 2021-09-07 2021-09-07 一种知识融合的多模态虚假新闻识别方法及装置

Country Status (1)

Country Link
CN (1) CN113946683A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151215A (zh) * 2023-09-25 2023-12-01 郑州轻工业大学 基于知识图谱的冠心病多模态数据特征提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及系统
CN111523574A (zh) * 2020-04-13 2020-08-11 云南大学 一种基于多模态数据的图像情感识别方法及系统
CN111797326A (zh) * 2020-05-27 2020-10-20 中国科学院计算技术研究所 一种融合多尺度视觉信息的虚假新闻检测方法及系统
CN112328859A (zh) * 2020-11-05 2021-02-05 南开大学 一种基于知识感知注意力网络的虚假新闻检测方法
CN113051927A (zh) * 2021-03-11 2021-06-29 天津大学 基于多模态图卷积神经网络的社交网络突发事件检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及系统
CN111523574A (zh) * 2020-04-13 2020-08-11 云南大学 一种基于多模态数据的图像情感识别方法及系统
CN111797326A (zh) * 2020-05-27 2020-10-20 中国科学院计算技术研究所 一种融合多尺度视觉信息的虚假新闻检测方法及系统
CN112328859A (zh) * 2020-11-05 2021-02-05 南开大学 一种基于知识感知注意力网络的虚假新闻检测方法
CN113051927A (zh) * 2021-03-11 2021-06-29 天津大学 基于多模态图卷积神经网络的社交网络突发事件检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JING YU等: "Modeling Text with Graph Convolutional Network for Cross-Modal Information Retrieval", 《HTTPS://ARXIV.ORG/ABS/1802.00985》 *
刘鹏飞: "基于多模态特征及语义增强的虚假新闻检测算法的研究与应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑（月刊）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151215A (zh) * 2023-09-25 2023-12-01 郑州轻工业大学 基于知识图谱的冠心病多模态数据特征提取方法

Similar Documents

Publication Publication Date Title
CN110222140B (zh) 一种基于对抗学习和非对称哈希的跨模态检索方法
CN107679580B (zh) 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
CN110737801B (zh) 内容分类方法、装置、计算机设备和存储介质
Vadicamo et al. Cross-media learning for image sentiment analysis in the wild
Yu et al. Attention-based convolutional approach for misinformation identification from massive and noisy microblog posts
Katsurai et al. Image sentiment analysis using latent correlations among visual, textual, and sentiment views
CN112084335B (zh) 一种基于信息融合的社交媒体用户账号分类方法
Xiao et al. Using convolution control block for Chinese sentiment analysis
CN111582409A (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
CN115221325A (zh) 一种基于标签语义学习和注意力调整机制的文本分类方法
CN115858788A (zh) 基于双重图卷积神经网络的视角级文本情感分类系统
Liu et al. Fact-based visual question answering via dual-process system
CN111783903A (zh) 文本处理方法、文本模型的处理方法及装置、计算机设备
Kou et al. Exfaux: A weakly supervised approach to explainable fauxtography detection
CN116776889A (zh) 一种基于图卷积网络和外部知识嵌入的粤语谣言检测方法
Al-Tameemi et al. Multi-model fusion framework using deep learning for visual-textual sentiment classification
CN114357167B (zh) 基于Bi-LSTM-GCN的多标签文本分类方法和系统
Thandaga Jwalanaiah et al. Effective deep learning based multimodal sentiment analysis from unstructured big data
CN113159071B (zh) 一种跨模态图像-文本关联异常检测方法
Surekha et al. Digital misinformation and fake news detection using WoT integration with Asian social networks fusion based feature extraction with text and image classification by machine learning architectures
CN118133839A (zh) 基于语义信息推理和跨模态交互的图文检索方法及系统
CN113946683A (zh) 一种知识融合的多模态虚假新闻识别方法及装置
Krishna et al. A Deep Parallel Hybrid Fusion Model for disaster tweet classification on Twitter data
Li et al. Neural networks for detecting irrelevant questions during visual question answering
Zhou et al. Clip-GCN: an adaptive detection model for multimodal emergent fake news domains

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220118