CN112241456B - 基于关系网络与注意力机制的假新闻预测方法 - Google Patents

基于关系网络与注意力机制的假新闻预测方法 Download PDF

Info

Publication number
CN112241456B
CN112241456B CN202011499339.2A CN202011499339A CN112241456B CN 112241456 B CN112241456 B CN 112241456B CN 202011499339 A CN202011499339 A CN 202011499339A CN 112241456 B CN112241456 B CN 112241456B
Authority
CN
China
Prior art keywords
news
vector
network
feature vector
side information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011499339.2A
Other languages
English (en)
Other versions
CN112241456A (zh
Inventor
王思宇
江岭
黄鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xiaoduo Technology Co ltd
Original Assignee
Chengdu Xiaoduo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xiaoduo Technology Co ltd filed Critical Chengdu Xiaoduo Technology Co ltd
Priority to CN202011499339.2A priority Critical patent/CN112241456B/zh
Publication of CN112241456A publication Critical patent/CN112241456A/zh
Application granted granted Critical
Publication of CN112241456B publication Critical patent/CN112241456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了基于关系网络与注意力机制的假新闻预测方法，该方法包括首先获取新闻的文本特征向量与关系网络特征向量；再通过两层神经网络将文本特征向量与关系网络特征向量进行融合，获取新闻预测函数；最后结合新闻预测函数对分类预测模型进行优化，得到新闻的最终预测分类函数；该方法在多源、多类型特征引入预测假新闻的基础上，通过获取新闻边信息关系网络结构获得关系网络特征向量，将关系网络特征向量与新闻自身文本特征向量进行融合获得新闻预测函数；在关系网络特征向量的获取中引入注意力机制，通过注意力权重获得更准确的关系网络特征向量；采用多任务训练的方式通过对多个任务相互优化获得更好的新闻预测效果。

Description

基于关系网络与注意力机制的假新闻预测方法
技术领域
本发明涉及信息识别处理技术领域，具体而言，涉及一种基于关系网络与注意力机制的假新闻预测方法。
背景技术
随着移动互联网和智能手机技术的飞速发展，网络媒体逐渐代替传统的媒体，由于其便捷性、时效性和开放性，网络媒体为人们提供了丰富的信息来源，受众人群逐年递增。与此同时，由于网络新闻的便捷性和低门槛性等特性，造成网络媒体的新闻质量远低于传统媒体，假新闻便是其中最典型的体现。一些别有用心的作者编撰出包含虚假信息的新闻在网络上非法传播，对用户造成一定程度的误导，同时也给社会和经济造成了影响和损失。假新闻大多具有迷惑性，普通民众识别假新闻具有很大难度，虽然目前大多数的网络媒体都具有举报和澄清机制，但这也不能完全解决假新闻的影响和传播，因此如何自动的判别假新闻成为亟待解决的问题。
针对以上问题，学术界进行大量的研究和探索。一般来说，虚假新闻与真实新闻相比在文字上存在许多不同，虚假新闻在文字上更偏向于使用大量带有情感性的名词或形容词以博取眼球，因此前期研究大部分的方法尝试从新闻及其评论中提取特征。例如采用传统机器学习的特征工程方法从新闻内容中提取特征，或从新闻评论着手识别虚假新闻，或结合新闻内容和评论进行虚假新闻识别。然而，新闻文字的特征毕竟有限，在有些场景下并不能取的较好效果。
而新闻的边信息（Side Information）如新闻发布者，主题等，可以帮助模型更准确的识别虚假新闻。例如，曾发布虚假新闻的发布者更可能发布新的虚假新闻。相反，如果发布者的职业是某政府雇员那么其发布新闻的可信度则相对较高。因此，有研究利用这些边信息并结合新闻内容进行虚假新闻识别，最终取得的较好的效果。但这些研究把新闻边信息看作额外的一段文字，例如一条新闻，其主题是“政治”，而模型将“政治“看作单独一个词，并将这个词和内容文字结合进行预测。这种方式使得新闻的文字特征更为丰富多样，提高了虚假新闻的识别效果。但这些方法将边信息视作文字来使用，而忽略边信息与新闻间的网络结构特征。如申请号为202010367249 .1的中国发明专利公开了新闻类别检测方法及系统，其进一步的将新闻的内容文本与社会属性文本进行结合来检测新闻，但是其也仅是对新闻的社会属性如作者立场或传播轨迹与内容文字结合进行预测，并未进一步对社会属性信息的网络结构进行剖析以增加检测的准确性。
新闻及其边信息是一个典型的关系网络，该网络可以通过知识图谱来描述，如图1所示。从图1中我们可以直观的发现不同的新闻在知识图谱中呈现不同的网络特征，例如新闻1的网络特征和新闻2不同，因为其连接的邻居节点不同，相反，新闻2和新闻3的网络特征则较为相似，因为两条新闻拥有共同作者。如果将这种网络特征融入模型中并与文字特征结合，可以辅助识别虚假信息。另外，从图1中也可以发现不同的邻居节点对中心节点的影响权重也不尽相同，例如新闻3和新闻2如果都为虚假新闻时，很有可能的情况就是这两个新闻的共同邻居节点“作者2”是一个假新闻发布者，此时对于节点“新闻3”而言，邻居节点“作者2”的影响权重应当高于其他节点。
为有效的利用新闻知识图谱中的网络特征以提高虚假新闻识别的性能，本文提出一种结合新闻边信息关系网络和新闻内容识别虚假新闻的方法。
发明内容
本发明的目的在于提供基于关系网络与注意力机制的假新闻预测方法，其能够提供更准确的假新闻预测识别效果。
本发明的实施例通过以下技术方案实现：
基于关系网络与注意力机制的假新闻预测方法，该方法包括：
根据新闻自身信息构建分类预测模型；
获取新闻的文本特征向量与关系网络特征向量；
通过两层神经网络将文本特征向量与关系网络特征向量进行融合，获取新闻预测函数；
结合新闻预测函数对分类预测模型进行优化，得到新闻的最终预测分类函数。
进一步的，所述根据新闻自身信息构建分类预测模型之前还包括，获取新闻的文本内容以及边信息；所述边信息包括新闻的作者、主题、作者的所在地和作者的职业，并将新闻的边信息构建成边信息关系网络，将边信息关系网络记为三元组
Figure 440685DEST_PATH_IMAGE002
，其中h表示头结点向量，r表示关系向量，t表示尾节点向量，E表示实体向量的集合，K表示所有关系向量的集合，
Figure 311821DEST_PATH_IMAGE003
，s表示当前知识图谱中存在的所有三元组集合；并根据新闻内容与表示边信息关系网络的三元组构建所述分类预测模型。
进一步的，所述文本特征向量的获取包括，获取新闻i的词组集
Figure 825979DEST_PATH_IMAGE004
，其中
Figure 424450DEST_PATH_IMAGE005
属于词典V，词典V即所有词汇的集合，
Figure 973243DEST_PATH_IMAGE005
表示新闻i的词组集中的任意词；
由所述词组集获取新闻的词嵌入矩阵
Figure 248236DEST_PATH_IMAGE006
，其中
Figure 921794DEST_PATH_IMAGE007
，
Figure 386273DEST_PATH_IMAGE008
表示实数集合，
Figure 740637DEST_PATH_IMAGE009
为超参数表示向量的维度；
通过对矩阵X进行卷积获取特征提取式（1），
Figure 406105DEST_PATH_IMAGE010
（1）
通过式（1）获得特征矩阵
Figure 691593DEST_PATH_IMAGE011
，其中
Figure 163026DEST_PATH_IMAGE012
, j表示新闻的第j个特征，h为卷积核尺寸，n为新闻长度，W 是可学习的参数，b 1为偏置项；
对矩阵C进行最大池化得到文本特征输出向量c max ，再将c max 通过卷积神经网络的全连接层得到最终的文本特征向量
Figure 607782DEST_PATH_IMAGE013
，
Figure 568785DEST_PATH_IMAGE014
（2）
其中，
Figure 216935DEST_PATH_IMAGE015
表示新闻i的文本特征向量，W 1是可学习的参数，b 2为偏置项。
进一步的，所述关系网络特征向量的获取包括，获取边信息关系网中节点的网络特征，再根据知识图谱表示学习的方法transH获得边信息关系网中节点的表示向量e h ，再根据邻居节点的向量来获取表示中心节点的关系网络特征向量
Figure 226480DEST_PATH_IMAGE016
。
进一步的，所述关系网络特征向量的获取还包括，根据三元组
Figure 401109DEST_PATH_IMAGE017
中头节点向量h和关系向量r的和与尾节点向量t的关系，对transH模型进行优化，获得如式（3）的目标函数优化模型，
Figure 893532DEST_PATH_IMAGE018
（3）
其中d(h＋r，t)为h＋r与t的距离，t′由负采样获取，表示和h，r没有关系的任意尾节点向量。
进一步的，获取关系网络特征向量
Figure 419192DEST_PATH_IMAGE016
时引入注意力权重a t ，得到式（4），
Figure 232427DEST_PATH_IMAGE019
（4）
其中，e t 为边信息关系网中邻居节点的表示向量。
进一步的，获得所述关系网络特征向量
Figure 136929DEST_PATH_IMAGE016
后，对关系网络特征向量
Figure 705314DEST_PATH_IMAGE016
进行变换加入激活函数tanh，获得新闻的最终关系网络特征向量
Figure 390373DEST_PATH_IMAGE020
，得到式（5），
Figure 928670DEST_PATH_IMAGE021
（5）
其中，
Figure 812313DEST_PATH_IMAGE020
表示新闻i的关系网络特征向量，W 2为可学习的参数。
进一步的，所述通过两层神经网络将文本特征向量与关系网络特征向量进行融合，获取新闻预测函数包括，将所述文本特征向量
Figure 161386DEST_PATH_IMAGE013
与关系网络特征向量
Figure 396058DEST_PATH_IMAGE020
拼接后送入两层神经网络中得到新闻的预测函数p i ，得到式（6），
Figure 705423DEST_PATH_IMAGE022
（6）
其中，‖表示两个向量的拼接，W 3、W 4为可学习的参数，b 3、b 4偏置项。
进一步的，该方法还包括结合所述预测函数通过交叉熵损失函数对所述分类预测模型进行优化获得优化分类预测模型L c ，如式（7），
Figure 709151DEST_PATH_IMAGE023
（7）
其中，y i 为预测标签。
进一步的，该方法还包括通过多任务训练对优化分类预测模型再优化，所述多任务训练为将基于边信息关系网络表示学习的目标函数式（3）与优化分类的目标函数式（7）合并，同时引入L2正则项，得到最终预测分类函数式（8），
Figure 229125DEST_PATH_IMAGE024
（8）
其中，
Figure 951094DEST_PATH_IMAGE025
为所有可学习参数的集合，λ为L2正则项权重。
本发明实施例的技术方案至少具有如下优点和有益效果：
本方法在多源、多类型特征引入预测假新闻的基础上，通过获取新闻边信息关系网络结构获得关系网络特征向量，将关系网络特征向量与新闻自身文本特征向量进行融合获得新闻预测函数；在关系网络特征向量的获取中引入注意力机制，通过注意力权重获得更准确的关系网络特征向量；采用多任务训练的方式通过对多个任务相互优化获得更好的新闻预测效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为新闻边信息组成的关系网络；
图2为本发明的方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供基于关系网络与注意力机制的假新闻预测方法，该方法提出一种结合新闻边信息关系网络特征和文本特征的端对端的注意力网络，如图2所示，该方法包括：
S1.获取新闻的文本内容以及边信息，构建一个新闻分类预测模型；
S2.获取新闻的文本特征向量与关系网络特征向量；
S3.通过两层神经网络将文本特征向量与关系网络特征向量进行融合，获取新闻预测函数；
S4.结合新闻预测函数通过交叉熵损失函数对分类预测模型进行优化，再通过多任务训练对优化后的所述分类预测模型进行再次优化得到新闻的最终预测分类函数。
在本实施例中，S1具体包括，获取新闻集
Figure 909822DEST_PATH_IMAGE026
，包含d条新闻，每一条新闻i包含新闻内容a i ，以及新闻边信息，另外，
Figure 892691DEST_PATH_IMAGE027
代表新闻的标签集；利用新闻集
Figure 708200DEST_PATH_IMAGE028
的边信息构建边信息关系网络，将边信息关系网络记为三元组
Figure 855148DEST_PATH_IMAGE017
，其中h表示头结点向量，r表示关系向量，t表示尾节点向量，E表示实体向量的集合，K表示所有关系向量的集合，
Figure 555250DEST_PATH_IMAGE029
，s表示当前知识图谱中存在的所有三元组集合；如三元组
Figure 267991DEST_PATH_IMAGE030
,表示
Figure 192085DEST_PATH_IMAGE031
发布了一篇新闻
Figure 514744DEST_PATH_IMAGE032
；进而学习一个模型f，该模型输入新闻内容a i ，新闻i的边信息所构成的全部三元组集合s，输出该新闻的预测标签
Figure 815276DEST_PATH_IMAGE033
，即
Figure 913682DEST_PATH_IMAGE034
。
需要知晓的是，边信息关系网络属于知识图谱的范畴，该边信息关系网络主要在于将新闻的边信息如新闻的作者、主题、作者的所在地和作者的职业、作者的信用记录、新闻的首发媒体等进行关系组网，形成基于新闻边信息的知识图谱，进而将新闻的文本内容与基于新闻边信息所形成的知识图谱进行特征融合，从而得到更准确的新闻预测效果。
S2包括根据新闻的文本内容获得文本特征向量以及通过边信息关系网络获取关系网络特征向量；文本特征向量的获取具体包括，采用卷积神经网络对文本特征进行提取，该卷积神经网络其中主要包括词嵌入层、卷积层和池化层；新闻i由n个词构成
Figure 680781DEST_PATH_IMAGE035
，
Figure 802320DEST_PATH_IMAGE005
属于词典V，词典V即所有词汇的集合，此处的词汇可以是模型训练中的词，
Figure 968859DEST_PATH_IMAGE005
表示新闻i的词组集中的任意词。
将文本序列送入词嵌入层得到词嵌入矩阵
Figure 593876DEST_PATH_IMAGE036
；其中
Figure 46723DEST_PATH_IMAGE037
；然后对矩阵
Figure 452296DEST_PATH_IMAGE038
进行卷积操作，卷积可看成是一种特殊的线性操作，其目的是为了提取特征，如使用一维卷积神经网络来进行特征提取如式（1）所示，
Figure 842433DEST_PATH_IMAGE039
（1）
进一步得到卷积后的特征矩阵
Figure 790797DEST_PATH_IMAGE040
，
Figure 289912DEST_PATH_IMAGE012
,这里j表示新闻的第j个特征，h为卷积核尺寸，n为新闻长度，W 是可学习的参数，b 1为偏置项。
对矩阵C进行最大池化得到文本特征输出向c max ，再将c max 送入卷积神经网络的全连接层得到最终文本特征表示向量
Figure 543301DEST_PATH_IMAGE013
如式（2）所示，
Figure 786063DEST_PATH_IMAGE041
（2）
其中，
Figure 57776DEST_PATH_IMAGE013
表示新闻i的文本特征向量，W 1是可学习的参数，b 2为偏置项。
关系网络特征向量的获取具体包括，从构建好的边信息关系网络中获取新闻节点的关系网络特征；在根据表示学习方法transH模型获取节点的表示向量e h ，然后再根据邻居节点的向量来表示中心节点的关系网络特征向量记为
Figure 931054DEST_PATH_IMAGE016
；为了更准确的表示关系网络特征向量，引入注意力机制，将注意力集中到某些邻居节点中，从而获得更为准确的网络特征向量。
本实施例中，采用表示学习方法transH模型将边信息关系网络中的实体和关系向量化，需要知晓的是，表示学习是将边信息关系网络中的实体和关系向量化的途径之一；由于在transH模型中，实体和关系被表示为低维稠密向量，因此在表示边信息关系网络的三元组
Figure 45641DEST_PATH_IMAGE042
中，头结点向量h和关系向量r的和应当与尾节点向量t越接近越好，因此有
Figure 951149DEST_PATH_IMAGE043
；进而采用如式（3）的目标函数优化模型，
Figure 467580DEST_PATH_IMAGE044
（3）
其中
Figure 449443DEST_PATH_IMAGE045
为
Figure 254588DEST_PATH_IMAGE046
与t的距离，t′由负采样获取，表示和h，r没有关系的任意尾节点向量。
由于在新闻边信息关系网络中存在大量的一对多或多对一关系，例如一个新闻发布者发布了多条新闻；为了解决边信息关系网络中的一对多和多对一关系，transH模型提出让一个实体在不同的关系下拥有不同的表示。因此对式（3）中的向量h，t进行了如下变换，
Figure 839153DEST_PATH_IMAGE047
Figure 122277DEST_PATH_IMAGE048
最终将新的向量h r ，t r 带入式（3）中替换相应的h，t可得到新的目标函数。
由于边信息关系网络中的节点特征向量可表示为其邻居节点的线性或非线性的组合；对于一个新闻实体h，使用
Figure 337358DEST_PATH_IMAGE049
表示以h作为中心结点的所有三元组的集合；对于中心结点
Figure 160957DEST_PATH_IMAGE050
的关系网络特征向量
Figure 690159DEST_PATH_IMAGE016
可通过与它直接相连的节点来线性组合来表示；其中最简单的计算方式是所有邻居节点的平均池化，但是，不同的邻居节点对中心节点的影响权重不尽相同，因此引入注意力权重a t ；其计算过程如式（4）所示，
Figure 118866DEST_PATH_IMAGE051
（4）
其中，e t 为边信息关系网中邻居节点的表示向量。注意力权重值的计算如下式，
Figure 567165DEST_PATH_IMAGE052
其中
Figure 346902DEST_PATH_IMAGE053
是三元组尾节点在相应的关系空间的表示，而
Figure 663483DEST_PATH_IMAGE054
则是头节点在相应的关系空间的表示，由于
Figure 743434DEST_PATH_IMAGE055
与t r 越接近关系越密切，因此采用向量的内积体现两个向量的相似度，内积越大两个向量在当前关系下越重要，因此通过下式得到中心节点与各邻居节点的权重值，
Figure 565897DEST_PATH_IMAGE056
最后对中心节点h的关系网络特征向量
Figure 505034DEST_PATH_IMAGE016
进行变换，并加入激活函数tanh，得到新闻在边信息关系网络中的最终关系网络特征向量
Figure 235093DEST_PATH_IMAGE020
，计算过程如下式（5），
Figure 372813DEST_PATH_IMAGE057
（5）
其中，
Figure 54592DEST_PATH_IMAGE020
表示新闻i的关系网络特征向量，W 2是可学习的参数。
S3.通过两层神经网络将文本特征向量与关系网络特征向量进行融合，获取新闻预测函数具体包括，将文本特征向量
Figure 543342DEST_PATH_IMAGE013
与关系网络特征向量
Figure 77092DEST_PATH_IMAGE020
进行拼接，然后送入两层神经网络中得到新闻
Figure 334898DEST_PATH_IMAGE058
的预测概率p i ，如式（6）所示，
Figure 171267DEST_PATH_IMAGE059
（6）
其中，‖表示两个向量的拼接，W 3、W 4为可学习的参数，b 3、b 4偏置项。
由于虚假新闻的识别在实质上是分类问题，因此继续执行S4，具体包括使用交叉熵损失函数来优化分类模型，得到下式（7），
Figure 944051DEST_PATH_IMAGE060
（7）
其中，y i 为预测标签。
由于为了使模型在预测分类时能够学到边信息关系网络的表示向量，采用多任务训练的方式来进一步优化模型；多任务训练可以通过多个任务相互优化而取得更好的效果，因此将基于边信息关系网络表示学习的目标函数式（3）和优化分类的目标函数（7）合并，得到最终预测分类函数式（8）
Figure 140546DEST_PATH_IMAGE061
（8）
其中，
Figure 518438DEST_PATH_IMAGE062
为L2正则项，引入L2正则项的目的在于防止过拟合
Figure 650342DEST_PATH_IMAGE063
为所有可学习参数的集合，λ为L2正则项权重。
可见，本方法在多源、多类型特征引入预测假新闻的基础上，通过获取新闻边信息关系网络结构获得关系网络特征向量，将关系网络特征向量与新闻自身文本特征向量进行融合获得新闻预测函数；在关系网络特征向量的获取中引入注意力机制，通过注意力权重获得更准确的关系网络特征向量；采用多任务训练的方式通过对多个任务相互优化获得更好的新闻预测效果。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于关系网络与注意力机制的假新闻预测方法，其特征在于，该方法包括：
获取新闻的文本内容以及边信息；所述边信息包括新闻的作者、主题、作者的所在地和作者的职业，并将新闻的边信息构建成边信息关系网络，将边信息关系网络记为三元组
Figure 54191DEST_PATH_IMAGE001
，其中h表示头结点向量，r表示关系向量，t表示尾节点向量，E表示实体向量的集合，K表示所有关系向量的集合，
Figure 302770DEST_PATH_IMAGE002
， s表示当前知识图谱中存在的所有三元组集合；并根据新闻内容与表示边信息关系网络的三元组构建分类预测模型；
获取新闻的文本特征向量与关系网络特征向量；具体包括：
所述文本特征向量的获取包括，获取新闻i的词组集
Figure 291455DEST_PATH_IMAGE003
，其中w n 属于词典V，词典V即所有词汇的集合，w n 表示新闻i的词组集中的任意词；
由所述词组集获取新闻的词嵌入矩阵
Figure 309089DEST_PATH_IMAGE004
，其中
Figure 397131DEST_PATH_IMAGE005
，
Figure 506907DEST_PATH_IMAGE006
表示实数集合，
Figure 909070DEST_PATH_IMAGE007
为超参数表示向量的维度；
通过对矩阵X进行卷积获取特征提取式（1），
Figure 171424DEST_PATH_IMAGE008
（1）
通过式（1）获得特征矩阵
Figure 430367DEST_PATH_IMAGE009
，其中
Figure 653538DEST_PATH_IMAGE010
，j表示新闻的第j个特征， h为卷积核尺寸，n为新闻长度，W 是可学习的参数，b 1为偏置项；
对矩阵C进行最大池化得到文本特征输出向c max ，再将c max 通过卷积神经网络的全连接层得到最终的文本特征向量
Figure 469178DEST_PATH_IMAGE011
，
Figure 461405DEST_PATH_IMAGE012
（2）
其中，
Figure 156828DEST_PATH_IMAGE013
表示新闻i的文本特征向量，W 1是可学习的参数，b 2为偏置项；
所述关系网络特征向量的获取包括，获取边信息关系网中节点的网络特征，再根据知识图谱表示学习的方法transH获得边信息关系网中节点的表示向量，再根据邻居节点的向量来获取表示中心节点的关系网络特征向量
Figure 726350DEST_PATH_IMAGE014
；获取关系网络特征向量
Figure 470315DEST_PATH_IMAGE015
时引入注意力权重a t ，得到式（4），
Figure 379365DEST_PATH_IMAGE016
（4）
其中，e t 为边信息关系网中邻居节点的表示向量；
并对关系网络特征向量
Figure 557274DEST_PATH_IMAGE017
进行变换加入激活函数tanh，获得新闻的最终关系网络特征向量
Figure 489458DEST_PATH_IMAGE018
，得到式（5），
Figure 161748DEST_PATH_IMAGE019
（5）
其中，
Figure 925305DEST_PATH_IMAGE020
表示新闻i的关系网络特征向量，W 2为可学习的参数；
还根据三元组
Figure 900214DEST_PATH_IMAGE021
中头节点向量h和关系向量r的和与尾节点向量t的关系，对transH模型进行优化，获得如式（3）的目标函数优化模型，
Figure 195060DEST_PATH_IMAGE022
（3）
其中d(h＋r，t)为h＋r与t的距离，t′由负采样获取，表示和h，r没有关系的任意尾节点向量；
通过两层神经网络将文本特征向量与关系网络特征向量进行融合，获取新闻预测函数；具体包括，将所述文本特征向量
Figure 343145DEST_PATH_IMAGE023
与关系网络特征向量
Figure 164470DEST_PATH_IMAGE024
拼接后送入两层神经网络中得到新闻的预测函数p i ，得到式（6），
Figure 434915DEST_PATH_IMAGE025
（6）
其中，‖表示两个向量的拼接，W 3、W 4为可学习的参数，b 3、b 4偏置项；
最后，结合所述预测函数通过交叉熵损失函数对所述分类预测模型进行优化获得优化分类预测模型L c ，如式（7），
Figure 341691DEST_PATH_IMAGE026
（7）
其中，y i 为预测标签；
再通过多任务训练对优化分类预测模型再优化，所述多任务训练为将基于边信息关系网络表示学习的目标函数式（3）与优化分类的目标函数式（7）合并，同时引入L2正则项，得到最终预测分类函数式（8），
Figure 27887DEST_PATH_IMAGE027
（8）
其中，
Figure 343200DEST_PATH_IMAGE028
为L2正则项，
Figure 659912DEST_PATH_IMAGE029
为所有可学习参数的集合，λ为L2正则项权重。
CN202011499339.2A 2020-12-18 2020-12-18 基于关系网络与注意力机制的假新闻预测方法 Active CN112241456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499339.2A CN112241456B (zh) 2020-12-18 2020-12-18 基于关系网络与注意力机制的假新闻预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499339.2A CN112241456B (zh) 2020-12-18 2020-12-18 基于关系网络与注意力机制的假新闻预测方法

Publications (2)

Publication Number Publication Date
CN112241456A CN112241456A (zh) 2021-01-19
CN112241456B true CN112241456B (zh) 2021-04-27

Family

ID=74175238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011499339.2A Active CN112241456B (zh) 2020-12-18 2020-12-18 基于关系网络与注意力机制的假新闻预测方法

Country Status (1)

Country Link
CN (1) CN112241456B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177110B (zh) * 2021-05-28 2022-09-16 中国人民解放军国防科技大学 一种虚假新闻检测方法、装置、计算机设备和存储介质
CN113743495B (zh) * 2021-08-31 2024-02-13 华中师范大学 一种基于注意力机制的学习风格识别方法及系统
CN114218457B (zh) * 2021-11-22 2024-04-12 西北工业大学 一种基于转发社交媒体用户表征的假新闻检测方法
CN114328765B (zh) * 2022-03-04 2022-05-31 四川大学 新闻传播预测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032646A (zh) * 2019-05-08 2019-07-19 山西财经大学 基于多源领域适应联合学习的跨领域文本情感分类方法
CN111027454A (zh) * 2019-12-06 2020-04-17 西安电子科技大学 基于深度密集连接和度量学习的sar舰船目标分类方法
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111125358A (zh) * 2019-12-17 2020-05-08 北京工商大学 一种基于超图的文本分类方法
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333173A1 (en) * 2018-04-30 2019-10-31 Deckard Technologies, Inc. Detecting and validating improper residency status through data mining, natural language processing, and machine learning
WO2020061578A1 (en) * 2018-09-21 2020-03-26 Arizona Board Of Regents On Behalf Of Arizona State University Method and apparatus for collecting, detecting and visualizing fake news
CN110275965B (zh) * 2019-06-27 2021-12-21 卓尔智联(武汉)研究院有限公司 假新闻检测方法、电子装置及计算机可读存储介质
CN110334213B (zh) * 2019-07-09 2021-05-11 昆明理工大学 基于双向交叉注意力机制的汉越新闻事件时序关系识别方法
CN111061843B (zh) * 2019-12-26 2023-08-25 武汉大学 一种知识图谱引导的假新闻检测方法
CN111475649B (zh) * 2020-04-02 2023-04-07 中国人民解放军国防科技大学 基于深度学习的虚假新闻预测方法、系统、装置、介质
CN111680120B (zh) * 2020-04-30 2022-06-03 中国科学院信息工程研究所 新闻类别检测方法及系统
CN111639252A (zh) * 2020-05-18 2020-09-08 华中科技大学 一种基于新闻-评论关联性分析的虚假新闻识别方法
CN111639258B (zh) * 2020-05-20 2023-09-22 苏州遐迩信息技术有限公司 一种基于神经网络的新闻推荐方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032646A (zh) * 2019-05-08 2019-07-19 山西财经大学 基于多源领域适应联合学习的跨领域文本情感分类方法
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111027454A (zh) * 2019-12-06 2020-04-17 西安电子科技大学 基于深度密集连接和度量学习的sar舰船目标分类方法
CN111125358A (zh) * 2019-12-17 2020-05-08 北京工商大学 一种基于超图的文本分类方法
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的微博新闻谣言检测研究与实现;郭增荣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190815(第8期);I138-1431 *

Also Published As

Publication number Publication date
CN112241456A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112241456B (zh) 基于关系网络与注意力机制的假新闻预测方法
Mishra et al. Analyzing machine learning enabled fake news detection techniques for diversified datasets
Chakraborty et al. Sentiment analysis on a set of movie reviews using deep learning techniques
Tong et al. A shilling attack detector based on convolutional neural network for collaborative recommender system in social aware network
CN108595708A (zh) 一种基于知识图谱的异常信息文本分类方法
Shah et al. Multimodal fake news detection using a Cultural Algorithm with situational and normative knowledge
Yuan et al. Wikipedia vandal early detection: from user behavior to user embedding
CN115221325A (zh) 一种基于标签语义学习和注意力调整机制的文本分类方法
Anoop et al. Leveraging heterogeneous data for fake news detection
CN114707517B (zh) 一种基于开源数据事件抽取的目标跟踪方法
Elakkiya et al. TextSpamDetector: textual content based deep learning framework for social spam detection using conjoint attention mechanism
Jacob et al. Fuzzy artificial bee colony‐based CNN‐LSTM and semantic feature for fake product review classification
Alonso-Bartolome et al. Multimodal fake news detection
Surekha et al. Digital misinformation and fake news detection using WoT integration with Asian social networks fusion based feature extraction with text and image classification by machine learning architectures
Kaliyar et al. Classification of Hoax/Non-Hoax news articles on social media using an effective deep neural network
CN117390299A (zh) 基于图证据的可解释性虚假新闻检测方法
Phuvipadawat et al. Detecting a multi-level content similarity from microblogs based on community structures and named entities
Iqbal et al. Artificial intelligence and digital forensics
CN116955707A (zh) 内容标签的确定方法、装置、设备、介质及程序产品
CN113505223B (zh) 一种网络水军识别方法与系统
İş et al. A Profile Analysis of User Interaction in Social Media Using Deep Learning.
CN114297375A (zh) 网络安全实体与关系的网络模型的训练方法及抽取方法
Aldahawi Mining and analysing social network in the oil business: Twitter sentiment analysis and prediction approaches
Selvi et al. Sentimental analysis of movie reviews in Tamil text
Kaushik et al. Sentiment analysis based on movie reviews using various classification techniques: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant