CN112328859B - 一种基于知识感知注意力网络的虚假新闻检测方法 - Google Patents

一种基于知识感知注意力网络的虚假新闻检测方法 Download PDF

Info

Publication number
CN112328859B
CN112328859B CN202011219845.1A CN202011219845A CN112328859B CN 112328859 B CN112328859 B CN 112328859B CN 202011219845 A CN202011219845 A CN 202011219845A CN 112328859 B CN112328859 B CN 112328859B
Authority
CN
China
Prior art keywords
entity
news
knowledge
context
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011219845.1A
Other languages
English (en)
Other versions
CN112328859A (zh
Inventor
陈晨
顿雅倩
袁晓洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202011219845.1A priority Critical patent/CN112328859B/zh
Publication of CN112328859A publication Critical patent/CN112328859A/zh
Application granted granted Critical
Publication of CN112328859B publication Critical patent/CN112328859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

一种基于知识感知注意力网络的虚假新闻检测方法，属于人工智能技术领域。包括：基于新闻本文抽取知识图谱中的相关知识，将新闻文本和抽取的相关知识作为输入数据，构建基于知识感知的虚假新闻检测模型，对新闻样本进行分类。首先通过实体链接识别新闻中的实体提及并将其与知识图谱中相应的实体进行对齐，获得实体序列。其次，对于实体序列中的每个实体，获取知识图谱中该实体的邻居实体作为其实体上下文。最后，通过虚假新闻检测模型，将新闻文本与实体和实体上下文特征进行融合，完成虚假新闻检测。本发明能够解决新闻文本中实体提及带来的歧义问题，同时能够为新闻中的实体提供补充信息，学习语义水平和知识水平的新闻表示。

Description

一种基于知识感知注意力网络的虚假新闻检测方法
技术领域
本发明属于人工智能领域，具体涉及社交网络数据，对社交媒体中出现的新闻，提出了一种基于知识感知注意力网络的虚假新闻检测方法。
背景技术
社交媒体已经成为人们获取和交换信息的平台。由于社交媒体使用十分便捷，越来越多的人借助社交媒体获取和发布新闻。与此同时，社交媒体也逐渐成为了一个传播虚假新闻的理想平台。由于虚假新闻恶意地歪曲和捏造事实，其广泛传播会对个人和社会产生极大的负面影响。因此，对于社交媒体上的虚假新闻进行检测是十分迫切的，也是对社会非常有益的。
对于虚假新闻检测，早期的方法主要根据手动设计的特征来提取和学习新闻中的一些特征，但这种方式学习到的特征不全面，检测效果较差。深度学习出现后，各种基于深度学习的方法被提出并且很大程度的提升了虚假新闻检测的效果。然而已有的方法只关注新闻文本内容，忽略了人们判断新闻真假时通常用到的外部知识。由于新闻是高度稠密化的文本，包含大量的实体提及，理解文本中的实体提及是分析新闻内容的关键，对于评估新闻的真实性很有帮助，然而，这些实体提及直接根据新闻文本不能被理解。
为了解决上述问题，在虚假新闻检测中引入外部知识十分必要。为了学习新闻中实体间的逻辑联系，整合知识图谱中的知识信息是非常有必要的。知识图谱是一种由多个顶点和多条边构成的关系图，每条边可以描述两个实体之间的直接关系。知识图谱中蕴含的知识对于新闻的学习是非常有益的：(1)新闻中通常包含大量的有歧义的实体提及，通过将提及与知识图谱中对应的实体相链接可以避免这些提及带来的歧义。(2)知识图谱可以为实体提供相关的补充信息，这有助于学习新闻中实体之间的知识水平的联系，并且提升虚假新闻检测的效果。
综上所述，基于知识感知的虚假新闻检测是一项创新的研究问题，具有重要的研究意义和应用价值。
发明内容
本发明的目的是解决现有的虚假新闻检测方法中对新闻文本理解不充分的问题，创新性的提出了一种融合外部知识的虚假新闻检测方法。本方法以深度神经网络为框架，考虑有助于理解新闻的外部知识信息，并设计有效的方式将外部知识融合到新闻文本，对新闻文本的真实性进行分类。
本发明的技术方案
基于知识感知注意力网络的虚假新闻检测方法，该方法的详细内容如下：
第1、数据集获取；
获取来自社交媒体上的新闻后，抽取出新闻源文本S和真实性标签y作为新闻样本，构造新闻数据集。
第2、基于新闻文本，抽取知识图谱中的相关信息作为外部知识；
第2.1、根据实体链接工具tagme识别出新闻中的实体提及并链接到知识图谱中的对应实体；如新闻中的实体提及“Oxxx”与知识图谱中的实体“Barack Oxxx”相对应。通过实体链接后，可以获得新闻文本对应的实体序列E＝{e1，e2，…，en}；
第2.2、抽取知识图谱中与实体距离一跳的所有邻居实体作为实体上下文；对实体序列中的每个实体ei抽取知识图谱中和该实体相关的距离一跳的邻居实体，将由所有邻居实体构成的集合ec(ei)作为实体ei实体上下文：
ec(ei)＝{e|(e，rel，ei)∈{G}or(ei，rel，e)∈G}，
其中，rel表示两个实体之间的关系，G为知识图谱。在实体序列中每个实体对应一个实体上下文集合后，可以获得实体上下文序列EC＝ {ec(e1)，ec(e2)，…，ec(en)}。
定义1：实体链接，定义如下：
将文本中所提及的实体链接到知识库中相应实体的过程。实体链接的输入通常包括实体的指代(提及)和上下文，以及待链接的知识库；实体链接的输出是实体提及所对应的知识库中的实体。
定义2：知识图谱，定义如下：
知识图谱是一种以实体为节点，以关系为边的有向图，边可以描述两个实体之间的关系。知识图谱以三元组的形式存储。
第3、新闻文本编码；
为了获得新闻文本的表示，采用Transformer编码器作为文本编码的核心模块。Transformer中包含自注意力机制，能够学习较长的句子依赖关系，同时，还能够通过位置编码捕捉句子的序列信息。此外，Transformer具有较强的语义特征提取能力。
给定一条长度为n的新闻文本S＝{w1，w2，…，wn}，每个单词wi被映射到一个连续的词嵌入wi′，然后可以获得新闻的嵌入S′＝{w′1，w′2，…，w′n}。此外，为了利用新闻文本中的词序，加入位置编码：
ut＝wt′+post，
其中post为新闻中第t个词的位置编码，将u＝u0，…，un作为Transformer编码器底部的输入编码。通常来说，编码器是由多个相同层的构成，每个层由多头自注意力机制、残差连接、正则化层和全连接前馈网络组成。本方法中使用一层的编码器来处理输入编码：
Figure RE-GDA0002862872460000041
Figure RE-GDA0002862872460000042
Figure RE-GDA0002862872460000043
Figure RE-GDA0002862872460000044
在一层的编码器中，输入编码u首先经过多头自注意力机制子层，输出表示被输入到前馈神经网络子层中，每个子层后应用残差连接和正则化层。最后，编码器的输出p为新闻的表示。
第4、将实体和实体上下文作为外部知识，并进行编码；
第4.1、实体序列编码；
被抽取的实体序列E中的每一项通过word2vec进行嵌入，如果一项包含多个词，则将多个词的嵌入取平均值作为该项的嵌入。完成嵌入后，可以获得实体嵌入序列E′＝{e′1，e′2，…，e′n}，通过Transformer编码器对E′进行编码后，将其输出q′作为实体序列的中间编码。
第4.2、实体上下文序列编码；
被抽取的实体上下文序列EC中每一项通过word2vec进行嵌入，完成嵌入后，可以获得实体上下文嵌入序列EC′＝{ec′1，ec′2，…，ec′n}，实体上下文嵌入eci′是实体ei的上下文集合ec(ei)中所有邻居实体词嵌入的平均值：
Figure RE-GDA0002862872460000045
通过Transformer编码器对EC′进行编码后，将其输出r′作为实体上下文序列的中间编码。
第5、根据知识感知注意力机制，为实体和实体上下文分配注意力权重；
第5.1多头注意力机制；
来自知识图谱的外部知识为检测虚假新闻提供了丰富的信息。为了衡量外部知识的相对重要性，设计了两个基于多头注意力的注意力机制，这允许模型考虑来自不同位置的不同表示子空间的信息。计算注意力的公式如下：
Figure RE-GDA0002862872460000051
MultiHead(Q，K，V)＝Concat(Attn1，…，AttnH)，
其中，Q、K和V分别由查询、键和值转换获得，H为多头注意力中头的数量。
第5.2、设计N-E注意力机制为实体序列分配权重；
由于不同实体对于新闻意义的理解贡献不同，所以设计了新闻-实体注意力机制(N-E)根据新闻内容来衡量不同实体的相对重要性。在N-E注意力机制中，查询来自新闻表示p，键和值来自实体序列的中间编码q′，通过计算新闻和实体序列的语义相似性，每个实体被分配一个权重αi来表示其重要性：
Q＝WQp，K＝WKq′，V＝WVq′，
Figure RE-GDA0002862872460000052
q表示实体序列的表示，WQ，WK，WV为参数矩阵，α表示注意力权重分配。
第5.3、设计N-E2C注意力机制为实体上下文序列分配权重；
为了衡量实体上下文相对重要性，设计新闻-实体-实体上下文注意力机制(N-E2C)，根据新闻内容以及实体序列为实体上下文序列中的每一项分配权重，在 N-E2C注意力机制中，查询来自新闻表示p，键来自实体序列的中间编码q′，值来自实体上下文序列的中间编码r′，通过计算新闻文本和实体序列之间的语义相似性后，根据实体的重要性来为其对应的实体上下文βi分配权重：
Q＝WQp，K＝WKq′，V＝WVr′，
Figure RE-GDA0002862872460000061
r表示实体上下文表示。
第6、融合新闻表示、实体表示和实体上下文表示，通过深度神经分类模型进行分类。
通过将新闻表示p，实体表示q和实体上下文表示r三者相连接后，获得新闻的最终表示z，将z输入到全连接层后，用softmax函数来预测新闻标签的分布P：
P＝softmax(Woz+bo)，
通过训练来最小化交叉熵损失函数：
Figure RE-GDA0002862872460000062
D表示训练语料库，ci表示新闻i的真实标签，Pi(ci)表示真实标签的概率，Θ表示KAN模型中的参数，λ为L2正则化器的系数。
本发明的优点和积极效果：
本发明开创性地提出了一种基于知识感知注意力网络的虚假新闻检测方法，提出利用知识图谱中的实体以及该实体的邻居实体作为外部知识，并设计新闻- 实体注意力机制和新闻-实体-实体上下文两种注意力机制，来获得实体和实体上下文的相对重要性，从而更合理有效的将实体和实体上下文特征融合到新闻文本表示中。本发明有效地建模新闻文本和外部知识，并且能够融合语义水平和知识水平的新闻表示，从而在很大程度上提高了虚假新闻检测任务的准确性。
附图说明
图1为知识感知的虚假新闻检测过程示意图。
图2为社交网络中新闻及其包含的实体提及示例图。
图3为知识抽取过程示意图。
图4为虚假新闻检测模型示意图。
图5为新闻数据集及实体数量的统计信息图。
图6为虚假新闻检测准确率的结果示意图。
图7、图8为消融实验结果。
具体实施方式
本发明提出一种基于知识感知注意力网络的虚假新闻检测方法，方法的主要流程如图1所示。下面结合附图详细说明本发明的具体实施方式。
本发明的具体实施过程分为六个步骤：获取新闻数据集；根据新闻文本，抽取知识图谱中的实体和实体上下文作为外部知识；对新闻文本进行编码；对实体和实体上下文进行编码；设计注意力机制，为实体和实体上下文分配权重；融合新闻表示、实体表示和实体上下文表示，通过深度神经分类模型进行分类。以下是六个步骤的实施过程的具体说明：
第1、数据集获取；
获取来自社交媒体上的新闻后，抽取出新闻源文本S和真实性标签y作为新闻样本，构造新闻数据集。图2为典型的社交媒体新闻样本，样本中的被标记的词为实体提及，可以看到，新闻文中包含大量的实体提及，这些提及对于新闻文本的理解起至关重要的作用。
第2、根据新闻文本，抽取知识图谱中的相关信息作为外部知识；
第2.1、根据实体链接识别出新闻中的实体提及并链接到知识图谱中的对应实体；
通过实体链接后，将新闻文本中的每一个实体提及和知识图谱中每一个实体相对应，如图3中(a)、(b)所示，新闻中的实体提及“第33区”与知识图谱中的实体“纽约第33选区”相对应，通过此操作后，可以获得新闻文本对应的实体序列E＝{e1，e2，…，en}。
第2.2、抽取知识图谱中与实体距离一跳的所有邻居实体作为实体上下文；
图3(c)为实体上下文抽取过程示意图，抽取知识图谱中和实体“Barack Oxxx”距离为一跳的所有邻居实体，这些邻居实体构成的集合为“Barack Oxxx”的实体上下文。对实体序列中的每个实体ei，将由所有距离为一跳的邻居实体构成的集合ec(ei)作为实体ei实体上下文：
ec(ei)＝{e|(e，rel，ei)∈{G}or(ei，rel，e)∈G}，
其中，rel表示两个实体之间的关系，G为知识图谱。在实体序列中每个实体对应一个实体上下文集合后，可以获得实体上下文序列EC＝ {ec(e1)，ec(e2)，…，ec(en)}。
定义1：实体链接，定义如下：
将文本中所提及的实体链接到知识库中相应实体的过程。实体链接的输入通常包括实体的指代(提及)和上下文，以及待链接的知识库；实体链接的输出是实体提及所对应的知识库中的实体。
定义2：知识图谱，定义如下：
知识图谱是一种以实体为节点，以关系为边的有向图，边可以描述两个实体之间的关系。知识图谱以三元组的形式存储。
第3、新闻文本编码；
为了获得新闻文本的表示，采用Transformer编码器作为新闻文本编码的核心模块，如图4模型中最左分支所示。Transformer框架已被应用于大量的下游任务，并且取得了非常好的效果。Transformer中包含自注意力机制，能够学习较长的句子依赖关系，同时，还能够通过位置编码捕捉句子的序列信息。此外，Transformer具有较强的语义特征提取能力。
给定一条长度为n的新闻文本S＝{w1，w2，…，wn}，每个单词wi被映射到一个连续的词嵌入wi′，然后可以获得新闻的嵌入S′＝{w′1，w′2，…，w′n}。此外，为了利用新闻文本中的词序，加入位置编码：
ut＝wt′+post，
其中，post为新闻中第t个词的位置编码，将u＝u0，…，un作为Transformer编码器底部的输入编码。通常来说，编码器是由多个相同层的构成，每个层由多头自注意力机制、残差连接、正则化层和全连接前馈网络组成。本方法中使用一层的编码器来处理输入编码：
Figure RE-GDA0002862872460000091
Figure RE-GDA0002862872460000092
Figure RE-GDA0002862872460000093
Figure RE-GDA0002862872460000094
在一层的编码器中，输入编码u首先经过多头自注意力机制子层，输出表示被输入到前馈神经网络子层中，每个子层后应用残差连接和正则化层。最后，编码器的输出p为新闻的表示。
第4、将实体和实体上下文作为外部知识，并进行编码；
第4.1、实体序列编码；
如图4模型中间分支所示，被抽取的实体序列E中的每一项通过word2vec 进行嵌入，如果一项包含多个词，则将多个词的嵌入取平均值作为该项的嵌入。完成嵌入后，可以获得实体嵌入序列E′＝{e′1，e′2，…，e′n}，通过Transformer编码器对E′进行编码后，将其输出q′作为实体序列的中间编码。
第4.2、实体上下文序列编码；
如图4模型最右分支所示，被抽取的实体上下文序列EC中每一项通过 word2vec进行嵌入，完成嵌入后，可以获得实体上下文嵌入序列EC′＝ {ec′1，ec′2，…，ec′n}，实体上下文嵌入eci′是实体ei的上下文集合ec(ei)中所有邻居实体词嵌入的平均值：
Figure RE-GDA0002862872460000101
通过Transformer编码器对EC′进行编码后，将其输出r′作为实体上下文序列的中间编码。
第5、根据知识感知注意力机制，为实体和实体上下文分配注意力权重；
第5.1多头注意力机制；
来自知识图谱的外部知识为检测虚假新闻提供了丰富的信息。为了衡量外部知识的相对重要性，设计了两个基于多头注意力的注意力机制，这允许模型考虑来自不同位置的不同表示子空间的信息。计算注意力的公式如下：
Figure RE-GDA0002862872460000102
MultiHead(Q，K，V)＝Concat(Attn1，…，AttnH)，
其中，Q、K和V分别由查询、键和值转换获得，H为多头注意力中头的数量。
第5.2、设计N-E注意力机制为实体序列分配权重；
由于不同实体对于新闻意义的理解贡献不同，所以设计了新闻-实体注意力机制(N-E)根据新闻内容来衡量不同实体的相对重要性，如图4所示。在N-E注意力机制中，查询来自新闻表示p，键和值来自实体序列的中间编码q′，通过计算新闻和实体序列的语义相似性，每个实体被分配一个权重αi来表示其重要性：
Q＝WQp，K＝WKq′，V＝WVq′，
Figure RE-GDA0002862872460000111
q表示实体序列的表示，WQ，WK，WV为参数矩阵，α表示注意力权重分配。
第5.3、设计N-E2C注意力机制为实体上下文序列分配权重；
为了衡量实体上下文相对重要性，设计新闻-实体-实体上下文注意力机制(N-E2C)，根据新闻内容以及实体序列为实体上下文序列中的每一项分配权重，如图4所示。在N-E2C注意力机制中，查询来自新闻表示p，键来自实体序列的中间编码q′，值来自实体上下文序列的中间编码r′，通过计算新闻文本和实体序列之间的语义相似性后，根据实体的重要性来为其对应的实体上下文βi分配权重：
Q＝WQp，K＝WKq′，V＝WVr′，
Figure RE-GDA0002862872460000112
r表示实体上下文表示。
第6、融合新闻表示、实体表示和实体上下文表示，通过深度神经分类模型进行分类。
如图4所示，通过将新闻表示p，实体表示q和实体上下文表示r三者相连接后，获得新闻的最终表示z，将z输入到全连接层后，用softmax函数来预测新闻标签的分布P：
P＝softmax(Woz+bo)，
通过训练来最小化交叉熵损失函数：
Figure RE-GDA0002862872460000113
D表示训练语料库，ci表示新闻i的真实标签，Pi(ci)表示真实标签的概率，Θ表示KAN模型中的参数，λ为L2正则化器的系数。
第7、虚假新闻检测
本模型的进行虚假新闻检测的准确度主要指标是准确率、召回率、精确度、 F1和AUC。实验结果表明，本发明在新闻检测的准确度方面领先于其他方法。
本方法采用三个英文数据集PolitiFact、GossipCop和PHEME。数据集中的样本均来源于社交网络中的真实新闻。数据集中的新闻分为真实新闻和虚假新闻两类。数据集的统计信息如图5所示。
如图6所示，与其他方法相比，本方法在虚假新闻检测的准确度方面取得了较大地提高。通过比较基于内容的虚假新闻检测结果可以发现，深度学习方法普遍优于传统方法，这是由于传统方法通过手工特征或者规则进行构建，与深度学习相比，学习特征的能力较差。除此之外，可以发现，同时使用新闻内容和外部知识的方法取得效果比只使用新闻文本的方法效果好，这表明模型能够成功的整合外部知识并且能够显著提升虚假新闻检测的效果。
通过将本方法与其他融入外部知识的方法相比，可以发现本方法的效果优于其他方法，本发明表现较好的原因有两个：通过知识感知网络来消除新闻中实体提及带来的歧义，并且学习新闻中实体知识水平的联系；应用注意力机制来衡量实体和实体上下文知识的重要性，并且有效的将知识融入新闻表示。
根据是否使用外部知识和是否注意力机制两方面对模型进行消融实验，如图 7所示。观察对外部知识进行消融后的结果，如图7(a)(b)(c)所示，可以看出，外部知识对于指导新闻分类的重要性。观察对注意力机制进行消融后的结果，如图8(a)(b)(c)所示，可以看出，两个注意力机制能够分别提升检测效果，同时使用两注意力机制时，取得的实验效果最好。通过消融实验表明，外部知识和知识感知注意力机制的共同作用让模型进行虚假新闻检测的能力更强。
综上所述，本方法能够很好的利用知识图谱中的外部知识，并且能够有效的将知识与新闻文本相融合，从而更好地完成社交网络虚假新闻检测任务。

Claims (5)

1.一种基于知识感知注意力网络的虚假新闻检测方法，该方法以融入外部知识来进一步理解新闻文本的思想为基础，通过将新闻文本中的实体提及与知识图谱中的实体相链接，来消除新闻中实体提及带来歧义问题，同时加入知识图谱中实体的邻居实体作为实体上下文，为实体提供补充信息，训练虚假新闻检测模型，将新闻文本、实体、实体序列作为输入，并设计两个注意力机制分别为实体和实体上下文分配权重来表示其相对重要性，最终学习涵盖语义水平和知识水平的新闻表示；
该方法的具体步骤如下：
第1、数据集获取；
第2、根据新闻文本，抽取知识图谱中的相关信息作为外部知识；
第2.1、根据实体链接识别出新闻中的实体提及并链接到知识图谱中的对应实体；
第2.2、抽取知识图谱中与实体距离一跳的所有邻居实体作为实体上下文；
第3、新闻文本编码；
第4、将实体和实体上下文作为外部知识，并进行编码；
第4.1、实体序列编码；
第4.2、实体上下文序列编码；
第5、根据知识感知注意力机制，为实体和实体上下文分配注意力权重；
第5.1多头注意力机制；
第5.2、设计N-E注意力机制为实体序列分配权重；
第5.3、设计N-E2C注意力机制为实体上下文序列分配权重；
第6、融合新闻表示、实体表示和实体上下文表示，通过深度神经分类模型进行分类；
第5步所述的根据知识感知注意力机制，为实体和实体上下文分配注意力权重的方法是：
第5.1、多头注意力机制；
来自知识图谱的外部知识为检测虚假新闻提供了丰富的信息，为了衡量外部知识的相对重要性，设计了两个基于多头注意力的注意力机制，这允许模型考虑来自不同位置的不同表示子空间的信息，计算注意力的公式如下：
Figure FDA0003764172390000021
MultiHead(Q,K,V)＝Concat(Attn1,…,AttnH),
其中，Q、K和V分别由查询、键和值转换获得，H为多头注意力中头的数量；
第5.2、设计N-E注意力机制为实体序列分配权重；由于不同实体对于新闻意义的理解贡献不同，为更有效的融合实体知识，设计了新闻-实体注意力机制(N-E)，该注意力机制主要思想为计算新闻文本和实体序列的语义相似性，从而为实体序列中的实体分配权重，在N-E注意力机制中，查询来自新闻表示p，键和值来自实体序列的中间编码q'：
Q1＝WQp,K1＝WKq',V1＝WVq',
Figure FDA0003764172390000022
q＝αV1,
αi为每个实体被分配的注意力，q表示实体序列的表示，WQ，WK，WV为参数矩阵，α表示注意力权重分配，q为得到的实体序列表示；
第5.3、设计N-E2C注意力机制为实体上下文序列分配权重；为了衡量实体上下文相对重要性，设计新闻-实体-实体上下文注意力机制(N-E2C)，该注意力机制的主要思想为计算新闻文本和实体序列的语义相似性，为重要实体的实体上下文分配较大的注意力权重，在N-E2C注意力机制中，查询来自新闻表示p，键来自实体序列的中间编码q'，值来自实体上下文序列的中间编码r'，通过计算新闻文本和实体序列之间的语义相似性后，为实体上下文βi分配权重:
Q2＝WQp,K2＝WKq',V2＝WVr',
Figure FDA0003764172390000031
r＝βV2,
βi为每个实体上下文被分配的权重，r为得到的实体上下文表示；
第6步中所述的融合新闻表示、实体表示和实体上下文，通过深度神经分类模型进行分类的方法是：
通过将新闻表示p，实体表示q和实体上下文表示r三者相连接后，获得新闻的最终表示z，将z输入到全连接层后，用softmax函数来预测新闻标签的分布P：
P＝softmax(Woz+bo),
通过训练来最小化交叉熵损失函数：
Figure FDA0003764172390000032
D表示训练语料库，ci表示新闻i的真实标签，Pi(ci)表示真实标签的概率，Θ表示KAN模型中的参数，λ为L2正则化器的系数。
2.根据权利要求1所述的方法，其特征在于，第1步所述的数据集获取的方法是：收集社交网络中的新闻并抽取出新闻的文本内容S和真实性标签y作为数据集样本。
3.根据权利要求1所述的方法，其特征在于第2步所述的根据新闻文本抽取知识图谱中的相关信息作为外部知识的方法是：
给定一条长度为n的新闻文本S＝{w1,w2,…,wn}，wi为新闻文本中的第i个单词，基于S，抽取知识图谱中相关的信息作为外部知识：
第2.1、根据实体链接识别出新闻中的实体提及并链接到知识图谱中的对应实体；新闻文本中的一个或多个词构成的实体提及可能和知识图谱中的某个实体相关联，通过对新闻S进行实体链接操作，可以识别出新闻中的实体提及，将实体提及链接到知识图谱中的对应实体后，获得新闻文本对应的实体序列E＝{e1,e2,…,en}；
第2.2、抽取知识图谱中与实体距离一跳的所有邻居实体作为实体上下文；对实体序列中的每个实体ei，抽取知识图谱中和该实体距离一跳的邻居实体，将由所有邻居实体构成的集合ec(ei)作为实体ei实体上下文：
ec(ei)＝{e|(e,rel,ei)∈{G}or(ei,rel,e)∈G},
其中，rel表示两个实体之间的关系，G为知识图谱，在实体序列中每个实体对应一个实体上下文集合后，可以获得实体上下文序列EC＝{ec(e1),ec(e2),…,ec(en)}。
4.根据权利要求1所述的方法，其特征在于，第3步所述的新闻文本编码的方法是：
采用Transformer编码器作为文本编码的核心模块，给定一条长度为n的新闻文本S＝{w1,w2,…,wn}，每个单词wi被映射到一个连续的词嵌入wi'，可以获得新闻的嵌入S'＝{w'1,w'2,…,w'n}，此外，为了保留新闻文本中的词序，加入位置编码：
ut＝wt'+post,
其中post为新闻中第t个词的位置编码，将u＝u0,…,un作为Transformer编码器底部的输入编码，编码器是由多个相同层的构成，每个层由多头自注意力机制、残差连接、正则化层和全连接前馈网络组成：
Figure FDA0003764172390000041
Figure FDA0003764172390000051
Figure FDA0003764172390000052
Figure FDA0003764172390000053
在一层的编码器中，输入编码u首先经过多头自注意力机制子层，输出表示被输入到前馈神经网络子层中，每个子层后应用残差连接和正则化层，最后，Transformer编码器的输出p作为新闻的表示。
5.根据权利要求1所述的方法，其特征在于，第4步所述的将实体和实体上下文作为外部知识并进行编码的方法如下：
第4.1、实体序列编码；对抽取的实体序列E中的每一个实体进行嵌入，如果实体包含多个词，则将多个词的嵌入取平均值作为该实体的嵌入，完成嵌入后，可以获得实体嵌入序列E'＝{e'1,e'2,…,e'n}，通过Transformer编码器对E'进行编码后，将其输出q'作为实体序列的中间编码；
第4.2、实体上下文序列编码；被抽取的实体上下文序列EC中每一项进行嵌入后，可以获得实体上下文嵌入序列EC'＝{ec'1,ec'2,…,ec'n}，实体上下文嵌入eci'是实体ei的上下文集合ec(ei)中所有邻居实体词嵌入的平均值：
Figure FDA0003764172390000054
通过Transformer编码器对EC'进行编码后，将其输出r'作为实体上下文序列的中间编码。
CN202011219845.1A 2020-11-05 2020-11-05 一种基于知识感知注意力网络的虚假新闻检测方法 Active CN112328859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011219845.1A CN112328859B (zh) 2020-11-05 2020-11-05 一种基于知识感知注意力网络的虚假新闻检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011219845.1A CN112328859B (zh) 2020-11-05 2020-11-05 一种基于知识感知注意力网络的虚假新闻检测方法

Publications (2)

Publication Number Publication Date
CN112328859A CN112328859A (zh) 2021-02-05
CN112328859B true CN112328859B (zh) 2022-09-20

Family

ID=74315382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011219845.1A Active CN112328859B (zh) 2020-11-05 2020-11-05 一种基于知识感知注意力网络的虚假新闻检测方法

Country Status (1)

Country Link
CN (1) CN112328859B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849599B (zh) * 2021-09-03 2023-01-24 北京中科睿鉴科技有限公司 基于模式信息和事实信息的联合虚假新闻检测方法
CN113946683A (zh) * 2021-09-07 2022-01-18 中国科学院信息工程研究所 一种知识融合的多模态虚假新闻识别方法及装置
CN117807322B (zh) * 2024-02-29 2024-05-14 南京信息工程大学 一种基于知识图谱检索的虚假新闻检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061843A (zh) * 2019-12-26 2020-04-24 武汉大学 一种知识图谱引导的假新闻检测方法
CN111177394A (zh) * 2020-01-03 2020-05-19 浙江大学 基于句法注意力神经网络的知识图谱关系数据分类方法
CN111259851A (zh) * 2020-01-23 2020-06-09 清华大学 一种多模态事件检测方法及装置
CN111444305A (zh) * 2020-03-19 2020-07-24 浙江大学 一种基于知识图谱嵌入的多三元组联合抽取方法
CN111737484A (zh) * 2020-05-15 2020-10-02 浙江工业大学 一种基于联合学习的警情知识图谱构建方法
CN111813931A (zh) * 2020-06-16 2020-10-23 清华大学 事件检测模型的构建方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061843A (zh) * 2019-12-26 2020-04-24 武汉大学 一种知识图谱引导的假新闻检测方法
CN111177394A (zh) * 2020-01-03 2020-05-19 浙江大学 基于句法注意力神经网络的知识图谱关系数据分类方法
CN111259851A (zh) * 2020-01-23 2020-06-09 清华大学 一种多模态事件检测方法及装置
CN111444305A (zh) * 2020-03-19 2020-07-24 浙江大学 一种基于知识图谱嵌入的多三元组联合抽取方法
CN111737484A (zh) * 2020-05-15 2020-10-02 浙江工业大学 一种基于联合学习的警情知识图谱构建方法
CN111813931A (zh) * 2020-06-16 2020-10-23 清华大学 事件检测模型的构建方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于表示学习的事件抽取方法研究》;吴文涛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200415(第4期);正文第2-3章 *

Also Published As

Publication number Publication date
CN112328859A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112328859B (zh) 一种基于知识感知注意力网络的虚假新闻检测方法
CN110781683B (zh) 一种实体关系联合抽取方法
CN113128229B (zh) 一种中文实体关系联合抽取方法
CN109086805B (zh) 一种基于深度神经网络和成对约束的聚类方法
CN110119765A (zh) 一种基于Seq2seq框架的关键词提取方法
CN113468888A (zh) 基于神经网络的实体关系联合抽取方法与装置
CN113486667A (zh) 一种基于实体类型信息的医疗实体关系联合抽取方法
CN116151256A (zh) 一种基于多任务和提示学习的小样本命名实体识别方法
CN114926150A (zh) 一种变压器技术符合性评估数字化智能审核方法与装置
CN111061951A (zh) 一种基于双层自注意力评论建模的推荐模型
CN115759092A (zh) 一种基于albert的网络威胁情报命名实体识别方法
CN113449111A (zh) 基于时空语义知识迁移的社会治理热点话题自动识别方法
CN116910238A (zh) 一种基于孪生网络的知识感知虚假新闻检测方法
CN116484024A (zh) 一种基于知识图谱的多层次知识库构建方法
CN115292490A (zh) 一种用于政策解读语义的分析算法
CN113051904B (zh) 一种面向小规模知识图谱的链接预测方法
CN115098673A (zh) 基于变体注意力及层次结构的业务文书信息抽取方法
CN114004220A (zh) 一种基于cpc-ann的文本情绪原因识别方法
CN117574898A (zh) 基于电网设备的领域知识图谱更新方法及系统
CN116186350B (zh) 基于知识图谱和主题文本的输电线路工程搜索方法和装置
CN116975161A (zh) 电力设备局放文本的实体关系联合抽取方法、设备、介质
CN116843175A (zh) 一种合同条款风险检查方法、系统、设备和存储介质
CN116775855A (zh) 基于Bi-LSTM的TextRank中文摘要自动生成方法
CN116049437A (zh) 基于自标签与prompt的文档级低资源场景的要素抽取方法
CN115545005A (zh) 一种融合知识和约束图的远程监督关系抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant