CN111581980A - 基于决策树与共同注意力协作的假新闻检测系统及方法 - Google Patents

基于决策树与共同注意力协作的假新闻检测系统及方法 Download PDF

Info

Publication number
CN111581980A
CN111581980A CN202010373492.4A CN202010373492A CN111581980A CN 111581980 A CN111581980 A CN 111581980A CN 202010373492 A CN202010373492 A CN 202010373492A CN 111581980 A CN111581980 A CN 111581980A
Authority
CN
China
Prior art keywords
news
attention
evidence
comment
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010373492.4A
Other languages
English (en)
Other versions
CN111581980B (zh
Inventor
饶元
吴连伟
张聪
李薛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010373492.4A priority Critical patent/CN111581980B/zh
Publication of CN111581980A publication Critical patent/CN111581980A/zh
Application granted granted Critical
Publication of CN111581980B publication Critical patent/CN111581980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于决策树与共同注意力协作的假新闻检测系统及方法，本发明从一个新角度，提供了一种传统透明的机器学习与神经网络模型相结合的方法，提出了一种基于决策树与共同注意力协作的可解释性假新闻检测方法，来透明地捕获有力的细粒度证据并通过这些证据来发掘假新闻的虚假部分。本发明不仅提高了假新闻检测性能，还提供了检测过程的透明性以及检测结果的可解释性。本发明为假新闻检测任务提出了一种透明的、可解释的方案，该方案将决策树模型合并到共同注意网络中，不仅可以提供可解释索赔验证的证据，同时通过判决条件对证据形成过程进行了解释。本发明具有可拆解性，可将本发明的两个模块解耦训练利用，具有模型泛化能力和任务阶段性训练能力。

Description

基于决策树与共同注意力协作的假新闻检测系统及方法
【技术领域】
本发明属于电子信息技术领域，涉及一种基于决策树与共同注意力协作的假 新闻检测系统及方法。
【背景技术】
假新闻检测的研究目前已经大致经历了两个研究阶段：第一个阶段是构建合 适的深度模型围绕帖子或新闻的文本内容挖掘语义特征、情感特征、写作风格特 征、立场特征等，以及围绕新闻的社会上下文来抽取基于来源的，基于帖子的， 基于用户的，基于网络的可信度指示性特征来提高假新闻的检测性能。尽管这些 方法体现了强大的有效性，但他们很难解释为什么被检测新闻是真实的还是虚假 的。为克服这些弊端，最近研究的一个流行趋势(第二个阶段)是探索基于证据 的解决方案，其聚焦于借助合理的神经网络模型从可靠的来源中捕获相关的证据 片段来进行可解释性的假新闻检测。然而，尽管这种方法体现了一定的可解释性， 但仍然存在一些限制：第一，他们很难解释新闻的证据发现过程，因为这种方法 是神经网络模型，属于非透明的黑盒模型，缺乏方法本身的可解释性；第二，提供的证据是粗粒度的，通常是面向新闻的整条序列，缺乏对新闻序列中真正虚假 部分的聚焦。
【发明内容】
本发明的目的在于解决现有技术中的问题，提供一种基于决策树与共同注意 力协作的假新闻检测系统及方法，该方法不仅提高了假新闻检测性能，还提供了 检测过程的透明性以及检测结果的可解释性。
为达到上述目的，本发明采用以下技术方案予以实现：
基于决策树与共同注意力协作的假新闻检测系统，包括：
基于决策树的证据模型，用于将多种因素作为决策条件并选择高可信度评论 作为证据；
共同注意力模型，用于使被选中的证据与待检测新闻进行深层语义交互；
任务学习模块，用于将深度语义交互信息输入到Softmax中进行概率分布的 预测。
本发明还公开了一种基于决策树与共同注意力协作的假新闻检测方法，包括 以下步骤：
步骤0：给定数量为N的数据集
Figure BDA0002479245410000021
其中，xi指一条待检 测可信度的新闻，Ri为包含m条相关评论的集合Ri＝{R1，R2，...，Rm}，yi表示真 假二分类标签；
步骤1：构建基于层次性评论构建树形网络；
树形网络的根节点是该验证的新闻，第二层节点为用户对该新闻的直接评论 R11，R12，...，Rkn；其中k和n分别表示树形网络的深度和最后一层的节点宽度， 第三层及以下节点是按照现实情况下层次性评论中对评论的回复进行建立的；
步骤2：构建基于可信度视角的决策树来选择树形网络中具有高可信度的评 论作为证据；其中，决策树中每个决策节点包括一个决策条件和两个决策边；
步骤3：当树形网络中评论节点被决策树模型进行评估后，利用后剪枝算法 选择树形网络子树作为证据集来用于后续的训练；
步骤4：采用共同注意力模型使选择的证据与新闻进行交互；
步骤5：对证据序列与新闻序列进行嵌入表示；
对于任意一条长度为l的序列X＝{x1，x2，...，xl}，
Figure BDA0002479245410000031
其中，每个词的 嵌入xi是一个由预训练BERT模型获得的d维向量；最终形成新闻嵌入序列Xc和 证据嵌入序列Xe；
步骤6：对序列进行编码；
采用BiLSTM模型对新闻嵌入序列Xc和证据嵌入序列Xe进行编码，如下：
Figure BDA0002479245410000032
Figure BDA0002479245410000033
Figure BDA0002479245410000034
其中，
Figure BDA0002479245410000035
和
Figure BDA0002479245410000036
分别是前向LSTM和后向LSTM的隐藏层，h是LSTM 的隐藏层单元，
Figure BDA0002479245410000037
表示拼接操作；最终，获得新闻序列的编码
Figure BDA0002479245410000038
以及证 据序列的编码
Figure BDA0002479245410000039
步骤7：证据编码与新闻编码通过共同自注意力进行深度语义交互；共同自 注意力构建了两个层次自注意力网络；其中，自注意力网络如下：
Figure BDA0002479245410000041
其中，
Figure BDA0002479245410000042
和
Figure BDA0002479245410000043
分别为查询矩阵，键矩阵以及值矩阵；d是K的尺度值；在第一个层次自注意力网络中，
Figure BDA0002479245410000044
是 证据序列编码的最大池化向量，K＝V＝Rc，Rc为新闻序列编码；在第二个层次 自注意力网络中，Q＝C，即第一个自注意力网络的输出向量，K＝V＝Re，Re为 证据序列编码；
步骤8：自注意力网络首先映射查询矩阵、键矩阵、和值矩阵j次，然后这j 次映射并行地执行多尺度点乘注意力，最终将所有的执行结果拼接起来形成一个 全新的表示，如下：
Headi＝Attention(QWi Q，KWj K，VWi V) (5)
O′＝MultiHead(Q，K，V)＝Concat(head1，head2，...，headj)Wo (6)
其中，
Figure BDA0002479245410000045
和
Figure BDA0002479245410000046
是训练参数 且D是2h/j；
步骤9：共同自注意力网络通过一个前馈网络FFN来增强非线性特征以及尺 度不变的特征，其形式化为：
O＝FFN(O′)＝max(0，O′W1+b1)W2+b2 (7)
其中，W1和
Figure BDA0002479245410000047
b1和
Figure BDA0002479245410000048
分别是可学习的参数；O＝C和O＝E 是两个分别针对新闻与证据的层次自注意力网络的输出交互向量；
步骤10：融合最终的交互输出；
采用绝对差和元素乘积来融合针对新闻的输出交互向量C和针对证据的输 出交互向量E；
EC＝[E；|E-C|；E⊙C；C] (8)
其中；表示拼接操作，⊙表示元素点对点的乘积操作；
步骤11：将融合的最终交互输出输入到Softmax函数中进行概率分布的预测， 并借助交叉熵误差来训练一个标签为y的样本，如下：
p＝Softmax(WpEC+bp) (9)
Loss＝-∑ylogp (10)
其中，Wp和bp均为可训练参数。
上述方法的进一步改进在于：
所述步骤2中，从新闻内容和元数据两个视角构造了三种决策条件：新闻与 评论的语义相似度、评论用户的可信度以及评论的可信度，具体如下：
(1)新闻与评论的语义相似度：采用软余弦来测量新闻与评论之间的平均词嵌 入作为他们之间的语义相似度；
(2)评论用户的可信度：利用评论用户的多种元数据特征来评估其可信度，元 数据特征包括是否验证，是否存在地理位置信息，是否存在昵称，是否存在头像， 以及粉丝量、好友量和关注量；
(3)评论的可信度：利用评论的多种元数据进行大致评估评论语义的可信度， 元数据特征包括：是否包括地理位置信息、来源信息、是否喜欢这条评论，以及 点赞量和评论的内容长度。
与现有技术相比，本发明具有以下有益效果：
本发明提出了一种基于决策树与共同注意力协作的可解释性假新闻检测方 法，该方法充分融合了传统机器学习算法的过程透明性，以及神经网络模型的高 性能，最终实现了方法本身的证据选择过程的透明性与检测结果的细粒度可解释 性。
进一步的，本发明为假新闻检测任务提出了一种透明的、可解释的方案，该 方案将决策树模型合并到共同注意网络中，不仅可以提供可解释索赔验证的证据， 同时通过判决条件对证据形成过程进行了解释；
进一步的，设计的共同注意力网络促进了证据与新闻之间的深层语义交互， 可以训练决策阈值获得更有力的证据，有效地关注假新闻的虚假部分；
进一步的，本发明具有可拆解性，可将本发明的两个模块解耦训练利用，具 有模型泛化能力和任务阶段性训练能力；
进一步的，在两个公开的、广泛使用的假新闻数据集上实验表明，本发明比 以前的最先进的方法取得了更好的性能。
【附图说明】
图1为本发明的架构图；
图2为本发明的基于决策树的证据模型；
图3(a)为不同的评论可信度作为决策阈值的性能表现；
图3(b)为不同的用户可信度作为决策阈值的性能表现；
图3(c)为不同的语义相似度作为决策阈值的性能表现；
图4为本发明实际案例分析图。
【具体实施方式】
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述 的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发 明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免 不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护 的范围。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按 比例绘制的；其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些 细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是 示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人 员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该 层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。 另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时， 该层/元件可以位于该另一层/元件“下”。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、 “第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应 该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例 能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和 “具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系 列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤 或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有 的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明基于决策树与共同注意力协作的假新闻检测系统，包括基 于决策树的证据模型、共同注意力模型以及任务学习模块，具体如下：
基于决策树的证据模型，以结构化和层次性相关评论为基础设计了基于决策 树的证据模型，考虑包括文本内容与元数据相关特征在内的多种因素作为决策条 件并选择高可信度评论作为证据，如图2所示；
共同注意力模型，发展了共同注意力网络来使得被选中的证据与待检测新闻 进行深层语义交互，来实现两个目标：一是训练基于决策树的证据模型得到最优 的决策阈值并捕获最有力的证据，二是利用捕获的证据来探索假新闻的虚假部分。
任务学习模块，用于将深度语义交互信息输入到Softmax中进行概率分布的 预测。
本发明基于决策树与共同注意力协作的假新闻检测方法，包括以下步骤：
阶段0：数据初始化
步骤0：给定数量为N的数据集
Figure BDA0002479245410000081
其中，xi指一条待检 测可信度的新闻，Ri为包含m条相关评论的集合Ri＝{R1，R2，...，Rm}，yi表示真 假二分类标签；
阶段1：基于决策树证据模型的构建
步骤1：如图2左边所示，构建基于层次性评论构建树形网络；
步骤1中树形网络的构建过程具体为：
树形网络的根节点是该验证的新闻，第二层节点为用户对该新闻的直接评论(R11，R12，...，Rkn)；其中k和n分别表示树形网络的深度和最后一层的节点宽度， 第三层及以下节点是按照现实情况下层次性评论中对评论的回复进行建立的。
步骤2：本发明构建基于可信度视角的决策树来选择步骤1中形成的树形网 络中具有高可信度的评论作为证据；其中，决策树中每个决策节点包括一个决策 条件和两个决策边(即决策结果)，如图2右边所示。本发明从新闻内容和元数 据两个视角构造了三种决策条件，即新闻与评论的语义相似度、评论用户的可信 度以及评论的可信度。
(1)新闻与评论的语义相似度的具体细节：采用软余弦来测量新闻与评论之 间的平均词嵌入作为他们之间的语义相似度。
(2)评论用户的可信度的具体细节：利用评论用户的多种元数据特征来评估 其可信度，元数据特征包括是否验证，是否存在地理位置信息，是否存在昵称， 是否存在头像；以及粉丝量、好友量、关注量等。
(3)评论的可信度的具体细节：利用评论的多种元数据进行大致评估评论语 义的可信度，元数据特征包括：是否包括地理位置信息、来源信息、是否喜欢这 条评论，以及点赞量和评论的内容长度。
步骤3：当树形网络中评论节点被决策树模型一一进行评估后，本发明利用 后剪枝算法选择树形网络子树作为证据集来用于阶段2的训练。
阶段2：基于共同注意力网络的构建
步骤4：在阶段1的训练初期，决策树证据模型中的决策阈值是不确定的， 即根据不同的决策阈值将有不同数量的评论被选为证据。为训练决策树证据模型 获得最优的决策阈值以至于捕获更有力的证据。本发明设计了共同注意力模型来 使选择的证据与新闻进行交互。
步骤5：对证据序列与新闻序列进行嵌入表示。对于任意一条长度为l的序 列X＝{x1，x2，...，xl}，
Figure BDA0002479245410000091
其中每个词的嵌入xi是一个由预训练BERT模型获 得的d维向量。最终，形成新闻嵌入序列Xc和证据嵌入序列Xe。
步骤6：对序列进行编码。本发明采用BiLSTM模型对新闻嵌入序列Xc和证 据嵌入序列Xe进行编码，其可形式化为：
Figure BDA0002479245410000101
Figure BDA0002479245410000102
Figure BDA0002479245410000103
其中，
Figure BDA0002479245410000104
和
Figure BDA0002479245410000105
分别是前向LSTM和后向LSTM的隐藏层。h是LSTM 的隐藏层单元。
Figure BDA0002479245410000106
表示拼接操作。最终，获得新闻序列的编码
Figure BDA0002479245410000107
以及证 据序列的编码
Figure BDA0002479245410000108
步骤7：证据编码与新闻编码通过共同自注意力进行深度语义交互。共同自 注意力构建了两个层次自注意力网络；其中自注意力网络可形式化为：
Figure BDA0002479245410000109
其中，
Figure BDA00024792454100001010
和
Figure BDA00024792454100001011
分别为查询矩阵，键矩阵以及值矩阵。d是K的尺度值。特别地，在第一个层次自注意力网络中，
Figure BDA00024792454100001012
Figure BDA00024792454100001013
是证据序列编码的最大池化向量，K＝V＝Rc(Rc为新闻序列编码)；在第二 个层次自注意力网络中，Q＝C，即第一个自注意力网络的输出向量，K＝V＝Re(Re为证据序列编码)。
步骤8：为获得注意力的高度并行性，自注意力网络首先映射查询矩阵、键 矩阵、和值矩阵j次，然后这j次映射并行地执行多尺度点乘注意力，最终将所 有的执行结果拼接起来形成一个全新的表示。形式上，这个过程可表达为：
Headi＝Attention(QWi Q，KWi K，VWi V) (5)
O′＝MultiHead(Q，K，V)＝Concat(head1，head2，...，headj)Wo (6)
其中，
Figure BDA00024792454100001014
和
Figure BDA00024792454100001015
是训练参数 且D是2h/j。
步骤9：共同自注意力网络通过一个前馈网络(FFN)来增强非线性特征以 及尺度不变的特征，其形式化为：
O＝FFN(O′)＝max(0，O′W1+b1)W2+b2 (7)
其中，W1和
Figure BDA0002479245410000111
b1和
Figure BDA0002479245410000112
分别是可学习的参数。O＝C和O＝E 是两个分别针对新闻与证据的层次自注意力网络的输出交互向量。
步骤10：融合最终的交互输出。本发明采用绝对差和元素乘积来融合针对新 闻的输出交互向量C和针对证据的输出交互向量E。
EC＝[E；|E-C|；E⊙C；C] (8)
其中；表示拼接操作，⊙表示元素点对点的乘积操作。
阶段3：任务学习
步骤11：将融合的最终交互输出输入到Softmax函数中进行概率分布的预测， 并借助交叉熵误差来训练一个标签为y的样本。其可形式化表达为：
p＝Softmax(WpEC+bp) (9)
Loss＝-∑ylogp (10)
其中，Wp和bp均为可训练参数。
本发明应用于社交网络环境，且能够捕获相关可信度特征的网络环境中。实 验在两个具有竞争力的数据集(RumourEval和PHEME)上证实了性能的优越性， 如表1所示；
表1本发明的实验性能结果
Figure BDA0002479245410000121
在不同决策条件下的性能表现中确定了决策条件的最优决策阈值，即评论可 信度为＜0.6(如图3(a)所示)，用户可信度为＜0.7(如图3(b)所示)，语义相似度 为＜0.5(如图3(c)所示)；并在不同数量的评论下进行实验得知本发明性能的可靠 性，性能从72.28％到79.18％持续增加，如表2所示。
表2本发明不同数量评论下性能结果
Figure BDA0002479245410000122
实施例：
本发明针对实际案例新闻为“据报道，某国《XX周刊》XX总部发生枪击事 件，造成10人死亡。”来检测其真假性，如图4提供了本发明的实际检测结果图， 其中，粗箭头是本发明捕获的具有可信度指示性特征的评论。由图可得，本发明 通过三种决策条件(语义相似度、用户可信度和评论可信度)下不同的决策阈值 有效地捕获到能够揭穿新闻的虚假性的评论，并利用这些评论作为证据来发现新 闻的虚假部分。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡 是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发 明权利要求书的保护范围之内。

Claims (3)

1.基于决策树与共同注意力协作的假新闻检测系统，其特征在于，包括：
基于决策树的证据模型，用于将多种因素作为决策条件并选择高可信度评论作为证据；
共同注意力模型，用于使被选中的证据与待检测新闻进行深层语义交互；
任务学习模块，用于将深度语义交互信息输入到Softmax中进行概率分布的预测。
2.基于决策树与共同注意力协作的假新闻检测方法，其特征在于，包括以下步骤：
步骤0：给定数量为N的数据集
Figure FDA0002479245400000011
其中，xi指一条待检测可信度的新闻，Ri为包含m条相关评论的集合Ri＝{R1，R2，…，Rm}，yi表示真假二分类标签；
步骤1：构建基于层次性评论构建树形网络；
树形网络的根节点是该验证的新闻，第二层节点为用户对该新闻的直接评论R11，R12，…，Rkn；其中k和n分别表示树形网络的深度和最后一层的节点宽度，第三层及以下节点是按照现实情况下层次性评论中对评论的回复进行建立的；
步骤2：构建基于可信度视角的决策树来选择树形网络中具有高可信度的评论作为证据；其中，决策树中每个决策节点包括一个决策条件和两个决策边；
步骤3：当树形网络中评论节点被决策树模型进行评估后，利用后剪枝算法选择树形网络子树作为证据集来用于后续的训练；
步骤4：采用共同注意力模型使选择的证据与新闻进行交互；
步骤5：对证据序列与新闻序列进行嵌入表示；
对于任意一条长度为l的序列X＝{x1，x2，…，xl}，
Figure FDA0002479245400000012
其中，每个词的嵌入xi是一个由预训练BERT模型获得的d维向量；最终形成新闻嵌入序列Xc和证据嵌入序列Xe；
步骤6：对序列进行编码；
采用BiLSTM模型对新闻嵌入序列Xc和证据嵌入序列Xe进行编码，如下：
Figure FDA0002479245400000021
Figure FDA0002479245400000022
Figure FDA0002479245400000023
其中，
Figure FDA0002479245400000024
和
Figure FDA0002479245400000025
分别是前向LSTM和后向LSTM的隐藏层，h是LSTM的隐藏层单元，
Figure FDA0002479245400000026
表示拼接操作；最终，获得新闻序列的编码
Figure FDA0002479245400000027
以及证据序列的编码
Figure FDA0002479245400000028
步骤7：证据编码与新闻编码通过共同自注意力进行深度语义交互；共同自注意力构建了两个层次自注意力网络；其中，自注意力网络如下：
Figure FDA0002479245400000029
其中，
Figure FDA00024792454000000210
和
Figure FDA00024792454000000211
分别为查询矩阵，键矩阵以及值矩阵；d是K的尺度值；在第一个层次自注意力网络中，
Figure FDA00024792454000000212
是证据序列编码的最大池化向量，K＝V＝Rc，Rc为新闻序列编码；在第二个层次自注意力网络中，Q＝C，即第一个自注意力网络的输出向量，K＝V＝Re，Re为证据序列编码；
步骤8：自注意力网络首先映射查询矩阵、键矩阵、和值矩阵j次，然后这j次映射并行地执行多尺度点乘注意力，最终将所有的执行结果拼接起来形成一个全新的表示，如下：
Headi＝Attention(QWi Q，KWi K，VWi V) (5)
O′＝MultiHead(Q，K，V)＝Concat(head1，head2，...，headj)Wo (6)
其中，
Figure FDA0002479245400000031
和
Figure FDA0002479245400000032
是训练参数且D是2h/j；
步骤9：共同自注意力网络通过一个前馈网络FFN来增强非线性特征以及尺度不变的特征，其形式化为：
O＝FFN(O′)＝max(0，O′W1+b1)W2+b2 (7)
其中，W1和
Figure FDA0002479245400000033
b1和
Figure FDA0002479245400000034
分别是可学习的参数；O＝C和O＝E是两个分别针对新闻与证据的层次自注意力网络的输出交互向量；
步骤10：融合最终的交互输出；
采用绝对差和元素乘积来融合针对新闻的输出交互向量C和针对证据的输出交互向量E；
EC＝[E；|E-C|；E⊙C；C] (8)
其中；表示拼接操作，⊙表示元素点对点的乘积操作；
步骤11：将融合的最终交互输出输入到Softmax函数中进行概率分布的预测，并借助交叉熵误差来训练一个标签为y的样本，如下：
p＝Softmax(WpEC+bp) (9)
Loss＝-∑ylogp (10)
其中，Wp和bp均为可训练参数。
3.根据权利要求2所述的基于决策树与共同注意力协作的假新闻检测方法，其特征在于，所述步骤2中，从新闻内容和元数据两个视角构造了三种决策条件：新闻与评论的语义相似度、评论用户的可信度以及评论的可信度，具体如下：
(1)新闻与评论的语义相似度：采用软余弦来测量新闻与评论之间的平均词嵌入作为他们之间的语义相似度；
(2)评论用户的可信度：利用评论用户的多种元数据特征来评估其可信度，元数据特征包括是否验证，是否存在地理位置信息，是否存在昵称，是否存在头像，以及粉丝量、好友量和关注量；
(3)评论的可信度：利用评论的多种元数据进行大致评估评论语义的可信度，元数据特征包括：是否包括地理位置信息、来源信息、是否喜欢这条评论，以及点赞量和评论的内容长度。
CN202010373492.4A 2020-05-06 2020-05-06 基于决策树与共同注意力协作的假新闻检测系统及方法 Active CN111581980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010373492.4A CN111581980B (zh) 2020-05-06 2020-05-06 基于决策树与共同注意力协作的假新闻检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010373492.4A CN111581980B (zh) 2020-05-06 2020-05-06 基于决策树与共同注意力协作的假新闻检测系统及方法

Publications (2)

Publication Number Publication Date
CN111581980A true CN111581980A (zh) 2020-08-25
CN111581980B CN111581980B (zh) 2022-08-16

Family

ID=72122741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010373492.4A Active CN111581980B (zh) 2020-05-06 2020-05-06 基于决策树与共同注意力协作的假新闻检测系统及方法

Country Status (1)

Country Link
CN (1) CN111581980B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232436A (zh) * 2020-11-04 2021-01-15 杭州智策略科技有限公司 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法
CN112597302A (zh) * 2020-12-18 2021-04-02 东北林业大学 基于多维评论表示的虚假评论检测方法
CN112650851A (zh) * 2020-12-28 2021-04-13 西安交通大学 基于多层次交互式证据生成的虚假新闻识别系统及方法
CN112711951A (zh) * 2021-01-05 2021-04-27 西安交通大学 一种基于归纳意识的虚假新闻可解释性检测系统及方法
CN112749181A (zh) * 2021-01-20 2021-05-04 丁同梅 针对真实性验证和可信溯源的大数据处理方法及云服务器
CN112988959A (zh) * 2021-01-13 2021-06-18 西安交通大学 基于证据推断网络的虚假新闻可解释性检测系统及方法
CN113837384A (zh) * 2021-08-19 2021-12-24 东南大学 一种基于深度交互推理模型的事实检测方法
CN114218457A (zh) * 2021-11-22 2022-03-22 西北工业大学 一种基于转发社交媒体用户表征的假新闻检测方法
CN115269854A (zh) * 2022-08-30 2022-11-01 重庆理工大学 基于主题和结构感知神经网络的虚假新闻检测方法
CN116542252A (zh) * 2023-07-07 2023-08-04 北京营加品牌管理有限公司 一种金融文本核查方法及系统
CN118170920A (zh) * 2024-05-13 2024-06-11 南昌大学 一种混合语种文本检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188194A (zh) * 2019-04-26 2019-08-30 哈尔滨工业大学（深圳） 一种基于多任务学习模型的假新闻检测方法及系统
WO2020061578A1 (en) * 2018-09-21 2020-03-26 Arizona Board Of Regents On Behalf Of Arizona State University Method and apparatus for collecting, detecting and visualizing fake news
CN110941953A (zh) * 2019-11-26 2020-03-31 华中师范大学 一种兼顾可解释性的网络虚假评论的自动识别方法及系统
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111061843A (zh) * 2019-12-26 2020-04-24 武汉大学 一种知识图谱引导的假新闻检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020061578A1 (en) * 2018-09-21 2020-03-26 Arizona Board Of Regents On Behalf Of Arizona State University Method and apparatus for collecting, detecting and visualizing fake news
CN110188194A (zh) * 2019-04-26 2019-08-30 哈尔滨工业大学（深圳） 一种基于多任务学习模型的假新闻检测方法及系统
CN110941953A (zh) * 2019-11-26 2020-03-31 华中师范大学 一种兼顾可解释性的网络虚假评论的自动识别方法及系统
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111061843A (zh) * 2019-12-26 2020-04-24 武汉大学 一种知识图谱引导的假新闻检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
夏鑫林等: "基于注意力机制的谣言检测算法研究", 《现代计算机》 *
段大高等: "基于梯度提升决策树的微博虚假消息检测", 《计算机应用》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232436A (zh) * 2020-11-04 2021-01-15 杭州智策略科技有限公司 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法
CN112597302B (zh) * 2020-12-18 2022-04-29 东北林业大学 基于多维评论表示的虚假评论检测方法
CN112597302A (zh) * 2020-12-18 2021-04-02 东北林业大学 基于多维评论表示的虚假评论检测方法
CN112650851A (zh) * 2020-12-28 2021-04-13 西安交通大学 基于多层次交互式证据生成的虚假新闻识别系统及方法
CN112650851B (zh) * 2020-12-28 2023-04-07 西安交通大学 基于多层次交互式证据生成的虚假新闻识别系统及方法
CN112711951A (zh) * 2021-01-05 2021-04-27 西安交通大学 一种基于归纳意识的虚假新闻可解释性检测系统及方法
CN112988959A (zh) * 2021-01-13 2021-06-18 西安交通大学 基于证据推断网络的虚假新闻可解释性检测系统及方法
CN112988959B (zh) * 2021-01-13 2023-07-14 西安交通大学 基于证据推断网络的虚假新闻可解释性检测系统及方法
CN112749181A (zh) * 2021-01-20 2021-05-04 丁同梅 针对真实性验证和可信溯源的大数据处理方法及云服务器
CN112749181B (zh) * 2021-01-20 2021-08-17 方正国际软件(广州)有限公司 针对真实性验证和可信溯源的大数据处理方法及云服务器
CN113837384A (zh) * 2021-08-19 2021-12-24 东南大学 一种基于深度交互推理模型的事实检测方法
CN114218457A (zh) * 2021-11-22 2022-03-22 西北工业大学 一种基于转发社交媒体用户表征的假新闻检测方法
CN114218457B (zh) * 2021-11-22 2024-04-12 西北工业大学 一种基于转发社交媒体用户表征的假新闻检测方法
CN115269854A (zh) * 2022-08-30 2022-11-01 重庆理工大学 基于主题和结构感知神经网络的虚假新闻检测方法
CN115269854B (zh) * 2022-08-30 2024-02-02 重庆理工大学 基于主题和结构感知神经网络的虚假新闻检测方法
CN116542252A (zh) * 2023-07-07 2023-08-04 北京营加品牌管理有限公司 一种金融文本核查方法及系统
CN116542252B (zh) * 2023-07-07 2023-09-29 北京营加品牌管理有限公司 一种金融文本核查方法及系统
CN118170920A (zh) * 2024-05-13 2024-06-11 南昌大学 一种混合语种文本检测方法及系统

Also Published As

Publication number Publication date
CN111581980B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN111581980B (zh) 基于决策树与共同注意力协作的假新闻检测系统及方法
CN111581405B (zh) 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
Li et al. Lightweight remote sensing change detection with progressive feature aggregation and supervised attention
Wang et al. Deep collaborative discrete hashing with semantic-invariant structure construction
Wu et al. Adaptive interaction fusion networks for fake news detection
CN112256981B (zh) 一种基于线性和非线性传播的谣言检测方法
Zhang et al. Progressive dual-attention residual network for salient object detection
CN113157886B (zh) 一种自动问答生成方法、系统、终端及可读存储介质
Maigrot et al. Mediaeval 2016: A multimodal system for the verifying multimedia use task
CN116204706A (zh) 一种文本内容结合图像分析的多模态内容检索方法与系统
CN111581979A (zh) 基于证据感知分层交互注意网络的假新闻检测系统及方法
CN113032525A (zh) 虚假新闻检测方法、装置、电子设备以及存储介质
Shen et al. DSRPH: deep semantic-aware ranking preserving hashing for efficient multi-label image retrieval
Rao et al. PointGLR: Unsupervised structural representation learning of 3D point clouds
Wang et al. Instance-guided multi-modal fake news detection with dynamic intra-and inter-modality fusion
Deng et al. Dense fusion network with multimodal residual for sentiment classification
CN117390299A (zh) 基于图证据的可解释性虚假新闻检测方法
CN112988959A (zh) 基于证据推断网络的虚假新闻可解释性检测系统及方法
Zhi-Xian et al. Image Real‐Time Detection Using LSE‐Yolo Neural Network in Artificial Intelligence‐Based Internet of Things for Smart Cities and Smart Homes
Li et al. Image2song: Song retrieval via bridging image content and lyric words
Bu et al. A High‐Order CFS Algorithm for Clustering Big Data
CN113505223B (zh) 一种网络水军识别方法与系统
CN113326371A (zh) 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法
Abdalla et al. Video Anomaly Detection in 10 Years: A Survey and Outlook
CN117809150B (zh) 基于跨模态注意力机制的多模态错误信息检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant