CN116383239B - 一种基于混合证据的事实验证方法、系统及存储介质 - Google Patents

一种基于混合证据的事实验证方法、系统及存储介质 Download PDF

Info

Publication number
CN116383239B
CN116383239B CN202310660696.XA CN202310660696A CN116383239B CN 116383239 B CN116383239 B CN 116383239B CN 202310660696 A CN202310660696 A CN 202310660696A CN 116383239 B CN116383239 B CN 116383239B
Authority
CN
China
Prior art keywords
evidence
target
examples
mixed
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310660696.XA
Other languages
English (en)
Other versions
CN116383239A (zh
Inventor
罗爱民
陈洪辉
蔡飞
陈翀昊
郑建明
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310660696.XA priority Critical patent/CN116383239B/zh
Publication of CN116383239A publication Critical patent/CN116383239A/zh
Application granted granted Critical
Publication of CN116383239B publication Critical patent/CN116383239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于混合证据的事实验证方法、系统及存储介质，该方法包括如下步骤：基于目标声明从预设的证据数据库中检索得到混合证据集合；将所述混合证据集合进行格式转换，并将格式转换后的所述混合证据集合与所述目标声明组成声明‑证据对；预测所述目标声明的推理模式；基于相似度分析和所述推理模式从预设的样本示例集中获取目标示例集；将所述声明‑证据对和所述目标示例集输入至语言模型中构成演示融合网络；通过所述语言模型输出所述目标声明的标签结果。本发明具有在监督学习任务中语言模型事实验证能力较强的效果。

Description

一种基于混合证据的事实验证方法、系统及存储介质
技术领域
本发明属于人工智能模型技术领域，具体是涉及到一种基于混合证据的事实验证方法、系统及存储介质。
背景技术
近来，随着科技的发展使得信息的传播越来越便利，为了减少大规模虚假信息的传播，就需要人工智能模型来区分真相和不断增加的误导信息。通过人工智能模型可以收集和分析足够的文本证据来验证给定主张或声明的事实验证任务。为了更接近现实场景，事实验证在证据的格式上已经并不局限于文本，传统的文本事实验证已逐渐发展为在开放域设定中基于混合文本和表格证据的验证任务。为了验证给定的主张，需要AI模型对多个句子和单元格证据的组合同时进行语言和符号推理，以生成最终判决。
混合证据事实验证任务旨在根据检索到的文本和表格证据验证声明。现有的方法主要集中在证据格式的转换和统一策略上，以便将输入的格式调整为与预训练文本或表格模型的语料库相似的输入。然而，这些模型未能从语言模型中挖掘任务特定知识，以学习输入声明证据对和输出预测判断之间的关系。
现有工作通常遵循证据检索和判决预测两步流程来处理这种混合事实验证任务。具体地说，证据检索模块首先提取大量的混合证据，然后判决预测模块诉诸于语言模型来捕获关于输入声明-证据对的上下文关系。为了将来自不同资源的证据进行组合，这些方法通常侧重于通过句子到表格或表格（单元格）到句子的转换实现证据的格式统一。尽管取得了进展，但昂贵的证据预处理时间和有限的性能增益并不能使证据格式统一成为一个有效的解决方案。
为了更好地利用语言模型，可以使用自然语言提示来从语言模型中引出输入和输出标签分布之间的语义关系。通常需要在原始输入的末尾添加一些示例（也称为任务演示），然后将其输入到语言模型中，这在多个小样本或非参数学习任务上表现出色。然而，当将这种范式转移到监督学习任务时，性能增益是有限的。在监督学习任务中，当附加语义上相似的例子作为任务演示时，在准确性方面只能实现0.46%的提高，而添加随机的演示甚至会损害语言模型的性能。
发明内容
本发明提供一种基于混合证据的事实验证方法、系统及存储介质，以解决监督学习任务中语言模型事实验证能力较差的问题。
第一方面，本发明提供一种基于混合证据的事实验证方法，该方法包括如下步骤：
基于目标声明从预设的证据数据库中检索得到混合证据集合；
将所述混合证据集合进行格式转换，并将格式转换后的所述混合证据集合与所述目标声明组成声明-证据对；
预测所述目标声明的推理模式；
基于相似度分析和所述推理模式从预设的样本示例集中获取目标示例集；
将所述声明-证据对和所述目标示例集输入至语言模型中构成演示融合网络；
通过所述语言模型输出所述目标声明的标签结果。
可选的，所述基于目标声明从预设的证据数据库中检索得到混合证据集合包括如下步骤：
基于目标声明并通过实体匹配方式从预设的证据数据库中检索得到多个初选证据；
将所述初选证据中的表格证据线性化为自然句子格式；
计算所有所述初选证据与所述目标声明之间的相似性分数；
将所述相似性分数大于预设分数阈值的所述初选证据标记为混合证据；
组合所有所述混合证据得到混合证据集合。
可选的，在所述组合所有所述混合证据得到混合证据集合之前还包括如下步骤：
利用基于RoBERTa的二元序列标注模型筛除所述混合证据中所述表格数据的不相关单元格。
可选的，所述基于相似度分析和所述推理模式从预设的样本示例集中获取目标示例集包括如下步骤：
通过语义相似度模型计算所述声明-证据对与预设的样本示例集中各个样本示例之间的语义相似度；
分别判断各个所述语义相似度是否超出预设的相似度阈值；
若所述语义相似度超出所述相似度阈值，则将对应的所述样本示例标记为目标示例；
若所述语义相似度未超出所述相似度阈值，则将对应的所述样本示例标记为备选示例；
统计所述目标示例的示例数量；
判断所述示例数量是否小于预设的数量阈值；
若所述示例数量大于等于所述数量阈值，则将所有所述目标示例组成目标示例集；
若所述示例数量小于所述数量阈值，则从所有所述备选示例中，依次选取所述语义相似度最高且所述推理模式与所述目标声明相同的所述备选示例作为所述目标示例，直至所述示例数量等于所述数量阈值；
将所有所述目标示例组成目标示例集。
可选的，所述将所述声明-证据对和所述目标示例集输入至语言模型中构成演示融合网络包括如下步骤：
将所述声明-证据对分别与所述目标示例集中的各个目标示例构造增强示例；
将所述声明-证据对和所述增强示例均输入至语言模型中，得到句子嵌入向量和单词嵌入向量；
基于所述句子嵌入向量并通过交叉注意力机制获得句子级任务演示；
将所有单词嵌入向量连接为标准矩阵；
基于所述标准矩阵并通过所述交叉注意力机制获得单词级任务演示；
连接所述声明-证据对、所述句子级任务演示和所述单词级任务演示以构成演示融合网络。
可选的，所述句子嵌入向量和所述单词嵌入向量的表达式如下：
...
，式中：LM表示所述语言模型，/>表示所述声明-证据对中第i个单词的单词嵌入向量，/>表示所述增强示例第j个单词的单词嵌入向量，k表示所述增强示例的数量，/>表示所述句子嵌入向量，/>,...,/>表示不同的所述增强示例中第j个词的向量，/>，...，/>表示不同的所述增强示例的句子向量，/>表示所述声明-证据对的句子向量，c表示示例，/>，...，/>表示不同所述示例与黄金证据之间的串联关系，/>表示第一个所述示例的预测概率值，/>表示示例空间中的示例数量，/>表示所述示例空间中最后一个所述示例的所述预测概率值，/>表示用来调整输入的示例的模板。
可选的，所述基于所述句子嵌入向量并通过交叉注意力机制获得句子级任务演示包括如下步骤：
将所述增强示例和所述声明-证据对的所述句子嵌入向量独立通过单个线性层馈送；
计算所述增强示例的所述句子嵌入向量与所述声明-证据对的所述句子嵌入向量之间的向量相似度；
将所述向量相似度归一化为注意力权重，所述注意力权重的表达式为：
，式中：/>表示所述注意力权重，/>和/>均表示线性层，/>表示所述句子嵌入向量，T表示转置符号，/>表示第j个所述增强示例的句子向量；
将所有所述增强示例的所述句子嵌入向量与对应的所述注意力权重相乘，得到句子级任务演示，所述句子级任务演示/>表达式为：
，式中：k表示所述增强示例的数量。
可选的，所述标准矩阵的大小为（k*n）*h，h为所述语言模型中隐藏层的维度，所述基于所述标准矩阵并通过所述交叉注意力机制获得单词级任务演示包括如下步骤：
对所述标准矩阵中对齐的所述单词嵌入向量进行平均池化，得到单词级任务演示/>，所述单词级任务演示/>表达式为：
，式中：
，其中，/>表示所述声明-证据对中第i个词和所述增强示例中第j个词的注意力权重，kn表示所述增强示例的长度，/>所述增强示例中第j个词的向量。
第二方面，本发明还提供一种基于混合证据的事实验证系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中所述的方法。
第三方面，本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
本发明的有益效果是：
本发明所提供的基于混合证据的事实验证方法具体包括如下步骤：基于目标声明从预设的证据数据库中检索得到混合证据集合；将所述混合证据集合进行格式转换，并将格式转换后的所述混合证据集合与所述目标声明组成声明-证据对；预测所述目标声明的推理模式；基于相似度分析和所述推理模式从预设的样本示例集中获取目标示例集；将所述声明-证据对和所述目标示例集输入至语言模型中构成演示融合网络；通过所述语言模型输出所述目标声明的标签结果。该方法利用了一种新颖的演示融合机制来聚合具有与输入演示相同推理模式的大量示例，并改进了演示检索策略，需要先预测目标声明的推理模式，然后根据推理模式选择具有高相似度的示例，避免了语义相关但内容无关的演示。同时构建了演示融合网络，通过该网络首先将声明-证据对以及每个目标示例输入到语言模型中以获得各自的表示，然后通过注意力机制聚合连接的特征，从而最终提高语言模型在监督学习任务中对事实验证的理解能力。
附图说明
图1为基于混合证据的事实验证方法的流程示意图。
图2为基于目标声明检索混合证据集合的流程示意图。
图3为从样本示例集中获取目标示例集的流程示意图。
图4为构成演示融合网络的流程示意图。
图5为通过交叉注意力机制获得句子级任务演示的流程示意图。
图6为多个模型在数据集测试结果中Feverous得分的结果示意图。
图7为多个模型在数据集测试结果中准确率的结果示意图。
图8为多个模型在主要推理挑战测试结果中Feverous得分的结果示意图。
图9为多个模型在主要推理挑战测试结果中准确率的结果示意图。
具体实施方式
本发明公开一种基于混合证据的事实验证方法。
在其中一种实施方式中，参照图1，基于混合证据的事实验证方法具体包括如下步骤：
S101.基于目标声明从预设的证据数据库中检索得到混合证据集合。
其中，对于给定未知真实性的目标声明，混合事实验证任务可以被视为一个多阶段任务，首先需要从证据数据库中检索相关的句子或者表格构建混合证据集合，再根据这些证据来给出目标声明的标签。事实验证不仅只考虑最后标签分类的准确率如何，更需要考虑语言模型在过程中是否根据正确的证据做出的正确的判断。
事实验证过程大致可分为三个阶段，即文本证据、表格证据和混合知识事实核查。文本验证模型通常研究标准基准数据集，并采用由证据检索和判决预测组成的两步流水线作为基本框架，主要依赖于自然语言推理模块、语言模型或图神经网络来建模的目标声明和证据数据库中提取的纯文本之间的交互。对于表格证据，通常利用符号推理、和预先训练的表格模型来解析表格的结构和数字语义。然而，大多数基于表格的模型都致力于假设提供了表证据的数据集。因此基于混合证据的事实验证用于解决需要检索和聚合文本和表格证据的场景。
S102.将混合证据集合进行格式转换，并将格式转换后的混合证据集合与目标声明组成声明-证据对。
其中，为了对表格证据进行语言编码，选定的表格将被转换为特殊的格式。具体而言，根据属性类型的位置，对常规表格以及Infobox的单元格采用不同的转换规则。对于常规表格，列标题始终指示属性类型，因此被转换为“｛＜column header＞For＜row header＞is＜cell value＞｝”的格式。对于InfoBox，单元格内容被转化为“｛＜column header＞：＜Wikipedia title＞的＜row header＞是＜cell value＞｝”。此外，还会将同一列中单元格的内容打包在一起，以帮助语言模型执行数值运算。
S103.预测目标声明的推理模式。
其中，在每个推理步骤中，语言模型对目标声明提前进行推理模式的预测，并搜索相同推理模式的样本，例如在FEVEROUS中，声明的推理挑战被分为三类，即数值推理、多跳推理和规则推理。具体来说，在本实施方式中，可以先使用一个经过微调的RoBERTa模型来识别目标声明的推理模式。为了在不影响模式预测效率的情况下提高模式预测的准确性，在目标声明的末尾附加了一组固定的任务演示。演示包括推理模式的定义以及其相关的典型的例子，即。其中，/>是推理模式的标签空间，/>表示从训练集中选择的推理模式为i的典型的声明。
S104.基于相似度分析和推理模式从预设的样本示例集中获取目标示例集。
其中，基于预测到的推理模式，需要进一步搜索用于判决验证任务的高质量的目标示例作为任务演示。具体地，可以通过相似度分析检索高相似度的示例集，再根据推理模式进行示例补充，最终获取到目标示例集。
S105.将声明-证据对和目标示例集输入至语言模型中构成演示融合网络。
其中，演示学习范式旨在通过在原始输入，即声明-证据对的上下文中添加一些用于训练的目标示例来促进语言模型学习给定任务的输入标签分布。学习方式可分为两种类型：非参数实例学习和参数实例学习。
非参数实例学习根据给定的上下文直接学习任务，不需要参数微调过程。其关键的见解是，语言模型在阅读大量无监督文本后，可以获得广泛的模式识别技能，目标示例可以作为辅助信息来激活这些技能。相反，基于参数实例的学习则侧重于利用目标示例微调语言模型的参数进而学习下游任务。
直观地，多样的示例可以为语言模型提供丰富的全方位提示信息。因此，在一定范围内，演示学习范式的表现将与所使用的示例数量呈正相关。然而，由于语言模型存在大输入长度限制，比如像RoBERTa和BERT等大多数中等大小的语言模型上下文长度最长为只有512，现有的基于级联的方法不能利用足够的示例来增强输入。此外训练集中声明证据对的平均长度长达300，这加剧了引入足够的任务演示的难度。因此，为了缓解语言模型的最大输入长度带来的示例不足，采用了演示融合网络，该网络可以利用来自嵌入空间的丰富示例信息，以将在特征空间中的不同的编码后的示例增强输入聚合为固定大小的特征向量。
S106.通过语言模型输出目标声明的标签结果。
其中，训练过程可以被视为推理模式预测模块和判决验证模块/>的联合优化。两个模块使用权重共享语言模型作为编码器。在预测模块/>中，将目标声明和预先设计好的演示直接输入/>，以计算目标声明推理模式的概率/>。在判决验证模块中，声明-证据对和检索到的目标示例被输入到/>中，以产生预测结果/>的分布。对于训练实例的演示构建，利用目标声明的标准的推理模式来重构粗略的示例集，并在检索过程中排除输入实例本身。/>和/>中的参数通过交叉熵损失最小化条件概率来训练，具体如下式所示：
其中。类似地，在推理阶段，使用目标声明及其任务演示来预测推理挑战，然后基于预测挑战构建精细示例集。最后，将声明-证据对和示例集输入演示融合网络，以估计判决分布的可能性，并得到更高的标签准确度。
本实施方式的实施原理为：
利用了一种新颖的演示融合机制来聚合具有与输入演示相同推理模式的大量示例，并改进了演示检索策略，需要先预测目标声明的推理模式，然后根据推理模式选择具有高相似度的示例，避免了语义相关但内容无关的演示。同时构建了演示融合网络，通过该网络首先将声明-证据对以及每个目标示例输入到语言模型中以获得各自的表示，然后通过注意力机制聚合连接的特征，从而最终提高语言模型在监督学习任务中对事实验证的理解能力。
在其中一种实施方式中，参照图2，步骤S101即基于目标声明从预设的证据数据库中检索得到混合证据集合具体包括如下步骤：
S201.基于目标声明并通过实体匹配方式从预设的证据数据库中检索得到多个初选证据。
其中，在本实施方式中，预设的证据数据库可以是维基百科文章库，基于目标声明并通过实体匹配和DRQA检索多个页面作为初选证据。DRQA是一个基于维基百科数据的开放域问答系统，它由检索器和阅读器组成。
S202.将初选证据中的表格证据线性化为自然句子格式。
其中，在计算相似性分数之前，需要根据基线将表格证据按行直接线性化为自然句子的格式，例如<Title；[cell_{0,1}]，…，[cell_{m,n}]>，其中m和n分别表示行号和列号。
S203.计算所有初选证据与目标声明之间的相似性分数。
其中，可以采用基于SBERT的检索器来计算相似性分数。
S204.将相似性分数大于预设分数阈值的初选证据标记为混合证据。
S205.组合所有混合证据得到混合证据集合。
其中，在本实施方式中，在步骤S205即组合所有混合证据得到混合证据集合之前还包括如下步骤：利用基于RoBERTa的二元序列标注模型筛除混合证据中表格数据的不相关单元格。
在其中一种实施方式中，参照图3，步骤S104即基于相似度分析和推理模式从预设的样本示例集中获取目标示例集具体包括如下步骤：
S301.通过语义相似度模型计算声明-证据对与预设的样本示例集中各个样本示例之间的语义相似度。
S302.分别判断各个语义相似度是否超出预设的相似度阈值，若语义相似度超出相似度阈值，则执行步骤S303；若语义相似度未超出相似度阈值，则执行步骤S304。
S303.将对应的样本示例标记为目标示例。
S304.将对应的样本示例标记为备选示例。
S305.统计目标示例的示例数量。
S306.判断示例数量是否小于预设的数量阈值，若示例数量大于等于数量阈值，则执行步骤S307；若示例数量小于数量阈值，则执行步骤S308。
S307.将所有目标示例组成目标示例集。
S308.从所有备选示例中，依次选取语义相似度最高且推理模式与目标声明相同的备选示例作为目标示例，直至示例数量等于数量阈值。
其中，举例说明，假设目标示例的推理模式为m，此时示例数量为10，数量阈值为12，备选示例A的语义相似度为80%、推理模式为m，备选示例B的语义相似度为85%、推理模式为n，备选示例C的语义相似度为76%、推理模式为m，备选示例D的语义相似度为82%、推理模式为n，则依次选取备选示例A和备选示例C作为目标示例。
S309.将所有目标示例组成目标示例集。
在其中一种实施方式中，参照图4，步骤S105即将声明-证据对和目标示例集输入至语言模型中构成演示融合网络具体包括如下步骤：
S401.将声明-证据对分别与目标示例集中的各个目标示例构造增强示例。
S402.将声明-证据对和增强示例均输入至语言模型中，得到句子嵌入向量和单词嵌入向量。
其中，句子嵌入向量和单词嵌入向量的表达式如下：
...
，式中：LM表示所述语言模型，/>表示所述声明-证据对中第i个单词的单词嵌入向量，/>表示所述增强示例第j个单词的单词嵌入向量，k表示所述增强示例的数量，/>表示所述句子嵌入向量，/>,...,/>表示不同的所述增强示例中第j个词的向量，/>，...，/>表示不同的所述增强示例的句子向量，/>表示所述声明-证据对的句子向量，c表示示例，/>，...，/>表示不同所述示例与黄金证据之间的串联关系，/>表示第一个所述示例的预测概率值，/>表示示例空间中的示例数量，/>表示所述示例空间中最后一个所述示例的所述预测概率值，/>表示用来调整输入的示例的模板。
S403.基于句子嵌入向量并通过交叉注意力机制获得句子级任务演示。
S404.将所有单词嵌入向量连接为标准矩阵。
其中，标准矩阵的大小为（k*n）*h，h为语言模型中隐藏层的维度。
S405.基于标准矩阵并通过交叉注意力机制获得单词级任务演示。
其中，对标准矩阵中对齐的单词嵌入向量进行平均池化，得到单词级任务演示，单词级任务演示/>表达式为：/>，式中：
，其中，/>表示所述声明-证据对中第i个词和所述增强示例中第j个词的注意力权重，kn表示所述增强示例的长度，/>所述增强示例中第j个词的向量。
S406.连接声明-证据对、句子级任务演示和单词级任务演示以构成演示融合网络。
在其中一种实施方式中，参照图5，步骤S403即基于句子嵌入向量并通过交叉注意力机制获得句子级任务演示具体包括如下步骤：
S501.将增强示例和声明-证据对的句子嵌入向量独立通过单个线性层馈送。
S502.计算增强示例的句子嵌入向量与声明-证据对的句子嵌入向量之间的向量相似度。
S503.将向量相似度归一化为注意力权重。
其中，注意力权重的表达式为：，式中：/>表示所述注意力权重，/>和/>均表示线性层，/>表示所述句子嵌入向量，T表示转置符号，/>表示第j个所述增强示例的句子向量。
S504.将所有增强示例的句子嵌入向量与对应的注意力权重相乘，得到句子级任务演示。
其中，句子级任务演示表达式为：
，式中：k表示增强示例的数量。
基于上述所有实施方式，在FEVEROUS基准数据集进行实验证明和模型评估，FEVEROUS基准数据集是混合证据事实验证任务的基准数据集，该数据集由87026项声明和维基百科中关于每项声明的若干证据集组成。标注者将所有声明标记为“supported”、“referred”或“not enough info”。将推理挑战的标签空间重构为数值推理、多跳推理和常规推理，其作为模式预测模块的监督信号。对于评估指标，采用Feverous评分（Fever.）和标签准确度（Acc.）作为主要度量。标签准确度测量声明标签判定的正确预测百分比，Feverous评分评估在检索到的证据为正确的条件下的标签准确度。
在证据检索阶段，首先基于目标声明并通过实体匹配方式搜索排名靠前150的文章，然后在重新排名短语中选择排名靠前5的文章。检索到的句子和表的数量分别设置为5和2。此外，从表格中提取最多25个单元格作为单元格证据。接下来，在声明验证阶段，检索与每个声明-证据对语义上最接近的目标示例，并且相似度阈值和示例数量k分别设置为0.95和8。使用RoBERTa作为骨干编码器，该编码器已在各种NLI数据集上进行了预训练。在训练期间，将batch-size大小设置为2。本发明所使用的模型（以下称为IODL）被训练为最小化由联合交叉熵函数计算的损失，/>和Adam优化器中的初始学习率分别设置为0.6和1e-5。此外，由于NEI样本在FEVEROUS中极为稀少，这很容易导致模型的过度拟合，因此通过删除需要句子和细胞证据验证的样本的句子或整个表格来构建伪NEI实例。
实验选用了FEVEROUS数据集上的事实验证基线模型，具体包括：
NCU:一种基于点聚合的方法，它结合了声明和每个证据的输出，使用RoBERTa作为主干。
Papelo：基于T5的模型，它采用“下一跳预测模块”更新初步证据集，并在提取的证据链上进行训练。
Fabulous:基于TAPAS的模型将所有证据转换为表格。奇妙的集合了最大池和联合编码策略的结果。
DCUF：是一个基于RoBERTa和TAPAS的模型，它将所有证据分别转换为文本和表格格式。DCUF利用混合文档重新排序器和多循环单元格选择器来改进证据检索的结果。
从最终实验结果而言，DCUF明显优于其他模型，例如，在测试集上的Feverous分数方面比Fabulous提高了6.96%。可以通过修改的证据检索模块可以提供准确的证据这一事实来解释。此外，通过适当地转换证据的格式，语言模型可以很好地理解与其预先训练的语料库相似的文本或表格。将官方基线与其演示增强模型进行了比较，实验结果与使用黄金证据的结果一致，这进一步证明了传统的基于演示的方法不能为语言模型产生足够有效的提示。
将IODL与基线模型的比较。在开发集和测试集上，IODL[Joint]和IODL[Sep]始终优于所有基线。例如，在开发集上，因为引入适当的训练示例作为输入上下文可以帮助LM学习声明和证据的关系，IODL[Joint]在Feverous得分和标签准确度方面分别以1.28%和1.95%击败了最先进的基线DCUF。
此外，与最佳的基于演示的方法DCUF相比，IODL[Joint]的Feverous得分提高了1.21%。因此IODL中的演示检索策略能够有效地找到有助于释放语言模型理解潜力的示例。对于IODL[Joint]和IODL[Sep]的比较，IODL[Joint]比IODL[Sep]具有一定的优势，说明联合训练是具有意义的。可以归因于联合训练策略可以作为正则化工具，从而减少标签不平衡数据带来的过度拟合问题。
另一方面，在不同大小的训练集（即25、50、100、200、500、750、1000）上训练所有实验模型，并分别在开发集上测试它们。为了减轻数据采样带来的偏差，为每个数量设置随机构建5个不同的数据集，同时保持原始训练集的不同标签样本比例。模型的最终结果参照图6和图7，图6为模型在数据集上的Feverous得分，图7为模型在数据集上的标签准确度。图中的结果为在这些数据集上的平均性能表现。
随着实例数量的增加，所有讨论的模型的性能在两个指标方面都保持稳定上升，然后逐渐下降的趋势，即训练数据的增加对于提高语言模型的泛化能力至关重要。特别是当训练实例的数量从50个增加到100个时，所有模型的性能都会显著提高。以Feverous得分而言，IODL[Joint]和DCUF[Similar]分别实现了4.69%和4.58%的改进。这种现象表明数量100是训练数据的临界点，语言模型通常可以在这种数据规模上学习输入和标签之间的关系。但是IODL[Joint]在所有数量设置下都达到了最佳性能，当实例数为1000时，IODL[Joint]以4.30%的改进超越了DCUF。原因在于，在少样本设置中，检索到的示例可以作为附加的监督信号，并发挥数据增强的作用。
为了探究模型在处理复杂推理挑战时的表现，从开发集中提取数字和多跳推理挑战的样本，并创建两个挑战集多跳推理和数值推理，分别由873和1281个样本组成。实验结果参照图8和图9，图8为模型在两个挑战集上的Feverous得分，图9为模型在两个挑战集上的标签准确度。IODL[Joint]在两个挑战集上的两个指标都达到了最佳性能，在标签准确度方面，如图8所示，IODL[Joint]以1.39%的提升超过了最佳基线DCUF[Similar].此外，对于复杂的数值挑战任务，其中所有模型的标签准确度明显下降，IODL[Joint]在标签准确度方面优于最佳基线DCUF2.23%。
本发明还公开一种基于混合证据的事实验证系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任意一种实施方式中的方法。
本实施方式的实施原理为：
通过程序的调取执行基于混合证据的事实验证方法，具体包括如下步骤：基于目标声明从预设的证据数据库中检索得到混合证据集合；将混合证据集合进行格式转换，并将格式转换后的混合证据集合与目标声明组成声明-证据对；预测目标声明的推理模式；基于相似度分析和推理模式从预设的样本示例集中获取目标示例集；将声明-证据对和目标示例集输入至语言模型中构成演示融合网络；通过语言模型输出目标声明的标签结果。该方法利用了一种新颖的演示融合机制来聚合具有与输入演示相同推理模式的大量示例，并改进了演示检索策略，需要先预测目标声明的推理模式，然后根据推理模式选择具有高相似度的示例，避免了语义相关但内容无关的演示。同时构建了演示融合网络，通过该网络首先将声明-证据对以及每个目标示例输入到语言模型中以获得各自的表示，然后通过注意力机制聚合连接的特征，从而最终提高语言模型在监督学习任务中对事实验证的理解能力。
本发明还公开一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任意一种实施方式中方法的步骤。
本实施方式的实施原理为：
通过程序的调取执行基于混合证据的事实验证方法，具体包括如下步骤：基于目标声明从预设的证据数据库中检索得到混合证据集合；将混合证据集合进行格式转换，并将格式转换后的混合证据集合与目标声明组成声明-证据对；预测目标声明的推理模式；基于相似度分析和推理模式从预设的样本示例集中获取目标示例集；将声明-证据对和目标示例集输入至语言模型中构成演示融合网络；通过语言模型输出目标声明的标签结果。该方法利用了一种新颖的演示融合机制来聚合具有与输入演示相同推理模式的大量示例，并改进了演示检索策略，需要先预测目标声明的推理模式，然后根据推理模式选择具有高相似度的示例，避免了语义相关但内容无关的演示。同时构建了演示融合网络，通过该网络首先将声明-证据对以及每个目标示例输入到语言模型中以获得各自的表示，然后通过注意力机制聚合连接的特征，从而最终提高语言模型在监督学习任务中对事实验证的理解能力。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的保护范围限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上的本申请中一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本申请中一个或多个实施例旨在涵盖落入本申请的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请中一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于混合证据的事实验证方法，其特征在于，包括如下步骤：
基于目标声明从预设的证据数据库中检索得到混合证据集合；
将所述混合证据集合进行格式转换，并将格式转换后的所述混合证据集合与所述目标声明组成声明-证据对；
预测所述目标声明的推理模式；
基于相似度分析和所述推理模式从预设的样本示例集中获取目标示例集；
将所述声明-证据对分别与所述目标示例集中的各个目标示例构造增强示例；
将所述声明-证据对和所述增强示例均输入至语言模型中，得到句子嵌入向量和单词嵌入向量；
基于所述句子嵌入向量并通过交叉注意力机制获得句子级任务演示；
将所有单词嵌入向量连接为标准矩阵；
基于所述标准矩阵并通过所述交叉注意力机制获得单词级任务演示；
连接所述声明-证据对、所述句子级任务演示和所述单词级任务演示以构成演示融合网络；
通过所述语言模型输出所述目标声明的标签结果。
2.根据权利要求1所述的基于混合证据的事实验证方法，其特征在于，所述基于目标声明从预设的证据数据库中检索得到混合证据集合包括如下步骤：
基于目标声明并通过实体匹配方式从预设的证据数据库中检索得到多个初选证据；
将所述初选证据中的表格证据线性化为自然句子格式；
计算所有所述初选证据与所述目标声明之间的相似性分数；
将所述相似性分数大于预设分数阈值的所述初选证据标记为混合证据；
组合所有所述混合证据得到混合证据集合。
3.根据权利要求2所述的基于混合证据的事实验证方法，其特征在于，在所述组合所有所述混合证据得到混合证据集合之前还包括如下步骤：
利用基于RoBERTa的二元序列标注模型筛除所述混合证据中所述表格证据的不相关单元格。
4.根据权利要求1所述的基于混合证据的事实验证方法，其特征在于，所述基于相似度分析和所述推理模式从预设的样本示例集中获取目标示例集包括如下步骤：
通过语义相似度模型计算所述声明-证据对与预设的样本示例集中各个样本示例之间的语义相似度；
分别判断各个所述语义相似度是否超出预设的相似度阈值；
若所述语义相似度超出所述相似度阈值，则将对应的所述样本示例标记为目标示例；
若所述语义相似度未超出所述相似度阈值，则将对应的所述样本示例标记为备选示例；
统计所述目标示例的示例数量；
判断所述示例数量是否小于预设的数量阈值；
若所述示例数量大于等于所述数量阈值，则将所有所述目标示例组成目标示例集；
若所述示例数量小于所述数量阈值，则从所有所述备选示例中，依次选取所述语义相似度最高且所述推理模式与所述目标声明相同的所述备选示例作为所述目标示例，直至所述示例数量等于所述数量阈值；
将所有所述目标示例组成目标示例集。
5.根据权利要求1所述的基于混合证据的事实验证方法，其特征在于，所述句子嵌入向量和所述单词嵌入向量的表达式如下：
…
式中：LM表示所述语言模型，表示所述声明-证据对中第i个单词的单词嵌入向量，k表示所述增强示例的数量，/>表示所述句子嵌入向量，/>表示不同的所述增强示例中第j个单词的单词嵌入向量，/>表示不同的所述增强示例的句子嵌入向量，xin表示所述声明-证据对的句子嵌入向量，c表示示例，xe,1....,xe,k表示不同所述示例与黄金证据之间的串联关系，/>表示第一个所述示例的预测概率值，|yv|表示示例空间中的示例数量，/>表示所述示例空间中最后一个所述示例的所述预测概率值，/>表示用来调整输入的示例的模板。
6.根据权利要求1所述的基于混合证据的事实验证方法，其特征在于，所述基于所述句子嵌入向量并通过交叉注意力机制获得句子级任务演示包括如下步骤：
将所述增强示例和所述声明-证据对的所述句子嵌入向量独立通过单个线性层馈送；
计算所述增强示例的所述句子嵌入向量与所述声明-证据对的所述句子嵌入向量之间的向量相似度；
将所述向量相似度归一化为注意力权重，所述注意力权重的表达式为：
式中：ej表示所述注意力权重，和/>均表示线性层，/>表示所述句子嵌入向量，T表示转置符号，/>表示第j个所述增强示例的句子嵌入向量；
将所有所述增强示例的所述句子嵌入向量与对应的所述注意力权重相乘，得到句子级任务演示所述句子级任务演示/>表达式为：
式中：k表示所述增强示例的数量。
7.根据权利要求1所述的基于混合证据的事实验证方法，其特征在于，所述标准矩阵的大小为(k*n)*h，h为所述语言模型中隐藏层的维度，所述基于所述标准矩阵并通过所述交叉注意力机制获得单词级任务演示包括如下步骤：
对所述标准矩阵中对齐的所述单词嵌入向量进行平均池化Fm，得到单词级任务演示所述单词级任务演示/>表达式为：
式中：
其中，表示第i个所述单词嵌入向量，eij表示所述声明-证据对中第i个词和所述增强示例中第j个词的注意力权重，kn表示所述增强示例的长度，/>表示所述增强示例中第j个词的向量。
8.一种基于混合证据的事实验证系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310660696.XA 2023-06-06 2023-06-06 一种基于混合证据的事实验证方法、系统及存储介质 Active CN116383239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310660696.XA CN116383239B (zh) 2023-06-06 2023-06-06 一种基于混合证据的事实验证方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310660696.XA CN116383239B (zh) 2023-06-06 2023-06-06 一种基于混合证据的事实验证方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116383239A CN116383239A (zh) 2023-07-04
CN116383239B true CN116383239B (zh) 2023-08-15

Family

ID=86961976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310660696.XA Active CN116383239B (zh) 2023-06-06 2023-06-06 一种基于混合证据的事实验证方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116383239B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068734A1 (ja) * 2012-10-31 2014-05-08 株式会社日立製作所 データ保持検証システム及び方法
CN110516697A (zh) * 2019-07-15 2019-11-29 清华大学 基于证据图聚合与推理的声明验证方法及系统
CN111602116A (zh) * 2018-01-12 2020-08-28 诺克诺克实验公司 用于绑定可验证声明的系统和方法
CN112579583A (zh) * 2020-12-14 2021-03-30 中山大学 一种面向事实检测的证据与声明联合抽取方法
CN112765961A (zh) * 2021-01-13 2021-05-07 中国人民解放军国防科技大学 一种基于实体图神经网络推理的事实验证方法及其系统
CN113312920A (zh) * 2021-06-18 2021-08-27 中国人民解放军国防科技大学 基于图对比学习的验证方法、系统、设备和存储介质
CN114048286A (zh) * 2021-10-29 2022-02-15 南开大学 一种融合图转换器和共同注意力网络的自动事实验证方法
CN114997155A (zh) * 2022-06-02 2022-09-02 浙江华巽科技有限公司 一种基于表格检索和实体图推理的事实验证方法与装置
CN115186064A (zh) * 2022-07-18 2022-10-14 中国人民解放军国防科技大学 基于规则知识增强的数据关系抽取方法及相关装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150066895A1 (en) * 2004-06-18 2015-03-05 Glenbrook Networks System and method for automatic fact extraction from images of domain-specific documents with further web verification
US9911412B2 (en) * 2015-03-06 2018-03-06 Nuance Communications, Inc. Evidence-based natural language input recognition
US10929453B2 (en) * 2018-08-09 2021-02-23 Nec Corporation Verifying textual claims with a document corpus
EP4193235A1 (en) * 2020-04-13 2023-06-14 Aiberry, Inc. Multimodal analysis combining monitoring modalities to elicit cognitive states and perform screening for mental disorders
CN111640511B (zh) * 2020-05-29 2023-08-04 北京百度网讯科技有限公司 医疗事实验证的方法、装置、电子设备及存储介质
US11983210B2 (en) * 2020-06-16 2024-05-14 Virginia Tech Intellectual Properties, Inc. Methods and systems for generating summaries given documents with questions and answers
US11947914B2 (en) * 2020-06-30 2024-04-02 Microsoft Technology Licensing, Llc Fact checking based on semantic graphs
US11687716B2 (en) * 2020-12-01 2023-06-27 Adobe Inc. Machine-learning techniques for augmenting electronic documents with data-verification indicators
CN112396185B (zh) * 2021-01-21 2021-05-11 中国人民解放军国防科技大学 一种事实验证方法、系统、计算机设备和存储介质
US11720754B2 (en) * 2021-01-27 2023-08-08 Microsoft Technology Licensing, Llc Systems and methods for extracting evidence to facilitate claim verification
US20230035641A1 (en) * 2021-07-30 2023-02-02 Nec Laboratories America, Inc. Multi-hop evidence pursuit

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068734A1 (ja) * 2012-10-31 2014-05-08 株式会社日立製作所 データ保持検証システム及び方法
CN111602116A (zh) * 2018-01-12 2020-08-28 诺克诺克实验公司 用于绑定可验证声明的系统和方法
CN110516697A (zh) * 2019-07-15 2019-11-29 清华大学 基于证据图聚合与推理的声明验证方法及系统
CN112579583A (zh) * 2020-12-14 2021-03-30 中山大学 一种面向事实检测的证据与声明联合抽取方法
CN112765961A (zh) * 2021-01-13 2021-05-07 中国人民解放军国防科技大学 一种基于实体图神经网络推理的事实验证方法及其系统
CN113312920A (zh) * 2021-06-18 2021-08-27 中国人民解放军国防科技大学 基于图对比学习的验证方法、系统、设备和存储介质
CN114048286A (zh) * 2021-10-29 2022-02-15 南开大学 一种融合图转换器和共同注意力网络的自动事实验证方法
CN114997155A (zh) * 2022-06-02 2022-09-02 浙江华巽科技有限公司 一种基于表格检索和实体图推理的事实验证方法与装置
CN115186064A (zh) * 2022-07-18 2022-10-14 中国人民解放军国防科技大学 基于规则知识增强的数据关系抽取方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Semi-Automatic Optimization Design Method for SvcV-5 in DoDAF 2.0 Based on Service Identification;Zhang Xiaoxue等;《IEEE》;全文 *

Also Published As

Publication number Publication date
CN116383239A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN111310438B (zh) 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN112214995B (zh) 用于同义词预测的分层多任务术语嵌入学习
CN112711953B (zh) 一种基于注意力机制和gcn的文本多标签分类方法和系统
CN110020438A (zh) 基于序列识别的企业或组织中文名称实体消歧方法和装置
CN109918505B (zh) 一种基于文本处理的网络安全事件可视化方法
US11521041B2 (en) Fact validation method and system, computer device and storage medium
Onan SRL-ACO: A text augmentation framework based on semantic role labeling and ant colony optimization
CN106708929B (zh) 视频节目的搜索方法和装置
CN116097250A (zh) 用于多模式文档理解的布局感知多模式预训练
CN112307182B (zh) 一种基于问答系统的伪相关反馈的扩展查询方法
CN115329088B (zh) 图神经网络事件检测模型的鲁棒性分析方法
CN113011161A (zh) 一种基于深度学习与模式匹配的人案物关联关系抽取方法
Lin et al. Sensitive information detection based on convolution neural network and bi-directional LSTM
CN111259147A (zh) 基于自适应注意力机制的句子级情感预测方法及系统
Balaji et al. Text Summarization using NLP Technique
CN116383239B (zh) 一种基于混合证据的事实验证方法、系统及存储介质
CN116403231A (zh) 基于双视图对比学习与图剪枝的多跳阅读理解方法及系统
CN116257601A (zh) 一种基于深度学习的违法词库构建方法及系统
Wang et al. Class-dynamic and hierarchy-constrained network for entity linking
Zhang et al. Na-aware machine reading comprehension for document-level relation extraction
CN114722818A (zh) 一种基于对抗迁移学习的命名实体识别模型
Liang et al. Named Entity Recognition Method Based on BERT-whitening and Dynamic Fusion Model
Zeng et al. Joint event extraction based on global event-type guidance and attention enhancement
Yuan et al. Answer Selection Using Multi-Layer Semantic Representation Learning
Gao et al. Few-shot fake news detection via prompt-based tuning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant