CN114065741A - 用于验证表述的真实性的方法、设备、装置和介质 - Google Patents

用于验证表述的真实性的方法、设备、装置和介质 Download PDF

Info

Publication number
CN114065741A
CN114065741A CN202111356625.8A CN202111356625A CN114065741A CN 114065741 A CN114065741 A CN 114065741A CN 202111356625 A CN202111356625 A CN 202111356625A CN 114065741 A CN114065741 A CN 114065741A
Authority
CN
China
Prior art keywords
phrase
evidence
expression
authenticity
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111356625.8A
Other languages
English (en)
Other versions
CN114065741B (zh
Inventor
张欣勃
陈江捷
包乔奔
孙长志
陈家泽
周浩
肖仰华
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Fudan University
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Beijing Youzhuju Network Technology Co Ltd filed Critical Fudan University
Priority to CN202111356625.8A priority Critical patent/CN114065741B/zh
Publication of CN114065741A publication Critical patent/CN114065741A/zh
Priority to PCT/CN2022/132139 priority patent/WO2023088278A1/zh
Application granted granted Critical
Publication of CN114065741B publication Critical patent/CN114065741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

根据本公开的实现方式，提供了用于验证表述的真实性的方法、设备、装置和介质。在一种方法中，获取包括表述、证据集和标签的训练数据，表述表示被验证的内容，证据集包括用于支持验证表述的真实性的至少一个证据，以及标签表示基于证据集来验证表述的真实性的结果。基于对表述的语法分析，将表述划分为多个短语。基于训练数据和多个短语来训练短语验证模型，以使得短语验证模型基于证据集来分别确定多个短语的多个短语真实性。基于训练数据和多个短语来训练表述验证模型，以使得表述验证模型基于证据集来确定表述的表述真实性，其中多个短语真实性对表述真实性提供解释。以此方式，以更为精细的粒度处理表述并且为表述真实性提供更多解释。

Description

用于验证表述的真实性的方法、设备、装置和介质
技术领域
本公开的示例性实现方式总体涉及计算机领域，特别地涉及用于 验证表述的真实性的方法、设备、装置和计算机可读存储介质。
背景技术
随着自然语言处理技术的发展，目前已经提出了用于验证自然语 言形式的表述的真实性的技术方案。然而，已有技术方案难以提供关 于验证结果的解释，并且验证结果的准确性并不令人满意。因而，期 望能够以更为有效和准确的方式来执行真实性验证。
发明内容
根据本公开的示例性实现方式，提供了一种用于验证表述的真实 性的方案。
在本公开的第一方面，提供了一种用于验证表述的真实性的方法。 在该方法中，获取包括表述、证据集和标签的训练数据，表述表示被 验证的内容，证据集包括用于支持验证表述的真实性的至少一个证据， 以及标签表示基于证据集来验证表述的真实性的结果。基于对表述的 语法分析，将表述划分为多个短语。基于训练数据和多个短语来训练 短语验证模型，以使得短语验证模型基于证据集来分别确定多个短语 的多个短语真实性。基于训练数据和多个短语来训练表述验证模型， 以使得表述验证模型基于证据集来确定表述的表述真实性，其中多个 短语真实性对表述真实性提供解释。
在本公开的第二方面，提供了一种电子设备，包括：至少一个处 理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处 理单元并且存储用于由至少一个处理单元执行的指令，指令在由至少 一个处理单元执行时使设备执行动作。该动作包括：获取包括表述、 证据集和标签的训练数据，表述表示被验证的内容，证据集包括用于 支持验证表述的真实性的至少一个证据，以及标签表示基于证据集来 验证表述的真实性的结果；基于对表述的语法分析，将表述划分为多 个短语；基于训练数据和多个短语来训练短语验证模型，以使得短语 验证模型基于证据集来分别确定多个短语的多个短语真实性；以及基于训练数据和多个短语来训练表述验证模型，以使得表述验证模型基 于证据集来确定表述的表述真实性，其中多个短语真实性对表述真实 性提供解释。
在本公开的第三方面，提供了一种用于验证表述的真实性的方法。 在该方法中，获取表述和与表述相关联的证据集，表述表示将被验证 的内容，以及证据集包括用于支持验证表述的真实性的至少一个证据； 基于对表述的语法分析，将表述划分为多个短语；利用短语验证模型， 基于证据集来分别确定多个短语的多个短语真实性；以及利用表述验证模型，基于证据集和多个短语来确定表述的表述真实性，其中多个 短语真实性对表述真实性提供解释。
在本公开的第四方面，提供了一种电子设备，包括：至少一个处 理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处 理单元并且存储用于由至少一个处理单元执行的指令，指令在由至少 一个处理单元执行时使设备执行动作。该动作包括：获取表述和与表 述相关联的证据集，表述表示将被验证的内容，以及证据集包括用于 支持验证表述的真实性的至少一个证据；基于对表述的语法分析，将 表述划分为多个短语；利用短语验证模型，基于证据集来分别确定多 个短语的多个短语真实性；以及利用表述验证模型，基于证据集和多 个短语来确定表述的表述真实性，其中多个短语真实性对表述真实性提供解释。
在本公开的第五方面，提供了一种用于验证表述的真实性的装置。 该装置包括：获取模块，配置用于获取包括表述、证据集和标签的训 练数据，表述表示被验证的内容，证据集包括用于支持验证表述的真 实性的至少一个证据，以及标签表示基于证据集来验证表述的真实性 的结果；划分模块，配置用于基于对表述的语法分析，将表述划分为 多个短语；短语验证模块，配置用于基于训练数据和多个短语来训练 短语验证模型，以使得短语验证模型基于证据集来分别确定多个短语 的多个短语真实性；以及表述验证模块，配置用于基于训练数据和多 个短语来训练表述验证模型，以使得表述验证模型基于证据集来确定 表述的表述真实性，其中多个短语真实性对表述真实性提供解释。
在本公开的第六方面，提供了一种用于验证表述的真实性的装置。 该装置包括：获取模块，配置用于获取表述和与表述相关联的证据集， 表述表示将被验证的内容，以及证据集包括用于支持验证表述的真实 性的至少一个证据；划分模块，配置用于基于对表述的语法分析，将 表述划分为多个短语；短语验证模块，配置用于利用短语验证模型， 基于证据集来分别确定多个短语的多个短语真实性；以及表述验证模 块，配置用于利用表述验证模型，基于证据集和多个短语来确定表述 的表述真实性，其中多个短语真实性对表述真实性提供解释。
在本公开的第七方面，提供了一种计算机可读存储介质。介质上 存储有计算机程序，程序被处理器执行时实现第一方面的方法。
在本公开的第八方面，提供了一种计算机可读存储介质。介质上 存储有计算机程序，程序被处理器执行时实现第三方面的方法。
应当理解，本发明内容部分中所描述的内容并非旨在限定本公开 的实现方式的关键特征或重要特征，也不用于限制本公开的范围。本 公开的其它特征将通过以下的描述而变得容易理解。
附图说明
在下文中，结合附图并参考以下详细说明，本公开各实现方式的 上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相 似的附图标记表示相同或相似的元素，其中：
图1示出了本公开的实现方式能够在其中实现的示例环境的框图；
图2示出了根据本公开的一些实现方式的用于验证表述的真实性 的验证模型的框图；
图3示出了根据本公开的一些实现方式的用于确定局部前提的框 图；
图4示出了根据本公开的一些实现方式的用于训练机器阅读理解 (MachineReading Comprehension，MRC)模型的框图；
图5示出了根据本公开的一些实现方式的用于训练短语验证模型 和表述验证模型的框图；
图6示出了根据本公开的一些实现方式的用于基于短语验证模型 和表述验证模型来执行推理的框图；
图7A示出了根据本公开的一些实现方式的用于确定表述的真实 性的框图；
图7B示出了根据本公开的一些实现方式的用于确定表述的真实 性的框图；
图8示出了根据本公开的一些实现方式的用于验证表述的真实性 的方法的流程图；
图9示出了根据本公开的一些实现方式的用于验证表述的真实性 的方法的流程图；
图10A示出了根据本公开的一些实现方式的用于验证表述的真 实性的装置的框图；
图10B示出了根据本公开的一些实现方式的用于验证表述的真 实性的装置的框图；以及
图11示出了能够实施本公开的多个实现方式的设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实现方式。虽然附图中示 出了本公开的某些实现方式，然而应当理解的是，本公开可以通过各 种形式来实现，而且不应该被解释为限于这里阐述的实现方式，相反， 提供这些实现方式是为了更加透彻和完整地理解本公开。应当理解的 是，本公开的附图及实现方式仅用于示例性作用，并非用于限制本公 开的保护范围。
在本公开的实现方式的描述中，术语“包括”及其类似用语应当 理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为 “至少部分地基于”。术语“一个实现方式”或“该实现方式”应当 理解为“至少一个实现方式”。术语“一些实现方式”应当理解为“至少一些实现方式”。下文还可能包括其他明确的和隐含的定义。
如本文中所使用的，术语“模型”可以从训练数据中学习到相应 的输入与输出之间的关联，从而在训练完成后可以针对给定的输入， 生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一 种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。 神经网络模型是基于深度学习的模型的一个示例。在本文中，“模型” 也可以被称为“机器学习模型”、“学习模型”、“机器学习网络” 或“学习网络”，这些术语在本文中可互换地使用。
“神经网络”是一种基于深度学习的机器学习网络。神经网络能 够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输 入层与输出层之间的一个或多个隐式层。在深度学习应用中使用的神 经网络通常包括许多隐式层，从而增加网络的深度。神经网络的各个 层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输 入层接收神经网络的输入，而输出层的输出作为神经网络的最终输出。 神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)， 每个节点处理来自上一层的输入。
通常，机器学习大致可以包括三个阶段，即训练阶段、测试阶段 和应用阶段(也称为推理阶段)。在训练阶段，给定的模型可以使用 大量的训练数据进行训练，不断迭代更新参数值，直到模型能够从训 练数据中获取一致的满足预期目标的推理。通过训练，模型可以被认 为能够从训练数据中学习从输入到输出之间的关联(也称为输入到输 出的映射)。训练后的模型的参数值被确定。在测试阶段，将测试输 入应用到训练后的模型，测试模型是否能够提供正确的输出，从而确 定模型的性能。在应用阶段，模型可以被用于基于训练得到的参数值， 对实际的输入进行处理，确定对应的输出。
在表述验证领域，可以利用包括表述、证据集和标签的大量训练数据 来训练验证模型，进而使得验证模型可以基于输入的证据集来验证表 述的真实性。
示例环境
图1示出了本公开的实现方式能够在其中实现的示例环境100的 框图。在图1的环境100中，期望训练和使用这样的模型(即，验证 模型130)，该模型被配置用于接收表述120和证据集122，并且基 于证据集122来验证表述120的真实性。如图1所示，环境100包括 模型训练系统150和模型应用系统152，可以使用机器学习技术来实 现验证模型130。图1上部示出了模型训练阶段的过程，并且下部示 出模型应用阶段的过程。在训练前，验证模型130的参数值可以具有 初始值，或者可以具有通过预训练过程获得经预训练的参数值。经过训练过程，验证模型130的参数值可以被更新和调整。在训练完成后 可以获得验证模型130’。此时，验证模型130’的参数值已经被更新， 并且基于已更新的参数值，验证模型130’在应用阶段可以被用于实现 验证任务。
在模型训练阶段，可以基于包括多个训练数据112的训练数据集 110，并利用模型训练系统150来训练验证模型130。在此，每个训练 数据112可以涉及三元组格式，例如包括表述120、证据集122(例 如，包括来自于百科和新闻等资源的证据)和标签124。在本公开的上下文中，表述和证据集可以以一种或者多种自然语言来表示。在下 文中，将仅以英文作为自然语言的示例，来描述有关验证过程的具体 细节。根据本公开的一个示例性实现方式，表述120和证据集122还 可以以任一语言来表示，包括但不限于汉语、日语、法语、俄语、西 班牙语，等等。
在本公开的上下文中，表述120可以以自然语言表示，例如表述 120可以包括“Bobwon the 2020 election”，证据集122可以包括来 自于百科和新闻等资源的一个或多个证据，并且标签124可以包括用 于指示表述120的内容是否真实可靠的标签。例如，“支持”、“反 对”或者“不确定”。可以利用包括表述120、证据集122和标签124 的训练数据112来训练验证模型130。具体地，可以利用大量训练数 据迭代地执行训练过程。在训练完成之后，验证模型130’可以将以基 于输入数据中的表述和证据集，来验证表述的内容是否是真实的。在 模型应用阶段，可以利用模型应用系统152来调用验证模型130’(此 时的验证模型130’具有训练后的参数值)，并且可以执行上述验证任 务。例如，可以接收输入140(包括表述142和证据集144)，并且 输出验证结果146。
在图1中，模型训练系统150和模型应用系统152可以包括具有 计算能力的任何计算系统，例如各种计算设备/系统、终端设备、服务 器等。终端设备可以涉及任意类型的移动终端、固定终端或便携式终 端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上 网本计算机、平板计算机、媒体计算机、多媒体平板、或者前述各项 的任意组合，包括这些设备的配件和外设或者其任意组合。服务器包 括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。
应当理解，图1示出的环境100中的部件和布置仅仅是示例，适 于用于实现本公开所描述的示例性实现方式的计算系统可以包括一 个或多个不同的部件、其他部件和/或不同的布置方式。例如，虽然被 示出为是分离的，但模型训练系统150和模型应用系统152可以集成 在相同系统或设备中。本公开的实现方式在此方面不受限制。以下将 继续参考附图，分别描述模型训练和模型应用的示例性实现方式。
验证模型的架构
目前已经基于机器学习技术实现了多种验证方案。根据一种技术 方案，可以接收以自然语言表示的表述，并且针对表述的内容是否真 实给出“支持”、“反对”或者“不确定”的验证结果。然而，该技 术方案并不能验证表述中的各个部分的真实性，也不能针对为何给出 某个验证结果进行解释。根据另一技术方案，可以将表述中的某个部 分进行高亮显示，以便指示基于该部分来得出了当前的验证结果。然 而，上述技术方案仅能将表述作为一个整体给出验证结果，并不能单 独地评价表述中的各个部分的真实性。因而，期望可以提供具有更为 精细粒度的验证方案。
根据本公开的一个示例性实现方式，提供了一种用于验证表述的 真实性的技术方案。具体地，可以接收以自然语言表示的表述(例如， 表示为c)，并且获取用于支持真实性验证过程的证据集(例如，表 示为E)。可以基于目前已知的和/或将在未来开发的多种技术来获取 证据集，例如，可以使用KGAT算法来获取证据集。在下文中将详细 描述如何基于获取的证据集来验证表述的真实性。
在本公开的上下文中，表述可以表示被验证的内容，证据集可以 包括用于支持验证表述的真实性的至少一个证据，以及标签可以表示 基于证据集来验证表述的真实性的结果。例如，在一个训练数据中， 表述可以包括“Bob won the2020election”，证据集可以包括来自多 种数据来源的文字描述，并且标签可以包括“反对”。在此训练数据 中，标签表示表述内容不是真实的。
根据本公开的一个示例性实现方式，可以构建验证模型130来完 成上述验证过程。在此，验证目标是预测如下概率分布：p(y|c，E)， y∈{SUP，REF，NEI}。也即，基于E来将c分类为SUP、REF或者NEI， 其中SUP表示“支持”、REF表示“反对”、并且“NEI”表示即不 是“支持”也不是“反对”的不可确定状态。基于该验证模型，可以 将表述划分为多个短语(短语集合可以表示为Wc，并且每个短语可以 表示为wi，wi∈Wc)。例如，可以基于启发式规则来提取短语，并且 短语可以包括命名实体(NE)、动词短语、形容词短语(AP)和名 词短语(NP)，等等。
例如，在表述“Bob won the 2020 election”中，“Bob”表示NE， “won”表示动词短语，并且“the 2020 election”表示NP。进一步， 可以在短语级别执行预测。例如，可以利用p(zi|c，wi，E)(其中zi∈{SUP，REF，NEI})来表示各个短语的真实性。利用本公开的示例 性实现方式，不但可以确定整个表述的表述真实性，还可以分别确定 每个短语的短语真实性。在此，短语真实性可以为表述真实性提供解 释，也即，阐明基于哪个/哪些短语来确定表述的真假。以此方式，可 以提供更加准确并且具有更高精细粒度的验证方案。
在下文中，将首先参见图2描述根据本公开的一个示例性实现方 式的验证模型的概要。图2示出了根据本公开的一些实现方式的用于 验证表述的真实性的验证模型的框图200。图2以训练数据112作为 具体示例来描述了验证模型的细节。如图2所示，训练数据112中的 表述120为“Bob won the 2020 election”，并且训练数据112中的证 据集122可以包括一个或多个证据230。在此，证据230可以是基于 目前已经开发的和/或将在未来开发的多种技术方案检索到的证据，以 便用作真实性验证的基础。证据230可以包括多种类型，包括但不限 于百科、新闻、教科书、论文，等等。
可以基于多种自然语言处理技术来对表述120进行语法分析，以 便将表述120(利用符号c表示)划分为多个短语。例如，可以利用符 号wi来表示每个短语。在此示例中，w1表示“Bob”，w2表示“won”， 并且w3表示“the 2020 election”。可以利用局部前提构建模块210来 分别确定各个短语的局部前提。具体地，可以为每个短语构造探测问 题qi，在证据集中确定与短语wi相匹配的证据短语w′i，进而确定相应 的局部前提c′i。以短语w2为示例，可以针对该短语来构造探测问题q2， 并且在证据集122中确定该探测问题的答案w′2。进一步，可以利用w′2来替换表述中的短语w2，进而生成相应的局部前提c′2。根据本公开的 一个示例性实现方式，可以针对每个短语进行类似的处理，以便获取 相应的局部前提。
继而，可以由真实性验证模块220来基于原始表述c、证据集E和 生成的局部前提c′1、c′2和c′3进行处理，以便确定每个短语的短语真实 性zi和整个表述的表述真实性y。
利用本公开的示例性实现方式，不但可以确定整个表述的表述真 实性，还可以以更为精细的粒度分别确定每个短语的短语真实性。在 此，短语真实性可以针对为何给出“支持”、“反对”或者“不确定” 的验证结果提供解释。以此方式，可以以更加精细的粒度确定表述内 的各个部分的真假，从而提高真实性验证的准确性。已经参见图2描 述了验证模型的概要，在下文中，将分别结合训练阶段和应用阶段描 述有关该验证模型的更多细节。
模型训练过程
在下文中，将参见附图描述有关训练过程的更多细节。根据本公 开的一个示例性实现方式，可以获取包括多个训练数据112的训练数 据集110。进一步，可以针对每个训练数据进行类似的处理，以便利 用多个训练数据来迭代地训练验证模型。首先参见图3描述如何从训 练数据中确定局部前提。图3示出了根据本公开的一些实现方式的用 于确定局部前提的框图300。
如图3所示，可以针对表述120执行语法分析，以便将表述划分 为多个短语w1、w2、w3。根据本公开的一个示例性实现方式，为了 将表述120划分为多个短语，可以使用目前已知的和/或将在未来开发 的多种提取算法，来确定表述c中包括的多个短语的集合Wc。例如， 可以使用词性(part-of-speech，POS)解析工具来标识动词。又例如， 可以使用句法成分分析工具来识别名词短语。为了细化名词短语的识 别粒度，可以进一步使用POS解析工具和命名实体识别解析器对名 词短语做拆分。根据本公开的一个示例性实现方式，可以辅助使用多 种启发式规则，例如，1)可以利用句法成分分析工具解析全部叶节 点名词短语，并且利用POS解析工具来识别全部动词；2)可以利用 命名实体识别解析器来对叶节点名词短语进行拆分，从而得到细粒度 名词短语以及对应的形容词短语。
根据本公开的一个示例性实现方式，验证模型可以包括短语验证 模型和表述验证模型。短语验证模型包括表述、证据集、和表述中的 各个短语的短语真实性之间的关联关系，并且可以确定表述中的各个 短语的短语真实性。表述验证模型可以包括表述、证据集和表述的表 述真实性之间的关联关系，并且可以确定表述的表述真实性。
在已经获得多个短语之后，可以基于训练数据和多个短语来训练 短语验证模型，以使得短语验证模型基于证据集来分别确定多个短语 的多个短语真实性。首先，可以对每个短语进行处理以便确定与每个 短语相对应的局部前提。在下文中，将仅以短语w1为示例描述确定局 部前提c′1的过程，在此局部前提表示用于验证短语的真实性的知识。 根据本公开的一个示例性实现方式，可以利用探测问题生成模块310 和MRC模块330来在证据集122中确定与各个短语相匹配的短语证 据340。在此，短语证据340可以表示用于确定短语的真实性的知识 点。在下文中，参见图3描述确定短语证据340的更多细节。
根据本公开的一个示例性实现方式，可以使用探测问题生成模块 310来为短语wi生成探测问题320。可以基于多种方式来生成探测问 题，例如，可以从表述c中移除短语wi，以生成与表述c相关联的完形 填空语句来作为探测问题qi。对于短语w1而言，可以将短语“Bob” 从表述120中移除，此时探测问题320可以表示为：“[mask]won the 2020election”。也即，此时探测问题320并不是完整的句子，而是 包括未知部分“[mask]”的完形填空语句。
又例如，可以利用疑问句来表示探测问题。具体地，可以基于短 语在表述中的位置，生成用于查询短语的疑问句并将其作为探测问题。 例如，可以基于语法分析，确定短语“Bob”位于表述中主语的位置。 此时，可以利用疑问句“Who won the2020 election？”来作为探测问 题。利用本公开的示例性实现方式，通过构造探测问题可以方便地描 述短语与表述之间的关系，进而便于在证据集122中检索各个短语在 由表述所指定的语言环境下的含义。
根据本公开的一个示例性实现方式，可以从证据集122中找到用 于验证每个短语所需的信息。进一步，可以基于这些信息来构造局部 前提的集合。具体地，上述过程可以转化为MRC任务。根据本公开 的一个示例性实现方式，可以基于MRC模块330来确定与短语相关 联的证据短语340。在此，MRC模块330可以包括预先训练好的MRC 模型。可以向该MRC模型输入探测问题320和证据集122，并且MRC 模型可以输出从接收证据集122获取的针对探测问题320的答案。
将会理解，可以基于目前已知的和/或将被开发的多种方式获取 MRC模型。根据本公开的一个示例性实现方式，提出了一种基于自 监督方式来训练MRC模型的方法。在下文中，参见图4描述有关训 练过程的更多细节。图4示出了根据本公开的一些实现方式的用于训 练MRC模型的框图400。如图4所示，可以使用训练数据集110来 训练MRC模型420。将会理解，在此的训练数据集110可以包括大 量训练数据，并且每个训练数据可以包括表述、证据集和标签三部分。 在此，MRC模型包括问题和证据集之间的关联关系，并且可以从证 据集找到输入问题的答案。
根据本公开的一个示例性实现方式，可以建立初始阅读理解模型， 可以训练该模型并且使得训练好的阅读理解模型输出的答案与探测 问题的真实答案相一致。为了不增加获取训练数据的工作量，可以使 用相同的训练数据集110来训练验证模型中的各个模型。为了训练 MRC模型，可以从训练数据集中获取满足预定条件的训练数据。将 会理解，在此仅选择标签为“支持”的训练数据，以便利用选择的训 练数据来训练MRC模型。
具体地，可以基于自监督方式来训练MRC模型，此时可以从训 练数据集110中选择标签为“支持”的训练数据410。如图4所示， 训练数据410的表述412可以包括“The 2020Game was held in 2021”， 证据集414包括用于验证表述的与“2020 Game”相关联的一个或多 个证据，并且标签416可以包括“支持”。由于训练数据410的标签 为“支持”，因而可以利用训练数据来训练MRC模型420。在训练 过程中，可以生成探测问题“The 2020 Game washeld in[mask]”， 并且将“2021”直接作为该探测问题的答案。进一步，可以基于探测 问题、证据集414和答案来训练MRC模型420。
将会理解，对于标签为“反对”或者“不确定”的训练数据而言， 难以从相应的证据集中找到真实的正确答案，因而在训练MRC模型 420时，可以放弃这些训练数据并且仅使用标签为“支持”的训练数 据。以此方式，可以尽量重用训练数据集110，并且降低训练过程准备训练数据的各种相关开销。
根据本公开的一个示例性实现方式，可以基于上文描述的方法来 训练MRC模型420。进一步，可以使用训练好的MRC模型420来确 定每个探测问题的答案。具体地，对于每个短语wi(wi∈Wc)，可以 首先利用上文描述的探测问题生成器310来生成探测问题qi，在此可 以将全部探测问题qi的集合表示为
Figure BDA0003357371000000131
可以向MRC模型 输入
Figure BDA0003357371000000132
和E，进而可以获得针对全部探测问题的答案集合
Figure BDA0003357371000000133
根据本公开的一个示例性实现方式，在已经基于证据集确定与短 语相匹配的证据短语之后，可以利用证据短语替换表述中的短语，以 便生成局部前提。返回图3，对于短语w1“Bob”，找到的证据短语 340为w′1：“Bob”。此时，可以利用w′1来替换表述c中的短语w1，以 便生成局部前提c′1。
将会理解，上文仅以短语w1为示例描述了生成局部前提c′1的过程。 在本公开的上下文中，可以针对每个短语w2和w3进行类似处理，以便 生成相应的局部前提c′2和c′3。例如，对于第二个短语w2“won”而言， 此时w′2＝“lost”，局部前提c′2可以表示为“Bob lostthe 2020 election”。 局部前提的集合可以表示为
Figure BDA0003357371000000134
进一步，可以利用训练数据和所 确定的多个局部前提，来训练短语验证模型和表述验证模型。
在下文中，首先描述与验证模型相关的数学原理。在本公开的上 下文中，验证模型可以在短语等级针对表述提供真实性验证。具体地， 短语验证模型可以确定短语的真实性，并且表述验证模型可以确定表 述的真实性。根据本公开的一个示例性实现方式，可以建立用于训练 短语验证模型和表述验证模型的目标函数。具体地，对于每个短语 wi∈Wc，可以将短语的真实性表示为三选一(例如，SUP、REF和 NEI之一)的隐式变量zi。此时，可以定义
Figure BDA0003357371000000135
|Wc|表 示表述c中的短语的数量。此时表述c的真实性y依赖于隐式变量z。
根据本公开的一个示例性实现方式，提出了逻辑规则约束的概念。 将会理解，表述中的各个短语的短语真实性与表述的表述真实性之间 存在逻辑约束。可以获取多个短语真实性与表述真实性之间的逻辑规 则约束，具体地，1)对于REF标签，如果证据集反对多个短语中的 至少一个短语，则表述真实性为REF；2)对于SUP标签，如果证据 集支持多个短语中的全部短语，则表述真实性为SUP；3)对于NEI 标签，如果以上两者都不满足，则验证结果不确定。因而，可以基于 上述3个约束关系来构建验证模型。具体地，可以定义如下文公式1 所示的逻辑规则约束：
Figure BDA0003357371000000141
Figure BDA0003357371000000142
Figure BDA0003357371000000143
其中c表示表述，E表示用于执行验证过程所基于的证据集，Wc表 示c中包括的短语的集合，V(c，Wc，E)表示三个数值
Figure BDA0003357371000000144
(也即，支 持、反对和不确定)中的一个。对于Wc和E而言，V(c，Wc，E)对应于三 个预定标签y∈{SUP，REF，NEI}中的一个。
根据本公开的一个示例性实现方式，可以建立隐式变量模型，进 一步可以将上文的逻辑规则约束应用于隐式变量模型。对于表述c和 获取的证据集E，可以定义目标分布pθ(y|x)：
Figure BDA0003357371000000145
在此，p(z|x)表示基于输入x(x＝(c，E))在隐式变量z之上的先 验分布，pθ表示在x和z条件下y的概率。在此，假设zi彼此独立，也 即p(z|x)＝Πip(zi|x，wi)。对于训练数据中的真值标签y*而言，可以构造 如下所示的目标函数：
Figure BDA0003357371000000151
理论上，可以使用最大期望(Expectation-maximization，EM)算 法来优化模型。然而，在实际操作中由于z的空间巨大导致难以确定 pθ(z|y，x)，因而可以基于变分推断算法来确定变分后验分布。具体地， 可以最小化负证据下界(negative Evidence LowerBOund，negative ELBO)，并利用公式4来表示与变量相关的目标函数：
Figure BDA0003357371000000152
其中qφ(·)表示以y和x为条件的变分后验分布，DKL表示两个分布 之间的距离，并且θ和φ分别表示与上文描述的分布pθ和qφ相关的全 部参数。进一步，有关其他符号的含义与已有的ELBO算法中的符号 含义相同，因而不再赘述。具体地，可以将预先训练的自然语言推理 (Natural Language Inference，NLI)模型作为先验分布p(z|x)(其参 数是固定的)。在此，NLI模型可以生成在三种类型上的分布： CONTRADICTED、NEUTRAL以及ENTAILMENT，并且三种类型可 以分别对应于本公开中的“反对”、“不确定”以及“支持”。
进一步，可以基于逻辑知识蒸馏来引入逻辑规则约束。也即，可 以利用公式1示出的逻辑规则约束来更新目标函数，使得基于目标函 数训练的验证模型输出的多个短语真实性和表述真实性之间的关系 满足逻辑规则约束。根据本公开的一个示例性实现方式，提出了一种 知识蒸馏方法，该方法可以采用教师模型和学生模型来构造最终的目 标函数。在此，学生模型pθ(y|z，x)是期待优化的目标，可以将变分分 布qφ(z|y，x)映射至子空间
Figure BDA0003357371000000153
来构造教师模型。在此，由于子 空间yz是z的逻辑聚合，因而子空间受到如上文公式1表示的逻辑规 则的约束。由此，可以模拟
Figure BDA0003357371000000154
的输出，来将逻辑约束指示应用到pθ。具体地，可以基于如下公式5确定蒸馏损失：
Figure BDA0003357371000000161
其中
Figure BDA0003357371000000162
表示与逻辑规则约束相关的目标函数，DKL表示两 个分布之间的距离。进一步，在考虑与训练数据中的变量相关的目标 函数和与逻辑规则约束相关的目标函数两者的情况下，可以建立用于 联合训练短语验证模型和表述验证模型的目标函数。在此，目标函数 使得表述真实性与标签之间的关系满足预定条件，并且可以使得短语 真实性与表述真实性之间的关系满足逻辑规则约束。具体地，可以基 于如下公式6来确定最终的目标函数：
Figure BDA0003357371000000163
其中
Figure BDA0003357371000000164
表示最终目标函数，
Figure BDA0003357371000000165
表示训练数据中的 变量相关的目标函数，
Figure BDA0003357371000000166
表示逻辑规则约束相关的目标函数， 并且1-λ和λ分别表示用于两种类型的目标函数的权重。利用本公开 的示例性实现方式，可以将逻辑规则约束应用于构建目标函数的过程， 进而使得目标函数即考虑了训练数据集中的训练数据，又考虑了短语 真实性和表述真实性之间的逻辑规则约束。以此方式，可以使得验证 模型可以在短语的等级对于表述的验证结果提供解释。
根据本公开的一个示例性实现方式，在训练和隐式变量规格化过 程中，可以使用软逻辑方案。具体地，可以基于如下公式7执行聚合 操作：
Figure BDA0003357371000000167
Figure BDA0003357371000000168
Figure BDA0003357371000000169
其中
Figure BDA00033573710000001610
表示与规则规格化的子空间相关的信息，其中yz可以分别 等于SUP、REF或者NEI。
Figure BDA00033573710000001611
并且
Figure BDA00033573710000001612
以此方式，可 以为上文公式5所示的
Figure BDA0003357371000000171
具体化，进而在满足逻辑规则约束的情 况下确定短语的真实性。
根据本公开的一个示例性实现方式，可以针对训练数据进行编码， 继而分别利用短语验证模型和表述验证模型来来参数化pθ(y|z，x)和 变分分布qφ(z|y，x)，以便基于变分EM算法来迭代地进行优化。在下 文中，将参见图5描述有关训练短语验证模型和表述验证模型的更多 细节。
图5示出了根据本公开的一些实现方式的用于训练短语验证模型 和表述验证模型的框图500。如图5所示，可以基于训练数据112来 确定用于训练短语验证模型510和表述验证模型520的输入数据。此 时，短语验证模型510的输入512可以包括表述真实性514、局部编 码516和全局编码518。表述验证模型520的输入522可以包括短语 真实性524、全局编码518和上下文编码528。在下文中，将以具体 公式示出如何计算上述参数。
在训练阶段，可以基于训练数据112中的指示表述真实性的标签 (也即真值数据)来确定表述真实性514。进一步，对于给定的c、E和针 对每个短语的局部前提，可以利用预训练的语言模型(PLM)来计算 文本表示。例如，可以将表述c和各个局部前提c′i进行连接，以获得相 关于局部编码516的文本表示
Figure BDA0003357371000000172
继而，可以利用编码器 来将该文本表示映射至局部编码516(即，
Figure BDA0003357371000000173
Figure BDA0003357371000000174
表示编码空 间)。根据本公开的一个示例性实现方式，可以使用目前已知的和/ 或将在未来开发的多种编码器来执行上述编码过程。
类似地，可以将表述c和证据集E进行连接以得到与全局编码518 相关联的文本表示xglobal＝(c，E)。继而，可以将该文本表示进行编码以 获得全局编码518(即，
Figure BDA0003357371000000175
)。进一步，可以应用自选择模型 以便获得编码中的最为重要的部分。
将会理解，多个短语中可能会存在可疑短语(也即，影响表述真 实性的短语)，因而，可以基于如下经验来设计可疑短语注意力模型： 有效的局部前提(也即，有益于输出符合实际情况的表述真实性的局 部前提)在语义上应当接近证据集中的证据。由此，可以基于
Figure BDA0003357371000000181
知 hglobal之间的相似性来确定每个短语wi的重要性αi。具体地，可以基于 如下公式8来确定上下文编码hlocal：
Figure BDA0003357371000000182
其中
Figure BDA0003357371000000183
表示参数，并且σ表示softmax函数。在计算上述 参数之后，可以将pθ(·)和qφ(·)两者应用于两层多层感知模型。如图5 所示，qφ(zi|y，x)的输入可以包括以下三个参数的连接：表述真实性 514(y*)、局部编码516
Figure BDA0003357371000000184
以及全局编码518(hglobal)， 并且输出514可以包括zi(也即，每个短语的短语真实性的概率)。 在此，
Figure BDA0003357371000000185
进一步，pθ(y|z，x)的输入522可以 包括以下三个参数的连接：短语真实性524(z＝(z1，z2，...，zmax)，此 时max表示填充的最大长度)、全局编码518(hglobal)、以及上下 文编码528(hlocal)，并且输出524可以包括y(也即，表述真实性)。
根据本公开的一个示例性实现方式，在训练过程中可以利用上文 公式6所示的目标函数来将qφ(·)和pθ(·)两者进行联合优化。也即，利 用目标函数来联合训练短语验证模型510和表述验证模型520。可以 使用目前已知的和/或将在未来开发的多种优化技术，来执行迭代优化。 例如，可以使用Gumbel表示算法来进行离散argmax运算，来执行优 化。
将会理解，公式6中表示的θ和φ分别表示与上文描述的分布pθ和 qφ相关的全部参数。在具体训练过程中，可以分别将基于训练数据集 确定的各个参数的具体数值(例如，y*、
Figure BDA0003357371000000186
hglobal、zi、hlocal， 等等)带入公式6，进而进行训练过程。此时，目标函数中与短语验 证模型510相关联的部分可以涉及标签、局部编码和全局编码，并且 目标函数中与表述验证模型520相关联的部分可以涉及短语真实性、 全局编码和上下文编码。通过设置统一的目标函数，一方面可以考虑 两个模型之间的内在逻辑依赖关系，另一方面还可以降低训练涉及的 多种开销。
可以按照类似的方式来逐一处理训练数据集110中的每个训练数 据，以便获得用于执行训练的各个参数。可以利用获得的参数来迭代 地执行训练过程，直到各个模型满足预定的停止条件。此时，训练后 的表述验证模型520可以输出表述的表述真实性，并且训练后的短语 验证模型510可以输出各个短语的短语真实性，在此短语真实性可以 对表述真实性提供解释。
根据本公开的一个示例性实现方式，可以以概率分布方式表示真 实性。例如，当按照SUP、REF和NEI的顺序表示真实性的概率分 布时，假设表述真实性为(0.8，0.1，0.1)，此时与SUP相关联的概 率0.8为最大值，则此时表述真实性为“SUP”，也即支持。根据本 公开的一个示例性实现方式，可以以类似的方式来表示短语真实性， 在下文中将不再赘述。
上文已经描述了用于训练验证模型的过程，此时的验证模型不但 可以验证表述的真假，还可以以更为精细的粒度处理表述中的各个短 语，并且验证每个短语的短语真实性。以此方式，短语真实性可以表 示相应短语对于表述的最终真实性的贡献，因而可以为最终验证结果 提供解释。
模型应用过程
上文已经描述对验证模型130的训练，训练后的验证模型130’ 可以被提供到如图1所示的模型应用系统152中使用，以用于对输入 数据140进行处理。具体地，在已经完成模型训练阶段之后，可以使 用已经训练好的、具有训练后的参数值的验证模型130’来处理接收到 的输入。返回图1描述有关模型应用过程的更多信息。可以向训练后 的验证模型130’输入输入数据140。在此，输入数据140可以包括将 要被验证的表述142以及用于为验证提供支持的证据集144。充分训 练之后的验证模型130’可以接收输入数据140，并且基于证据集144 中的一个或多个证据来验证表述142的真实性。
在下文中，参见图6描述有关推理过程的更多细节。图6示出了 根据本公开的一些实现方式的用于基于短语验证模型和表述验证模 型来执行推理的框图600。如图6所示，输入数据140例如可以包括 表述142和证据集144。在此，表述142表示将被验证的内容，以及证据集144包括用于支持验证表述的真实性的至少一个证据。在推理 阶段，验证模型中的各个模块以类似于训练过程的方式操作。例如， 可以基于语法分析，将表述142划分为多个短语，并且确定与每个短 语相关联的参数。
进一步，可以利用短语验证模型510，基于证据集144来分别确 定多个短语的多个短语真实性。可以按照上文描述的方法来分别确定 输入610和620中的各个参数的具体数值。可以利用表述验证模型520， 基于证据集144和多个短语真实性(也即，输出612)来确定表述的 表述真实性，在此多个短语真实性对表述真实性提供解释。将会理解， 在初始阶段，短语真实性验证模型510可以将多个短语真实性分别设 置为多个预定初始值，例如(0.4，0.3，0.3)或者其他数值。此时， 图6所示的输出612的取值即为(0.4，0.3，0.3)。该取值可以作为 表述真实性模型520的输入，并且与从输入数据140确定的全局编码 hglobal和上下文编码hglobal一起，用于确定表述真实性(也即输出622)。 此时，第一轮次的推理操作结束。
根据本公开的一个示例性实现方式，可以在多个轮次中迭代地执 行上文描述的推理过程。具体地，在第二轮次中可以将输出622作为 短语真实性模型510的输入y，并且将其与从输入数据140确定的局 部编码
Figure BDA0003357371000000201
和全局编码hglobal一起，以便在输出612处获取新的短语 真实性。继而，可以将新的短语真实性输入至表述真实性模型520， 以便在输出622处获得新的表述真实性。将会理解，上文仅以第一轮 次和第二轮次作为示例来描述了迭代过程。根据本公开的一个示例性 实现方式，在第二轮次之后还可以执行一个或多个后续的轮次，直到 满足预定的停止条件。
根据本公开的一个示例性实现方式，停止条件例如可以指定：当 前后两个轮次的输出结果之间的差异小于预定阈值时停止。又例如， 停止条件还可以指定：当两个或者更多连续轮次的概率分布所指示的 真实性不再变化时停止。又例如，停止条件还可以指定：当达到预定 轮次数量时停止迭代过程。利用本公开的示例性实现方式，验证模型 不但可以针对整体表述输出表述真实性，还可以以更为精细的粒度来 处理表述中的各个短语。进一步，可以输出各个短语的短语真实性， 以便为表述真实性提供解释。
上文已经描述了利用验证模型来处理输入数据的概要。在下文中， 将分别参见图7A和图7B利用验证模型处理输入数据的具体示例。 图7A示出了根据本公开的一些实现方式的用于确定表述的真实性的 框图700A。如图7A所示，可以接收表述142和证据集144。可以将 表述142划分为多个短语712A、714A和716A，进一步，可以分别 确定与各个短语相关联局部前提。具体地，局部前提730A示出了与 短语712A、714A和716A相关联的局部前提。
如图7A所示，前提1表示与短语712A相关联的局部前提，并 且短语712A的短语真实性为“支持”(如最大值732A所示)。前提2 表示与短语714A相关联的局部前提，并且短语714A的短语真实性 为“反对”(如最大值734A所示)。前提3表示与短语716A相关联 的局部前提，并且短语716A的短语真实性为“支持”(如最大值736A 所示)。进一步，如最大值742A所示，预测740A示出了真实性验证 的预测结果“反对”。该示例示出了预测结果与真值相一致的情况， 可见，短语真实性可以提供更加精细粒度的预测结果，并且可以为最 终预测结果提供解释。
图7B示出了根据本公开的一些实现方式的用于确定表述的真实 性的框图700B。如图7B所示，可以接收表述710B和证据集720B。 可以将表述710B划分为多个短语712B和714B。进一步，可以分别 确定与各个短语相关联局部前提。具体地，局部前提730B示出了与短语712B和714B相关联的局部前提。
如图7B所示，前提1表示与短语712B相关联的局部前提，并且 短语712B的短语真实性为“支持”(如最大值732B所示)。前提2 表示与短语714B相关联的局部前提，并且短语714B的短语真实性 为“反对”(如最大值734B所示)。进一步，如最大值742B所示， 预测740B示出了真实性验证的预测结果“反对”。该示例示出了预 测结果与真值(“不确定”)不一致的情况。此时，通过分析各个短 语真实性可以发现，短语714B的短语真实度“反对”导致了预测结 果错误。以此方式，短语真实度可以在一定程度上反映错误原因，进 而有益于进一步优化验证模型。
示例过程
图8示出了根据本公开的一些实现方式的用于验证表述的真实性 的方法800的流程图。具体地，在框810处，获取包括表述、证据集 和标签的训练数据，表述表示被验证的内容，证据集包括用于支持验 证表述的真实性的至少一个证据，以及标签表示基于证据集来验证表 述的真实性的结果。在框820处，基于对表述的语法分析，将表述划 分为多个短语。在框830处，基于训练数据和多个短语来训练短语验 证模型，以使得短语验证模型基于证据集来分别确定多个短语的多个 短语真实性。
根据本公开的一个示例性实现方式，为了训练短语验证模型，可 以逐一处理多个短语中的短语。具体地，可以基于证据集确定与短语 相关联的局部前提，局部前提表示用于验证短语的真实性的知识。可 以基于局部前提和训练数据，训练短语真实性验证模型。
根据本公开的一个示例性实现方式，为了确定局部前提，可以基 于证据集确定与短语相匹配的证据短语，证据短语表示用于确定短语 的真实性的知识点。进一步，可以利用证据短语替换表述中的短语， 以便生成局部前提。
根据本公开的一个示例性实现方式，为了确定证据短语，可以基 于表述生成与短语相关联的探测问题。继而，在证据集中检索探测问 题的答案，以作为证据短语。
根据本公开的一个示例性实现方式，可以从表述中移除短语，以 将与表述相关联的完形填空语句作为探测问题。
根据本公开的一个示例性实现方式，可以基于短语在表述中的位 置，将用于查询短语的疑问句作为探测问题。
根据本公开的一个示例性实现方式，标签包括以下任一项：“支 持”、“反对”以及“不确定”。根据本公开的一个示例性实现方式， 为了检索答案，可以建立阅读理解模型，阅读理解模型使得答案与探 测问题的真实答案相一致。可以获取包括表述、证据集和标签的另一 训练数据。如果另一训练数据的标签为“支持”，可以利用另一训练 数据来训练阅读理解模型。
在框840处，基于训练数据和多个短语来训练表述验证模型，以 使得表述验证模型基于证据集来确定表述的表述真实性，其中多个短 语真实性对表述真实性提供解释。
根据本公开的一个示例性实现方式，可以建立用于联合训练短语 验证模型和表述验证模型的目标函数，目标函数使得表述真实性与标 签之间的关系满足预定条件。根据本公开的一个示例性实现方式，可 以利用目标函数来联合训练短语验证模型和表述验证模型。
根据本公开的一个示例性实现方式，可以获取多个短语真实性与 表述真实性之间的逻辑规则约束。可以基于逻辑规则约束更新目标函 数，目标函数使得多个短语真实性和表述真实性之间的关系满足逻辑 规则约束。
根据本公开的一个示例性实现方式，为了建立目标函数，可以基 于表述和多个局部前提，确定分别与多个短语相关联的多个局部编码。 可以基于表述和证据集确定表述的全局编码。可以利用标签、多个局 部编码和全局编码作为参数，来确定目标函数。
根据本公开的一个示例性实现方式，为了建立目标函数，可以基 于多个局部前提与表述的比较，分别确定多个短语的多个重要性。可 以基于多个重要性和多个局部编码，确定表述的上下文编码。可以利 用多个短语真实性、上下文编码和全局编码作为参数。
图9示出了根据本公开的一些实现方式的用于验证表述的真实性 的方法900的流程图。在框910处，可以获取表述和与表述相关联的 证据集，表述表示将被验证的内容，以及证据集包括用于支持验证表 述的真实性的至少一个证据。在框920处，可以基于对表述的语法分 析，将表述划分为多个短语。在框930处，可以利用短语验证模型， 基于证据集来分别确定多个短语的多个短语真实性。
根据本公开的一个示例性实现方式，在初始阶段，可以将多个短 语真实性分别设置为多个预定初始值。根据本公开的一个示例性实现 方式，在初始阶段之后的后续阶段，基于证据集和表述真实性来确定 多个短语真实性。
在框940处，可以利用表述验证模型，基于证据集和多个短语来 确定表述的表述真实性，其中多个短语真实性对表述真实性提供解释。
根据本公开的一个示例性实现方式，可以迭代地执行方法900， 直到多个短语真实性和表述真实性之间的关系满足预定停止条件。
示例装置和设备
图10A示出了根据本公开的一些实现方式的用于验证表述的真 实性的装置1000A的框图。如图10A所示，装置1000A包括获取模 块1010A、划分模块1020A、短语验证模块1030A和表述验证模块 1040A。
根据本公开的一个示例性实现方式，获取模块1010A，配置用于 获取包括表述、证据集和标签的训练数据，表述表示被验证的内容， 证据集包括用于支持验证表述的真实性的至少一个证据，以及标签表 示基于证据集来验证表述的真实性的结果；划分模块1020A，配置用 于基于对表述的语法分析，将表述划分为多个短语；短语验证模块 1030A，配置用于基于训练数据和多个短语来训练短语验证模型，以 使得短语验证模型基于证据集来分别确定多个短语的多个短语真实 性；以及表述验证模块1040A，配置用于基于训练数据和多个短语来 训练表述验证模型，以使得表述验证模型基于证据集来确定表述的表 述真实性，其中多个短语真实性对表述真实性提供解释。
根据本公开的一个示例性实现方式，短语验证模块进一步配置用 于：针对多个短语中的短语，基于证据集确定与短语相关联的局部前 提，局部前提表示用于验证短语的真实性的知识；以及基于局部前提 和训练数据，训练短语真实性验证模型。
根据本公开的一个示例性实现方式，短语验证模块进一步配置用 于：基于证据集确定与短语相匹配的证据短语，证据短语表示用于确 定短语的真实性的知识点；以及利用证据短语替换表述中的短语，以 便生成局部前提。
根据本公开的一个示例性实现方式，短语验证模块进一步配置用 于：基于表述生成与短语相关联的探测问题；以及在证据集中检索探 测问题的答案，以作为证据短语。
根据本公开的一个示例性实现方式，短语验证模块进一步配置用 于：从表述中移除短语，以将与表述相关联的完形填空语句作为探测 问题；以及基于短语在表述中的位置，将用于查询短语的疑问句作为 探测问题。
根据本公开的一个示例性实现方式，标签包括以下任一项：“支 持”、“反对”以及“不确定”。短语验证模块进一步配置用于：建 立阅读理解模型，阅读理解模型使得答案与探测问题的真实答案相一 致；获取包括表述、证据集和标签的另一训练数据；以及响应于另一 训练数据的标签为“支持”，利用另一训练数据来训练阅读理解模型。
根据本公开的一个示例性实现方式，进一步包括：建立模块，配 置用于建立用于联合训练短语验证模型和表述验证模型的目标函数， 目标函数使得表述真实性与标签之间的关系满足预定条件。短语验证 模块和表述验证模块进一步配置用于：利用目标函数来联合训练短语 验证模型和表述验证模型。
根据本公开的一个示例性实现方式，建立模块进一步配置用于： 获取多个短语真实性与表述真实性之间的逻辑规则约束；以及基于逻 辑规则约束更新目标函数，目标函数使得多个短语真实性和表述真实 性之间的关系满足逻辑规则约束。
根据本公开的一个示例性实现方式，建立模块进一步配置用于： 基于表述和多个局部前提，确定分别与多个短语相关联的多个局部编 码；基于表述和证据集确定表述的全局编码；以及利用标签、多个局 部编码和全局编码作为参数，来确定目标函数。
根据本公开的一个示例性实现方式，建立模块进一步配置用于： 基于多个局部前提与表述的比较，分别确定多个短语的多个重要性； 基于多个重要性和多个局部编码，确定表述的上下文编码；利用多个 短语真实性、上下文编码和全局编码作为参数，来确定目标函数。
图10B示出了根据本公开的一些实现方式的用于验证表述的真 实性的装置1000B的框图。如图10B所示，装置1000B包括获取模 块1010B、划分模块1020B、短语验证模块1030B和表述验证模块 1040B。
根据本公开的一个示例性实现方式，获取模块1010B，配置用于 获取包括表述、证据集和标签的训练数据，所述表述表示被验证的内 容，所述证据集包括用于支持验证所述表述的所述真实性的至少一个 证据，以及所述标签表示基于所述证据集来验证所述表述的所述真实 性的结果；划分模块1020B，配置用于基于对所述表述的语法分析， 将所述表述划分为多个短语；短语验证模块1030B，配置用于基于所 述训练数据和所述多个短语来训练短语验证模型，以使得所述短语验 证模型基于所述证据集来分别确定所述多个短语的多个短语真实性； 以及表述验证模块1040B，配置用于基于所述训练数据和所述多个短语来训练表述验证模型，以使得所述表述验证模型基于所述证据集来 确定所述表述的表述真实性，其中所述多个短语真实性对所述表述真 实性提供解释。
根据本公开的一个示例性实现方式，短语验证模块1030B进一步 配置用于在初始阶段，将多个短语真实性分别设置为多个预定初始值； 以及在初始阶段之后的后续阶段，基于证据集和表述真实性来确定多 个短语真实性。
根据本公开的一个示例性实现方式，短语验证模块1030B和表述 验证模块1040B被迭代地调用，直到多个短语真实性和表述真实性之 间的关系满足预定停止条件。
图11示出了能够实施本公开的多个实现方式的设备1100的框图。 应当理解，图11所示出的计算设备1100仅仅是示例性的，而不应当 构成对本文所描述的实现方式的功能和范围的任何限制。图11所示 出的计算设备1100可以用于实现如图1所示的模型训练系统150，也 可以实现用于如图1所示的模型应用系统152。
如图11所示，计算设备1100是通用计算设备的形式。计算设备 1100的组件可以包括但不限于一个或多个处理器或处理单元1110、 存储器1120、存储设备1130、一个或多个通信单元1140、一个或多 个输入设备1150以及一个或多个输出设备1160。处理单元1110可以 是实际或虚拟处理器并且能够根据存储器1120中存储的程序来执行 各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行 指令，以提高计算设备1100的并行处理能力。
计算设备1100通常包括多个计算机存储介质。这样的介质可以 是计算设备1100可访问的任何可以获得的介质，包括但不限于易失 性和非易失性介质、可拆卸和不可拆卸介质。存储器1120可以是易 失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读 存储器(EEPROM)、闪存)或它们的某种组合。存储设备1130可 以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪 存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据 (例如用于训练的训练数据)并且可以在计算设备1100内被访问。
计算设备1100可以进一步包括另外的可拆卸/不可拆卸、易失性/ 非易失性存储介质。尽管未在图11中示出，可以提供用于从可拆卸、 非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从 可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中， 每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。 存储器1120可以包括计算机程序产品1125，其具有一个或多个程序 模块，这些程序模块被配置为执行本公开的各种实现方式的各种方法 或动作。
通信单元1140实现通过通信介质与其他计算设备进行通信。附 加地，计算设备1100的组件的功能可以以单个计算集群或多个计算 机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算 设备1100可以使用与一个或多个其他服务器、网络个人计算机(PC) 或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备1150可以是一个或多个输入设备，例如鼠标、键盘、 追踪球等。输出设备1160可以是一个或多个输出设备，例如显示器、 扬声器、打印机等。计算设备1100还可以根据需要通过通信单元1140 与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、 显示设备等，与一个或多个使得用户与计算设备1100交互的设备进 行通信，或者与使得计算设备1100与一个或多个其他计算设备通信 的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可 以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式，提供了一种计算机可读存储介质， 其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行 以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一 种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可 读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器 执行以实现上文描述的方法。根据本公开的示例性实现方式，提供了 一种计算机程序产品，其上存储有计算机程序，所述程序被处理器执 行时实现上文描述的方法。
这里参照根据本公开实现的方法、装置、设备和计算机程序产品 的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/ 或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计 算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或 其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这 些指令在通过计算机或其他可编程数据处理装置的处理单元执行时， 产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作 的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介 质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特 定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品， 其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作 的各个方面的指令。
可以把计算机可读程序指令加载到计算机、其他可编程数据处理 装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其 他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得 在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现 流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方 法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上， 流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部 分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻 辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功 能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框 实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这 依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、 以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作 的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令 的组合来实现。
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷 尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的 范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改 和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各 实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域 的其他普通技术人员能理解本文公开的各个实现方式。

Claims (32)

1.一种用于验证表述的真实性的方法，包括：
获取包括表述、证据集和标签的训练数据，所述表述表示被验证的内容，所述证据集包括用于支持验证所述表述的所述真实性的至少一个证据，以及所述标签表示基于所述证据集来验证所述表述的所述真实性的结果；
基于对所述表述的语法分析，将所述表述划分为多个短语；
基于所述训练数据和所述多个短语来训练短语验证模型，以使得所述短语验证模型基于所述证据集来分别确定所述多个短语的多个短语真实性；以及
基于所述训练数据和所述多个短语来训练表述验证模型，以使得所述表述验证模型基于所述证据集来确定所述表述的表述真实性，其中所述多个短语真实性对所述表述真实性提供解释。
2.根据权利要求1所述的方法，其中训练所述短语验证模型包括：针对所述多个短语中的短语，
基于所述证据集确定与所述短语相关联的局部前提，所述局部前提表示用于验证所述短语的真实性的知识；以及
基于所述局部前提和所述训练数据，训练所述短语真实性验证模型。
3.根据权利要求2所述的方法，其中确定所述局部前提包括：
基于所述证据集确定与所述短语相匹配的证据短语，所述证据短语表示用于确定所述短语的所述真实性的知识点；以及
利用所述证据短语替换所述表述中的所述短语，以便生成所述局部前提。
4.根据权利要求3所述的方法，其中确定所述证据短语包括：
基于所述表述生成与所述短语相关联的探测问题；以及
在所述证据集中检索所述探测问题的答案，以作为所述证据短语。
5.根据权利要求4所述的方法，其中生成所述探测问题包括以下至少任一项：
从所述表述中移除所述短语，以将与所述表述相关联的完形填空语句作为所述探测问题；以及
基于所述短语在所述表述中的位置，将用于查询所述短语的疑问句作为所述探测问题。
6.根据权利要求4所述的方法，其中所述标签包括以下任一项：“支持”、“反对”以及“不确定”，其中检索所述答案包括：
建立阅读理解模型，所述阅读理解模型使得所述答案与所述探测问题的真实答案相一致；
获取包括表述、证据集和标签的另一训练数据；以及
响应于所述另一训练数据的标签为“支持”，利用所述另一训练数据来训练所述阅读理解模型。
7.根据权利要求2所述的方法，进一步包括：
建立用于联合训练所述短语验证模型和所述表述验证模型的目标函数，所述目标函数使得所述表述真实性与所述标签之间的关系满足预定条件；以及
训练所述短语验证模型和所述表述验证模型包括：利用所述目标函数来联合训练所述短语验证模型和所述表述验证模型。
8.根据权利要求7所述的方法，进一步包括：
获取所述多个短语真实性与所述表述真实性之间的逻辑规则约束；以及
基于所述逻辑规则约束更新所述目标函数，所述目标函数使得所述多个短语真实性和所述表述真实性之间的关系满足所述逻辑规则约束。
9.根据权利要求8所述的方法，其中建立所述目标函数包括：
基于所述表述和所述多个局部前提，确定分别与所述多个短语相关联的多个局部编码；
基于所述表述和所述证据集确定所述表述的全局编码；以及
利用所述标签、所述多个局部编码和所述全局编码作为参数，来确定所述目标函数。
10.根据权利要求9所述的方法，其中建立所述目标函数进一步包括：
基于所述多个局部前提与所述表述的比较，分别确定所述多个短语的多个重要性；
基于所述多个重要性和所述多个局部编码，确定所述表述的上下文编码；
利用所述多个短语真实性、所述上下文编码和所述全局编码作为参数，来确定所述目标函数。
11.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述设备执行以下动作：
获取包括表述、证据集和标签的训练数据，所述表述表示被验证的内容，所述证据集包括用于支持验证所述表述的所述真实性的至少一个证据，以及所述标签表示基于所述证据集来验证所述表述的所述真实性的结果；
基于对所述表述的语法分析，将所述表述划分为多个短语；
基于所述训练数据和所述多个短语来训练短语验证模型，以使得所述短语验证模型基于所述证据集来分别确定所述多个短语的多个短语真实性；以及
基于所述训练数据和所述多个短语来训练表述验证模型，以使得所述表述验证模型基于所述证据集来确定所述表述的表述真实性，其中所述多个短语真实性对所述表述真实性提供解释。
12.根据权利要求11所述的设备，其中训练所述短语验证模型包括：针对所述多个短语中的短语，
基于所述证据集确定与所述短语相关联的局部前提，所述局部前提表示用于验证所述短语的真实性的知识；以及
基于所述局部前提和所述训练数据，训练所述短语真实性验证模型。
13.根据权利要求12所述的设备，其中确定所述局部前提包括：
基于所述证据集确定与所述短语相匹配的证据短语，所述证据短语表示用于确定所述短语的所述真实性的知识点；以及
利用所述证据短语替换所述表述中的所述短语，以便生成所述局部前提。
14.根据权利要求13所述的设备，其中确定所述证据短语包括：
基于所述表述生成与所述短语相关联的探测问题；以及
在所述证据集中检索所述探测问题的答案，以作为所述证据短语。
15.根据权利要求14所述的设备，其中生成所述探测问题包括以下至少任一项：
从所述表述中移除所述短语，以将与所述表述相关联的完形填空语句作为所述探测问题；以及
基于所述短语在所述表述中的位置，将用于查询所述短语的疑问句作为所述探测问题。
16.根据权利要求14所述的设备，其中所述标签包括以下任一项：“支持”、“反对”以及“不确定”，其中检索所述答案包括：
建立阅读理解模型，所述阅读理解模型使得所述答案与所述探测问题的真实答案相一致；
获取包括表述、证据集和标签的另一训练数据；以及
响应于所述另一训练数据的标签为“支持”，利用所述另一训练数据来训练所述阅读理解模型。
17.根据权利要求12所述的设备，进一步包括：
建立用于联合训练所述短语验证模型和所述表述验证模型的目标函数，所述目标函数使得所述表述真实性与所述标签之间的关系满足预定条件；以及
训练所述短语验证模型和所述表述验证模型包括：利用所述目标函数来联合训练所述短语验证模型和所述表述验证模型。
18.根据权利要求17所述的设备，进一步包括：
获取所述多个短语真实性与所述表述真实性之间的逻辑规则约束；以及
基于所述逻辑规则约束更新所述目标函数，所述目标函数使得所述多个短语真实性和所述表述真实性之间的关系满足所述逻辑规则约束。
19.根据权利要求18所述的设备，其中建立所述目标函数包括：
基于所述表述和所述多个局部前提，确定分别与所述多个短语相关联的多个局部编码；
基于所述表述和所述证据集确定所述表述的全局编码；以及
利用所述标签、所述多个局部编码和所述全局编码作为参数，来确定所述目标函数。
20.根据权利要求19所述的设备，其中建立所述目标函数进一步包括：
基于所述多个局部前提与所述表述的比较，分别确定所述多个短语的多个重要性；
基于所述多个重要性和所述多个局部编码，确定所述表述的上下文编码；
利用所述多个短语真实性、所述上下文编码和所述全局编码作为参数，来确定所述目标函数。
21.一种用于验证表述的真实性的方法，包括：
获取表述和与所述表述相关联的证据集，所述表述表示将被验证的内容，以及所述证据集包括用于支持验证所述表述的所述真实性的至少一个证据；
基于对所述表述的语法分析，将所述表述划分为多个短语；
利用短语验证模型，基于所述证据集来分别确定所述多个短语的多个短语真实性；以及
利用表述验证模型，基于所述证据集和所述多个短语来确定所述表述的表述真实性，其中所述多个短语真实性对所述表述真实性提供解释。
22.根据权利要求21所述的方法，其中确定所述多个短语真实性包括以下至少任一项：
在初始阶段，将所述多个短语真实性分别设置为多个预定初始值；以及
在所述初始阶段之后的后续阶段，基于所述证据集和所述表述真实性来确定所述多个短语真实性。
23.根据权利要求22所述的方法，其中所述方法被迭代地执行，直到所述多个短语真实性和所述表述真实性之间的关系满足预定停止条件。
24.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述设备执行以下动作：
获取表述和与所述表述相关联的证据集，所述表述表示将被验证的内容，以及所述证据集包括用于支持验证所述表述的所述真实性的至少一个证据；
基于对所述表述的语法分析，将所述表述划分为多个短语；
利用短语验证模型，基于所述证据集来分别确定所述多个短语的多个短语真实性；以及
利用表述验证模型，基于所述证据集和所述多个短语来确定所述表述的表述真实性，其中所述多个短语真实性对所述表述真实性提供解释。
25.根据权利要求24所述的设备，其中确定所述多个短语真实性包括以下至少任一项：
在初始阶段，将所述多个短语真实性分别设置为多个预定初始值；以及
在所述初始阶段之后的后续阶段，基于所述证据集和所述表述真实性来确定所述多个短语真实性。
26.根据权利要求25所述的设备，其中所述方法被迭代地执行，直到所述多个短语真实性和所述表述真实性之间的关系满足预定停止条件。
27.一种用于验证表述的真实性的装置，包括：
获取模块，配置用于获取包括表述、证据集和标签的训练数据，所述表述表示被验证的内容，所述证据集包括用于支持验证所述表述的所述真实性的至少一个证据，以及所述标签表示基于所述证据集来验证所述表述的所述真实性的结果；
划分模块，配置用于基于对所述表述的语法分析，将所述表述划分为多个短语；
短语验证模块，配置用于基于所述训练数据和所述多个短语来训练短语验证模型，以使得所述短语验证模型基于所述证据集来分别确定所述多个短语的多个短语真实性；以及
表述验证模块，配置用于基于所述训练数据和所述多个短语来训练表述验证模型，以使得所述表述验证模型基于所述证据集来确定所述表述的表述真实性，其中所述多个短语真实性对所述表述真实性提供解释。
28.一种用于验证表述的真实性的装置，包括：
获取模块，配置用于获取表述和与所述表述相关联的证据集，所述表述表示将被验证的内容，以及所述证据集包括用于支持验证所述表述的所述真实性的至少一个证据；
划分模块，配置用于基于对所述表述的语法分析，将所述表述划分为多个短语；
短语验证模块，配置用于利用短语验证模型，基于所述证据集来分别确定所述多个短语的多个短语真实性；以及
表述验证模块，配置用于利用表述验证模型，基于所述证据集和所述多个短语来确定所述表述的表述真实性，其中所述多个短语真实性对所述表述真实性提供解释。
29.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至10中任一项所述的方法。
30.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求21至23中任一项所述的方法。
31.一种计算机程序产品，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至10中任一项所述的方法。
32.一种计算机程序产品，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求21至23中任一项所述的方法。
CN202111356625.8A 2021-11-16 2021-11-16 用于验证表述的真实性的方法、设备、装置和介质 Active CN114065741B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111356625.8A CN114065741B (zh) 2021-11-16 2021-11-16 用于验证表述的真实性的方法、设备、装置和介质
PCT/CN2022/132139 WO2023088278A1 (zh) 2021-11-16 2022-11-16 用于验证表述的真实性的方法、设备、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111356625.8A CN114065741B (zh) 2021-11-16 2021-11-16 用于验证表述的真实性的方法、设备、装置和介质

Publications (2)

Publication Number Publication Date
CN114065741A true CN114065741A (zh) 2022-02-18
CN114065741B CN114065741B (zh) 2023-08-11

Family

ID=80272972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111356625.8A Active CN114065741B (zh) 2021-11-16 2021-11-16 用于验证表述的真实性的方法、设备、装置和介质

Country Status (2)

Country Link
CN (1) CN114065741B (zh)
WO (1) WO2023088278A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023088278A1 (zh) * 2021-11-16 2023-05-25 北京有竹居网络技术有限公司 用于验证表述的真实性的方法、设备、装置和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173694A1 (en) * 2016-12-21 2018-06-21 Industrial Technology Research Institute Methods and computer systems for named entity verification, named entity verification model training, and phrase expansion
CN109635110A (zh) * 2018-11-30 2019-04-16 北京百度网讯科技有限公司 数据处理方法、装置、设备以及计算机可读存储介质
CN112069321A (zh) * 2020-11-11 2020-12-11 震坤行网络技术(南京)有限公司 用于文本层级分类的方法、电子设备和存储介质
CN112100351A (zh) * 2020-09-11 2020-12-18 陕西师范大学 一种通过问题生成数据集构建智能问答系统的方法及设备
CN112163574A (zh) * 2020-11-23 2021-01-01 南京航天工业科技有限公司 一种基于深度残差网络的etc干扰信号发射机的识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858262B2 (en) * 2014-09-17 2018-01-02 International Business Machines Corporation Information handling system and computer program product for identifying verifiable statements in text
CN110516697B (zh) * 2019-07-15 2021-08-31 清华大学 基于证据图聚合与推理的声明验证方法及系统
CN112396185B (zh) * 2021-01-21 2021-05-11 中国人民解放军国防科技大学 一种事实验证方法、系统、计算机设备和存储介质
CN114065741B (zh) * 2021-11-16 2023-08-11 北京有竹居网络技术有限公司 用于验证表述的真实性的方法、设备、装置和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173694A1 (en) * 2016-12-21 2018-06-21 Industrial Technology Research Institute Methods and computer systems for named entity verification, named entity verification model training, and phrase expansion
CN109635110A (zh) * 2018-11-30 2019-04-16 北京百度网讯科技有限公司 数据处理方法、装置、设备以及计算机可读存储介质
CN112100351A (zh) * 2020-09-11 2020-12-18 陕西师范大学 一种通过问题生成数据集构建智能问答系统的方法及设备
CN112069321A (zh) * 2020-11-11 2020-12-11 震坤行网络技术(南京)有限公司 用于文本层级分类的方法、电子设备和存储介质
CN112163574A (zh) * 2020-11-23 2021-01-01 南京航天工业科技有限公司 一种基于深度残差网络的etc干扰信号发射机的识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023088278A1 (zh) * 2021-11-16 2023-05-25 北京有竹居网络技术有限公司 用于验证表述的真实性的方法、设备、装置和介质

Also Published As

Publication number Publication date
CN114065741B (zh) 2023-08-11
WO2023088278A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
US9922025B2 (en) Generating distributed word embeddings using structured information
CN110427618B (zh) 对抗样本生成方法、介质、装置和计算设备
CN111611810B (zh) 一种多音字读音消歧装置及方法
CN111832312B (zh) 文本处理方法、装置、设备和存储介质
CN111727442A (zh) 使用质量分数来训练序列生成神经网络
US11170169B2 (en) System and method for language-independent contextual embedding
US11669740B2 (en) Graph-based labeling rule augmentation for weakly supervised training of machine-learning-based named entity recognition
US11669687B1 (en) Systems and methods for natural language processing (NLP) model robustness determination
US20220245353A1 (en) System and method for entity labeling in a natural language understanding (nlu) framework
CN116011470A (zh) 翻译、对抗样本生成、模型鲁棒性增强方法及相关装置
WO2018174815A1 (en) Method and apparatus for semantic coherence analysis of texts
US20220245361A1 (en) System and method for managing and optimizing lookup source templates in a natural language understanding (nlu) framework
WO2023088278A1 (zh) 用于验证表述的真实性的方法、设备、装置和介质
Agic et al. Improving part-of-speech tagging accuracy for Croatian by morphological analysis
CN113806489A (zh) 用于数据集创建的方法、电子设备和计算机程序产品
CN111723583B (zh) 基于意图角色的语句处理方法、装置、设备及存储介质
CN113779190A (zh) 事件因果关系识别方法、装置、电子设备与存储介质
CN113705207A (zh) 语法错误识别方法及装置
CN113779199B (zh) 用于文档和摘要的一致性检测的方法、设备、装置和介质
CN116822530A (zh) 一种基于知识图谱的问答对生成方法
US20220237383A1 (en) Concept system for a natural language understanding (nlu) framework
CN113742445B (zh) 文本识别样本获取、文本识别方法及装置
US20220229986A1 (en) System and method for compiling and using taxonomy lookup sources in a natural language understanding (nlu) framework
US20220229990A1 (en) System and method for lookup source segmentation scoring in a natural language understanding (nlu) framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant