CN116821294A - 一种基于隐式知识反刍的问答推理方法和装置 - Google Patents

Abstract

本发明公开了一种基于隐式知识反刍的问答推理方法和装置，定义任务引导提示，每个任务引导提示包括提示语句和多个遮蔽词；利用知识反刍模型对任务引导提示、输入问题文本以及候选答案的拼接结果进行知识反刍得到隐式反刍知识；对隐式反刍知识做映射得到两个投影向量；基于包含自注意力模块和前馈神经神经网络的预训练语言模型构建问答推理模型，利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态，该隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，两个投影向量分别拼接到两层提取特征末尾实现对提取特征的扩展，基于扩展特征进行问答预测，以提升问答推理的准确性。

Description

一种基于隐式知识反刍的问答推理方法和装置

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于隐式知识反刍的问答推理方法和装置。

背景技术

预训练语言模型以预训练、提示和预测范式展示了卓越的能力，成为了自然语言处理社区的基础设施。然而，仅有的预训练语言模型缺乏处理知识密集型任务的能力，如常识推理和开放域问答等高级功能。这需要研究人员关注增强预训练语言模型与外部知识源的趋势。

预训练语言模型隐含了大量的知识。这说明此类预训练语言模型可以通过将知识库关系(其中/>为头实体，/>为关系，/>为尾实体)中已知的实体或者关系转换为自然语言模板，预测未知的实体或关系进行知识图谱补全等任务。基于这一发现，研究人员试图将预训练语言模型视为知识库，一些研究利用预训练语言模型自动构建知识图谱。同时，一些其他研究发现预训练语言模型所拥有的知识可以用于增强模型在下游任务中的性能。

然而，尽管预训练语言模型在经验上获得了成功，预训练语言模型可能已经在其参数中编码了丰富的知识，但在处理知识密集型任务时未能成功地利用它们。以试点实验为例，如果使用知识探究来探索预训练语言模型。给定一个问题：“如果一只鸟是食肉动物，那么它很可能是什么？”，可以注意到预训练语言模型已经知道其参数中的“食肉动物很可能是捕食者”的知识；然而令人惊讶的是，尽管模型已经知道相关的常识知识，经过微调的预训练语言模型选择了错误的答案：“猎物”。

先前的工作通常借助外部资源来促进预训练语言模型处理知识密集型情况的能力。其中一种方法是将问题与知识库相结合，利用问题和检索到的知识进行推理。由于预训练语言模型也可以被视为知识库，因此最近的几项研究提出将大型语言模型(例如GPT-3)视为外部资源，用于为下游任务提取知识。这背后的思路是当前的利用预训练语言模型的方法尚未充分利用模型参数中的知识。

先前的研究表明，预训练语言模型包含大量的隐式知识，研究者曾试图利用其构建知识图谱，生成知识用于增强模型在下游任务中的性能。除此之外，一些研究提出通过检索大模型中的知识然后微调小模型来利用预训练语料库中的知识。多项研究证明，大型语言模型确实存储了大量知识并具有巨大的潜力，检索相关的事实知识能够增强模型在各类下游任务中的性能，并且能够节省维护外部知识库的成本。

发明内容

鉴于上述，本发明的目的是提供一种基于隐式知识反刍的问答推理方法和装置，通过引入隐式知识反刍来帮助模型在处理知识密集型任务时进行深思熟虑思考，以提升问答推理的准确性。

为实现上述发明目的，实施例提供的一种基于隐式知识反刍的问答推理方法，包括以下步骤：

定义任务引导提示，每个任务引导提示包括提示语句和多个遮蔽词；

将任务引导提示、输入问题文本以及候选答案拼接后输入基于预训练语言模型构建的知识反刍模型中，利用知识反刍模型预测遮蔽词的隐藏状态作为隐式反刍知识；

采用投影网路分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量；

基于包含自注意力模块和前馈神经神经网络的预训练语言模型构建问答推理模型，利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态，该隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，两个投影向量分别拼接到两层提取特征末尾实现对提取特征的扩展，基于扩展特征进行问答预测。

优选地，所述任务引导提示包括：

第一类任务引导提示：据我所知+多个遮蔽词[MASK]；

第二类任务引导提示：关于<关键实体>，我知道+多个遮蔽词[MASK]；

第三类任务引导提示：关于情感分析任务，据我所知+多个遮蔽词[MASK]。

优选地，所述关键实体从输入问题文本中提取得到，具体提取过程为：

从输入问题文本和候选答案组中提取多个实体，将每个实体与输入问题文本以及候选答案组拼接后经过编码器模型来得到实体结合输入问题文本上下文的相似嵌入向量，并将该相似嵌入向量激活得到语义相关概率，并基于语义相关概率计算每个实体的相关性评分，筛选相关性评分高的实体作为关键实体。

优选地，采用以下公式基于语义相关概率计算每个实体的相关性评分：

其中，z_i和z_j分别表示输入问题文本q中第i个和第j个实体的语义相关概率，表示第i个实体m_i的相关性评分。

优选地，基于预训练语言模型构建的知识反刍模型包括固定参数的预训练语言模型和在预训练语言模型的中间层前添加的能够被训练的前缀连续标记。

优选地，所述投影网络为2层全连接网络，利用2层全连接网分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量，用公式表示为：

φ_k＝W_k·r

φ_v＝W_v·r

其中，r表示隐式反刍知识，W_k和W_v表示两个全连接层的权重，W_k和W_v随机初始化并在训练过程中更新，φ_k和φ_v表示两个投影向量，

优选地，问答推理模型中，提取特征和扩展过程为：

FFN(H)＝f(H·[φ_k:K])·[φ_v:V]

其中，K和V表示隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，φ_k和φ_v表示两个投影向量，H表示利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态。

优选地，所述知识反刍模型、投影网络和问答推理模型在被应用之前需要经过参数优化，优化时采用的推理问答分类损失函数为：

其中，q表示输入问题文本，r表示隐式反刍知识，P(a_i∣q,r)表示问答推理模型基于(q,r)作为输入后输出答案a_i的条件概率，Q(a_i∣q)为指示函数，当输出答案a_i与正确答案a_k相等时，Q(a_i∣q)为1，否则为0，表示候选答案组。

优选地，还包括：将输入问题文本所在的前提上下文作为预训练语言模型的输入，利用自注意力模块基于输入问答文本、前提上下文以及候选答案组提取隐藏状态；

所述2个全连接网络和问答推理模型在被应用之前需要经过参数优化，优化时采用的推理问答分类损失函数为：

其中，q表示输入问题文本，r表示隐式反刍知识c表示前提上下文，P(a_i∣c,q,r)表示问答推理模型基于(c,q,r)作为输入后输出答案a_i的条件概率，Q(a_i∣c,q)为指示函数，当输出答案a_i与正确答案a_k相等时，Q(a_i∣c,q)为1，否则为0，表示候选答案组。

为实现上述发明目的，实施例还提供了一种基于隐式知识反刍的问答推理装置，包括任务引导提示定义单元、隐式知识反刍单元、空间映射单元、问题推理单元；

所述引导提示定义单元用于定义任务引导提示，每个任务引导提示包括提示语句和多个遮蔽词；

所述隐式知识反刍单元用于将任务引导提示、输入问题文本以及候选答案拼接后输入基于预训练语言模型构建的知识反刍模型中，利用知识反刍模型预测遮蔽词的隐藏状态作为隐式反刍知识；

所述空间映射单元用于利用投影网络分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量；

所述问题推理单元用于基于包含自注意力模块和前馈神经神经网络的预训练语言模型构建问答推理模型，利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态，该隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，两个投影向量分别拼接到两层提取特征末尾实现对提取特征的扩展，基于扩展特征进行问答预测。

与现有技术相比，本发明具有的有益效果至少包括：

在构建任务引导提示的基础上，利用知识反刍模型对任务引导提示与输入问题文本的拼接结果进行知识反刍，得到隐式反刍知识，并将隐式反刍知识注入到问题推理模型中，由于知识反刍模型和问答推理模型都是可微的神经网络，在训练期间，梯度于问答推理模型中产生，回流到知识反刍模型中同时更新前缀连续标记的参数，这有助于学习审查和巩固有用的事实信息来提高问答推理任务的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于隐式知识反刍的问答推理方法的流程图；

图2是实施例提供的基于隐式知识反刍的问答推理方法中基于模型的推理过程图；

图3是实施例提供的基于隐式知识反刍的问答推理装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明的发明构思为：传统的提示学习方法和微调方法不能很好的利用到模型中的参数知识，导致事实知识的理解和表示能力不强，进而影响问答推理任务的准确度。现有的技术通过将问题置于知识库中，并根据问题和检索到的知识进行推理。最近的研究表明预训练模型也可以被视为知识存储，为下游任务引出知识，然而这仍然都需要从外部资源(知识库或大语言模型)寻求帮助。针对此现状，实施例提供了一种基于隐式知识反刍的问答推理方法和装置。通过知识反刍方法帮助预训练语言模型回忆起预训练阶段中见到的相关语料和事实知识的神经表征。并且在进行具体任务时，将隐式知识进行反刍重新理解巩固而无需从外部语料库中检索。知识反刍的方法与模型的结构无关，可以轻易地应用于任何已知的预训练语言模型，方法具有良好的泛化性。

图1是实施例提供的基于隐式知识反刍的问答推理方法的流程图。如图1所示，实施例提供的基于隐式知识反刍的问答推理方法，包括以下步骤：

S110，定义任务引导提示，每个任务引导提示包括提示语句和多个遮蔽词。

实施例中，通过将输入问题文本和候选答案组拼接并进行目标实体抽取，通过构建提示以唤起关于这些目标实体的记忆。但需要注意的是有些实体包含无关信息，可能会转移注意力。为了解决这个问题，实施例中提出了实体相关性评分。

具体地，从输入问题文本和候选答案组中提取多个实体，将每个实体与输入问题文本以及候选答案组拼接后经过编码器模型G_enc来得到实体结合输入问题文本上下文的相似嵌入向量，并将该相似嵌入向量激活得到语义相关概率z_i，并基于语义相关概率z_i计算每个实体的相关性评分筛选相关性评分高的实体作为关键实体，用公式表示为：

z_i＝f_cls(G_enc([q；a；m_i]))

其中，z_i和z_j分别表示输入问题文本q中第i个和第j个实体的语义相关概率，表示第i个实体m_i的相关性评分，G_enc编码输入问题文本q的嵌入向量与其中第i个实体m_i的嵌入向量对应的相似嵌入向量，f_cls表示回归函数，用于回归计算语义相关概率，N表示输入问题文本中实体的个数，基于相关性评分筛选关键实体，通过相关性较高的实体构建提示利于模型更好的回顾模型参数中存储的事实知识，a表示候选答案。

经分析，回顾关键实体的先验知识有助于提升模型对问题的理解，并且模型可能会获得有关任务本身的潜在知识，举例说明为：针对情感分析任务通过回忆“关于情感分析，据我所知......”可能会获得对于情感分类的隐式知识。因此实施例使用三种不同类型的任务引导提示来探索预训练模型的隐式知识，其分别为：

第一类任务引导提示：据我所知+多个遮蔽词[MASK]；

第二类任务引导提示：关于<关键实体>，我知道+多个遮蔽词[MASK]；

第三类任务引导提示：关于情感分析任务，据我所知+多个遮蔽词[MASK]。

其中，据我所知；关于<关键实体>，我知道；以及关于情感分析任务，据我所知均为提示词。

S120，将任务引导提示与输入问题文本和候选答案拼接后输入基于预训练语言模型构建的知识反刍模型中，利用知识反刍模型预测遮蔽词的隐藏状态作为隐式反刍知识。

实施例中，基于预训练语言模型构建的知识反刍模型包括固定参数的预训练语言模型和在预训练语言模型的中间层前添加的能够被训练的前缀连续标记。知识反刍与模型的结构无关，可以轻易地应用于任何已知的预训练语言模型。实例中，为了使得知识反刍模型能够回顾更匹配的知识，将其中间层前添加可训练的前缀连续标记，连续标记随着训练过程进行参数的更新，原有预训练语言模型参数不变，这样在中间层通过添加前缀连续标记提升维度并对这部分维度的参数进行局部优化以更好地学习先验知识，从而提高反刍知识的质量。

如图2所示，将任务引导提示p_q与输入问题文本q以及候选答案a_i拼接后输入基于预训练语言模型构建的知识反刍模型G_θ中，利用知识反刍模型G_θ预测遮蔽词的隐藏状态h_MASK作为隐式反刍知识r，用公式表示为：

r＝f_mask(G_θ([p_q；q；a_i]))

其中，f_mask表示从知识反刍模型G_θ的输出中获取h_MASK。预训练语言模型可以是Bert、RoBERTa这类编码器式模型。

S130，采用投影网络分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量。

实施例中，投影网络采用2层全连接网络，即利用2层全连接网络分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量，用公式表示为：

φ_k＝W_k·r

φ_v＝W_v·r

其中，r表示隐式反刍知识，W_k和W_v表示两个全连接层的权重，W_k和W_v随机初始化并在训练过程中更新，φ_k和φ_v表示两个投影向量，

S140，构建问答推理模型，并将两个投影向量合并到问答推理模型中进行特征扩展，并基于扩展特征进行问答预测。

实施例中，问答推理模型基于预训练语言模型实现在隐式反刍知识r的帮助下回答问题或进行推理任务。该预训练语言模型包括自注意力模块和前馈神经神经网络(FeedForward Network，FFN)。有研究发现FFN作为知识神经元或技能神经元，说明FFN可以存储事实信息并有编码任务特定的技能，受到这些研究的启发，实施例中将隐式反刍知识r融入FFN中，实施例选择FFN中顶层的线性层来重新消化(注入)隐式反刍知识r，通过将反刍产生的隐式反刍知识嵌入连接到线性层的末尾来扩展FFN从而利用反刍到的事实信息。

具体地，如图2所示，利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态H，该隐藏状态经过前馈神经神经网络中模拟键值网络K和V的2层线性层得到提取特征K和V，然后将两个投影向量φ_k和φ_v分别拼接到两层提取特征K和V的末尾实现对提取特征的扩展，基于扩展特征K_E和K_V进行问答预测，输出模型在反刍事实巩固的前提下分类预测的结果，具体用公式表示为：

FFN(H)＝f(H·K_E)·V_E＝f(H·[φ_k:K])·[φ_v:V]

其中，[:]表示拼接操作。该问答推理模型将在反刍知识的帮助下回答问题。对于无法编辑源代码的模型，实施例通过简单地将生成的隐式反刍知识与问题文本连接起来作为模型的输入。

为了使隐式反刍知识更易于人类解释，将矢量化知识转换为符号文本。举例说明为：在“什么可能有一颗关爱的心？”这个问题中，[MASK]标记包含诸如“人”、“心”和“喜欢”之类的词；实例中还将隐式知识r映射到预训练的语料库空间，这是因为记忆和事实知识是在预训练期间构建的。模型回忆起了对一个有爱心的人的记忆，“一个好人，他帮助受害者和受压迫的人，总是对他的朋友表现出极大的关心。”实例中进行了密集嵌入的相似性搜索，以确保检索到与生成的隐式知识表示最相似的预训练内容。这表明模型在预训练期间已经记住了这些信息，如果给它一个思考反刍的机会，模型能够进行事实的巩固。

实施例中，所述知识反刍模型、投影网络和问答推理模型在被应用之前需要经过参数优化，具体地，利用构建的问答推理分类损失来优化问答推理模型和投影网络的参数，并通过反向传播更新知识反刍模型的参数。

优化时采用的推理问答分类损失函数为：

其中，q表示输入问题文本，r表示隐式反刍知识，P(a_i∣q,r)表示问答推理模型基于(q,r)作为输入后输出答案a_i的条件概率，Q(a_i∣q)为指示函数，当输出答案a_i与正确答案a_k相等时，Q(a_i∣q)为1，否则为0，表示候选答案组。

实施例中，还包括将输入问题文本所在的前提上下文作为预训练语言模型的输入，利用自注意力模块基于输入问答文本、前提上下文以及候选答案组提取隐藏状态，此情况下，优化时采用的问答推理分类损失函数为：

其中，q表示输入问题文本，r表示隐式反刍知识c表示前提上下文，P(a_i∣c,q,r)表示问答推理模型基于(c,q,r)作为输入后输出答案a_i的条件概率，Q(a_i∣c,q)为指示函数，当输出答案a_i与正确答案a_k相等时，Q(a_i∣c,q)为1，否则为0，表示候选答案组。

实施例提供的基于隐式知识反刍的问答推理方法，通过引入隐式知识反刍来帮助模型在处理知识密集型任务时进行深思熟虑的思考，通过让模型首先回顾存储在参数中的相关知识来模仿自然界中的反刍过程，然后巩固这些知识来更好地解决相关下游任务。针对单独训练知识反刍模型需要对所有训练实例进行昂贵的反刍知识注释的技术问题，使用知识反刍模型的上下文嵌入表示输出作为隐式反刍知识注入到问答推理模型中，这样在训练过程中，这有助于它学习审查和巩固有用的事实信息来提高问答推理任务的性能。

实施例提供的基于隐式知识反刍的问答推理方法中，利用预训练模型隐式知识反刍方法的问答以及推理问答模型提升了在少样本和零样本场景下的能力。当数据量足够多时，问答推理模型在全监督场景下表现也十分突出。

科技与同样的发明构思，如图3所示，实施例还提供一种基于隐式知识反刍的问答推理装置300，包括任务引导提示定义单元310、隐式知识反刍单元320、空间映射单元330、问题推理单元340；

其中，引导提示定义单元310用于定义任务引导提示，每个任务引导提示包括提示语句和多个遮蔽词；隐式知识反刍单元320用于将任务引导提示与输入问题文本拼接后输入基于预训练语言模型构建的知识反刍模型中，利用知识反刍模型预测遮蔽词的隐藏状态作为隐式反刍知识；空间映射单元330用于利用投影网络分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量；问题推理单元340用于基于包含自注意力模块和前馈神经神经网络的预训练语言模型构建问答推理模型，利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态，该隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，两个投影向量分别拼接到两层提取特征末尾实现对提取特征的扩展，基于扩展特征进行问答预测。

需要说明的是，上述实施例提供的基于隐式知识反刍的问答推理装置在进行基于隐式知识反刍的问答推理时，应以上述各功能单元的划分进行举例说明，可以根据需要将上述功能分配由不同的功能单元完成，即在终端或服务器的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于隐式知识反刍的问答推理装置与基于隐式知识反刍的问答推理方法实施例属于同一构思，其具体实现过程详见基于隐式知识反刍的问答推理方法实施例，这里不再赘述。

实验例

在多项选择问答任务中，以DeBERTa-Large作为知识反刍模型和问答推理模型的基础预训练语言模型，通过问题文本q、前提上下文c从候选答案集a中选择最正确的答案a_k。当输入问题文本为“谁可能有一颗关爱的心？”，候选答案集为(“人”，“物种”，“哺乳动物”，“活的动物”)时，使用实施例提供的基于隐式知识反刍的问答推理方法进行问答的过程为：

(1)基于输入模板对输入问题文本进行转换，经过拼接输入变为“[CLS]问题：谁可能有一颗关爱的心？答案：人”。其中“答案”是候选答案集中的选项之一，实施例中仅展示了“人”这一候选答案的情况，其他候选答案原理相同。

(2)构建三种不同的任务引导提示：

1.“[CLS]问题：谁可能有一颗关爱的心？答案：人。据我所知[MASK][MASK][MASK][MASK]…”

2.“[CLS]问题：谁可能有一颗关爱的心？答案：人。关于<关爱,人>我知道[MASK][MASK][MASK][MASK]…”。

3.“[CLS]问题：谁可能有一颗关爱的心？答案：人。关于多项选择问答任务我知道[MASK][MASK][MASK][MASK]...”。

(3)利用知识反刍模型获得反刍提示语句[MASK]位置的嵌入向量，将嵌入向量进行拼接得到隐式反刍知识r；

(4)将隐式反刍知识r合并到问答推理模型的线性层中，获得输入问题文本的语义表征嵌入向量，利用预测回归模块对此语义表征嵌入向量进行回归，得到反刍知识增强下的语义概率P(a_i|c,q,r)，其中答案为人的概率为0.74。

在情感分类任务中，以DeBERTa-Large作为知识反刍模型和问答推理模型的基础预训练语言模型，分类的标签空间为(消极，积极)。当输入问题文本为“这次活动十分精彩！”时，使用实施例提供的基于隐式知识反刍的问答推理方法进行情感分类的过程为：

(1)构建提示模板对输入问题文本进行转换，经过提示模板转换后输入变为“[CLS]这次活动十分精彩！它是[MASK][SEP]”。

(2)构建三种不同的反刍提示语句：

1.“[CLS]这次活动内容精彩！据我所知[MASK][MASK]…”

2.“[CLS]这次活动内容精彩！关于<精彩>我知道[MASK][MASK]…”。

3.“[CLS]这次活动内容精彩！关于情感分析任务我知道[MASK][MASK]...”。

(3)利用知识反刍模型获得反刍提示语句[MASK]位置的嵌入向量，将嵌入向量进行拼接得到隐式反刍知识r；

(4)将隐式反刍知识r合并到问答推理模型的线性层中，获得输入实例文本[MASK]位置的嵌入向量，利用预测分类模块对此嵌入向量进行分类，得到反刍知识增强下的预测概率P(yi|q)，其中，标签为“消极”的概率是0.2，“积极”的概率为0.8。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于隐式知识反刍的问答推理方法，其特征在于，包括以下步骤：

定义任务引导提示，每个任务引导提示包括提示语句和多个遮蔽词；

将任务引导提示、输入问题文本以及候选答案拼接后输入基于预训练语言模型构建的知识反刍模型中，利用知识反刍模型预测遮蔽词的隐藏状态作为隐式反刍知识；

采用投影网路分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量；

基于包含自注意力模块和前馈神经神经网络的预训练语言模型构建问答推理模型，利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态，该隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，两个投影向量分别拼接到两层提取特征末尾实现对提取特征的扩展，基于扩展特征进行问答预测。

2.根据权利要求1所述的基于隐式知识反刍的问答推理方法，其特征在于，所述任务引导提示包括：

第一类任务引导提示：据我所知+多个遮蔽词[MASK]；

第二类任务引导提示：关于<关键实体>，我知道+多个遮蔽词[MASK]；

第三类任务引导提示：关于情感分析任务，据我所知+多个遮蔽词[MASK]。

3.根据权利要求2所述的基于隐式知识反刍的问答推理方法，其特征在于，所述关键实体从输入问题文本中提取得到，具体提取过程为：

从输入问题文本和候选答案组中提取多个实体，将每个实体与输入问题文本以及候选答案组拼接后经过编码器模型来得到实体结合输入问题文本上下文的相似嵌入向量，并将该相似嵌入向量激活得到语义相关概率，并基于语义相关概率计算每个实体的相关性评分，筛选相关性评分高的实体作为关键实体。

4.根据权利要求3所述的基于隐式知识反刍的问答推理方法，其特征在于，采用以下公式基于语义相关概率计算每个实体的相关性评分：

其中，z_i和z_j分别表示输入问题文本q中第i个和第j个实体的语义相关概率，表示第i个实体m_i的相关性评分。

5.根据权利要求3所述的基于隐式知识反刍的问答推理方法，其特征在于，基于预训练语言模型构建的知识反刍模型包括固定参数的预训练语言模型和在预训练语言模型的中间层前添加的能够被训练的前缀连续标记。

6.根据权利要求1所述的基于隐式知识反刍的问答推理方法，其特征在于，所述投影网络为2层全连接网络，利用2层全连接网分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量，用公式表示为：

φ_k＝W_k·r

φ_v＝W_v·r

其中，r表示隐式反刍知识，W_k和W_v表示两个全连接层的权重，W_k和W_v随机初始化并在训练过程中更新，φ_k和φ_v表示两个投影向量。

7.根据权利要求1所述的基于隐式知识反刍的问答推理方法，其特征在于，问答推理模型中，提取特征和扩展过程为：

FFN(H)＝f(H·[φ_k:K])·[φ_v:V]

其中，K和V表示隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，φ_k和φ_v表示两个投影向量，H表示利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态。

8.根据权利要求1所述的基于隐式知识反刍的问答推理方法，其特征在于，所述知识反刍模型、投影网络和问答推理模型在被应用之前需要经过参数优化，优化时采用的推理问答分类损失函数为：

其中，q表示输入问题文本，r表示隐式反刍知识，P(a_i∣q,r)表示问答推理模型基于(q,r)作为输入后输出答案a_i的条件概率，Q(a_i∣q)为指示函数，当输出答案a_i与正确答案a_k相等时，Q(a_i∣q)为1，否则为0，表示候选答案组。

9.根据权利要求1所述的基于隐式知识反刍的问答推理方法，其特征在于，还包括：将输入问题文本所在的前提上下文作为预训练语言模型的输入，利用自注意力模块基于输入问答文本、前提上下文以及候选答案组提取隐藏状态；

所述2个全连接网络和问答推理模型在被应用之前需要经过参数优化，优化时采用的推理问答分类损失函数为：

其中，q表示输入问题文本，r表示隐式反刍知识c表示前提上下文，P(a_i∣c,q,r)表示问答推理模型基于(c,q,r)作为输入后输出答案a_i的条件概率，Q(a_i∣c,q)为指示函数，当输出答案a_i与正确答案a_k相等时，Q(a_i∣c,q)为1，否则为0，表示候选答案组。

10.一种基于隐式知识反刍的问答推理装置，其特征在于，包括任务引导提示定义单元、隐式知识反刍单元、空间映射单元、问题推理单元；

所述引导提示定义单元用于定义任务引导提示，每个任务引导提示包括提示语句和多个遮蔽词；

所述隐式知识反刍单元用于将任务引导提示、输入问题文本以及候选答案拼接后输入基于预训练语言模型构建的知识反刍模型中，利用知识反刍模型预测遮蔽词的隐藏状态作为隐式反刍知识；

所述空间映射单元用于利用投影网络分别对隐式反刍知识做映射以将隐式反刍知识投影到匹配的向量空间得到两个投影向量；

所述问题推理单元用于基于包含自注意力模块和前馈神经神经网络的预训练语言模型构建问答推理模型，利用自注意力模块基于输入问答文本和候选答案组提取隐藏状态，该隐藏状态经过前馈神经神经网络的2层线性层得到提取特征，两个投影向量分别拼接到两层提取特征末尾实现对提取特征的扩展，基于扩展特征进行问答预测。