CN110990549A - 获取答案的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了获取答案的方法、装置、电子设备及存储介质，属于人工智能技术领域。方法包括：获取目标问题，确定目标问题对应的初始文本。对初始文本进行向量映射，得到目标问题对应的初始文本表示。获取知识信息，基于所述知识信息将所述初始文本表示更新为知识增强的文本表示，所述知识信息包括实体信息、依存信息以及常识信息中的至少一种。根据所述知识增强的文本表示获取所述目标问题的答案。本申请通过至少一种知识信息，将初始文本表示更新为知识增强的文本表示，从而增强所获取的答案与目标问题的匹配度，提高所获取的答案的准确度。

Description

获取答案的方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种获取答案的方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的发展，越来越多的人工智能系统被应用于人们的生活中，自动问答系统便是其中一种。在实施中，用户将问题输入自动问答系统，由该问题常常较为复杂，因而自动问答系统需要针对问题获取文本，基于文本进行多次推理得到问题的答案，再将答案输出给用户。因此，如何通过多次推理实现答案的获取，成为自动问答系统的实施关键。

发明内容

本申请实施例提供了一种获取答案的方法、装置、电子设备及存储介质，以解决相关技术获取答案的准确度不高的问题。所述技术方案如下：

一方面，提供了一种获取答案的方法，所述方法包括：

获取目标问题，确定目标问题对应的初始文本；

对所述初始文本进行向量映射，得到目标问题对应的初始文本表示；

获取知识信息，基于所述知识信息将所述初始文本表示更新为知识增强的文本表示，所述知识信息包括实体信息、依存信息以及常识信息中的至少一种；

根据所述知识增强的文本表示获取所述目标问题的答案。

可选地，所述基于所述知识信息将所述初始文本表示更新为知识增强的文本表示，包括：

根据所述知识信息确定所述初始文本表示的文本单位；

调用神经网络，通过所述神经网络对所述文本单位进行编码，得到知识增强的文本单位；

基于所述知识增强的文本单位，将所述初始文本表示更新为所述知识增强的文本表示。

可选地，当所述知识信息包括依存信息时，所述获取知识信息包括：通过语法分析模型，获取所述初始文本表示所包括的文本单位中的每两个文本单位之间的依存信息；

所述通过所述神经网络对所述文本单位进行编码，得到知识增强的文本单位，包括：

对于任一文本单位，通过所述神经网络基于所述文本单位及所述依存信息进行编码，得到所述知识增强的文本单位。

可选地，通过常识模型，获取所述初始文本表示对应的常识文本表示，将所述常识文本表示作为所述常识信息；

所述通过所述神经网络对所述文本单位进行编码，得到知识增强的文本单位，包括：

对于任一文本单位，通过所述神经网络对所述常识文本表示及所述文本单位进行编码，得到所述知识增强的文本单位。

可选地，所述基于所述知识增强的文本单位，将所述初始文本表示更新为所述知识增强的文本表示，包括：

对所述初始文本表示及所述知识增强的文本表示进行残差连接，得到所述知识增强的文本表示。

可选地，所述根据所述知识增强的文本表示获取所述目标问题的答案，包括：

获取所述目标问题的初始问题表示；

基于所述初始问题表示及所述知识增强的文本表示获取所述目标问题的答案。

可选地，所述基于所述初始问题表示及所述知识增强的文本表示获取所述目标问题的答案，包括：

根据双向注意力机制及所述知识增强的文本单位，将所述初始问题表示更新为知识增强的问题表示；

根据所述双向注意力机制对所述知识增强的文本表示及所述知识增强的问题表示进行交互，得到交互后的文本表示及交互后的问题表示；

根据所述交互后的文本表示获取所述目标问题的答案。

可选地，所述根据所述交互后的文本表示获取所述目标问题的答案，包括：

从所述交互后的文本表示中预测得到答案起始位置及答案终点位置；

将所述答案起始位置及所述答案终点位置之间的交互后的文本表示作为所述目标问题的答案。

一方面，提供了一种获取答案的装置，所述装置包括：

目标问题获取模块，用于获取目标问题，确定所述目标问题对应的初始文本；

映射模块，用于对所述初始文本进行向量映射，得到目标问题对应的初始文本表示；

知识信息获取模块，用于获取知识信息，基于所述知识信息将所述初始文本表示更新为知识增强的文本表示，所述知识信息包括实体信息、依存信息以及常识信息中的至少一种；

答案获取模块，用于根据所述知识增强的文本表示获取所述目标问题的答案。

可选地，所述知识信息获取模块，用于根据所述知识信息确定所述初始文本表示的文本单位；调用神经网络，通过所述神经网络对所述文本单位进行编码，得到知识增强的文本单位；基于所述知识增强的文本单位，将所述初始文本表示更新为所述知识增强的文本表示。

可选地，当所述知识信息包括依存信息时，所述知识信息获取模块，用于通过语法分析模型，获取所述初始文本表示所包括的文本单位中的每两个文本单位之间的依存信息；对于任一文本单位，通过所述神经网络基于所述文本单位及所述依存信息进行编码，得到所述知识增强的文本单位。

可选地，当所述知识信息包括常识信息时，所述知识信息获取模块，用于通过常识模型，获取所述初始文本表示对应的常识文本表示，将所述常识文本表示作为所述常识信息；对于任一文本单位，通过所述神经网络对所述常识文本表示及所述文本单位进行编码，得到所述知识增强的文本单位。

可选地，所述知识信息获取模块，用于对所述初始文本表示及所述知识增强的文本表示进行残差连接，得到所述知识增强的文本表示。

可选地，所述答案获取模块，用于获取所述目标问题的初始问题表示；基于所述初始问题表示及所述知识增强的文本表示获取所述目标问题的答案。

可选地，所述答案获取模块，用于根据双向注意力机制及所述知识增强的文本单位，将所述初始问题表示更新为知识增强的问题表示；根据所述双向注意力机制对所述知识增强的文本表示及所述知识增强的问题表示进行交互，得到交互后的文本表示及交互后的问题表示；根据所述交互后的文本表示获取所述目标问题的答案。

可选地，所述答案获取模块，用于从所述交互后的文本表示中预测得到答案起始位置及答案终点位置；将所述答案起始位置及所述答案终点位置之间的交互后的文本表示作为所述目标问题的答案。

一方面，提供了一种电子设备，所述设备包括存储器及处理器；所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现本实施例的任一种可能的实施方式所提供的获取答案的方法。

另一方面，提供了一种可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现本实施例的任一种可能的实施方式所提供的获取答案的方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

获取目标问题后，通过一种或多种知识信息，将基于目标问题得到的初始文本表示更新为知识增强的文本表示，从而增强所获取的答案与目标问题的匹配度，提高所获取的答案的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的实施环境示意图；

图2是本申请实施例提供的获取答案的方法的流程图；

图3是本申请实施例提供的流程示意图；

图4是本申请实施例提供的流程示意图；

图5是本申请实施例提供的框架示意图；

图6是本申请实施例提供的框架示意图；

图7是本申请实施例提供的框架示意图；

图8是本申请实施例提供的框架示意图；

图9是本申请实施例提供的获取答案的装置的结构示意图；

图10是本申请实施例提供的终端的结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

随着人工智能技术的发展，越来越多的人工智能系统被应用于人们的生活中，自动问答系统便是其中一种。例如，用户将问题输入自动问答系统，由该问题常常较为复杂，因而自动问答系统需要针对问题获取文本，基于文本进行多次推理得到问题的答案，再将答案输出给用户。因此，如何通过多次推理实现答案的获取，成为自动问答系统的实施关键。

本申请实施例提供了一种获取答案的方法，该方法可应用于如图1所示的实施环境中。图1中，包括至少一个终端11和服务器12，终端11可与服务器12进行通信连接，以从服务器12上获取训练好的模型。当然，如果终端11能够自行训练模型，本申请实施例提供的方法也可以不依赖服务器12，而由终端11来执行整体方法流程。

其中，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。

服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。

本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

基于上述图1所示的实施环境，参见图2，本申请实施例提供了一种获取答案的方法，该方法可应用于图1所示的终端中。如图2所示，该方法包括：

步骤201，获取目标问题，确定目标问题对应的初始文本。

其中，目标问题是由用户输入的、待获取答案的问题。由于目标问题常常较为复杂，因而需要针对目标问题获取初始文本，初始文本包括来源于各种公开文献中的一个或多个段落。之后，便可基于初始文本进行多跳推理(multi-hop reasoning)，得到目标问题的答案。在实施中，可从目标问题中获取一个或多个关键词，基于关键词从各种公开文献中进行检索，从而得到上述初始文本。

步骤202，对初始文本进行向量映射，得到目标问题对应的初始文本表示。

在实施中，初始文本表示(Context)是指对初始文本进行映射得到的数值向量，该数值向量用于描述初始文本的语义。对于同一初始文本，可以通过不同的数值向量来描述该初始文本的语义。也就是说，一个初始文本可具有多种初始文本表示。终端通过读取初始文本表示，便可理解初始文本的语义。

对于初始文本表示的获取方式，可基于目标问题从公开文献中检索得到多个参考文本，每个参考文本均为公开文献中的一个段落。之后，将参考文本输入BERT(Bidirectional Encoder Representations from Transformers，基于转换器的双向编码网络)模型，从而将每个参考文本均映射为参考文本表示。接着，根据双向注意力(Bi-Attention)机制，来确定每个参考文本表示与目标问题的相关程度，将与目标问题的相关程度高于参考程度的参考文本表示作为上述初始文本表示。

步骤203，获取知识信息，基于知识信息将初始文本表示更新为知识增强的文本表示。

其中，知识信息包括但不限于实体信息、依存信息以及常识信息中的至少一种。基于知识信息进行更新的作用在于，相比于初始文本表示，终端对基于知识信息更新得到的知识增强的文本表示的理解程度更高。并且，该更新过程可多次迭代进行。迭代是指每根据知识信息中的一种信息将初始文本表示更新为知识增强的文本表示之后，重新将该知识增强的文本表示作为初始文本表示，从而根据上述一种信息或者知识信息中的其他信息再次进行更新。每进行一次迭代，终端对该次迭代所得到的知识增强的文本表示的理解程度都会进一步提高。因此，若终端后续过程中根据多次迭代后得到的知识增强的文本表示来确定目标问题的答案，则该答案会比根据初始文本表示所确定的答案的准确程度更高。

需要说明的是，上述迭代次数不小于知识信息所包括的信息数量。例如在知识信息包括两种信息的情况下，可对两种信息中的任一种使用两次以上进行更新，从而实现三次或更多次迭代。另外，对于知识信息所包括的至少一种信息，本实施例均不对每种信息的应用顺序加以限定。以知识信息包括实体信息及依存信息为例，则可以先根据实体信息进行更新、再根据依存信息进行更新，或者，也可以先根据依存信息进行更新、再根据实体信息进行更新。

在示例性实施例中，更新过程包括：根据知识信息确定初始文本表示的文本单位。调用神经网络，通过神经网络对文本单位进行编码，得到知识增强的文本单位。基于知识增强的文本单位，将初始文本表示更新为知识增强的文本表示。需要说明的是，对于不同的知识信息，该更新过程具有不同的应用形式。接下来，参见图3，以依次应用实体信息、依存信息以及常识信息进行更新为例，对基于不同知识信息实现更新的过程分别加以说明：

首先，通过实体信息增强层(Entity Enhancing Layer)来基于实体信息进行更新。在知识信息包括实体信息的情况下，文本单位可以为初始文本表示中的实体表示，而神经网络可以为GAT(Graph Attention，图注意力)网络。需要说明的是，实体是指初始文本中的专有名词或短语，实体可以由一个或多个词汇排列组成，而实体表示则为对实体进行映射得到的数值向量，实体表示可用于终端理解实体的语义。类似于文本表示，同一实体也可具有多个实体表示，每个实体表示分别通过不同方式描述实体的语义。

对于实体表示的获取方式，可将初始文本表示输入该实体信息增强层，该实体信息增强层针对初始文本表示获取映射矩阵，通过映射矩阵将初始文本表示映射为多个实体表示。参见图3，将初始文本表示标识为C₁，将映射矩阵标识为M_E，将实体表示标识为e_i，多个实体表示构成实体表示集合E₀，则上述得到多个实体表示的映射过程可表示为如下的公式(11)：

E₀＝M_EC₁＝[e₁,...,e_i,...,e_N] (11)

其中，N为初始文本中所包含的实体数量。对于映射得到的N个实体表示，可将每个实体表示均确定为初始文本表示的文本单位，从而调用GAT网络针对任一个实体表示进行编码，将实体表示编码为知识增强的实体表示(下称增强实体表示)。相比于实体表示，终端对于增强实体表示的理解程度更高。将增强实体表示标识为

多个增强实体表示构成增强实体表示集合E_u，从而可按照如下的公式(12)表示上述编码过程：

需要说明的是，终端能够通过编码得到增强实体表示的原因在于，对于任一实体表示，终端进行编码的本质是：结合该实体表示的其他邻接实体表示(相当于上下文信息)提高对该实体表示的理解程度，从而得到理解程度更高的增强实体表示。通过如下的公式(13)-(16)可进一步解释该编码过程：

p_i＝Ue_i+b (13)

在公式(13)中，p_i为实体表示e_i经过线性变换后的表示，U是线性变换的权重矩阵，b是偏置向量，U及b均可通过训练得到。在公式(14)中，p_j为实体表示e_j经过线性变换后得到的表示，e_j是e_i的邻接实体表示，edge_i,j即为e_i与e_j之间的连接关系的表示。

是可通过训练得到的线性变换权重矩阵，

即表示针对p_i、p_j以及edge_i,j三者进行线性变换。之后，再通过激活函数LeakyReLU(Leaky Rectified Linear Unit，带泄漏性修正线性单元)得到用来计算注意力权重的向量表示β_i,j。在公式(15)中，对向量表示β_i,j进行softmax归一化操作，从而得到e_i与e_j之间注意力权重α_i,j。

对于任一实体表示e_i，根据上述公式(13)-(16)可获取该实体表示e_i以及与该实体表示e_i具有连接关系的任一邻接实体表示e_j之间的注意力权重α_i,j。因此，可基于全部邻接实体表示e_j对该实体表示e_i进行更新。在公式(16)中，B_i表示与第i个实体e_i具有连接关系的全部邻接实体表示e_j所构成的集合，通过激活函数ReLU(Rectified Linear Unit，修正线性单元)以及注意力权重α_i,j，将e_i更新为增强实体表示

从而输出

在得到增强实体表示之后，便可基于增强实体表示将初始文本表示更新为实体增强的文本表示。该更新过程可参见如下的公式(17)：

C_E＝LSTM(C₁+M_EE_u) (17)

在公式(17)中，首先通过映射矩阵M_E对增强实体表示集合E_u中的每个增强实体表示

进行映射得到M_EE_u。该映射过程的本质在于，将初始文本表示C₁中的每个实体表示e_i替换为该实体表示e_i对应的增强实体表示

从而得到新文本表示M_EE_u。之后，将M_EE_u与初始文本表示C₁叠加，得到C₁+M_EE_u的叠加结果，并将该叠加结果输入LSTM(Longshort-TermMemory，长短期记忆)网络。在示例性实施例中，上述替换及叠加的过程相当于对初始文本表示及增强实体表示之间的残差连接操作。最终，将LSTM输出的结果作为实体增强的文本表示C_E。可以看出，在通过实体信息对初始文本表示进行更新的过程中，是通过实体表示的邻接实体表示来提高对初始文本表示中每个实体表示的理解程度，相当于终端结合实体的上下文进一步理解了实体的语义，从而得到理解程度更高的实体增强的文本表示。得到实体增强的文本表示之后，便可将实体增强的文本表示作为下一增强层的输入，从而继续根据依存信息对实体增强的文本表示进行更新。

依存信息增强层(Dependency Parsing Layer)用于基于依存信息进行更新。获取依存信息的方式包括：通过语法分析模型，获取初始文本表示所包括的文本单位中的每两个文本单位之间的依存信息。需要说明的是，这里的初始文本表示是指输入依存信息增强层的文本表示。在图3所示的依存信息增强层串接在实体信息增强层之后的情况下，依存信息增强层的输入即为实体信息增强层的输出，因而这里的初始文本表示为上述实体信息增强层输出的实体增强的文本表示C_E。而文本单位可以为实体增强的文本表示中的词汇，每个词汇均为终端可理解的向量形式，则C_E＝[h₁,...,h_i,...,h_L]，h_i为实体增强的文本表示中第i个词汇，L为实体增强的文本表示的长度，即实体增强的文本表示所包括的所有词汇数量。神经网络可以为GCN(Graph Convolutional Networks，图卷积神经网络)。

需要说明的是，语法分析模型是指根据训练语句训练得到的、具有对不同词汇进行语法分析能力的模型。因此，将实体增强的文本表示所包括的所有词汇输入该语法分析模型，该语法分析模型则可对不同词汇进行语法分析，确定词汇之间是否具有语法关联，或者具有怎样的语法关联程度，从而得到不同词汇之间的语法关联信息。之后，将不同词汇之间的语法关联信息作为依存信息进行输出。

对于所获取的依存信息，上述通过神经网络对文本单位进行编码，得到知识增强的文本单位，包括：对于任一词汇，通过GCN基于词汇及依存信息进行编码，得到依存增强的词汇。与任一词汇相比，终端对于依存增强的词汇的理解程度更高。需要说明的是，终端能够将词汇编码为依存增强的词汇的原因在于，编码过程中通过词汇的依存信息确定该词汇与其他词汇的语法关联，从而提高对词汇的理解程度，进而得到依存增强的词汇。将依存增强的词汇标识为

该编码过程可表示为如下的公式(21)：

其中，

是根据每两个词汇之间的依存信息确定的邻接矩阵，

是邻接矩阵中的元素，其表示第i个词汇h_i与第j个词汇h_j是否具有语法关联。该邻接矩阵可等价转换为依存图，在依存图中具有语法关联的两个词汇之间通过边相连，则词汇h_i所具有的边数量即为与该词汇具有语法关联的词汇数量，该数量也称为词汇h_i的度数，

即为词汇h_i在依存图

中的度数。Wh_j代表对词汇h_j进行线性变换得到的表示，W是可训练的线性变换权重矩阵，b是可训练的偏置向量。最后，激活函数σ为sigmoid函数，通过该激活函数便可得到依存增强的词汇

在得到依存增强的词汇之后，便可基于依存增强的词汇将实体增强的文本表示更新为依存增强的文本表示。该更新过程可参见如下的公式(22)及(23)：

P_u＝GCN(C_E,P) (22)

C_P＝LSTM(C₁+P_u) (23)

在公式(22)中，C_E为实体增强的文本表示，C_E＝[h₁,...,h_i,...,h_L]，P为上述依存信息，将实体增强的文本表示C_E所包括的每个词汇h_i替换为该词汇h_i对应的依存增强的词汇

便可得到新文本表示P_u，

之后，再按照公式(23)将新文本表示P_u与初始文本表示C₁进行叠加。并将该叠加结果输入LSTM，最终LSTM输出的结果作为依存增强的文本表示C_p。可以看出，在通过依存信息进行更新的过程中，通过与词汇具有语法关联的其他词汇来提高对实体增强的文本表示中每个词汇的理解程度，从而提高了对实体增强的文本表示的理解程度，进而得到比实体增强的文本表示理解程度更高的依存增强的文本表示。得到依存增强的文本表示之后，将依存增强的文本表示作为下一增强层的输入，从而继续根据常识信息对依存增强的文本表示进行更新。

常识信息增强层(Commonsense Enhancing Layer)用于基于常识信息进行更新。获取常识信息的方式包括：通过常识模型，获取初始文本表示对应的常识文本表示，将常识文本表示作为常识信息。需要说明的是，这里的初始文本表示是指输入常识信息增强层的文本表示，在图3所示的常识信息增强层串接在依存信息增强层之后的情况下，初始文本表示即为上述依存增强的文本表示C_P。另外，文本单位可以为依存增强的文本表示中的词汇，每个词汇均为终端可理解的向量形式。将依存增强的文本表示中的第i个词汇标识为c_i，依存增强的文本表示的长度等于实体增强的文本表示的长度L，则C_p＝[c₁,...,c_i,...,c_L]。神经网络可以为CS-ATT(Commonsense Attention，常识注意力)网络。

另外，常识文本表示是对常识文本进行映射得到的数值向量，用于终端理解常识文本的语义，而常识文本是与依存增强的文本表示具有上位或下位的概念关联的文本。将常识文本表示标识为E^CS，则

M为常识文本表示的长度，即常识文本表示中所包括的常识词汇数量，

为常识文本表示中的第i个常识词汇。常识模型是根据多个语句组训练得到的模型，每个语句组所包括的多个语句之间具有上位或下位的概念关联，从而使得训练好的常识模型具有获取与输入语句的概念相关的常识语句的能力。因此，将依存增强的文本表示输入训练好的常识模型，则该常识模型便会输出上述常识文本表示作为常识信息。

需要说明的是，终端对依存增强的文本表示进行理解所能够获取到的信息量往往比较有限，因而可能由于信息缺失而造成所获取的答案的准确度较低。而获取常识文本表示的作用在于，终端通过理解常识文本表示，能够在依存增强的文本表示的基础上获取到更多的信息，从而弥补了信息的缺失，提高了后续获取到的答案的准确度。

对于所获取的常识信息，通过神经网络对文本单位进行编码，得到知识增强的文本单位，包括：对于任一词汇，通过CS-ATT网络对常识文本表示及词汇进行编码，得到常识增强的词汇。相比于任一词汇，常识增强的词汇所描述的信息数量多于词汇所描述的信息数量。该编码过程可参见如下的公式(31)-(34)：

在公式(31)中，

是对常识文本表示中的第j个常识词汇

进行线性变换和激活函数操作所得到的表示。在公式(32)中，c_i是指依存增强的文本表示中的第i个词汇，

表示c_i与

之间的内积，

及

均表示可训练的线性变换矩阵。通过公式(32)可计算得到用于计算注意力权重的权重向量

在公式(33)中，通过对权重向量

进行softmax归一化处理，得到依存增强的文本表示中第i个词汇c_i与常识文本表示中的第j个常识词汇

之间的注意力权重

在公式(34)中，基于注意力权重

对

进行加权平均操作，从而基于常识词汇确定出与依存增强的文本信息中第i个词汇c_i对应的一个词汇表示

需要说明的是，依存增强的文本表示中的词汇与常识文本表示中的常识词汇并非一一对应的关系，而只是依存增强的文本表示这一整体与常识文本表示这一整体之间存在概念关联。在实施中，正是通过上述公式(31)-(34)，对依存增强的文本表示中的每个词汇c_i，均确定出了一个与该词汇唯一对应的表示

以便于后续根据该词汇表示

对词汇c_i进行更新，从而得到常识增强的词汇。

之后，对于依存增强的文本信息中的任一词汇c_i，利用门控注意力机制，按照如下的公式(35)及(36)将ci更新为常识增强的词汇

在公式(35)中，将c_i和其对应的词汇表示

拼接，并通过线性变换和激活操作，得到用于控制常识信息的引入的权值z_i，W_z是可训练的线性变换权重矩阵，b_z是可训练的偏置向量，σ是sigmoid函数。最后，通过上述公式(36)的门控机制，根据权值z_i将依存增强的文本表示中的词汇c_i更新为常识增强的词汇

在得到常识增强的词汇之后，便可基于常识增强的词汇将依存增强的文本表示更新为常识增强的文本表示。该更新过程可参见如下的公式(37)及(38)：

在公式(37)中，C_P为依存增强的文本表示，E^CS为上述词汇表示的集合，

将依存增强的文本表示中的每个词汇c_i替换为常识增强的词汇

便可得到新文本表示

之后，再按照公式(38)将新文本表示

与初始文本表示C₁进行叠加，得到叠加结果

最后，将该叠加结果输入LSTM，最终LSTM输出的结果作为常识增强的文本表示C_S。

需要说明的是，上述依次应用实体信息、依存信息以及常识信息进行更新的过程可表示为如图4所示的串行结构。在本实施例中，还可以应用如图5所示的并行结构，从而同步执行两次或三次更新过程。

步骤204，根据知识增强的文本表示获取目标问题的答案。

在实施中，根据知识增强的文本表示获取目标问题的答案，包括：获取目标问题的初始问题表示，基于初始问题表示及知识增强的文本表示获取目标问题的答案。

其中，初始问题表示是对目标问题映射得到的数值向量，初始问题表示用于终端理解目标问题的语义。在实施中，可在交互层(Interaction Layer)中根据双向注意力机制对初始问题表示Q₁以及知识增强的文本表示进行交互，从而根据交互后的文本表示来获取目标问题的答案。通过该交互过程，可将用于获取答案的文本中的实体或词汇按照更贴近目标问题的形式进行表示，从而提高获取答案的准确性。

需要说明的是，在交互层中进行交互之后，交互层分别输出交互后的问题表示及交互后的文本表示。交互后的问题表示以及交互后的文本表示还可再次作为实体信息增强层、依存信息增强层以及常识信息增强层中的任一层的输入，从而继续对交互后的问题表示及交互后的文本表示进行知识增强。

或者，在示例性实施例中，基于初始问题表示及知识增强的文本表示获取目标问题的答案，包括如下的步骤A1-A3：

步骤A1，根据双向注意力机制及知识增强的文本单位，将初始文本表示更新为知识增强的文本表示。

在每次对初始文本表示进行更新的过程中，均可根据双向注意力机制以及该次更新过程所得到的知识增强的文本单位，将初始问题表示更新为知识增强的问题表示。根据双向注意力机制对初始问题表示进行更新的本质在于，将初始问题表示中原有的文本单位(实体表示或词汇)替换为知识增强的文本单位。根据以上说明可知，终端对知识增强的文本单位的理解程度较高，或者知识增强的文本单位所包括的信息量较多，因而通过上述替换过程，可以使得终端提高对初始问题表示的理解程度，从而得到知识增强的问题表示。

参见图6，仍依次应用实体信息、依存信息以及常识信息对初始文本表示进行更新为例，对得到知识增强的问题表示进行说明。首先，实体信息增强层中所得到的知识增强的文本单位为增强实体表示E_u，因而根据增强实体表示将初始问题Q₁表示更新为实体增强的问题表示Q_E。之后，依存信息增强层将实体增强的问题表示Q_E作为输入，依存信息增强层所得到的知识增强的文本单位为依存增强的词汇P_u，因而根据依存增强的词汇P_u将实体增强的问题表示Q_E再次更新为依存增强的问题表示Q_P。最后，常识信息增强层将依存增强的问题表示Q_P作为输入，根据常识增强的词汇

将依存增强的问题表示更新为常识增强的问题表示Q_s，从而完成对于初始问题表示的更新过程。对于初始问题表示的更新过程可参见如下的公式(41)-(43)，公式中的bi-ATT表示上述双向注意力机制：

步骤A2，根据双向注意力机制对知识增强的文本表示及知识增强的问题表示进行交互，得到交互后的文本表示及交互后的问题表示。

该交互过程也可在交互层中执行。仍参见图6，在依次应用实体信息、依存信息以及常识信息进行更新之后，知识增强的文本表示是指常识增强的文本表示Cs，知识增强的问题表示是指常识增强的问题表示Qs，则可根据双向注意力机制对Cs及Qs进行交互。在该交互过程中，若Cs与Qs中具有同样的实体或词汇，则将Cs中该实体或词汇的表示替换成该实体或词汇在Qs中的表示。

另外，在应用实体信息、依存信息以及常识信息中的至少一种对初始问题表示进行更新的过程中，既可以按照如图7所示的串行结构进行更新，又可以按照如图8所示的并行结构进行更新，本实施例不对更新方式加以限定。

步骤A3，根据交互后的文本表示获取目标问题的答案。

在示例性实施例中，根据交互后的文本表示获取答案的方式包括：从交互后的文本表示中预测得到答案起始位置及答案终点位置，将答案起始位置及答案终点位置之间的交互后的文本表示作为目标问题的答案。

对于交互后的文本表示，可将其输入预测层，从而由预测层输出答案起始位置及答案终点位置，进而可从交互后的文本表示中提取两个位置之间的文本表示，将两个位置之间的文本表示所对应的文本作为目标问题的答案输出。另外，预测层还可输出支撑性事实(supporting facts)，支撑性事实是指文本中用于推理得到答案的语句。换言之，终端是根据该支撑性事实推理得到目标问题的答案的。输出支撑性事实的作用在于，方便用户对终端所输出的答案的正误进行判断。

通过本实施例所提供的方法获取答案的准确度可参见如下的表1及表2，表1及表2中的EM及F1是问答系统的评测指标，评测指标的值越高表示问答系统的效果越好，即所获取的答案的准确程度越高。其中，模型整体实验效果为非公开的测试集数据结果，模型消融实验为验证集数据结果：

表1

表2

综上所述，本实施例通过至少一种知识信息，将初始文本表示更新为知识增强的文本表示，从而增强所获取的答案与目标问题的匹配度，提高所获取的答案的准确度。

基于相同构思，本申请实施例提供了一种获取答案的装置，参见图9，该装置包括：

目标问题获取模块901，用于获取目标问题，确定目标问题对应的初始文本；

映射模块902，用于对初始文本进行向量映射，得到目标问题对应的初始文本表示；

知识信息获取模块903，用于获取知识信息，基于知识信息将初始文本表示更新为知识增强的文本表示，知识信息包括实体信息、依存信息以及常识信息中的至少一种；

答案获取模块904，用于根据知识增强的文本表示获取目标问题的答案。

可选地，知识信息获取模块903，用于根据知识信息确定初始文本表示的文本单位；调用神经网络，通过神经网络对文本单位进行编码，得到知识增强的文本单位；基于知识增强的文本单位，将初始文本表示更新为知识增强的文本表示。

可选地，当知识信息包括依存信息时，知识信息获取模块903，用于通过语法分析模型，获取初始文本表示所包括的文本单位中的每两个文本单位之间的依存信息；对于任一文本单位，通过神经网络基于文本单位及依存信息进行编码，得到知识增强的文本单位。

可选地，当知识信息包括常识信息时，知识信息获取模块903，用于通过常识模型，获取初始文本表示对应的常识文本表示，将常识文本表示作为常识信息；对于任一文本单位，通过神经网络对常识文本表示及文本单位进行编码，得到知识增强的文本单位。

可选地，知识信息获取模块903，用于对初始文本表示及知识增强的文本表示进行残差连接，得到知识增强的文本表示。

可选地，答案获取模块904，用于获取目标问题的初始问题表示；基于初始问题表示及知识增强的文本表示获取目标问题的答案。

可选地，答案获取模块904，用于根据双向注意力机制及知识增强的文本单位，将初始问题表示更新为知识增强的问题表示；根据双向注意力机制对知识增强的文本表示及知识增强的问题表示进行交互，得到交互后的文本表示及交互后的问题表示；根据交互后的文本表示获取目标问题的答案。

可选地，答案获取模块904，用于从交互后的文本表示中预测得到答案起始位置及答案终点位置；将答案起始位置及答案终点位置之间的交互后的文本表示作为目标问题的答案。

综上所述，本实施例通过至少一种知识信息，将初始文本表示更新为知识增强的文本表示，从而增强所获取的答案与目标问题的匹配度，提高所获取的答案的准确度。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

参见图10，其示出了本申请实施例提供的一种终端1000的结构示意图。该终端1000可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1000包括有：处理器1001和存储器1002。

处理器1001可以包括一个或多个处理核心，比如4核心处理器、10核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)所组成的群组中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏1005所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的获取答案的方法。

在一些实施例中，终端1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、显示屏1005、摄像头1006、音频电路1007、定位组件1008和电源1009所组成的群组中的至少一种。

外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置终端1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在再一些实施例中，显示屏1005可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。

定位组件1008用于定位终端1000的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。

加速度传感器1010可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1012可以检测终端1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1013可以设置在终端1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时，可以检测用户对终端1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时，由处理器1001根据用户对显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件所组成的群组中的至少一种。

指纹传感器1014用于采集用户的指纹，由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份，或者，由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1001授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时，指纹传感器1014可以与物理按键或厂商Logo集成在一起。

光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制显示屏1005的显示亮度。具体地，当环境光强度较高时，调高显示屏1005的显示亮度；当环境光强度较低时，调低触示屏10010的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。

接近传感器1016，也称距离传感器，通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时，由处理器1001控制显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时，由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图10中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

基于相同构思，提供了一种电子设备，设备包括存储器及处理器；存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现本实施例的任一种可能的实施方式所提供的获取答案的方法。

基于相同构思，提供了一种可读存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现本实施例的任一种可能的实施方式所提供的获取答案的方法。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种获取答案的方法，其特征在于，所述方法包括：

获取目标问题，确定所述目标问题对应的初始文本；

对所述初始文本进行向量映射，得到目标问题对应的初始文本表示；

获取知识信息，基于所述知识信息将所述初始文本表示更新为知识增强的文本表示，所述知识信息包括实体信息、依存信息以及常识信息中的至少一种；

根据所述知识增强的文本表示获取所述目标问题的答案。

2.根据权利要求1所述的方法，其特征在于，所述基于所述知识信息将所述初始文本表示更新为知识增强的文本表示，包括：

根据所述知识信息确定所述初始文本表示的文本单位；

调用神经网络，通过所述神经网络对所述文本单位进行编码，得到知识增强的文本单位；

基于所述知识增强的文本单位，将所述初始文本表示更新为所述知识增强的文本表示。

3.根据权利要求2所述的方法，其特征在于，当所述知识信息包括依存信息时，所述获取知识信息包括：

通过语法分析模型，获取所述初始文本表示所包括的文本单位中的每两个文本单位之间的依存信息；

所述通过所述神经网络对所述文本单位进行编码，得到知识增强的文本单位，包括：

对于任一文本单位，通过所述神经网络基于所述文本单位及所述依存信息进行编码，得到所述知识增强的文本单位。

4.根据权利要求2所述的方法，其特征在于，当所述知识信息包括常识信息时，所述获取知识信息，包括：

通过常识模型，获取所述初始文本表示对应的常识文本表示，将所述常识文本表示作为所述常识信息；

所述通过所述神经网络对所述文本单位进行编码，得到知识增强的文本单位，包括：

对于任一文本单位，通过所述神经网络对所述常识文本表示及所述文本单位进行编码，得到所述知识增强的文本单位。

5.根据权利要求2-4任一所述的方法，其特征在于，所述基于所述知识增强的文本单位，将所述初始文本表示更新为所述知识增强的文本表示，包括：

对所述初始文本表示及所述知识增强的文本单位进行残差连接，得到所述知识增强的文本表示。

6.根据权利要求2-5任一所述的方法，其特征在于，所述根据所述知识增强的文本表示获取所述目标问题的答案，包括：

获取所述目标问题的初始问题表示；

基于所述初始问题表示及所述知识增强的文本表示获取所述目标问题的答案。

7.根据权利要求6所述的方法，其特征在于，所述基于所述初始问题表示及所述知识增强的文本表示获取所述目标问题的答案，包括：

根据双向注意力机制及所述知识增强的文本单位，将所述初始问题表示更新为知识增强的问题表示；

根据所述双向注意力机制对所述知识增强的文本表示及所述知识增强的问题表示进行交互，得到交互后的文本表示及交互后的问题表示；

根据所述交互后的文本表示获取所述目标问题的答案。

8.根据权利要求7所述的方法，其特征在于，所述根据所述交互后的文本表示获取所述目标问题的答案，包括：

从所述交互后的文本表示中预测得到答案起始位置及答案终点位置；

将所述答案起始位置及所述答案终点位置之间的交互后的文本表示作为所述目标问题的答案。

9.一种获取答案的装置，其特征在于，所述装置包括：

目标问题获取模块，用于获取目标问题，确定所述目标问题对应的初始文本；

映射模块，用于对所述初始文本进行向量映射，得到目标问题对应的初始文本表示；

知识信息获取模块，用于获取知识信息，基于所述知识信息将所述初始文本表示更新为知识增强的文本表示，所述知识信息包括实体信息、依存信息以及常识信息中的至少一种；

答案获取模块，用于根据所述知识增强的文本表示获取所述目标问题的答案。

10.一种电子设备，其特征在于，所述设备包括存储器及处理器；所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现权利要求1-8任一所述的获取答案的方法。

11.一种可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1-8任一所述的获取答案的方法。

Images