CN108647233A - 一种用于问答系统的答案排序方法 - Google Patents

Abstract

一种用于问答系统的答案排序方法，获取输入的问题及其候选答案集合，通过知识感知注意力机制计算得到问题和每个候选参考答案之间的相关程度，从而根据相关程度对各个候选答案进行排序。该方法实际上构建了一个基于知识感知注意力机制的答案排序模型，通过该答案排序模型对问题、答案的文本以及外部知识共同建模，得到信息量更加丰富的句子特征表示，能够对问题和答案之间隐藏的背景知识进行挖掘，极大程度地解决了在文本信息不足情况下问答系统准确率不高的问题，使得问答系统可通过问题和每个候选答案之间的相关程度对所有候选答案进行排序，快速地从众多候选答案中找到匹配程度最高的答案，进而利于提高问答系统的准确率和用户体验感。

Description

一种用于问答系统的答案排序方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种用于问答系统的答案排序方法。

背景技术

随着认知神经、深度学习等领域的持续发展，人工智能逐渐涉足各个领域，致力于改善人们的生活。在人工智能的时代，人类期望有更简单自然的方式与机器进行交互，因此以自然语言为交互方式的智能机器人广受青睐，而其底层核心技术之一，即为自然语言问答系统(简称问答系统，包括诸如声音、文字、动作等语言形式的问答系统)，该系统通过问题语义和知识语义的理解以及相似度计算，使计算机理解人类语言与知识表达的关联属性，跨越语义鸿沟。目前，问答系统主要应用领域包括智能聊天机器人、智能客服、社区问答网站、精准信息检索等。许多研究机构与公司都在将这种自然语言问答系统应用于自己的产品中，如IBM的Watson，苹果的Siri，百度的度秘，微软的小冰等。

问答系统，是语义计算和自然语言处理的综合性应用系统，它包含了多种典型自然语言处理的基本模型，例如实体识别、短文本理解、语义匹配、答案选择排序等，其中，答案的选择排序是至关重要的一项技术，广泛应用于各类型的问答系统中，如社区问答、事实型问答、检索型问答。目前，已有的许多答案选择排序的算法或模型采用了深度学习模型和注意力机制，极大程度地获得了较传统算法的在准确度方面的提升，但当前的这些算法或模型都仅仅关注问题和答案文本本身所能提供的信息，而忽视了与文本相关的已存在的许多背景知识，而这些背景知识仅从问题和答案的文本信息中是无法获取的，这就使得问题和各个答案之间的匹配性差，问答系统的准确率低，如此，导致用户往往不能通过问答系统获得所需要的答案，实际体验性差。

发明内容

本发明主要解决的技术问题是如何获知问答系统中问题和各个参考答案之间的匹配程度，以提高问答系统的准确率和用户体验感。为解决上述技术问题，本发明提供了一种用于问答系统的的答案选择排序方法。

根据第一方面，本发明公开了一种用于问答系统的答案排序方法，包括以下步骤：

步骤S10，获取输入的问题及其候选答案集合；

步骤S20，分别获取所述问题基于文本的句子向量表示，以及候选答案集合中每个候选答案基于文本的句子向量表示；

步骤S30，分别获取所述问题基于知识的句子向量表示，以及候选答案集合中每个候选答案基于知识的句子向量表示；

步骤S40，对于候选答案集合中每个候选答案，根据该候选答案基于文本的句子向量表示和基于知识的句子向量表示，以及所述问题基于文本的句子向量表示和基于知识的句子向量表示，计算得到该候选答案基于知识感知的句子向量，以及该候选答案下所述问题基于知识感知的句子向量；

步骤S50，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量和该候选答案下所述问题基于知识感知的句子向量，计算该候选答案与所述问题的相关程度；

步骤S60，根据候选答案集合中每个候选答案与所述问题的相关程度，对候选答案集合中各候选答案进行排序，得到针对所述问题的答案的排序。

所述步骤S20包括：

步骤S21，分别获取所述问题和每个候选答案的文本信息及其对应的句子实体向量，其中每个文本信息包括若干个词，每个词对应一个句子实体向量；

步骤S23，对于所述问题，根据该问题的文本信息对应的各个句子实体向量，计算得到所述问题基于文本的句子向量表示；

步骤S25，对于候选答案集合中的每个候选答案，根据该候选答案的文本信息对应的各个句子实体向量，计算得到该候选答案基于文本的句子向量表示。

所述步骤S23包括：将所述问题的文本信息对应的各个句子实体向量输入到一个双向长短期记忆网络中进行计算，以得到所述问题基于文本的句子向量表示；

所述步骤S25包括：对于候选答案集合中的每个候选答案，将该候选答案的文本信息对应的各个句子实体向量输入到一个双向长短期记忆网络中进行计算，以得到该候选答案基于文本的句子向量表示。

所述步骤S30，包括：

步骤S31，对于所述问题对应的每个句子实体向量，根据一知识图谱的分布式向量表示从该知识图谱中为该问题对应的每个句子实体向量都选择若干个候选实体，以得到该问题对应的每个句子实体向量对应的候选实体集；对于候选答案集合中每个候选答案对应的每个句子实体向量，根据所述知识图谱的分布式向量表示从该知识图谱中为该候选答案对应的每个句子实体向量都选择若干个候选实体，以得到每个候选答案对应的每个句子实体向量对应的候选实体集；

步骤S33，对于所述问题，在所述问题基于文本的句子向量表示的指导下，分别根据所述问题的每个句子实体向量对应的候选实体集，计算得到所述问题的每个句子实体向量对应的候选实体集所对应的实体向量表示；对于候选答案集合中每个候选答案，在该候选答案基于文本的句子向量表示的指导下，分别根据该候选答案的每个句子实体向量对应的候选实体集，计算得到该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示；

步骤S35，对于所述问题，根据所述问题的每个句子实体向量对应的候选实体集所对应的实体向量表示，计算得到该问题基于知识的句子向量表示；对于候选答案集合中每个候选答案，根据该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示，计算得到该候选答案基于知识的句子向量表示。

在所述步骤S31中，所述根据一知识图谱的分布式向量表示从该知识图谱中为该问题对应的每个句子实体向量都选择若干个候选实体，包括：确定一用实体-关系-实体的三元组形式表示的知识图谱，根据知识嵌入表示学习方法得到该知识图谱的分布式向量表示，根据该分布式向量关系和N-Gram匹配方法对所述问题对应的每个句子实体向量进行实体识别和连接，以从该知识图谱中为该问题对应的每个句子实体向量都选择若干个候选实体；所述对于候选答案集合中每个候选答案对应的每个句子实体向量，根据所述知识图谱的分布式向量表示从该知识图谱中为该候选答案对应的每个句子实体向量都选择若干个候选实体，包括：确定一用实体-关系-实体的三元组形式表示的知识图谱，根据知识嵌入表示学习方法得到该知识图谱的分布式向量表示，根据该分布式向量关系和N-Gram匹配方法对该候选答案对应的每个句子实体向量进行实体识别和连接，以从该知识图谱中为该候选答案对应的每个句子实体向量都选择若干个候选实体；

所述步骤S33包括：将所述问题基于本文的句子实体向量表示以及所述问题的每个句子实体向量对应的候选实体集输入到一个注意力机制模型中进行计算，以得到所述问题的每个句子实体向量对应的候选实体集所对应的实体向量表示；对于候选答案集合中的每个候选答案，将该候选答案基于本文的句子实体向量表示以及该候选答案的每个句子实体向量对应的候选实体集输入到一个注意力机制模型中进行计算，以得到该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示；

所述步骤S35包括：将所述问题的各个句子实体向量对应的候选实体集所对应的实体向量表示都输入一个卷积神经网络，以计算得到所述问题基于知识的句子向量表示；对于候选答案集合中每个候选答案，将该候选答案的各个句子实体向量对应的候选实体集所对应的实体向量表示都输入一个卷积神经网络，以计算得到该候选答案基于知识的句子向量表示。

所述步骤S40包括：

步骤S41，对于候选答案集合中的每个候选答案，根据该候选答案基于文本的句子向量表示以及所述问题基于文本的句子向量表示，计算该候选答案基于文本的注意力向量，以及该候选答案下所述问题基于文本的注意力向量；

步骤S43，对于候选答案集合中的每个候选答案，根据该候选答案基于知识的句子向量表示以及所述问题基于知识的句子向量表示，计算该候选答案基于知识的注意力向量，以及该候选答案下所述问题基于知识的注意力向量；

步骤S45，对于候选答案集合中的每个候选答案，根据该候选答案基于文本的句子向量表示、基于知识的句子向量表示和基于知识的注意力向量，计算得到该候选答案基于知识感知的句子向量；以及，根据所述问题基于文本的句子向量表示、基于知识的向量表示和该候选答案下所述问题基于知识的注意力向量，计算得到该候选答案下所述问题基于知识感知的句子向量。

所述步骤S41，包括：对于候选答案集合中的每个候选答案，根据所述问题基于文本的句子向量表示和该候选答案基于文本的句子向量表示得到基于文本的注意力矩阵，对所述基于文本的注意力矩阵分别进行纵向和横向的最大池化运算，分别得到该候选答案基于文本的注意力向量，以及该候选答案下所述问题基于文本的注意力向量；

所述步骤S43，包括：对于候选答案集合中的每个候选答案，根据所述问题基于知识的句子向量表示和该候选答案基于知识的句子向量表示得到基于知识的注意力矩阵，对所述基于知识的注意力矩阵分别进行纵向和横向的最大池化运算，分别得到该候选答案基于知识的注意力向量，以及该候选答案下所述问题基于知识的注意力向量；

所述步骤S45，包括：对于候选答案集合中的每个候选答案，将该候选答案基于文本的注意力向量以及基于知识的注意力向量进行融合得到该候选答案基于知识感知的注意力向量，将该候选答案基于文本的句子向量表示、基于知识的句子向量表示和基于知识感知的注意力向量进行点乘运算得到基于感知的句子向量；将所述问题基于文本的注意力向量以及基于知识的注意力向量进行融合得到该候选答案下所述问题基于知识感知的注意力向量，将所述问题基于文本的句子向量表示、基于知识的向量表示和该候选答案下所述问题基于感知的注意力向量进行点乘运算得到该候选答案下所述问题基于知识感知的句子向量。

所述步骤S50包括：

步骤S51，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量和该候选答案下所述问题基于知识感知的句子向量，计算得到该候选答案与所述问题的双线性相似度以及相应的重叠特征X_feat；

步骤S53，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量、该候选答案下所述问题基于知识感知的句子向量、该候选答案与所述问题的双线性相似度和重叠特征X_feat，计算得到该候选答案与所述问题的相关程度。

所述步骤S53，包括：对于候选答案集合中每个候选答案，将该候选答案基于知识感知的句子向量、该候选答案下所述问题基于知识感知的句子向量、该候选答案与所述问题的双线性相似度和重叠特征X_feat输入softmax函数进行二分类计算，得到该候选答案与所述问题的相关程度。

根据第二方面，本发明公开了一种计算机存储介质，包括：包括程序，所述程序能够被处理器执行以实现上述的方法。

本发明的有益效果是：

依据上述实施例的用于问答系统的答案排序方法，获取输入的问题及其候选答案集合，获取该问题的和候选答案集合中每一个候选答案的基于文本的句子向量表示、基于知识的句子向量表示和基于知识感知的句子向量，以计算问题和每个候选参考答案之间的相关程度，从而根据相关程度对各个候选答案进行排序。由于该方法实际上构建了一个基于知识感知注意力机制的答案排序模型，通过该答案排序模型对问题、答案的文本以及外部知识共同建模，得到信息量更加丰富的句子特征表示，能够对问题和答案之间隐藏的背景知识进行挖掘，极大程度地解决了在文本信息不足情况下问答系统准确率不高的问题，使得在采用本申请的答案排序方法时，可通过问题和每个候选答案之间的相关程度对所有候选答案进行排序，方便问答系统快速地从众多候选答案中找到匹配程度最高的答案，进而利于提高问答系统的准确率和用户体验感。

附图说明

图1为一实施例的答案排序方法的流程示意图；

图2为一实施例的基于文本的句子向量表示获取过程的流程图；

图3为一实施例的基于知识的句子向量表示获取过程的流程图；

图4为一实施例的基于知识感知的句子向量获取过程的流程图；

图5为一实施例的候选答案与问题的相关程度的获取过程的流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

为适应当前时代知识的大爆发情形，知识图谱构建技术得以飞速发展，涌现了一批高质量的开源大型知识图谱(知识图谱，是指结构化的语义知识库，以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体-关系-实体”三元组，通过知识图谱可以实现Web从网页链接向概念链接的转变，其构建技术包括信息抽取、知识融合、实体连接、知识合并、知识推理、知识更新等环节)，如Freebase，YAGO，DBpedia等，此类知识图谱的出现为问答系统提供了结构化、关联化的知识来源，这也为更加高效、准确的问题回答提供了知识素材。因此，将知识图谱应用于答案选择排序的方法之中是一个非常值得研究的问题，其关键是如何将知识图谱中结构化的符号型数据和从文本数据中学习得到的离散向量相结合。针对知识图谱中结构化的数据表示(数据表示，是指机器硬件能直接识别和引用的数据类型)，可采用知识嵌入表示方法来学习知识的分布式表示，利用知识嵌入表示方法将知识图谱信息引入到深度学习模型之中。因此，本发明的构思在于，使用知识嵌入方法将外部知识图谱信息引入答案选择排序模型中，利用知识感知注意力机制挖掘问题和答案文本中隐藏的背景知识，最大限度地避免在缺少背景知识情况下基于文本的答案选择排序方法所导致的答案准确率不高的情形，从而提高问答系统的答案准确率。

请参考图1，本申请公开了一种用于问答系统的答案排序方法，包括步骤S10-S60，下面分别说明。

步骤S10，从问答系统中获取已在该问答系统中输入的问题及其候选答案集合，这里的问答系统包括智能聊天机器人、智能客服、社区问答网站、精准信息检索等应用平台。为便于下文进行说明，用q表示输入的问题，用a(包括各个候选答案：a₁、a₂…a_i…a_n，下标i表示任意整数)表示候选答案集合。

步骤S20，分别获取问题基于文本的句子向量表示，以及候选答案集合中每个候选答案基于文本的句子向量表示。在一实施例中，步骤S20可以包括步骤S21-S25，下面具体说明。。

步骤S21，分别获取问题q和每个候选答案的文本信息及其对应的句子实体向量，其中每个文本信息包括若干个词，每个词对应一个句子实体向量。

步骤S23，对于问题，根据该问题的文本信息对应的各个句子实体向量，计算得到问题基于文本的句子向量表示。在一具体实施例中，将问题q的文本信息对应的各个句子实体向量输入到一个双向长短期记忆网络中进行计算，以得到问题基于文本的句子向量表示Q_init。

这里提及的双向长短期神经网络(Long Short-Term Memory，简称LSTM)是递归神经网络(RNN)的一种，属于现有技术，其计算方式如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

g_t＝tanh(W_c·[h_t-1,x_t]+b_c)

c_t＝f_tc_t-1+i_tg_t

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

h_t＝o_ttanh(c_t)

其中，下标t为当前一句子实体向量的输入时间；x_t为t时刻对应的句子实体向量的输入量；W_i、b_i为输入门i_t的权重；W_f、b_f为遗忘门f_t的权重；W_o、b_o为输出门o_t的权重；W_c、b_c为细胞状态转移的权重；h_t为t时刻长短期记忆网络的输出量。

这里的双向长短期记忆网络不单学习了过去的上下文信息，同时学习了未来的上下文信息。在t时刻，双向长短期记忆网络从正向网络中得到从反向网络中得到最终的网络的输出量为那么，可得到问题q和答案a_i的基于文本的句子向量表示(H_init为各个时刻h_t的集合形式，其中，上标L和上标d_h分别为句子实体向量的个数和神经网络隐藏层的维度)。

当将根据问题q的文本信息对应的各个句子实体向量输入至该双向长短期记忆网络时，得到问题基于文本的句子向量表示Q_init(Q_init为H_init的一种表现形式)。

步骤S25，对于候选答案集合中的每个候选答案，根据该候选答案a_i的文本信息对应的各个句子实体向量，计算得到该候选答案基于文本的句子向量表示。在一具体实施例中，将候选答案a_i的文本信息对应的各个句子实体向量输入到步骤S23所示的双向长短期记忆网络中进行计算，得到该候选答案基于文本的句子向量表示A_init(A_init为H_init的另一种表现形式)。

步骤S30，分别获取所述问题基于知识的句子向量表示，以及候选答案集合中每个候选答案基于知识的句子向量表示。在一实施例中，步骤S30可以包括步骤S31-S35，下面具体说明。

步骤S31，对于问题对应的每个句子实体向量，根据一知识图谱的分布式向量表示从该知识图谱中为该问题对应的每个句子实体向量都选择若干个候选实体，以得到该问题对应的每个句子实体向量对应的候选实体集；对于候选答案集合中每个候选答案对应的每个句子实体向量，根据上述的知识图谱的分布式向量表示从该知识图谱中为该候选答案对应的每个句子实体向量都选择若干个候选实体，以得到每个候选答案对应的每个句子实体向量对应的候选实体集。

在一具体实施例中，根据一知识图谱的分布式向量表示从该知识图谱中为问题q对应的每个句子实体向量都选择若干个候选实体，包括以下过程：

(1)确定一用实体-关系-实体的三元组形式表示的知识图谱，根据知识嵌入表示学习方法(知识嵌入表示学习方法为现有技术，这里不再对其进行说明)得到该知识图谱的分布式向量表示，这里的知识图谱即指是前文提及的指结构化的语义知识库；

(2)根据上步得到的分布式向量关系和N-Gram匹配方法对问题q对应的每个句子实体向量进行实体识别和连接，以从该知识图谱中为问题q对应的每个句子实体向量都选择若干个候选实体。假设从知识图谱中提供K个候选实体，那么，对于问题对应的在t时刻输入的句子实体向量，K个候选实体可以用候选实体集进行表示，其中上标d_e为实体集的维度。

则可以理解，对于候选答案集合中每个候选答案对应的每个句子实体向量，可以根据过程(1)中知识图谱的分布式向量表示从该知识图谱中为该候选答案a_i对应的每个句子实体向量都选择若干个候选实体，具体过程可参考过程(1)和过程(2)，最终得到候选答案集合a中每个候选答案对应的在t时刻输入的句子实体向量对应的候选实体集

这里的N-gram匹配方法是指给定的一段文本中N个项目的序列模型，属于计算机语言学和概率论范畴内的概念。N-gram通常基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积，即正句的概率可以通过直接从问中统计N个词同时出现的次数得到。

步骤S33，对于问题，在问题基于文本的句子向量表示的指导下，分别根据问题的每个句子实体向量对应的候选实体集，计算得到问题的每个句子实体向量对应的候选实体集所对应的实体向量表示；对于候选答案集合中每个候选答案，在该候选答案基于文本的句子向量表示的指导下，分别根据该候选答案的每个句子实体向量对应的候选实体集，计算得到该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示。

在一具体实施例中，将问题基于本文的句子实体向量表示Q_init以及问题q的每个句子实体向量对应的候选实体集Eq(t)输入到一个注意力机制模型中进行计算，以得到问题q的每个句子实体向量对应的候选实体集所对应的实体向量表示同样，对于候选答案集合a中的每个候选答案，将该候选答案基于本文的句子实体向量表示A_init以及该候选答案a_i的每个句子实体向量对应的候选实体集Ea(t)输入到一个注意力机制模型中进行计算，以得到该候选答案a_i的每个句子实体向量对应的候选实体集所对应的实体向量表示

这里的注意力机制模型属于现有技术，可用下面公式进行表示。

m(t)＝W_emE(t)+W_hmH_init

其中，W_em、W_hm、w_ms为需要学习的注意力参数；m(t)为文本指导的候选实体向量；s(t)为文本指导的注意力权重；H_init为Q_init和A_init的统一表示形式；E(t)为Eq(t)和Ea(t)的统一表示形式，上标T表示转置运算。将t时刻对应的实体候选集中的每个候选实体进行加权运算，从而得到候选实体E(t)对应的的实体向量表示其为和的统一表示形式。

步骤S35，对于问题，根据问题的每个句子实体向量对应的候选实体集所对应的实体向量表示，计算得到该问题基于知识的句子向量表示；对于候选答案集合中每个候选答案，根据该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示，计算得到该候选答案基于知识的句子向量表示。

在一具体实施例中，将问题q的各个句子实体向量对应的候选实体集所对应的实体向量表示都输入一个卷积神经网络，以计算得到问题基于知识的句子向量表示Q_know；对于候选答案集合a中每个候选答案，将该候选答案a_i的各个句子实体向量对应的候选实体集所对应的实体向量表示都输入一个卷积神经网络，以计算得到该候选答案基于知识的句子向量表示A_know。这里可用对Q_know和A_know进行统一表示，其中上标d_f为卷积神经网络的输出维度。

这里的卷积神经网络，是一种深度前馈人工神经网络，人工神经元可以响应周围单元以进行数据处理，通常包括卷积层和池化层。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法，多应用于图像识别领域，属于现有技术。

步骤S40，对于候选答案集合中每个候选答案，根据该候选答案基于文本的句子向量表示和基于知识的句子向量表示，以及所述问题基于文本的句子向量表示和基于知识的句子向量表示，计算得到该候选答案基于知识感知的句子向量，以及该候选答案下所述问题基于知识感知的句子向量。在一实施例中，步骤S40可以包括步骤S41-S45，下面具体说明。

步骤S41，对于候选答案集合中的每个候选答案，根据该候选答案基于文本的句子向量表示以及问题基于文本的句子向量表示，计算该候选答案基于文本的注意力向量，以及该候选答案下问题基于文本的注意力向量。

在一具体实施例中，对于候选答案集合a中的每个候选答案，根据问题基于文本的句子向量表示Q_init和该候选答案基于文本的句子向量表示A_init得到基于文本的注意力矩阵M_init，对该基于文本的注意力矩阵M_init分别进行纵向和横向的最大池化运算，分别得到该候选答案基于文本的注意力向量Az_init，以及该候选答案下问题基于文本的注意力向量Qz_init。

获得注意力矩阵M_init的具体计算公式可以表示为

其中，U_init为需要学习的参数矩阵，上标T表示转置运算。

此外，这里的最大池化运算是神经网络中的一种算法，属于现有技术，因此，这里不再对其进行说明。

步骤S43，对于候选答案集合中的每个候选答案，根据该候选答案基于知识的句子向量表示以及问题基于知识的句子向量表示，计算该候选答案基于知识的注意力向量，以及该候选答案下问题基于知识的注意力向量。

在一具体实施例中，对于候选答案集合a中的每个候选答案，根据问题基于知识的句子向量表示Q_know和该候选答案基于知识的句子向量表示A_know得到基于知识的注意力矩阵M_know，对所述基于知识的注意力矩阵分别进行纵向和横向的最大池化运算，分别得到该候选答案基于知识的注意力向量Az_know，以及该候选答案下问题基于知识的注意力向量Qz_know。

获得注意力矩阵M_know的具体计算公式可以表示为

其中，U_know为需要学习的参数矩阵。这里所使用的最大池化运算可参见步骤S41。

步骤S45，对于候选答案集合中的每个候选答案，根据该候选答案基于文本的句子向量表示、基于知识的句子向量表示和基于知识的注意力向量，计算得到该候选答案基于知识感知的句子向量；以及，根据问题基于文本的句子向量表示、基于知识的向量表示和该候选答案下问题基于知识的注意力向量，计算得到该候选答案下问题基于知识感知的句子向量。

在一具体实施例中，对于候选答案集合a中的每个候选答案，将该候选答案基于文本的注意力向量Az_init以及基于知识的注意力向量Az_know进行融合得到该候选答案基于知识感知的注意力向量α_a，将该候选答案基于文本的句子向量表示A_init、基于知识的句子向量表示A_know和基于知识感知的注意力向量α_a进行点乘运算得到基于感知的句子向量s_a；将所述问题基于文本的注意力向量Qz_init以及基于知识的注意力向量Qz_know进行融合得到该候选答案a_i下问题基于知识感知的注意力向量α_q，将问题基于文本的句子向量表示Q_init、基于知识的句子向量表示Q_know和该候选答案a_i下所述问题基于感知的注意力向量α_q进行点乘运算得到该候选答案下问题基于知识感知的句子向量s_q。

对于每个候选答案，这里融合得到的该候选答案基于知识感知的注意力向量α_a以及该候选答案a_i下问题基于知识感知的注意力向量α_q，应当满足下面的公式

这里的点乘运算的具体计算公式可以表示为

s_a＝[A_init:A_know]^Tα_a

s_q＝[Q_init:Q_know]^Tα_q

其中，s_a和s_q分别为一候选答案基于知识感知的句子向量和该候选答案下问题基于知识感知的句子向量。

步骤S50，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量和该候选答案下问题基于知识感知的句子向量，计算该候选答案与所述问题的相关程度。在一实施例中，步骤S50可以包括步骤S51-S53，下面具体说明。

步骤S51，对于候选答案集合a中每个候选答案，根据该候选答案基于知识感知的句子向量s_a和该候选答案下问题基于知识感知的句子向量s_q，计算得到该候选答案与所述问题的双线性相似度sim(s_q,s_a)以及相应的重叠特征X_feat；

这里计算s_q和s_a的双线性相似度的具体公式为

其中，为需要学习的相似度参数矩阵，上标T表示转置运算。

此外，重叠特征X_feat具体为四个词重叠特征

步骤S53，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量、该候选答案下所述问题基于知识感知的句子向量、该候选答案与所述问题的双线性相似度和重叠特征X_feat，计算得到该候选答案与所述问题的相关程度。

在一具体实施例中，对于候选答案集合a中每个候选答案，将该候选答案基于知识感知的句子向量s_a、该候选答案a_i下问题基于知识感知的句子向量s_q、该候选答案与问题q的双线性相似度sim(s_q,s_a)和重叠特征X_feat输入softmax函数进行二分类计算，得到该候选答案a_i与所述问题的相关程度。

计算过程可具体表示为，将特征相结合得到矩阵[s_q,sim(s_q,s_a),s_a,X_feat]，将该矩阵通过一个全连接层后将结果o输入到最终的softmax层进行二分类计算：

p_i＝softmax(W_oo+b_o)

其中，W_o，b_o为需要学习的参数，p_i表示第i个候选答案a_i与问题q之间的相关程度。

本领域的技术人员应当理解，这里的i指的是任一整数，那么，根据步骤S10-S50能够获取任一候选答案和问题之间的相关程度。

步骤S60，根据候选答案集合中每个候选答案与问题的相关程度，对候选答案集合中各候选答案进行排序，得到针对所述问题的答案的排序。排序后的结果显示了各个候选答案与问题之间的匹配程度，使得问答系统能够根据排序结果快速的选出匹配程度最高的候选答案，也使得用户在第一时间获得满意的答案，从而提升问答系统的体验感。

在另一实施例中，本发明公开的答案排序方法还包括深度训练步骤，具体过程为：将得到的各个候选答案与问题之间的相关程度和各相关程度对应的真实值进行损失函数的计算，通过梯度下降的形式不断地最小化损失函数的值，以得到最优化的答案选择排序方法。

这里的损失函数的具体计算过程可以表示为

其中，p_i表示第i个候选答案与问题之间的相关程度(即当前时刻softmax层的输出量)；θ包含了网络中所有需要训练的参数，是L2正则化因子；y_i为第i个候选答案与问题之间的实际相关值。该损失函数是用来估量模型的预测值p与真实值y的不一致程度，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好，通过利用梯度下降的方法不断最小化损失函数的值，从而得到最优模型。

综上所述，本发明提供了一种用于问答系统的答案选择方法。首先，利用知识嵌入方法学习知识图谱实体的分布式向量表示，其次，利用句子文本深度特征指导基于知识的句子向量表示学习，然后，利用知识感知注意力机制挖掘问题和答案间隐藏的背景知识，最后，结合文本与知识交互学习得到的特征信息进行问题和答案的文本相关程度计算，从而对候选答案进行排序，以使得问答系统能够根据排序结果获得与问题最接近的候选答案。该发明极大程度地解决了在文本背景知识不足情况下问答系统准确率不高的问题，并对其他自然语言处理任务中存在的相同问题具有一定的借鉴意义。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种用于问答系统的答案排序方法，其特征在于，包括以下步骤：

步骤S10，获取输入的问题及其候选答案集合；

步骤S20，分别获取所述问题基于文本的句子向量表示，以及候选答案集合中每个候选答案基于文本的句子向量表示；

步骤S30，分别获取所述问题基于知识的句子向量表示，以及候选答案集合中每个候选答案基于知识的句子向量表示；

步骤S40，对于候选答案集合中每个候选答案，根据该候选答案基于文本的句子向量表示和基于知识的句子向量表示，以及所述问题基于文本的句子向量表示和基于知识的句子向量表示，计算得到该候选答案基于知识感知的句子向量，以及该候选答案下所述问题基于知识感知的句子向量；

步骤S50，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量和该候选答案下所述问题基于知识感知的句子向量，计算该候选答案与所述问题的相关程度；

步骤S60，根据候选答案集合中每个候选答案与所述问题的相关程度，对候选答案集合中各候选答案进行排序，得到针对所述问题的答案的排序。

2.如权利要求1所述的答案排序方法，其特征在于，所述步骤S20包括：

步骤S21，分别获取所述问题和每个候选答案的文本信息及其对应的句子实体向量，其中每个文本信息包括若干个词，每个词对应一个句子实体向量；

步骤S23，对于所述问题，根据该问题的文本信息对应的各个句子实体向量，计算得到所述问题基于文本的句子向量表示；

步骤S25，对于候选答案集合中的每个候选答案，根据该候选答案的文本信息对应的各个句子实体向量，计算得到该候选答案基于文本的句子向量表示。

3.如权利要求2所述的答案排序方法，其特征在于，

所述步骤S23包括：将所述问题的文本信息对应的各个句子实体向量输入到一个双向长短期记忆网络中进行计算，以得到所述问题基于文本的句子向量表示；

所述步骤S25包括：对于候选答案集合中的每个候选答案，将该候选答案的文本信息对应的各个句子实体向量输入到一个双向长短期记忆网络中进行计算，以得到该候选答案基于文本的句子向量表示。

4.如权利要求2所述的答案排序方法，其特征在于，所述步骤S30，包括：

步骤S31，对于所述问题对应的每个句子实体向量，根据一知识图谱的分布式向量表示从该知识图谱中为该问题对应的每个句子实体向量都选择若干个候选实体，以得到该问题对应的每个句子实体向量对应的候选实体集；对于候选答案集合中每个候选答案对应的每个句子实体向量，根据所述知识图谱的分布式向量表示从该知识图谱中为该候选答案对应的每个句子实体向量都选择若干个候选实体，以得到每个候选答案对应的每个句子实体向量对应的候选实体集；

步骤S33，对于所述问题，在所述问题基于文本的句子向量表示的指导下，分别根据所述问题的每个句子实体向量对应的候选实体集，计算得到所述问题的每个句子实体向量对应的候选实体集所对应的实体向量表示；对于候选答案集合中每个候选答案，在该候选答案基于文本的句子向量表示的指导下，分别根据该候选答案的每个句子实体向量对应的候选实体集，计算得到该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示；

步骤S35，对于所述问题，根据所述问题的每个句子实体向量对应的候选实体集所对应的实体向量表示，计算得到该问题基于知识的句子向量表示；对于候选答案集合中每个候选答案，根据该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示，计算得到该候选答案基于知识的句子向量表示。

5.如权利要求4所述的答案排序方法，其特征在于，

在所述步骤S31中，所述根据一知识图谱的分布式向量表示从该知识图谱中为该问题对应的每个句子实体向量都选择若干个候选实体，包括：确定一用实体-关系-实体的三元组形式表示的知识图谱，根据知识嵌入表示学习方法得到该知识图谱的分布式向量表示，根据该分布式向量关系和N-Gram匹配方法对所述问题对应的每个句子实体向量进行实体识别和连接，以从该知识图谱中为该问题对应的每个句子实体向量都选择若干个候选实体；所述对于候选答案集合中每个候选答案对应的每个句子实体向量，根据所述知识图谱的分布式向量表示从该知识图谱中为该候选答案对应的每个句子实体向量都选择若干个候选实体，包括：确定一用实体-关系-实体的三元组形式表示的知识图谱，根据知识嵌入表示学习方法得到该知识图谱的分布式向量表示，根据该分布式向量关系和N-Gram匹配方法对该候选答案对应的每个句子实体向量进行实体识别和连接，以从该知识图谱中为该候选答案对应的每个句子实体向量都选择若干个候选实体；

所述步骤S33包括：将所述问题基于本文的句子实体向量表示以及所述问题的每个句子实体向量对应的候选实体集输入到一个注意力机制模型中进行计算，以得到所述问题的每个句子实体向量对应的候选实体集所对应的实体向量表示；对于候选答案集合中的每个候选答案，将该候选答案基于本文的句子实体向量表示以及该候选答案的每个句子实体向量对应的候选实体集输入到一个注意力机制模型中进行计算，以得到该候选答案的每个句子实体向量对应的候选实体集所对应的实体向量表示；

所述步骤S35包括：将所述问题的各个句子实体向量对应的候选实体集所对应的实体向量表示都输入一个卷积神经网络，以计算得到所述问题基于知识的句子向量表示；对于候选答案集合中每个候选答案，将该候选答案的各个句子实体向量对应的候选实体集所对应的实体向量表示都输入一个卷积神经网络，以计算得到该候选答案基于知识的句子向量表示。

6.如权利要求1所述的答案排序方法，其特征在于，所述步骤S40包括：

步骤S41，对于候选答案集合中的每个候选答案，根据该候选答案基于文本的句子向量表示以及所述问题基于文本的句子向量表示，计算该候选答案基于文本的注意力向量，以及该候选答案下所述问题基于文本的注意力向量；

步骤S43，对于候选答案集合中的每个候选答案，根据该候选答案基于知识的句子向量表示以及所述问题基于知识的句子向量表示，计算该候选答案基于知识的注意力向量，以及该候选答案下所述问题基于知识的注意力向量；

步骤S45，对于候选答案集合中的每个候选答案，根据该候选答案基于文本的句子向量表示、基于知识的句子向量表示和基于知识的注意力向量，计算得到该候选答案基于知识感知的句子向量；以及，根据所述问题基于文本的句子向量表示、基于知识的向量表示和该候选答案下所述问题基于知识的注意力向量，计算得到该候选答案下所述问题基于知识感知的句子向量。

7.如权利要求6所述的答案排序方法，其特征在于，

所述步骤S41，包括：对于候选答案集合中的每个候选答案，根据所述问题基于文本的句子向量表示和该候选答案基于文本的句子向量表示得到基于文本的注意力矩阵，对所述基于文本的注意力矩阵分别进行纵向和横向的最大池化运算，分别得到该候选答案基于文本的注意力向量，以及该候选答案下所述问题基于文本的注意力向量；

所述步骤S43，包括：对于候选答案集合中的每个候选答案，根据所述问题基于知识的句子向量表示和该候选答案基于知识的句子向量表示得到基于知识的注意力矩阵，对所述基于知识的注意力矩阵分别进行纵向和横向的最大池化运算，分别得到该候选答案基于知识的注意力向量，以及该候选答案下所述问题基于知识的注意力向量；

所述步骤S45，包括：对于候选答案集合中的每个候选答案，将该候选答案基于文本的注意力向量以及基于知识的注意力向量进行融合得到该候选答案基于知识感知的注意力向量，将该候选答案基于文本的句子向量表示、基于知识的句子向量表示和基于知识感知的注意力向量进行点乘运算得到基于感知的句子向量；将所述问题基于文本的注意力向量以及基于知识的注意力向量进行融合得到该候选答案下所述问题基于知识感知的注意力向量，将所述问题基于文本的句子向量表示、基于知识的向量表示和该候选答案下所述问题基于感知的注意力向量进行点乘运算得到该候选答案下所述问题基于知识感知的句子向量。

8.如权利要求1所述的答案排序方法，其特征在于，所述步骤S50包括：

步骤S51，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量和该候选答案下所述问题基于知识感知的句子向量，计算得到该候选答案与所述问题的双线性相似度以及相应的重叠特征X_feat；

步骤S53，对于候选答案集合中每个候选答案，根据该候选答案基于知识感知的句子向量、该候选答案下所述问题基于知识感知的句子向量、该候选答案与所述问题的双线性相似度和重叠特征X_feat，计算得到该候选答案与所述问题的相关程度。

9.如权利要求8所述的答案排序方法，其特征在于，

所述步骤S53，包括：对于候选答案集合中每个候选答案，将该候选答案基于知识感知的句子向量、该候选答案下所述问题基于知识感知的句子向量、该候选答案与所述问题的双线性相似度和重叠特征X_feat输入softmax函数进行二分类计算，得到该候选答案与所述问题的相关程度。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的方法。