CN109063174B - 查询答案的生成方法及装置、计算机存储介质、电子设备 - Google Patents

Abstract

本发明涉及计算机技术领域，提供了一种查询答案的生成方法、装置、计算机可读介质及电子设备，该查询答案的生成方法包括：接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量；对所述查询词向量和所述语料词向量分别进行编码，以形成与所述查询词向量对应的第一编码和与所述语料词向量对应的第二编码；将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。本发明一方面能够在生成查询答案的过程中实现边抽取边生成，即考虑了全局的文本信息，又避免了查询答案的语义不连贯；另一方面能够提高查询答案的准确率和生成效率。

Description

查询答案的生成方法及装置、计算机存储介质、电子设备

技术领域

本发明涉及计算机领域，特别涉及一种查询答案的生成方法、查询答案的生成装置、计算机可读存储介质及电子设备。

背景技术

信息检索系统(Information Retrieval System)是指根据特定的信息需求而建立起来的一种有关信息搜集、加工、存储和检索的程序化系统.其主要目的是为人们提供信息服务，可以说任何具有信息存储与信息检索功能的系统都可以称为信息检索系统。问答系统(Question Answering System,QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题，是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。另外机器阅读理解也是信息检索系统的一种具体形式，指的是给一段文章描述，然后对应的给一个查询，机器通过阅读文章后，给出对应查询的答案。

现有的问答系统、机器阅读理解的答案生成方法主要是抽取式、生成式和混合式，但是现有的答案生成方法会造成答案的语义不连贯，或者存在忽略原始文章的信息等问题，使得生成的答案的准确率低且生成效率低。

鉴于此，本领域亟需开发一种新的查询答案的生成方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种查询答案的生成方法、查询答案的生成装置、计算机可读存储介质及电子设备，进而至少在一定程度上提高查询答案的准确率和生成效率，以进一步提升用户体验。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的一个方面，提供一种查询答案的生成方法，包括：接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量；对所述查询词向量和所述语料词向量分别进行编码，以形成与所述查询词向量对应的第一编码和与所述语料词向量对应的第二编码；将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。

根据本发明实施例的一个方面，提供了一种查询答案的生成装置，包括：词向量生成模块，用于接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量；编码模块，用于对所述查询词向量和所述语料词向量分别进行编码，以形成与所述查询词向量对应的第一编码和与所述语料词向量对应的第二编码；查询答案生成模块，用于将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。

在本发明的一些实施例，基于前述方案，所述查询答案的生成装置还包括：语料获取模块，用于获取外部语料；分词模块，用于对所述外部语料进行分词以形成词序列；格式转换模块，用于将所述词序列中的词语进行格式转换，以形成与所述词语对应的词向量；词向量集生成模块，用于根据所述词序列和所述词向量，形成词向量集。

在本发明的一些实施例，基于前述方案，所述词向量生成模块包括：分词单元，用于将所述查询信息和所述语料信息分别进行分词，以获取与所述查询信息对应的查询词序列和与所述语料信息对应的语料词序列；匹配单元，用于将所述查询词序列和所述语料词序列中的词语分别与所述词向量集中的词语进行匹配，以获取所述查询词向量和所述语料词向量。

在本发明的一些实施例，基于前述方案，所述编码模块包括：查询编码单元，用于对所述查询词向量分别进行初次查询编码和二次查询编码，以形成所述第一编码；语料编码单元，用于对所述语料词向量分别进行初次语料编码和二次语料编码，并对所述第一编码和所述二次语料编码的结果进行三次语料编码，以形成所述第二编码。

在本发明的一些实施例，基于前述方案，所述编码模块还包括：第一编码单元，用于采用基于深度学习算法的编码模型进行所述初次查询编码和所述初次语料编码。

在本发明的一些实施例，基于前述方案，所述编码模块还包括：第二编码单元，用于基于自注意力机制进行所述二次查询编码和所述二次语料编码，并基于互注意力机制进行所述三次语料编码。

在本发明的一些实施例，基于前述方案，所述查询答案生成模块包括：输入单元，用于将所述第一编码、所述第二编码和前一时刻的解码信息输入至所述拷贝生成网络；信息处理单元，用于通过所述拷贝生成网络对所述第一编码、所述第二编码和所述前一时刻的解码信息进行处理，以获取所述查询答案。

在本发明的一些实施例，所述拷贝生成网络包括拷贝模式和生成模式，基于前述方案，所述信息处理单元包括：第三编码单元，用于对所述第一编码、所述第二编码和所述前一时刻的解码信息进行动态编码；模式选择单元，用于选择所述拷贝模式和所述生成模式中的至少一个，对所述动态编码的结果进行处理以获取当前时刻的编码信息；解码单元，用于对所述当前时刻的编码信息进行解码，以获取所述当前时刻的解码信息；查询答案生成单元，用于重复上述步骤以获取各个时刻的解码信息，将所述各个时刻的解码信息依次连接以获得所述查询答案。

在本发明的一些实施例，基于前述方案，所述模式选择单元包括：目标编码获取单元，用于根据所述第一编码从所述第二编码中拷贝和/或从预设词典中抽取与所述前一时刻的解码信息内容连贯的目标编码，并将所述目标编码作为所述当前时刻的编码信息。

在本发明的一些实施例，基于前述方案，所述查询答案的生成装置还包括：第一概率分布模块，用于对所述查询信息和所述语料信息进行分词以获得多个词语，计算各所述词语的出现概率，并根据各所述词语的出现概率形成与所述拷贝模式对应的第一概率分布；第二概率分布模块，用于计算所述预设词典中各词语的出现概率，并根据所述预设词典中各词语的出现概率形成与所述生成模式对应的第二概率分布。

在本发明的一些实施例，所述查询信息、所述语料信息和所述预设词典之间具有多个相同词语；基于前述方案，所述解码单元包括：概率获取单元，用于获取各所述相同词语在所述第一概率分布中的第一概率值和在所述第二概率分布中的第二概率值；计算单元，用于将所述第一概率值和所述第二概率值加权求和，以获得与所述相同词语对应的第三概率值；解码信息获取单元，用于将具有最大第三概率值的目标词语作为所述当前时刻的解码信息。

在本发明的一些实施例，基于前述方案，所述解码信息获取单元包括：概率分布生成单元，用于根据各所述相同词语对应的第三概率值形成第三概率分布；比较单元，用于将所述第三概率分布中的各第三概率值进行比较，以获取所述具有最大第三概率值的目标词语；解码信息确定单元，用于将所述目标词语作为所述当前时刻的解码信息。

根据本发明实施例的一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的查询答案的生成方法。

根据本发明实施例的一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的查询答案的生成方法。

由上述技术方案可知，本发明示例性实施例中的查询答案的生成方法及装置、计算机可读存储介质、电子设备至少具备以下优点和积极效果：

本发明通过将查询信息和与查询信息相关的语料信息中的词语转换为查询词向量和语料词向量；然后通过对查询词向量和语料词向量进行编码形成与查询词向量对应的第一编码和与语料词向量对应的第二编码；最后将第一编码和第二编码输入至拷贝生成网络，通过拷贝生成网络在语料信息中拷贝信息和/或从预设词典中获取生成信息，以获得与查询信息对应的查询答案。本发明中的查询答案的生成方法一方面能够在生成查询答案的过程中实现边抽取边生成，即考虑了全局的文本信息，又避免了查询答案的语义不连贯；另一方面能够提高查询答案的准确率和生成效率。

本发明应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本发明实施例的查询答案的生成方法及装置的示例性系统架构的示意图；

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本发明的一实施例的查询答案的生成方法的流程图；

图4示意性示出了根据本发明的一实施例的词向量集的预训练流程示意图；

图5示意性示出了根据本发明的一实施例的查询答案的生成方法的流程示意图；

图6示意性示出了根据本发明的一实施例的拷贝生成网络的工作流程示意图；

图7示意性示出了根据本发明的一实施例的拷贝生成网络的工作原理图；

图8示意性示出了根据本发明的一实施例的查询答案的生成装置的框图；

图9示意性示出了根据本发明的一实施例的查询答案的生成装置的框图；

图10示意性示出了根据本发明的一实施例的查询答案的生成装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本发明实施例的查询答案的生成方法、查询答案的生成装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、逻辑服务器、存储服务器和投影设备。比如服务器103可以是多个服务器组成的服务器集群等。

用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。

服务器103可以是提供各种服务的代理服务器。例如服务器103可以接收用户输入至终端设备101中的查询信息和与查询信息相关的语料信息，对查询信息和语料信息中的词语进行格式转换，形成查询词向量和语料词向量；然后对查询词向量和语料词向量进行编码形成与查询词向量对应的第一编码和与语料词向量对应的第二编码；最后将第一编码和第二编码输入至拷贝生成网络，通过拷贝生成网络在语料信息中拷贝信息和/或从预设词典中获取生成信息，以生成与查询信息对应的查询答案。这样能够在生成查询答案的过程中实现边抽取边生成，即考虑了全局的文本信息，又避免了查询答案的语义不连贯，并且提高了查询答案的准确率和生成效率。

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本发明的系统中限定的各种功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3至图7所示的各个步骤。

在本领域的相关技术中，问答系统是从互联网或本地数据库中获取与用户输入的查询问题所对应的答案，机器阅读理解是在用户提供的阅读材料中进行查询以获取与用户输入的题目所对应的答案，二者都是从相关材料中获取问题的答案，并且获取答案的方法也基本相同。

以机器阅读理解为例，相关技术中获取查询答案的方法包括抽取式、生成式和混合式。其中抽取式模型是目前的主流方法，通常采用BiDAF(Bi-Directional AttentionFlow，双向注意力机制)、R-net、Match-LSTM、Gareader等模型，通过这些模型可以从阅读材料中直接抽取若干词语或语段作为查询答案，虽然模型简单、抽取方便，但是会造成查询答案的语义不连贯；生成式模型是根据问题和阅读材料生成最终答案，该最终答案不是阅读材料中的原始信息，而是根据问题从词典中抽取相关词语形成的答案，因此若采用生成式模型获取查询答案的话，会忽略阅读材料的信息，降低查询答案的准确率；混合式模型一般是先从阅读材料中抽取跟问题相关的片段，再从词典中抽取相关词语生成最终答案。通常采用的混合式模型为S-Net，但是混合式模型在产生答案的时候，依然采用的是生成式模型，且输入的是片段信息，所以还是会存在忽略阅读材料的问题，降低了查询答案的准确率。

基于相关技术中存在的问题，在本发明的一个实施例中提出了一种查询答案的生成方法，以对上述问题进行优化处理。具体参照图3所示，该查询答案的生成方法至少包括以下步骤：

步骤S310：接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量；

步骤S320：对所述查询词向量和所述语料词向量分别进行编码，以形成与所述查询词向量对应的第一编码和与所述语料词向量对应的第二编码；

步骤S330：将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。

本发明实施例通过将查询信息和与查询信息相关的语料信息中的词语进行格式转换，形成查询词向量和语料词向量；然后对查询词向量和语料词向量进行编码形成与查询词向量对应的第一编码和与语料词向量对应的第二编码；最后将第一编码和第二编码输入至拷贝生成网络，通过拷贝生成网络从语料信息中拷贝信息和/或从预设词典中获取生成信息，以获取与查询信息对应的查询答案。本发明实施例的查询答案的生成方法一方面能够在生成查询答案的过程中实现边抽取边生成，即考虑了全局的文本信息，又避免了查询答案的语义不连贯；另一方面能够提高查询答案的准确率和生成效率。

为了使本发明的技术方案更清晰，接下来以机器阅读理解为例，对查询答案的生成方法的各步骤进行说明。

在步骤S310中，接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量。

在本发明的示例性实施例中，查询信息可以是机器阅读理解中的题目，也就是问题；相应的，与查询信息相关的语料信息可以是机器阅读理解中的阅读材料，也就是文章。通过对查询信息进行分析可以确定问题的关键信息，然后可以根据关键信息从阅读材料中获取对应的答案或基于从阅读材料中获取的答案信息点生成最终的答案。

在本发明的示例性实施例中，在获取查询信息和语料信息后，可以对查询信息和语料信息进行编码。而在对查询信息和语料信息进行编码之前，可以对查询信息和语料信息的格式进行转换，将查询信息中的词语和语料信息中的词语转换为词向量。为了便于将查询信息和语料信息中的词语转换为词向量，可以在对查询信息和语料信息的格式进行转换之前，先获取预先训练好的词向量集，然后再根据预先训练好的词向量集将查询信息和语料信息中的词语转换为词向量。图4示出了词向量集的预训练流程图，如图4所示，在步骤S401中，获取外部语料；该外部语料可以是中文的，也可以是外文的；可以是跟语料信息相关的外部语料，也可以是跟语料信息不相关的外部语料，根据机器阅读理解的实际需要而变，本发明实施例对此不作具体限定；在步骤S402中，对所述外部语料进行分词以形成词序列；获得外部语料后，可以对外部语料进行分词，形成多个词语，并将该些词语依次排列形成词序列；在步骤S403中，将所述词序列中的词语进行格式转换，以形成与所述词语对应的词向量；词向量具体而言是把一个词语表示成数学上的向量，通过将词语转换为词向量，为机器对查询信息和语料信息进行处理提供了便利；在步骤S404中，根据所述词序列和所述词向量，形成词向量集。在本发明实施例中可以将词序列和词向量对应存储于数据库中，形成词向量集。

在本发明的示例性实施例中，在将查询信息和语料信息中的词语转换为词向量时，可以先将查询信息和语料信息分别进行分词，形成与查询信息对应的查询词序列和与语料信息对应的语料词序列；然后将查询词序列中的词语和语料词序列中的词语分别与词向量集中的词语进行匹配，判断是否存在相同的词语，如果存在，则抽取该词语对应的词向量，用以代替查询信息和语料信息中的词语。值得说明的是，词向量集中词语的数据量很大，足以保证将查询信息和语料信息中的词语转换为词向量。

在步骤S320中，对所述查询词向量和所述语料词向量分别进行编码，以形成与所述查询词向量对应的第一编码和与所述语料词向量对应的第二编码。

在本发明的示例性实施例中，获取查询词向量和语料词向量后，可以对其分别进行编码以形成与查询词向量对应的第一编码和与语料词向量对应的第二编码。图5示出了查询答案的生成方法的流程示意图，如图5所示，其中A部分示出了获取查询词向量和语料词向量的流程图，具体的，可以接收查询信息、语料信息和预先训练好的词向量集，通过将查询信息和语料信息与词向量集进行匹配并提取词向量，获得与查询信息对应的查询词向量和与语料信息对应的语料词向量；B部分示出了对查询词向量和语料词向量进行编码的流程图，可以对查询词向量分别进行初次查询编码和二次查询编码，以获取第一编码；对语料词向量分别进行初次语料编码和二次语料编码，接着将第一编码和二次语料编码的结构进行三次语料编码，以形成第二编码。具体的，可以通过基于深度学习算法的编码模型对查询词向量进行初次查询编码，对语料词向量进行初次语料编码，该基于深度学习算法的编码模型可以是卷积神经网络、循环神经网络，也可以是其它的神经网络模型，本发明对此不作具体限定。进一步的，为了提高第一编码和第二编码的准确性，可以基于自注意力机制进行二次查询编码和二次语料编码，并基于互注意力机制进行三次语料编码，其中自注意力机制是一种关注多个词向量内部的注意力机制，互注意力机制是一种关注多个向量之间的注意力机制，同时注意力机制是通过计算查询词向量和多个语料词向量之间的相似性或相关性，得到各语料词向量对应的权重系数，然后根据权重系数进行加权平均，获得最终的注意力数值的方法。

在步骤S330中，将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。

在本发明的示例性实施例中，如图5的C部分所示，获得第一编码和第二编码后，可以将第一编码和第二编码输入至一拷贝生成网络，通过该拷贝生成网络对输入向量进行处理，获得与查询信息对应的查询答案。

具体地，该拷贝生成网络具有两个模式的通道：拷贝模式和生成模式，采用拷贝模式可以从语料信息中拷贝相关内容以形成查询答案，采用生成模式可以从预设词典中获取相关内容形成查询答案。图6示出了拷贝生成网络的工作流程示意图，如图6所示，在步骤S601中，将待处理信息和前一时刻的解码信息输入至拷贝生成网络，以对待处理信息和前一时刻的解码信息进行动态编码；该待处理信息为当前时刻所需处理的信息，即步骤S320中获取的第一编码和第二编码，由于在获取查询答案时是抽取/生成一个一个语义关联的词语，并将该些词语依次连接进而形成查询答案的，所以在采用拷贝生成网络生成查询答案时可以将第一编码、第二编码和前一时刻的解码信息作为输入向量同时输入至拷贝生成网络；在步骤S602中，从拷贝模式和生成模式中选择至少一种模式，对动态编码结果进行处理以生成拷贝式信息和/或生成式信息；在步骤S603中，将经过两个通道处理生成的信息进行融合，并进行动态解码，获得当前时刻的解码信息。重复上述步骤可以获取多个时刻的解码信息，最后将各个时刻的解码信息依次连接即可获得查询答案。本发明实施例中采用拷贝生成网络可以实现边抽取阅读材料中的信息边生成相关信息，使得查询答案更准确、更具可读性，同时也提高了查询答案的生产效率。

在本发明的示例性实施例中，为了进一步说明拷贝生成网络的工作机理，本发明实施例以新闻摘要的生成为例，对拷贝生成网络进行详细说明，图7示出了拷贝生成网络的工作原理图，如图7所示，输入的阅读材料为“中国队今天在乒乓球赛场以3:0比分战胜美国队”，该阅读材料首先被分词形成词序列“中国队今天在乒乓球赛场以3:0比分战胜美国队”；接着经过编码模块Encode对词序列进行格式转换形成词向量，并进行编码生成待处理信息；然后将该待处理信息输入至拷贝生成网络，以与前一时刻的解码信息进行动态编码，并从拷贝模式和生成模式中选择合适的模式通道对动态编码的结果进行处理；其中拷贝模式对应第一概率分布，该第一概率分布包含阅读材料中各个词语的出现概率，当阅读材料不同时，各个词语的出现概率也就不同；生成模式对应第二概率分布，该第二概率分布包含多个词语的出现概率，进一步的，生成模式可视为一个词典，其所包含的词语的出现概率不因输入的阅读材料的变化而变化，另外生成模式中还可以包含多个阅读材料中不包含的词语，通过采用生成模式可以使最终的查询答案更具可读性、语义更清楚。动态编码可以对通道的选择进行指导，并用于确定生成模式的权重P_gen和拷贝模式的权重(1-P_gen)，其中0≤P_gen<1；由于与生成模式对应地词典和阅读材料之间可能存在多个相同词语，因此可以先获取各相同词语在第一概率分布中的第一概率值和在第二概率分布中的第二概率值；接着将与各相同词语对应的第一概率值乘以拷贝模式的权重(1-P_gen)，将与各相同词语对应的第二概率值乘以生成模式的权重P_gen，并将二者的加权值相加，即可得到各相同词语对应的第三概率值；最后根据多个相同词语及其对应的第三概率值形成第三概率分布，通过将第三概率分布中的各个概率值进行比较以获取具有最大第三概率值的目标词语，该目标词语即可作为当前时刻的解码信息。如图7所示，已得到的解码信息为“中国队战胜了”，可以看出该摘要是缺少宾语的，那么可以进一步通过拷贝生成网络获得当前时刻的解码信息，即概率最高的词——“美国队”，进而得到完整的摘要为“中国队战胜了美国队”。

值得说明的是，虽然上述实施例是通过新闻摘要的生成对拷贝生成网络的工作机理进行说明的，但是该拷贝生成网络还可以用于问答系统和机器阅读理解，只是输入的信息有所不同，例如对于机器阅读理解，输入信息为查询信息和语料信息，通过对查询信息和语料信息进行分词、词向量转换、编码形成第一编码信息和第二编码信息，并将该第一编码信息和第二编码信息输入至拷贝生成网络进行处理，以获得与查询信息对应的查询答案。值得说明的是，在进行机器阅读理解时，与拷贝模式对应的第一概率分布为查询信息和语料信息中相同词语的出现概率。

本发明通过将查询信息和语料信息转换为词向量并编码形成第一编码和第二编码，接着通过拷贝生成网络对第一编码和第二编码以边抽取边生成的方式生成与查询信息对应的查询答案，提高了查询答案的准确率、生成效率和可读性。

以下介绍本发明的装置实施例，可以用于执行本发明上述的查询答案的生成方法。对于本发明装置实施例中未披露的细节，请参照本发明上述的查询答案的生成方法的实施例。

图8示意性示出了根据本发明的一个实施例的查询答案的生成装置的框图。

参照图8所示，根据本发明的一个实施例的查询答案的生成装置800，包括：词向量生成模块801、编码模块802和查询答案生成模块803。

具体地，词向量生成模块801，用于接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量；编码模块802，用于对所述查询词向量和所述语料词向量分别进行编码，以形成与所述查询词向量对应的第一编码和与所述语料词向量对应的第二编码；查询答案生成模块803，用于将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。

图9示意性示出了根据本发明的一个实施例的查询答案的生成装置的框图。

参照图9所示，根据本发明的一个实施例的查询答案的生成装置800，还包括：语料获取模块804、分词模块805、格式转换模块806和词向量集生成模块807。

具体地，语料获取模块804，用于获取外部语料；分词模块805，用于对所述外部语料进行分词以形成词序列；格式转换模块806，用于将所述词序列中的词语进行格式转换，以形成与所述词语对应的词向量；词向量集生成模块807，用于根据所述词序列和所述词向量，形成词向量集。

在本发明的一个实施例中，词向量生成模块801包括分词单元和匹配单元。

具体地，分词单元，用于将所述查询信息和所述语料信息分别进行分词，以获取与所述查询信息对应的查询词序列和与所述语料信息对应的语料词序列；匹配单元，用于将所述查询词序列和所述语料词序列中的词语分别与所述词向量集中的词语进行匹配，以获取所述查询词向量和所述语料词向量。

在本发明的一个实施例中，编码模块802包括查询编码单元和语料编码单元。

具体地，查询编码单元，用于对所述查询词向量分别进行初次查询编码和二次查询编码，以形成所述第一编码；语料编码单元，用于对所述语料词向量分别进行初次语料编码和二次语料编码，并对所述第一编码和所述二次语料编码的结果进行三次语料编码，以形成所述第二编码。

在本发明的一个实施例中，编码模块802还包括第一编码单元，用于采用基于深度学习算法的编码模型进行所述初次查询编码和所述初次语料编码。

在本发明的一个实施例中，编码模块802还包括第二编码单元，用于基于自注意力机制进行所述二次查询编码和所述二次语料编码，基于互注意力机制进行所述三次语料编码。

在本发明的一个实施例中，所述查询答案生成模块803包括输入单元和信息处理单元。

具体地，输入单元，用于将所述第一编码、所述第二编码和前一时刻的解码信息输入至所述拷贝生成网络；信息处理单元，用于通过所述拷贝生成网络对所述第一编码、所述第二编码和所述前一时刻的解码信息进行处理，以获取所述查询答案。

在本发明的一个实施例中，所述拷贝生成网络包括拷贝模式和生成模式，所述信息处理单元包括第三编码单元、模式选择单元、解码单元和查询答案生成单元。

具体地，第三编码单元，用于对所述第一编码、所述第二编码和所述前一时刻的解码信息进行动态编码；模式选择单元，用于选择所述拷贝模式和所述生成模式中的至少一个，对所述动态编码的结果进行处理以获取当前时刻的编码信息；解码单元，用于对所述当前时刻的编码信息进行解码，以获取所述当前时刻的解码信息；查询答案生成单元，用于重复上述步骤以获取各个时刻的解码信息，并将所述各个时刻的解码信息依次连接以获得所述查询答案。

在本发明的一个实施例中，所述模式选择单元包括目标编码获取单元，用于根据所述第一编码从所述第二编码中拷贝和/或从预设词典中抽取与所述前一时刻的解码信息内容连贯的目标编码，并将所述目标编码作为所述当前时刻的编码信息。

图10示意性示出了根据本发明的一个实施例的查询答案的生成装置800的框图。

参照图10所示，根据本发明的一个实施例的查询答案的生成装置800，还包括：第一概率分布模块808和第二概率分布模块809。

具体地，第一概率分布模块808，用于对所述查询信息和所述语料信息进行分词以获得多个词语，计算各所述词语的出现概率，并根据各所述词语的出现概率形成与所述拷贝模式对应的第一概率分布；第二概率分布模块809，用于计算所述预设词典中各词语的出现概率，并根据所述预设词典中各词语的出现概率形成与所述生成模式对应的第二概率分布

在本发明的一个实施例中，所述查询信息、所述语料信息和所述预设词典之间具有多个相同词语，所述解码单元包括概率获取单元、计算单元和解码信息获取单元。

具体地，概率获取单元，用于获取各所述相同词语在所述第一概率分布中的第一概率值和在所述第二概率分布中的第二概率值；计算单元，用于将所述第一概率值和所述第二概率值加权求和，以获得与所述相同词语对应的第三概率值；解码信息获取单元，用于将具有最大第三概率值的目标词语作为所述当前时刻的解码信息。

在本发明的一个实施例中，所述解码信息获取单元包括：概率分布生成单元、比较单元和解码信息确定单元。

具体地，概率分布生成单元，用于根据各所述相同词语对应的第三概率值形成第三概率分布；比较单元，用于将所述第三概率分布中的各第三概率值进行比较，以获取所述具有最大第三概率值的目标词语；解码信息确定单元，用于将所述目标词语作为所述当前时刻的解码信息。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种查询答案的生成方法，其特征在于，包括：

接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量；

采用基于深度学习算法的编码模型对所述查询词向量进行初次查询编码，并基于自注意力机制对所述查询词向量进行二次查询编码，得到与所述查询词向量对应的第一编码；

采用基于深度学习算法的编码模型对所述语料词向量进行初次语料编码，并基于自注意力机制对所述语料词向量进行二次语料编码，再基于互注意力机制，通过计算所述查询词向量与多个所述语料词向量之间的相似性，得到所述语料词向量对应的权重系数；根据所述权重系数对所述语料词向量进行加权平均运算，得到与所述语料词向量对应的第二编码；

将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。

2.根据权利要求1所述的查询答案的生成方法，其特征在于，在接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量之前，所述方法还包括：

获取外部语料；

对所述外部语料进行分词以形成词序列；

将所述词序列中的词语进行格式转换，以形成与所述词语对应的词向量；

根据所述词序列和所述词向量，形成词向量集。

3.根据权利要求2所述的查询答案的生成方法，其特征在于，根据所述查询信息和所述语料信息获取查询词向量和语料词向量，包括：

将所述查询信息和所述语料信息分别进行分词，以获取与所述查询信息对应的查询词序列和与所述语料信息对应的语料词序列；

将所述查询词序列和所述语料词序列中的词语分别与所述词向量集中的词语进行匹配，以获取所述查询词向量和所述语料词向量。

4.根据权利要求1所述的查询答案的生成方法，其特征在于，将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案，包括：

将所述第一编码、所述第二编码和前一时刻的解码信息输入至所述拷贝生成网络；

通过所述拷贝生成网络对所述第一编码、所述第二编码和所述前一时刻的解码信息进行处理，以获取所述查询答案。

5.根据权利要求4所述的查询答案的生成方法，其特征在于，所述拷贝生成网络包括拷贝模式和生成模式；

通过所述拷贝生成网络对所述第一编码、所述第二编码和所述前一时刻的解码信息进行处理，以获取所述查询答案，包括：

对所述第一编码、所述第二编码和所述前一时刻的解码信息进行动态编码；

选择所述拷贝模式和所述生成模式中的至少一个，对所述动态编码的结果进行处理以获取当前时刻的编码信息；

对所述当前时刻的编码信息进行解码，以获取所述当前时刻的解码信息；

重复上述步骤以获取各个时刻的解码信息，将所述各个时刻的解码信息依次连接以获得所述查询答案。

6.根据权利要求5所述的查询答案的生成方法，其特征在于，选择所述拷贝模式和所述生成模式中的至少一个，对所述动态编码的结果进行处理以获取当前时刻的编码信息，包括：

根据所述第一编码从所述第二编码中拷贝和/或从预设词典中抽取与所述前一时刻的解码信息内容连贯的目标编码，并将所述目标编码作为所述当前时刻的编码信息。

7.根据权利要求6所述的查询答案的生成方法，其特征在于，所述方法还包括：

对所述查询信息和所述语料信息进行分词以获得多个词语，计算各所述词语的出现概率，并根据各所述词语的出现概率形成与所述拷贝模式对应的第一概率分布；

计算所述预设词典中各词语的出现概率，并根据所述预设词典中各词语的出现概率形成与所述生成模式对应的第二概率分布。

8.根据权利要求7所述的查询答案的生成方法，其特征在于，所述查询信息、所述语料信息和所述预设词典之间具有多个相同词语；

对所述当前时刻的编码信息进行解码，以获取所述当前时刻的解码信息，包括：

获取各所述相同词语在所述第一概率分布中的第一概率值和在所述第二概率分布中的第二概率值；

将所述第一概率值和所述第二概率值加权求和，以获得与所述相同词语对应的第三概率值；

将具有最大第三概率值的目标词语作为所述当前时刻的解码信息。

9.根据权利要求8所述的查询答案的生成方法，其特征在于，将具有最大第三概率值的目标词语作为所述当前时刻的解码信息，包括：

根据各所述相同词语对应的第三概率值形成第三概率分布；

将所述第三概率分布中的各第三概率值进行比较，以获取所述具有最大第三概率值的目标词语；

将所述目标词语作为所述当前时刻的解码信息。

10.一种查询答案的生成装置，其特征在于，包括：

词向量生成模块，用于接收查询信息和与所述查询信息相关的语料信息，根据所述查询信息和所述语料信息获取查询词向量和语料词向量；

查询编码单元，用于采用基于深度学习算法的编码模型对所述查询词向量进行初次查询编码，并基于自注意力机制对所述查询词向量进行二次查询编码，得到与所述查询词向量对应的第一编码；

语料编码单元，用于采用基于深度学习算法的编码模型对所述语料词向量进行初次语料编码，并基于自注意力机制对所述语料词向量进行二次语料编码，再基于互注意力机制，通过计算所述查询词向量与多个所述语料词向量之间的相似性，得到所述语料词向量对应的权重系数；根据所述权重系数对所述语料词向量进行加权平均运算，得到与所述语料词向量对应的第二编码；

查询答案生成模块，用于将所述第一编码和所述第二编码输入至拷贝生成网络，以获取与所述查询信息对应的查询答案。

11.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～9中任意一项所述的查询答案的生成方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～9中任意一项所述的查询答案的生成方法。

Images