CN103870528B - 深度问题回答系统中的问题分类和特征映射的方法和系统 - Google Patents

Abstract

通过分类深度问题回答系统接收的第一事例，并且通过在训练深度问题回答系统回答第一事例时，识别第一事例中的第一特征，为第一特征计算第一特征分值，（所述第一特征分值指示在生成对第一事例的正确响应过程中第一特征的相关性，）以及一旦确定第一特征分值超过相关性阈值，则在回答被分类第一事例的过程中将第一特征识别为相关，本发明公开在深度问题回答系统中识别相关特征的系统和方法。此外，本发明公开深度问题回答系统生成对第一事例的响应的系统和方法，以及识别出在深度问题回答系统回答问题所使用的证据中的变化的系统和方法。

Description

深度问题回答系统中的问题分类和特征映射的方法和系统

背景技术

这里所公开的实施例涉及计算机软件领域。更具体地，这里所公开的实施例涉及在深度问题回答系统中实现问题分类与特征映射、部分和并行管道处理以及智能证据分类与通知的计算机软件。

发明内容

在一方面，通过分类深度问题回答系统接收的第一事例（case），并且通过在训练深度问题回答系统回答第一事例时，识别第一事例中的第一特征，为第一特征计算第一特征分值（第一特征分值指示在生成对第一事例的正确响应的过程中第一特征的相关性），以及一旦确定第一特征分值超过相关性阈值，则在回答被分类的第一事例的过程中将第一特征识别为相关，这里所公开的实施例提供在深度问题回答系统中识别相关特征的系统和方法。

在另一方面，通过确定第一事例相对于第二事例的相似度分值超过相似度阈值，通过识别出具有超过相关性阈值的第一相关性分值的第二事例的第一特征，通过为不具有第一特征的第一事例识别出第一候选回答，以及通过在生成第一事例的响应过程中抑制不分析第一候选回答，从而减少深度问题回答系统的处理量，这里所公开的实施例提供减少深度问题回答系统生成第一事例的响应所需要的处理量的系统和方法。

在另一方面，通过识别出与特征有关的第一证据，深度问题回答系统已经将所述特征识别为与回答多种类型问题中的第一类问题相关，以及响应于：（i）检测到第一证据中的变化，并且（ii）确定针对第一类问题的第一问题所生成的第一响应的置信度分值超过置信度阈值，基于被改变的第一证据为第一问题生成被更新的响应，这里所公开的实施例提供识别在深度问题回答系统回答问题所使用的证据中的变化的系统和方法。

附图说明

以如此方式实现以上所列举方面并且能够被详细理解，通过参照附图可以具有本发明实施例的更具体描述（以上已经简要总结）。

然而注意到，附图仅示出本发明的典型实施例，并且因此不被认为是限制本发明的范围，因为本发明可以允许其它等效的实施例。

图1是根据这里所公开实施例示出在深度问题回答系统中用于问题分类和特征映射、用于部分和并行管道处理和/或用于智能证据分类和通知的系统的框图。

图2是根据这里所公开的一个实施例示出用于通过深度问题回答系统生成对事例的响应的方法的流程图。

图3是根据这里所公开的一个实施例示出用于训练深度问题回答系统分类问题以及映射特征的方法的流程图。

图4是根据这里所公开的一个实施例示出用于监视证据以检测证据中的变化的方法的流程图。

图5是根据这里所公开的一个实施例示出用于使用部分和并行管道执行来处理问题的方法的流程图。

图6是根据这里所公开的一个实施例示出深度问题回答系统的组件的框图。

具体实施方式

这里所公开的实施例训练深度问题回答系统（深度QA系统）分类问题、识别在生成对那些类问题的回答的过程中最相关的特征（或注释器），并且存储识别所述关系的映射。可以基于类型、与问问题的人或实体有关的信息、以及其它语境信息分类问题。一旦识别出针对每一类问题的高度相关特征，当回答相同或相似类型的另一问题时，这里所公开的实施例可以寻找这些特征。如果所述特征不是针对相似问题的候选回答的部分，则可以跳过所述候选回答的处理，以便改善生成对那个事例的响应所需要的时间和处理量。此外，这里所公开的实施例监视被链接到高度相关特征的证据的变化，所述变化可能严重影响以前基于未变化证据所生成的回答中的置信度。一旦检测到证据中的变化，则深度QA系统可以重新处理旧问题或者生成新问题，以测试证据中的变化是否导致正确回答中的变化。如果证据变化影响了对它们问题的正确回答，则深度QA系统也可以通知以前问问题的用户。

一般来说，这里所公开的实施例解决了深度QA系统中针对常见问题和回答分析的需要。在近实时信息和回答非常关键的金融服务、社交网络和市场营销中强调这种需要。在此环境中，每一秒钟都可能有多个用户提问相似问题，并且能够被剔除的任何处理都可以提高深度QA系统的性能。可以将这里所使用的特征定义为被用于识别证据的概念，所述证据被用于对提交给深度问题回答系统的事例生成响应。特征可以是被计算或生成的分值，或者可以是以特定方式形成的特性。例如，特征可以测量一些特性的存在，或者特征可以设法评估针对当前问题的给定候选回答的整体精度。可以使用个体特征与机器学习相结合以确定给定候选回答的最终分值。事例（也被称为问题）可以包含多个问题，它可以是被提交给深度QA系统的询问。

深度QA系统可以通过单个分析“管道”处理事例。管道可以表示对问题文本和候选回答两者（即从语料库的文件中提取的文本段落）执行各种分析程序或引擎，以便推断出可能的正确回答。典型的管道可以从问题分析开始，所述问题分析分析和注释在事例中提出的每个问题，以识别可以对其进行搜索的关键属性。管道的下一步可以包括主搜索，其包括使用来自问题分析阶段的关键属性搜索语料库中的文件。然后，深度QA系统可以生成候选回答，其可以包含利用候选回答中的段落从搜索结果中识别出关键匹配段落。然后，深度QA系统可以为候选回答检索支持证据。最后，深度QA系统可以通过给可以从中选出正确回答的各种候选回答评分来完成管道。

可以针对每个域或问题空间创建唯一管道（例如，将不同的管道用于支持癌症治疗、保险索赔、诊断、以及一般知识等）。实际上，分析引擎本身对于特定域（例如，肿瘤阶段或尺寸的识别、药物的识别、潜在药物相互作用等）可以是唯一的。管道内的问题和回答分析也可以包括例如被用于识别文本内部的深度语义关系的复杂自然语言处理算法。诸如IBM的沃森深度QA系统的评分阶段可以调用各种评分算法以帮助推断事例的正确回答（或者响应）。评分算法可以生成一个或多个特征分值以指示它在其回答中的置信度如何。深度QA系统也可以利用训练阶段来学习哪个特征或特征组合在预测不同类型问题的正确回答上是最佳的。一旦已经适当训练了深度QA系统，则流经管道的后续问题可以利用用于发现最可能正确回答的机器学习模型。

以下参照本发明实施例。然而应当理解，本发明不局限于所描述的特定实施例。代替地，仔细考虑以下特征和元件的任意组合（是否涉及不同实施例）以实现和实践本发明。此外，虽然本发明实施例相对于其它可能方案和/或相对于现有技术可以获得优势，但是通过给定实施例是否获得特定优势不是本发明的限制。因此，以下的方面、特点、实施例和优点仅是说明性的，并且不被认为是所附权利要求书的要素或限制，除非在权利要求书中明确表述。类似地，“本发明”的指代不应当被理解为这里所公开的任意发明主题的一般化，并且不应当被认为是所附权利要求书的要素或限制，除非在权利要求书中明确表述。

所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、驻留软件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取储存器（RAM）、只读储存器(ROM)、可擦式可编程只读储存器(EPROM或闪存)、光纤、便携式紧凑盘只读储存器(CD-ROM)、光储存器件、磁储存器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

下面将参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。

也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品（article of manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，以引起在计算机、其它可编程装置或其它设备上执行的一系列操作步骤，从而产生被计算机实现的处理，使得在计算机或其它可编程装置上执行的指令提供了实现在流程图和/或框图的一个或多个方框中规定的功能/动作的处理。

本发明实施例可以通过云计算基础结构提供给终端用户。云计算一般指代在网络上把可扩展计算资源作为一种服务提供。更正式地，可以将云计算定义为一种计算能力，它提供了在计算资源和其下面的技术结构（例如，服务、存储、网络）之间的抽象，使得人们能够对可配置计算资源的共享池进行方便、按需的网络访问，所述计算资源能够以最小管理努力或服务提供商交互而被快速地供应和释放。因此，云计算允许用户访问“云”中的虚拟计算资源（例如，存储、数据、应用程序以及甚至完整的虚拟化计算系统），而不考虑被用于提供计算资源的潜在物理系统（或者那些系统的位置）。

典型地，基于按每次使用计费将云计算资源提供给用户，其中，用户仅仅为实际使用的计算资源（例如，用户消耗的存储空间量或者用户例化的虚拟系统数量）付费。用户能够在任何时间以及通过因特网从任何地点访问驻留在云中的任何资源。在本发明中，用户可以访问云中可利用的深度问题回答系统或者相关数据。例如，深度问题回答系统能够在云中的计算系统上执行，并且提供问题分类和特征映射。在此情形中，深度问题回答系统能够分类问题、映射特征并且将由此产生的数据组存储在云中的存储位置。这样做允许用户从附接于被连接到云（例如，因特网）的网络的任何计算系统访问此信息。

图1是根据这里所公开的实施例示出用于深度问题回答系统中的问题分类和特征映射、用于深度问题回答系统中的部分和并行管道处理以及用于深度问题回答系统中的智能证据分类和通知的系统100的框图。网络化系统100包括计算机102。也可以将计算机102经由网络130连接到其它计算机。一般来说，网络130可以是电信网和/或广域网（WAN）。在具体实施例中，网络130是因特网。

计算机102通常包括：处理器104，经由总线120被连接到存储器106；网络接口设备118；储存器108；输入设备122以及输出设备124。计算机102通常在操作系统（未示出）的控制之下。操作系统的例子包括UNIX操作系统、微软视窗操作系统的各种版本、以及Linux操作系统的各种发布。（UNIX是在美国和其它国家中的开放组的注册商标。微软和视窗是在美国、其它国家、或者美国和其它国家中的微软公司的商标。Linux是在美国、其它国家、或者美国和其它国家中的林纳斯·托瓦兹的注册商标。）更一般来说，可以使用支持这里所公开功能的任何操作系统。处理器104被包含作为单CPU、多CPU、具有多处理核的单CPU等的代表。类似地，存储器106可以是随机存取储存器。尽管将存储器106示出为单体，应当理解到，存储器106可以包含多个模块，并且存储器106可以存在于从高速寄存器和缓存器到低速但大容量的DRAM芯片的多个层次。网络接口设备118可以是允许计算机102经由网络130与其它计算机通信的任何类型的网络通信设备。

储存器108可以是永久性存储设备。虽然将储存器108示出为单个单元，但储存器108可以是固定和/或可移动存储设备的组合——例如固定盘驱动器、固态驱动器、软盘驱动器、磁带驱动器、可移动存储卡或者光储存器。存储器106和储存器108可以是扫描多个主要和次要存储设备的一个虚拟地址空间的部分。

如图所示，存储器106包含QA应用程序112，QA应用程序112是通常被配置来操作深度问题回答（QA）系统的应用程序。深度问题回答系统的一个例子是由纽约阿蒙克的IBM公司开发的沃森。用户可以向QA应用程序112提交事例（也被称为问题），然后QA应用程序112将基于信息语料库的分析对此事例提供回答。QA应用程序112可以执行管道以生成对此事例的响应，并将其返回给用户。可以进一步配置QA应用程序112分类问题，识别与生成问题的正确响应高度相关的特征，以及存储所得到的关系为今后使用。可以进一步配置QA应用程序112执行部分或并行的管道运行。例如，如果一类问题已经被识别为具有高度可预测的正确回答的特征，并且针对QA应用程序112接收到的问题的候选回答不包含此特征，则QA应用程序112可以不处理那个候选回答以提高性能和节约资源。最后，QA应用程序112可以监视证据潜在相关特征的变化。如果检测到变化，并且QA应用程序112相信该变化可以影响到所生成的回答，则QA应用程序112可以重新处理该问题以确保提供正确的响应。此外，QA应用程序112还可以基于被改变的证据生成新问题，以确定回答是否随着证据一起变化。一旦检测到证据中的变化，则QA应用程序112可以基于证据中的变化通知用户对他们以前提交的事例的响应可能已经改变。

如图所示，储存器108包含本体110、语料库114、特征贮存115、ML模型116以及证据分类117。本体110为组织信息提供结构框架。本体将知识在形式上表示为领域内的一组概念以及那些概念之间的关系。语料库114是被QA应用程序112使用以生成对事例的回答的信息体。例如，语料库114可以包含学术论文、词典定义、百科全书参考等。特征贮存115存储问题语境和在生成对所述问题的响应中高度可预测的特征之间的映射，使得当处理包含相同语境的附加问题时，可以识别出所述特征。如果所述特征在针对问题的候选回答中不存在，则可以跳过QA应用程序112对那些候选回答的处理以提高性能和效率。机器学习（ML）模型116是由QA应用程序112在训练阶段期间产生的模型，其被用于在运行（runtime）管道期间基于以前为每个回答所生成的特征对事例的候选回答进行评分和评级。证据分类117存储来自语料库114的证据、问题语境和可预测特征之间的关系。基于这些被存储的关系，QA应用程序可以监视潜在证据的变化。如果检测到改变，并且QA应用程序112确定所述变化削弱了在利用所述证据生成的响应中的置信度，则QA应用程序112可以重新处理所述问题，或者向用户警告所述变化。虽然被描述为数据库，本体110、语料库114、特征贮存115、ML模型116以及证据分类117可以采用足以存储数据的任何形式——包括文本文件、xml数据文件等。在一个实施例中，本体110是语料库114的一部分。虽然被描述为驻留在相同计算机上，但是QA应用程序112、本体110、语料库114、特征贮存115、ML模型116以及证据分类117的任意组合可以驻留在相同或不同的计算机上。

输入设备122可以是用于向计算机102提供输入的任何设备。例如，可以使用键盘和/或鼠标。输出设备124可以是用于向计算机102的用户提供输出的任何设备。例如，输出设备124可以是任何常规的显示屏或扬声器组。虽然与输入设备122分离示出，但是可以将输出设备124和输入设备122组合在一起。例如，可以使用带有集成触摸屏的显示屏。

图2是示出根据这里所公开的一个实施例的、用于通过深度问题回答系统生成对事例的响应的方法200的流程图。方法200修改了QA应用程序112的传统执行管道，使得所述管道包括问题分类与特征映射、部分或并行管道执行、以及检测可以影响所生成响应的正确性的各种变化的证据监视。在一个实施例中，QA应用程序112执行方法200的各个步骤。在步骤210，训练QA应用程序112分类问题并且基于样本输入事例将特征映射到所述问题。在训练处理期间，QA应用程序112识别出哪种特征组合是“本质的”，或者对于回答事例中的问题有强烈指示性。换句话说，QA应用程序112基于问题的语境可以识别出哪种特征或特征组合在生成正确回答的过程中具有最大权重。当问到后续问题时，QA应用程序112可以确定所述问题与以前已处理问题的相似程度。如果计算出的相似度测量值超过了预先定义的相似度阈值，则QA应用程序112在生成对所述问题的响应的过程中可以仅使用所述主要特征。例如，如果第一事例包括关于现在是否是买房子的好时机的问题，则QA应用程序112可以识别出与人们是否应当租房或者买房有关的训练问题。QA应用程序112通过分析概念、特征和相关数据可以计算出所述两个事例的相似度分值。如果两个事例共享足够的共同性，则QA应用程序112可以计算出超过相似度阈值的相似度分值，使得当处理第一事例时，采用训练事例的特征。参照图3更详细地讨论步骤210。

在步骤220，QA应用程序112监视证据以检测证据中的变化，所述证据的变化可以影响到所生成响应中的置信度。虽然被描述为单一步骤，但QA应用程序112可以连续地监视语料库114中的证据，即使没有事例要处理时，以便维护以前所生成回答的置信度。参照图4更详细地讨论步骤220。在步骤230，QA应用程序112从用户接收可以包含多个问题的输入事例。在步骤240，QA应用程序112可以使用部分和并行管道执行来处理所述问题。在一个实施例中，在步骤240可以执行全部管道。一般来说，可以实现部分管道执行以限制由QA应用程序112完成的处理量，从而提高系统性能。QA应用程序112可以跳过不包含在步骤210中识别出的特征的候选回答的处理，以便减少处理量并且因此减少返回回答所需的时间。在步骤250，QA应用程序112返回对事例的响应。

图3是示出根据这里所公开的一个实施例的、与训练深度问题回答系统分类问题和映射特征的步骤210相对应的方法300的流程图。在一个实施例中，QA应用程序112执行方法300的各个步骤。一般来说，在训练阶段期间，QA应用程序112基于几个因素，包括但不限于问题类型、与问问题的人或实体有关的信息（或元数据）以及其它语境信息，确定应当如何对事例问题进行分类或归类。训练阶段可以包含整个管道。在训练管道的回答评分和证据评分阶段期间，QA应用程序112可以为具体问题类型识别出最可预测的特征或注释器。可以将问题语境（包括被用于分类问题的所有相关信息）以及任何相关联的高可预测特征写入特征分类117为今后使用。

在步骤310，QA应用程序112接收训练事例和与问问题的用户有关的元数据。用户的元数据可以包括用户的职分、隶属、专长、偏好、或者用户或用户代表的实体的任何其它属性。当QA应用程序112接收到后续事例时，当计算与以前所问（或者训练）问题的相似度分值时，可以分析那个用户的用户元数据，并且将其存储在特征贮存115中。在步骤320，QA应用程序112开始为训练事例中的每个问题执行包含步骤330-395的循环。在步骤330，QA应用程序112识别问题类型或语境。可以使用任意合适方法来识别问题语境，包括从问题中提取出标准化的术语和概念的自然语言处理。在步骤340，QA应用程序112生成对事例的响应，并且识别在生成响应过程中所使用的特征。例如，如果问题涉及日元和美元的汇率在特定日期是否有利，则可以考虑多个变量或特征。这些特征可以包括货币、金价、以及当前通胀率是否被高估。在生成指示汇率是否有利的响应的过程中，QA应用程序也可以存储关于在生成对问题的响应过程中哪个特征或特征组合是最相关的信息。

在步骤350，QA应用程序112开始执行用于给在步骤340中识别出的每个特征评分的、包含步骤360-390的循环。在步骤360，QA应用程序112为所述特征计算特征分值。可以通过任何合适的测量来计算特征分值，所述测量包括为问题或事例引到正确回答的特征的能力。可以使用测距（ranging）复杂度算法来产生特征分值，以便为特定候选回答产生代表性分值。例如，所述算法可以比较候选回答和问题之间的相似词的数量，或者例如，所述算法可以对问题的含义进行语法分析，以便匹配术语、语境、否定、多重性、连词以及时序表。特征分值本身可以是在特征分值的可允许范围内的数。在步骤370，QA应用程序112确定所述特征分值是否超过了预先定义的特征阈值。所述特征阈值可以是缺省阈值，或者是用户指定的阈值。如果所计算的特征分值超过了特征阈值，则在步骤380将所述特征添加到特征分类贮存117。可以将特征、用户元数据和问题语境（包括被用于分类问题的所有相关信息）写入特征分类贮存117作为相关实体。如果所计算的特征分值没有超过特征阈值，则QA应用程序112前进到步骤390。在步骤390，QA应用程序112确定是否剩余更多特征需要评分。如果仍然剩余更多特征，则QA应用程序112返回到步骤350。否则，QA应用程序112前进到步骤395。在步骤395，QA应用程序112确定是否剩余训练事例的更多问题。如果剩余更多问题，则QA应用程序112返回到步骤320。否则，训练阶段完成并且方法300结束。

图4是根据这里所公开的一个实施例示出与用于监视证据以检测证据中的变化的步骤220相对应的方法400的流程图。一般来说，执行方法400的各个步骤以检测关键支持证据中的显著变化，从而提供触发部分或并行管道执行的自动化方法。为了完成此方法，识别出回答通过完整管道已经运行的给定问题或问题类型所需的关键证据。例如，QA应用程序112可以接收包含问“日元和美元的汇率今天有利吗？”的问题的事例。为了回答此问题，QA应用程序112可能需要考虑与东京股票交易有关的许多特征（或者变量），包括美元和日元是否被高估，金价是否被高估，以及美国和日本通胀率是否超过正常。所有这些特征可以依赖于变化非常频繁的潜在数据（支持证据）。通过机器学习，QA应用程序112可以确定，当美国通胀率大于某个值时，用美元换日元绝不是一个好想法，而不论其它特征。这被认为是“强指示器”。当识别出强指示器时，它对最终回答的影响应当比其它特征大得多。然而，这不会意味着强指示器是确定回答的唯一输入，但是在给出当前证据情况下它可以有助于暗示出完全不可接受的回答。它们可以表示的特征和变量可以比简单参考值更复杂。例如，考察美元是否被高估的变量除了考虑美元的当前值之外，还可以考虑包含在自然语言文件中的专家洞察力和意见。通过使用方法400，QA应用程序112可以利用特征和潜在数据之间的相关性知道，数据中的显著变化将影响特征分值。在一个实施例中，QA应用程序112实现指示证据中的变化将导致回答中的变化的总体置信度的置信度分值。

QA应用程序112可以监视丢失（被识别但是不存在）和存在的证据。QA应用程序112可以注意到，特征何时已经识别出不存在的高度相关的证据，或者，特征在哪里没有充分证据来产生有意义的置信度分值。然而，当QA应用程序112检测到数据已经以有意义的方式改变时，诸如通过特定丢失证据的新发现存在，或者通过现有证据中的显著变化，QA应用程序112可以执行另一个部分管道。如果部分管道指示对于回答中的变化的高可能性，则QA应用程序112可以执行全管道，并且可以通知在过去已经问过类似问题的用户。

此外，QA应用程序112还可以生成语料库114的子集，该子集仅包括与给定问题有关并且具有重要影响的诸如文件的那些证据。QA应用程序112可以考虑许多相关性过滤方法，包括仅选择包含也被表达在事例或问题内的足够数量的概念和属性的文件的能力。仅仅为语料库中的可应用于给定问题的那些文件建立子集，减少了具有触发全部或部分问题重处理的潜力的文件的数量。

在步骤410，QA应用程序112识别被链接到相关特征的证据。在一个实施例中，QA应用程序112基于对证据分类117中的实体的比较来识别证据。如前所述，证据分类117可以存储相关特征、问题语境、以及证据类型之间的关系。因此，QA应用程序112可以识别证据并且把其类型与在证据分类117中的类型进行比较，以确定其是否包含被链接到相关特征的证据。通过被证据条目影响的特征以及通过被用于专用事例的机器学习模型被分配给那些特征的权重，可以确定支持证据条目对问题具有的影响程度。这种优化的一个例子可以是其中通过机器学习没有检测到本质的支持证据特征的情形，例如，被分配给支持证据特征的权重对于给定类型的问题非常低。于是，可以忽略总体支持证据语料库的任何变化，而不会对针对那类问题的回答置信度分值产生重要影响。

在步骤420，QA应用程序112监视证据。如上所述，QA应用程序112可以监视整个语料库114，或者与特定问题类型有关的证据子集。在步骤430，QA应用程序112确定在被链接证据中是否出现变化。如果没有检测到变化，则QA应用程序112返回到步骤420。在丢失证据的情形中，通过证据的存在可以检测到所述变化。对于存在的证据，通过监视证据的内容可以检测到所述变化。一般来说，可以使用任何合适的方法来监视证据。如果已经检测到证据中的变化，则QA应用程序112前进到步骤440。一旦检测到证据中的变化，则QA应用程序112可以重新处理以前提交的问题或者生成新问题，以确定针对所述问题的置信度分值是否已经改变，使得回答也已经改变。在步骤440，QA应用程序112在生成新问题的过程中检索被链接到相关特征的可应用问题语境数据。通过获得所述语境，QA应用程序112在步骤450可以制定出新问题。在步骤460，QA应用程序112可以对新问题（或者以前提交的问题）运行部分管道，并且计算相应的置信度分值。置信度分值可以基于特征的相关性分值、证据中的变化程度或者任何其它合适的方法。置信度分值可以基于适合于指示置信度分值范围的标尺的任意值。在步骤470，QA应用程序112确定置信度分值是否超过了置信度阈值。置信度阈值可以是缺省阈值或者用户定义的阈值。如果置信度分值没有超过置信度阈值，则QA应用程序112返回到步骤420。如果置信度分值超过了置信度阈值，则QA应用程序112可以在某种概率程度上确定，对所述类型问题的回答可能已经随着证据一起改变。因此，如果置信度分值超过了置信度阈值，则QA应用程序112前进到步骤480，其中，QA应用程序112执行完全管道，并且可选择地，可以通知以前已经提交过类似问题的感兴趣的各方。

图5是根据这里所公开的一个实施例示出，与用于使用部分和并行管道执行来处理问题的步骤240相对应的方法500的流程图。可以执行方法500的各个步骤以提高对常问问题所生成响应的效率。QA应用程序112可以使用在步骤210中识别出的语境映射的特征来运行部分管道以提高效率。部分管道是一种不需要运行所有阶段来使QA应用程序112有理由相信以前所生成的响应没有变化的管道。为了使其成为可能，QA应用程序112为每个本质特征计分器保持依赖跟踪。当执行部分管道时，仅仅执行针对（fire）每个主要特征所要求的最小数量的步骤，使得QA应用程序112能够“短路”完全管道。于是，QA应用程序112将仅执行与高度可预测特征相关联的那些注释器。在一个实施例中，QA应用程序112在训练阶段期间可以跟踪由特征生成类型使用的所有类型和外部资源。一旦识别出这些本质注释器，则可以为具有相关特征的候选回答执行管道的回答评分、支持证据检索、以及证据评分组件。例如，对不包含其特征分值超过特征阈值的特征的候选回答可以不执行全管道。在此情形中，QA应用程序112可以跳过全管道的几个步骤的执行，包括对候选回答运行自然语言处理，确定候选回答是否包含不同的高相关特征，为候选回答检索支持证据以及为候选回答的支持证据评分。

在步骤505，QA应用程序112可以识别出事例中问题的语境。在步骤510，QA应用程序112开始为事例中的每个问题执行包括步骤515-560的循环。在步骤515，QA应用程序112为与存储在特征贮存115中的多个问题有关的问题计算相似度分值。所述相似度分值可以基于任意数量的因素，包括问题中的标准化概念与存储在与问题种类/类型有关的特征贮存115中的概念的比较。在步骤520，QA应用程序112确定所计算的相似度分值是否超过了相似度阈值。所述相似度阈值可以是任意范围的值，并且可以是系统缺省或用户定义的阈值。如果相似度分值超过阈值，指示所述问题非常相似，则QA应用程序112前进到步骤525。否则，QA应用程序112前进到步骤560。在步骤525，QA应用程序112从与事例类型有关的特征贮存115识别出高度相关的特征。此外，在步骤525，QA应用程序112还可以检索已经为问题生成的候选回答。

在步骤530，QA应用程序112为当前问题的每个候选回答执行包含步骤535-555的循环。在步骤535，QA应用程序112确定候选回答是否包含在针对那类问题的特征贮存115中被识别为高度相关的每个特征。如果候选回答包含所述特征，则可以要求进一步处理那个候选回答，并且QA应用程序112前进到步骤555。虽然没有描述，QA应用程序112可以对包含所述特征的候选回答执行完全管道。如果候选回答不包含所述特征，则QA应用程序112前进到步骤540，其中，QA应用程序112可以在不处理候选回答的情况下生成问题的响应，从而通过不执行不包含高度相关特征的候选回答的不必要处理来节省系统资源。在步骤545，QA应用程序112确定在系统资源充分的时候是否实现并行处理。在步骤545，QA应用程序112确定针对由部分管道生成的响应的置信度分值是否超过置信度阈值，以及是否存在充足资源。置信度阈值可以与参照图4讨论的置信度阈值有关，因为它基于部分管道的执行传达了关于在回答中是否将有可能的变化的置信度的程度。如果存在充足的资源并且已经超过了置信度阈值，则QA应用程序112前进到步骤550。否则，QA应用程序112前进到步骤555。在步骤550，QA应用程序112与部分管道并行地运行完全管道，以便使用候选回答生成附加响应。然后，QA应用程序112可以比较所述响应，以确定哪个具有更大的置信度分值，并且向问问题的用户报告它的发现，或者可以简单地给出具有更大置信度分值的响应。在步骤555，QA应用程序112确定是否有更多的候选回答待分析。如果有更多候选回答待分析，则QA应用程序112返回到步骤530。否则，QA应用程序112前进到步骤560。在步骤560，QA应用程序112确定在事例中是否有更多的问题。如果有更多的问题，则QA应用程序112返回到步骤510。否则，方法500结束。

图6是根据这里所公开的一个实施例的示出深度问题回答系统的组件的框图。在一个实施例中，深度问题回答系统是QA应用程序112。如图所示，QA应用程序112包含问题分类器和特征映射组件601、部分和并行管道执行组件602以及智能证据通知组件603。问题分类器和特征映射组件601在训练阶段期间可以基于类型分类问题，并且识别出在生成对训练事例中的问题的正确响应中最高度相关的特征。一旦识别出，则可以将所述特征存储在诸如特征贮存115的特征贮存中。当收到后续事例时，部分和并行管道执行组件602可以访问在特征贮存115中定义的依存关系，以减少对不具有被识别为与回答特定类型问题高度相关的特征的候选回答的处理。智能证据通知组件603可以识别出相关类型的证据，并且监视此类证据以确定它是否变化。所述证据可以是存在的或者是不存在的。一旦检测到变化，则智能证据通知组件603可以预测证据中的变化是否对使用被改变的证据生成的响应的置信度有影响。在此情形中，智能证据通知组件603可以重新处理问题以确定是否回答已经变化，并且可以进一步将结果通知给感兴趣的各方。

各个图中的流程图和框图示出根据本发明各种实施例的系统、方法和计算机程序产品的可能实现的结构、功能和操作。就这一点而言，流程图或框图中的每一个方框可以表示包含用于实现特定逻辑功能的一个或多个可执行指令的模块、片段或者部分代码。也应当注意到，在一些可替换实现中，在方框中标注的功能可以不按照图中标注的顺序出现。例如，依次示出的两个方框实际上可以大体上同时执行，或者有时可以按相反顺序执行，这取决于所包含的功能。也应当注意到，通过执行特定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合，能够实现框图和/或流程图图示的每个方框以及框图和/或流程图图示中的方框组合。

虽然上述是针对本发明的实施例，但是在不脱离由以下权利要求书所确定的基本范围的情况下，可以设计本发明的其它和进一步实施例。

Claims (44)

1.一种在深度问题回答系统中识别相关特征的方法，包括：

分类由深度问题回答系统接收的第一事例；以及

在训练深度问题回答系统回答第一事例时：

识别第一事例中的第一特征，其中所述第一特征包括所述第一事例的变量；

所述变量的可能的值包括以下一个或多个：(i)参数值；(ii)当前值，以及(iii)专家的意见；

识别出与所述第一特征有关的第一证据；

为所述第一特征计算第一特征分值，其中第一特征分值指示在生成对第一事例的正确响应过程中第一特征的相关性；

计算第一事例和第二事例的相似度分值；以及

一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应的过程中将第一特征识别为相关；

响应于深度问题回答系统接收到第二事例：

分类第二事例；

计算第一事例和第二事例的相似度分值；以及

一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应的过程中将第一特征识别为相关。

2.如权利要求1所述的方法，其中，相似度分值是基于至少以下之一：(i)第一事例的分类和第二事例的分类；以及(ii)第一事例的语境和第二事例的语境。

3.如权利要求1所述的方法，其中，第一事例和第二事例的分类是基于至少以下之一：(i)向深度问题回答系统提交各个事例的用户的属性；(ii)各个事例中的问题的内容；以及(iii)各个事例中的问题类型。

4.如权利要求3所述的方法，其中，用户的属性从以下当中选择：(i)用户的职分、(ii)用户的隶属、(iii)用户的专长、以及(iv)用户的预先定义的偏好组。

5.如权利要求1所述的方法，进一步包括：

存储第一特征与第一事例之间的关系，其中，所述关系指示第一特征在回答第一事例中是相关的。

6.如权利要求1所述的方法，其中，第一特征分值是基于由深度问题回答系统使用第一特征检索出的许多相关条目的支持证据。

7.如权利要求1所述的方法，其中，第一事例包含向深度问题回答系统提交的至少一个问题，其中，第一特征包含至少以下之一：至少一个问题的(i)类型、(ii)主题、(iii)变量、以及(iv)语境。

8.一种在深度问题回答系统中识别相关特征的系统，操作包括：

模块，用于分类深度问题回答系统接收的第一事例；以及

模块，在训练深度问题回答系统回答第一事例时，用于

识别第一事例中的第一特征，其中所述第一特征包括所述第一事例的变量；

所述变量的可能的值包括以下一个或多个：(i)参数值；(ii)当前值，以及(iii)专家的意见；

识别出与所述第一特征有关的第一证据；

通过一个或多个计算机处理器的操作为第一特征计算第一特征分值，其中，第一特征分值指示在生成对第一事例的正确响应过程中第一特征的相关性；以及

一旦确定第一特征分值超过相关性阈值，则在回答被分类的第一事例过程中将第一特征识别为相关；

模块，响应于深度问题回答系统接收到第二事例，用于

分类第二事例；

计算第一事例和第二事例的相似度分值；以及

一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应过程中将第一特征识别为相关。

9.如权利要求8所述的系统，其中，相似度分值是基于至少以下之一：(i)第一事例的分类和第二事例的分类、以及(ii)第一事例的语境和第二事例的语境。

10.如权利要求8所述的系统，其中，第一事例和第二事例的分类是基于至少以下之一：(i)向深度问题回答系统提交各个事例的用户的属性、(ii)各个事例中的问题内容、以及(iii)各个事例中的问题类型。

11.如权利要求10所述的系统，其中，用户的属性从以下当中选择：(i)用户的职分、(ii)用户的隶属、(iii)用户的专长、以及(iv)用户的预先定义的偏好组。

12.如权利要求8所述的系统，进一步包括：

存储第一特征与第一事例之间的关系，其中，所述关系指示在回答第一事例的过程中第一特征是相关的。

13.如权利要求8所述的系统，其中，第一特征分值是基于深度问题回答系统使用第一特征检索出的许多相关条目的支持证据。

14.如权利要求8所述的系统，其中，第一事例包含向深度问题回答系统提交的至少一个问题，其中，第一特征包含至少以下之一：至少一个问题的(i)类型、(ii)主题、(iii)变量、以及(iv)语境。

15.一种减少深度问题回答系统生成对第一事例的响应所需要的处理量的方法，包括：

确定第一事例相对于第二事例的相似度分值超过相似度阈值；

识别出具有超过相关性阈值的第一相关性分值的第二事例的第一特征，其中所述第一相关性分值指示第一特征在生成对第二事例的正确响应过程中是相关的；

基于相似性分值和所述第一相关性分值，确定所述第一特征和生成对所述第一事例的正确回答相关；

为不具有第一特征的第一事例识别出第一候选回答；以及

在生成对第一事例的响应过程中抑制分析第一候选回答，从而减少深度问题回答系统的处理量。

16.如权利要求15所述的方法，进一步包括：

一旦确定第二候选回答具有第一特征，则在生成对第一事例的响应过程中分析第二候选回答。

17.如权利要求15所述的方法，其中，抑制分析第一候选回答包括：

抑制执行对第一候选回答的自然语言处理；

抑制确定第一候选回答是否具有第二特征，其中，深度问题回答系统已经识别出第二特征具有超过相关性阈值的第二相关性分值；

抑制检索针对第一候选回答的支持证据；以及

抑制对针对第一候选回答的支持证据评分。

18.如权利要求15所述的方法，其中，所述相关性分值指示第一特征在生成对第二事例的正确响应过程中是相关的。

19.如权利要求15所述的方法，进一步包括：

一旦确定：(i)深度问题回答系统的资源利用率没有超过利用率阈值，以及(ii)通过抑制分析第一候选回答所生成的第一响应的置信度分值超过置信度阈值，则生成对所述事例的第二响应，其中，在生成对事例的第二响应过程中分析第一候选回答。

20.如权利要求15所述的方法，其中，将第二事例的第一特征识别为具有超过相关性阈值的第一相关性分值是基于第二事例对第一特征的已存储的依赖关系。

21.如权利要求15所述的方法，其中，第一事例包括向深度问题回答系统提交的至少一个问题。

22.如权利要求21所述的方法，其中，第一特征包括至少以下之一：至少一个问题的(i)类型、(ii)主题、(iii)变量、以及(iv)语境。

23.一种减少通过深度问题回答系统生成对第一事例的响应所需要的处理量的系统，包括：

模块，用于确定第一事例相对于第二事例的相似度分值超过相似度阈值；

模块，用于识别出具有超过相关性阈值的第一相关性分值的第二事例的第一特征，其中所述第一相关性分值指示第一特征在生成对第二事例的正确响应过程中是相关的；

基于相似性分值和所述第一相关性分值，确定所述第一特征和生成对所述第一事例的正确回答相关；

模块，用于识别出针对不具有第一特征的第一事例的第一候选回答；以及

模块，用于在生成对第一事例的响应过程中抑制分析第一候选回答，从而减少深度问题回答系统的处理量。

24.如权利要求23所述的系统，操作进一步包括：

响应于深度问题回答系统接收到第二事例：

分类第二事例；

计算第一事例和第二事例的相似度分值；以及

一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应过程中将第一特征识别为相关。

25.如权利要求23所述的系统，操作进一步包括：

一旦确定第二候选回答具有第一特征，则在生成对第一事例的响应过程中分析第二候选回答。

26.如权利要求23所述的系统，其中，抑制不析第一候选回答包括：

抑制执行对第一候选回答的自然语言处理；

抑制确定第一候选回答是否具有第二特征，其中，深度问题回答系统已经识别出第二特征具有超过相关性阈值的第二相关性分值；

抑制检索针对第一候选回答的支持证据；以及

抑制对针对第一候选回答的支持证据评分。

27.如权利要求23所述的系统，其中，相关性分值指示第一特征在生成对第二事例的正确响应过程中是相关的。

28.如权利要求23所述的系统，其中，将第二事例的第一特征识别为具有超过相关性阈值的第一相关性分值是基于第二事例对第一特征的已存储的依赖关系。

29.如权利要求23所述的系统，其中，第一事例包括向深度问题回答系统提交的至少一个问题。

30.如权利要求29所述的系统，其中，第一特征包括至少以下之一：至少一个问题的(i)类型、(ii)主题、(iii)变量、以及(iv)语境。

31.一种识别深度问题回答系统回答问题所使用的证据中的变化的方法，包括：

识别出与特征有关的第一证据，其中，深度问题回答系统已经将所述特征识别为与回答多类问题中的第一类问题相关；以及

响应于(i)检测到第一证据中的变化，和(ii)确定为第一类问题的第一问题所生成的第一响应的置信度分值超过置信度阈值，基于被改变的第一证据为第一问题生成被更新的响应；

其中，被更新的响应是基于至少以下之一：(i)处理第一类型的第二问题；以及(ii)重新处理第一问题。

32.如权利要求31所述的方法，所述方法进一步包括：

通知用户第一证据中的变化，其中，一旦用户同意则生成被更新的响应。

33.如权利要求31所述的方法，其中，通过以下之一生成第二问题：(i)深度问题回答系统、以及(ii)用户。

34.如权利要求31所述的方法，其中，第一证据是不可用的，其中，所述第一证据中的变化包括第一证据的可用性。

35.如权利要求31所述的方法，其中，第一证据是可用的，其中，所述第一证据中的变化包括第一证据的内容中的变化。

36.如权利要求31所述的方法，进一步包括监视第一证据以检测变化。

37.如权利要求36所述的方法，其中，一旦确定第一证据的相关性分值超过相关性阈值，则监视第一证据，其中，第一证据包括至少以下之一的内容：(i)文件、(ii)变量、(iii)论文以及(iv)网页，以及其中，第一问题是包括至少第一问题的第一事例的一部分。

38.一种识别深度问题回答系统回答问题所使用的证据中的变化的系统，包括：

模块，用于识别出与特征有关的第一证据，其中，深度问题回答系统已经将所述特征识别为与回答多类问题中的第一类问题相关；以及

模块，响应于(i)检测到第一证据中的变化，和(ii)确定为第一类问题的第一问题所生成的第一响应的置信度分值超过置信度阈值，基于被改变的第一证据，为第一问题生成被更新的响应；

其中，被更新的响应是基于至少以下之一：(i)处理第一类型的第二问题；以及(ii)重新处理第一问题。

39.如权利要求38所述的系统，操作进一步包括：

模块，用于通知用户第一证据中的变化，其中，一旦用户同意则生成被更新的响应。

40.如权利要求38所述的系统，其中，通过以下之一生成第二问题：(i)深度问题回答系统、以及(ii)用户。

41.如权利要求38所述的系统，其中，第一证据是不可用的，其中，所述第一证据中的变化包括第一证据的可用性。

42.如权利要求38所述的系统，其中，第一证据是可用的，其中，所述第一证据中的变化包括第一证据的内容中的变化。

43.如权利要求38所述的系统，进一步包括监视第一证据以检测变化。

44.如权利要求43所述的系统，其中，一旦确定第一证据的相关性分值超过相关性阈值，则监视第一证据，其中，第一证据包括至少以下之一的内容：(i)文件、(ii)变量、(iii)论文以及(iv)网页，以及其中，第一问题是包含至少第一问题的第一事例的一部分。