CN111886601A

CN111886601A - 用于自适应问答的系统和方法

Info

Publication number: CN111886601A
Application number: CN201980000567.XA
Authority: CN
Inventors: 妮哈·普拉布胡高恩卡; 阿布依·帕拉布; 纳特瓦尔·马尔
Original assignee: Calder Artificial Intelligence Pte Ltd
Current assignee: Calder Artificial Intelligence Pte Ltd
Priority date: 2019-03-01
Filing date: 2019-04-15
Publication date: 2020-11-03
Anticipated expiration: 2039-04-15
Also published as: CN111886601B; WO2020178626A1; JP2022523601A

Abstract

本发明涉及用于自适应问题回答的系统和方法，该系统和方法通过从用户交互不断学习并适应上下文和数据可视化来适应于用户的特征、目标和需要。用于自适应问题回答的系统包括体现在计算机网络上的软件模块，并且软件模块包括解释引擎、回答引擎和学习引擎。

Description

用于自适应问答的系统和方法

相关申请

本申请要求于2019年3月1日提交的印度专利申请号201921008186的优先权利益，出于所有目的该专利申请通过引用被全部并入本文。

领域

本发明涉及在包括硬件和软件以及人工智能的计算机科学领域中的系统和方法。

背景技术

数据驱动的决策情况(例如业务智能(Business Intelligence))涉及复杂的高维数据集。这常常需要查看各种数据源，适当地划分它们，检查结果并发现最有意义的洞察。业务用户常常在低效的数据业务工作上花费不相称的数量的时间。他们具有非常简单的要求，能够以最自然的方式询问业务查询并获得相关的业务答案而不用为查询语言和其他技术部分操心。

在大多数问答系统中，输出依然独立于用户的特征、目标和需要。通常，这些系统是静态的，且很少与用户交互，以及因此不能够根据问题的上下文来学习和适应(adapting)答案。因此，存在对关于用户的特征、目标和需要来调整它的答案的自适应学习系统的需要。

发明概述

本公开描述了一种自适应问答引擎(AQUAE)系统，其通过从用户交互中不断学习并适应上下文和数据可视化来自适应于用户的特征、目标和需要，从而提高质量和用户的体验。此外，自然语言界面允许非技术业务用户进行更自然的业务查询流，非技术业务用户不需要面对使用技术术语时的不适和困难。

本文的一个示例性系统实施例提供了一种包括体现在计算机网络上的软件模块的自适应问答引擎系统，并且软件模块包括解释引擎、回答引擎和学习引擎。解释引擎从用户接收自然语言的问题，并为了对用户的问题的整体理解通过合并来自学习引擎的语义和使用知识来处理问题。问题理解不限于问题文本，还识别用户的意图，在不充分阐明的问题的情况下做出智能假设，在歧义的情况下执行歧义消除。解释引擎生成解释，该解释被传递到回答引擎以用于相关答案的生成。回答引擎基于解释来制定各种中间查询，并检索各个中间查询的适当答案和与所述答案相关联的元数据。回答引擎通过合并来自学习引擎的语义和使用知识来确定可视化偏好，并视情况汇总和排列答案。回答引擎还推荐用户可以执行的后续动作，以关于用户的信息需要和进一步的分析而帮助用户。学习引擎基于反馈给学习引擎的用户交互来扩充、适应和改进知识。用户交互包括数据查询、模糊实体的校正、关于解释的动作、关于答案的动作、答案的跟踪、钻取(drill-down)数据的部分、可视化变化、关于答案的赞同/反对票、关于所建议的分析的动作、以及关于所建议的问题的后续动作。

本文的一个示例性方法实施例提供了一种用于自适应问答的方法，其包括下面的步骤：

由解释引擎从用户接收自然语言的问题；

由解释引擎通过合并来自学习引擎的语义和使用知识针对用户的问题的整体理解而处理该问题；

由解释引擎生成解释，该解释传递到回答引擎以用于相关答案的生成；

由回答引擎基于解释来制定各种中间查询；

检索各个中间查询的适当答案和与所述答案相关联的元数据；

由回答引擎通过合并来自学习引擎的语义和使用知识来确定可视化偏好；

视情况汇总和排列答案；以及

由回答引擎推荐后续动作，以关于用户的信息需要和进一步的分析而帮助用户；

其中，学习引擎基于用户交互来扩充、适应和改进知识，用户交互包括数据查询、模糊实体的校正、关于解释的动作、关于答案的动作、答案的跟踪、钻取数据的部分、可视化变化、关于答案的赞同/反对票、关于所建议的分析的动作、或关于所建议的问题的后续动作。

本文的附加实施例包括用于自适应问答的计算机网络，该计算机网络包括用于数据处理的第一子网和用于数据存储的第二子网。用于数据处理的第一子网的实施例包括用于实现解释引擎、回答引擎、学习引擎、数据同步或其他模块的至少一个虚拟或物理服务器节点。用于数据处理的第一子网的另一个实施例包括与解释引擎、回答引擎、学习引擎和所有其他所需的模块一起部署的多服务器节点集群以及用于数据同步的第二服务器节点。用于数据处理的第一子网的另一个实施例提供了无服务器架构。用于数据存储的第二子网的实施例包括用于数据查询和检索的大数据框架和数据库系统。

附图简述

下面将基于示出示例性实施例的附图更详细地描述本发明。在附图中，在每种情况下示意性地:

图1示出了AQUAE的高级过程流程。

图2描绘了AQUAE的硬件细节。

图3示出了构成问题的内容的高级表示。

图4详述了分析特定元本体(AMO)的高级构造块。

图5详述了从各种用户/系统交互中捕获的高级用户知识。

图6描绘了解释引擎的细节。

图7描绘了回答引擎的细节。

图8示出了构成AQUAE中的答案的高级表示。

具体实施方式

应当理解，本发明不限于在本文描述的且因此可以变化的特定的方法、协议、和系统等。本文使用的术语仅为了描述特定实施例的目的，而并不意欲限制仅仅由权利要求限定的本发明的范围。

本文使用的术语仅为了描述特定实施例的目的，而并不意欲限制本发明。如本文所使用的，单数形式“一(a)”、“一(an)”、和“所述(the)”也意欲包括复数形式，除非上下文另有清楚指示。应进一步理解，当在本说明书中使用时，术语“包括(comprises)”和/或“包括(comprising)”规定所陈述的特征、整数(integers)、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。

下面的描述和附图充分说明了具体实施例，以使本领域中的技术人员能够实践它们。其他实施例可以合并结构、逻辑、电气、过程、和其他变化。一些实施例的部分及特征可以被包括在其它实施例中、或是代替其他实施例的部分及特征。

图1详述了AQUAE的高级过程流程。用户可以使用任何交互系统(例如移动应用、桌面应用、web应用、基于语音的硬件等)用自然语言与AQUAE进行交互。来自用户的输入作为问题被捕获。解释引擎进一步处理该问题。解释引擎针对对用户的问题的整体理解而合并组织和使用知识。问题理解不限于问题文本，还识别用户的意图，在不充分阐明的问题的情况下做出智能假设，在歧义的情况下执行歧义消除等。对问题上下文的语义理解被称为解释。

解释被进一步传递到回答引擎，以用于相关答案的生成。回答引擎还负责确定用户可能对哪个数据源、哪个数据切片感兴趣。它还从基础数据集群检索数据，基于过去的交互来确定可视化偏好，关于被认为合适的附加上下文进行构造。关于用户的信息需要和进一步的分析而帮助用户，回答引擎还推荐用户可以执行的后续动作。

所有这些答案将以适当的方式在交互系统上呈现给用户，也向用户提供与系统交互的机会。所有这些用户交互都被反馈到学习引擎。用户交互可以是对当回答问题时做出的假设的校正、选择可选的可视化或甚至简单的反馈，如关于答案的赞同票或反对票。AQUAE从这些交互中适应，从而丰富了使用知识以及语义知识。

图2描绘了AQUAE的计算机网络的示例性硬件细节。用于自适应问答的计算机网络包括用于数据处理的第一子网和用于数据存储的第二子网。用于数据处理的第一子网包括与解释引擎、回答引擎、学习引擎和所有其他所需的模块一起部署的多服务器节点集群、以及用于数据同步的第二服务器节点。用于数据存储的第二个子网包括用于数据查询和检索的大数据框架和数据库系统。表1提供了AQUAE的示例性硬件。

表1.AQUAE的示例性硬件细节

用于数据处理的第一子网的另一个实施例包括用于实现解释引擎、回答引擎、学习引擎、数据同步或其他模块的至少一个虚拟或物理服务器节点。用于数据处理的第一子网的另一个实施例提供了无服务器架构。无服务器架构是合并第三方“后端即服务”(BaaS)服务和/或包括在“功能即服务”(FaaS)平台上的被管理的临时容器中运行的自定义代码的应用设计。无服务器架构消除了对传统的始终基于服务器部件的很多需要，并且可以从显著降低的运营成本、复杂性和工程交付周期中受益。

问题

图3示出了构成问题的内容的高级表示。

知识

智能业务智能(BI)系统可以帮助您更好地理解各种组织过程的含意，并增强您识别对您的组织的适当机会的能力，因而使您能够规划成功的未来。BI分析由组织广泛用于提供对不同而复杂的数据环境的可行的洞察。该数据将分散在组织的内部和外部。此外，每个组织都有它自己的命名法，且数据就其本身而言也是非常独特的。组织不可知的自适应问答引擎需要理解这个组织特定的知识。构造组织特定的本体可能不足以创建领域或组织不可知的AQUAE。

语义知识

一些努力已经在元本体的创建中被做出，但是对迎合分析需要是不成功的。本发明通过构造分析特定元本体(AMO)来解决这个问题。图4详述了AMO的高级构造块。每个概念都有名称、标签、术语表、同义词和其他相关属性。本发明捕获在语义知识中的领域和组织特定知识的这个理解。将语义知识考虑为源自AMO的组织特定本体。例如，“品牌”是属性，“Colgate”是类型品牌的实体，“单位的总数”是在术语表为“被销售的物品的总数”的情况下的度量。

使用知识

图5详述了从各种用户/系统交互捕获的高级用户知识。用户模型捕获所有用户特定的交互，例如由用户提供的关于答案的反馈、对假定实体的校正等。而组织模型基于相似的反馈来在整个组织中捕获元信息。可视化模型捕获用户对于给定洞察的可视化偏好。洞察知识是被提供给用户的所有洞察的存储库，并对于所有有效的上下文洞察知识链接到AMO。用户会话通过监测在用户和系统之间交换的交互信息来保持跟踪用户正在执行什么。系统从每次用户交互中增进用户特定的兴趣。

解释引擎

解释引擎的作用是将用户的问题转换成称为解释的中间结构化表示。图6描绘了解释引擎的细节。在分析和理解问题的上下文之后，解释基本上从问题捕获关键实体。

实体标识

解释引擎使用语义解析器算法来解析问题，并从问题识别关键的构成短语和标记。所命名的实体标识在解释引擎中起极重要的作用。所命名的实体的示例可以是个人或组织名称、地点、日期和时间。然后，所命名的实体可以在预定义的类别(例如“周期”——相对的、特定的和周期性的、“业务对象”——列值、“度量”——数字列、“过滤器和条件”、以及来自问题和用户上下文的其他重要特征下)被组织。

词汇实体歧义消除

在实体识别后的下一步骤是词汇实体的歧义消除或词义歧义消除(WSD)。WSD是在给定的上下文中确定歧义词的正确含义的任务。在自然语言文本中，单词在本质上可以是多义的(有多于一种意义的单词)。在业务环境中，度量和业务对象在本质上通常是多义的。在这种情况下，我们使用上下文和使用知识来消除实体的歧义。使用推理算法和加权上下文相似度方法来对度量进行消除歧义和排列。例如，在问题“在本月东区的销售额”中，词“销售额”具有多于两个含意(“总单位销售额”、“总美元销售额”)。在这种情形下，根据使用知识和问题上下文，“销售额”可以与“总美元销售额”相关联。

语义歧义消除

一旦我们消除了实体的歧义，下一步骤就是语义歧义消除。虽然词汇歧义消除是关于在单词层面消除实体的歧义，但语义歧义消除考虑到问题的整个上下文来处理实体的歧义消除。这涉及考虑到度量的数据源信息以及也关于问题中的其他实体来消除实体的歧义。一旦所有度量和业务对象的歧义被消除，适当的过滤器和条件就将被应用在度量实体上。

对于几乎所有(如果不是所有)组织，没有访问控制的企业应用都是不宜继续进行的。访问控制在确保用户只能访问经授权的信息方面起相当大的作用。

在解释引擎中的最后一个步骤是识别用户的意图，其可以被回答引擎进一步利用。

回答引擎

回答引擎的主要任务是考虑到如从问题推断出的用户意图使用语义解释来生成适当的答案。图7描绘了回答引擎的细节。

一旦问题被解释，考虑到上下文，引擎就制定回答问题所需的各种中间查询。根据用户的意图，查询的范围可以从一个到许多个。对于每个查询，答案等同于所形成的查询。

作为第二步骤，对于各个中间查询，如果在问题中没有提到周期和度量，则使用贝叶斯公式来推断它们。一旦周期、度量和其他实体在适当的位置上，回答引擎就查询企业数据以获得各个中间查询的适当的答案和与该答案相关联的元数据。使用解释，回答引擎识别最频繁和相关的信息并向用户推荐最频繁和相关的信息连同答案。

下一步骤是确定答案的可视化。它有助于提高以更建设性的方式理解隐藏信息的能力。业务领导者(Business leaders)需要容易钻取到数据内以看到他们可以改进的地方、采取动作和使业务增长的能力。数据可视化使业务智能焕然一新。根据答案数据和过去的用户交互，AQUAE给用户提供最佳可视化连同对答案支持的替代的可视化。

给出答案将触发用户可能询问的下一组问题。AQUAE推荐后续动作以易于发现和有效分析。作为最后一个步骤，给用户提供所问的问题的组合和排列的答案。

回答

图8示出了构成AQUAE中的答案的高级表示。

学习引擎和交互

学习引擎负责基于用户交互来扩充/适应知识。AQUAE支持下面的用户交互。学习引擎基于每次交互来提高知识以使AQUAE变得更加智能。数据查询

第一次交互以用户用自然语言询问问题开始。学习引擎学习给定用户在给定时间构造用户会话的上下文。该用户会话连同最近的问题在理解用户的意图方面起相当大的作用。

模糊实体的校正

如早些时候详述的，实体在本质上可能是模糊的，且在这种情况下，AQUAE根据上下文和使用知识在消除实体的歧义方面做出智能假设。模糊实体的校正为学习引擎提供使它的知识丰富的机会，从而针对后续数据查询(针对组织中的所有用户)改善实体歧义消除。

关于解释的动作

在不完整的问题的情况下，系统使用知识和上下文来推断出必要的和强制性的实体(例如度量)用于生成答案。AQUAE允许用户改变这个上下文。这个交互被考虑为后续数据查询的反馈(针对组织中的所有用户)。

关于答案的动作

AQUAE将周期实体考虑为特殊情况，并允许用户在答案被提供时改变其。这允许用户关于不同的时间范围进行数据探索。学习引擎从这个交互学习关于给定上下文的相关时间周期。在不完整的问题的情况下，AQUAE稍后将使用知识来推断时间周期(针对组织中的所有用户)。

答案的跟踪

可以根据用户的变化的业务偏好来跟踪/不跟踪答案。学习引擎从这些交互捕获用户的兴趣。这个知识帮助AQUAE更好地排列答案以及帮助消除实体的歧义。

钻取数据的部分

用户通常需要钻取数据的部分以用于对业务的更好理解。AQUAE实现其，并学习用户的兴趣领域。此外，这些交互允许AQUAE预测和预先占有用户可能有的后续问题，从而基于答案来改进所建议的分析。

可视化变化

可视化的变化帮助AQUAE理解给定答案的优选可视化。这帮助AQUAE在数据查询的情况下学习和推荐后续答案的最佳可视化(针对组织中的所有用户)。

关于答案的赞同票/反对票

AQUAE允许用户使用赞同票/反对票动作来提供关于答案的相关性和有效性的反馈。这帮助AQUAE学习和适应用户模型，从而用后续数据查询改善体验(针对组织中的所有用户)

关于所建议的分析的动作

AQUAE临时取代(pre-empts)用户在通过推荐相关分析被呈递答案时可能有的后续问题。例如，可以为答案“在2018年西部地区的销售额”推荐“跨越所有地区的基准”。这些所推荐的分析的调用或非调用连同上下文允许学习引擎学习用户与数据交互的方式，给出改进其的机会。

关于所建议的问题的后续动作

当数据对于给定的上下文是不可用的时，AQUAE向用户推荐所建议的问题。该建议基于使用知识。

Claims

1.一种自适应问答引擎系统，所述自适应问答引擎系统包括体现在计算机网络上的软件模块，其中，所述软件模块包括：

解释引擎，所述解释引擎用于从用户接收自然语言的问题，为了整体理解而通过合并来自学习引擎的语义和使用知识来处理所述问题，并生成被传递到回答引擎的解释；

所述回答引擎，所述回答引擎用于基于所述解释来制定各种中间查询，检索各个中间查询的答案和与所述答案相关联的元数据，通过合并来自所述学习引擎的语义和使用知识来确定可视化偏好，推荐所述用户能够执行的后续动作以关于所述用户的信息需要和进一步的分析而帮助所述用户，汇总和排列答案；以及

所述学习引擎，所述学习引擎基于反馈回到所述学习引擎的用户交互来扩充、适应和改进知识。

2.根据权利要求1所述的自适应问答引擎系统，其中，所述用户交互包括数据查询、模糊实体的校正、关于解释的动作、关于答案的动作、答案的跟踪、钻取数据的部分、可视化变化、关于答案的赞同/反对票、关于所建议的分析的动作、以及关于所建议的问题的后续动作。

3.根据权利要求1所述的自适应问答引擎系统，其中，对所述问题的整体理解包括问题文本和用户的意图。

4.根据权利要求1所述的自适应问答引擎系统，其中，所述解释引擎使用语义解析器算法来解析所述问题并从所述问题识别实体。

5.根据权利要求4所述的自适应问答引擎系统，其中，对实体的所述识别包括周期识别、业务对象识别、度量推断、条件识别、以及来自问题和用户上下文的其他重要特征。

6.根据权利要求1所述的自适应问答引擎系统，其中，对所述问题的整体理解在不充分阐明的问题的情况下做出智能假设，并且在歧义的情况下执行歧义消除。

7.根据权利要求6所述的自适应问答引擎系统，其中，所述歧义消除包括词汇实体歧义消除和语义歧义消除。

8.根据权利要求1所述的自适应问答引擎系统，其中，所述计算机网络包括用于数据处理的第一子网和用于数据存储的第二子网。

9.根据权利要求8所述的自适应问答引擎系统，其中，用于数据处理的所述第一子网包括用于实现所述解释引擎、所述回答引擎、所述学习引擎、数据同步或其他模块的至少一个虚拟或物理服务器节点。

10.根据权利要求8所述的自适应问答引擎系统，其中，用于数据处理的所述第一子网包括无服务器架构。

11.根据权利要求8所述的自适应问答引擎系统，其中，用于数据处理的所述第一子网包括与所述解释引擎、所述回答引擎、所述学习引擎和所有其他所需的模块一起部署的多服务器节点集群以及用于数据同步的第二服务器节点。

12.根据权利要求8所述的自适应问答引擎系统，其中，用于数据存储的所述第二子网包括用于数据查询和检索的大数据框架和数据库系统。

13.一种用于自适应问答的方法，包括下面的步骤：

由解释引擎从用户接收自然语言的问题；

由所述解释引擎为了对所述用户的问题的整体理解而通过合并来自学习引擎的语义和使用知识来处理所述问题；

由所述解释引擎生成解释，所述解释传递到回答引擎以用于相关答案的生成；

由所述回答引擎基于所述解释来制定各种中间查询；

由所述回答引擎通过合并来自所述学习引擎的语义和使用知识来确定可视化偏好；

由所述回答引擎推荐后续动作，以关于所述用户的信息需要和进一步的分析而帮助所述用户；以及

视情况汇总和排列答案；

其中，所述学习引擎基于用户交互来扩充、适应和改进知识，所述用户交互包括数据查询、模糊实体的校正、关于解释的动作、关于答案的动作、答案的跟踪、钻取数据的部分、可视化变化、关于答案的赞同/反对票、关于所建议的分析的动作、或关于所建议的问题的后续动作。

14.根据权利要求13所述的方法，其中，对所述问题的所述整体理解包括问题文本和用户的意图。

15.根据权利要求13所述的方法，其中，所述解释引擎使用语义解析器算法来解析所述问题并从所述问题识别实体。

16.根据权利要求13所述的方法，其中，对实体的所述识别包括周期识别、业务对象识别、度量推断、条件识别、以及来自问题和用户上下文的其他重要特征。

17.根据权利要求13所述的方法，其中，对所述问题的所述整体理解在不充分阐述的问题的情况下做出智能假设，并且在歧义的情况下执行歧义消除。

18.根据权利要求17所述的方法，其中，所述歧义消除包括词汇实体歧义消除和语义歧义消除。