CN111563141B - 用于处理输入问题以查询数据库的方法和系统 - Google Patents

Abstract

本公开涉及经由复述进行结构化查询生成的自然语言。一种用于处理输入问题的机器翻译的方法(以及结构和计算机产品)，包括在计算机上的处理器中接收以自然语言呈现的输入问题。对输入问题进行预处理以找出可能的结构化查询语言(SQL)查询的一个或多个条件值。基于所找出的一个或多个条件值，枚举一个或多个可能的SQL查询，并使用复述模型对枚举的SQL查询进行排名。针对关系数据库执行排名最高的SQL查询，以搜索对输入问题的响应。

Description

用于处理输入问题以查询数据库的方法和系统

技术领域

本发明一般而言涉及机器翻译成文本。更具体而言，使用基于复述的模型处理结构化查询语言(SQL)查询，该模型测量形成两个语句的话语的序列之间的相似度，以预测输入问题的含义与不同可能的SQL查询的匹配，从而避免在适应新的域时训练新模型的需要。

背景技术

与数据库的自然语言接口：业务用法(NLIDB)对于机器阅读理解、问题解答等是重要的。NLIDB的实际应用包括Deep QA，该术语由IBM使用，以用于其在深度内容分析、自然语言处理、信息检索、机器学习和人工智能的数十年的经验基础上进行的持续研究。Deep QA应用的最近的示例是电视测验节目“Jeopardy！”中Watson超级计算机的表现。

NLIDB的现有方法包括基于规则的方法和更近期的基于序列到序列的方法。

基于规则的方法依靠诸如依赖树之类的语法规则来理解问题，并依靠手工制定的规则将依赖模式映射到SQL查询。这些方法对依赖错误非常敏感，但是不要求大量的训练数据。但是，手动创建的规则可能不足以适应以前未提出的问题，因此被认为对于每个数据库和/或域是静态的。

基于序列到序列的方法将NLIDB任务视为序列到序列问题，并使用现有的基于深度学习的方法将文本映射到SQL输入查询。但是，基于序列到序列的方法要求许多带注释的训练示例，这是耗时的，因此不容易适应新的域。

因此，这些常规方法证明，常规NLIDB面临的挑战包括有限的训练数据和对新的域的适应。相对于训练数据，常规方法要求大量的训练数据来学习从自然语言到SQL操作和结构的映射，并且收集问题-SQL查询对作为训练数据是非常耗时的。相对于适应新的域，在问题-SQL查询对上训练的任何模型都不能轻易地适应新的域。每当适应新的域时，都需要在新的训练数据集合上训练这些模型。

本发明以不同的方式解决这个问题，该方式使用新颖的机制而避免为新的域训练模型的需要，在该机制中，通用的预训练的复述模型可以确定两个语句之间的相似度而无需考虑域。

发明内容

根据示例性实施例，本发明描述了一种用于处理输入问题的机器翻译的方法(以及结构和计算机产品)，该方法包括在计算机上的处理器中接收以自然语言呈现的输入问题。对输入问题进行预处理以找出条件值，并基于找出的条件值枚举可能的结构化查询语言(SQL)查询。复述模型对枚举的SQL查询进行排名，然后对数据库执行排名最高的SQL查询。

在另一个示例性方面，本文还描述了一种响应输入问题以查询数据库的基于计算机的方法，该方法包括使用计算机上的处理器，使用自然语言引擎来接收自然语言的输入问题；根据输入问题生成话语；根据输入问题的词生成可能的结构化查询语言(SQL)查询的列表；在自然语言引擎中生成可能的SQL查询的话语；对于每个可能的SQL查询，执行复述模型，该复述模型测量为该SQL查询生成的话语与根据输入问题生成的话语之间的相似度；确定哪个可能的SQL查询具有最高的相似度；使用确定为具有最高相似度的SQL查询对数据库执行查询；以及通过报告执行的SQL查询的结果来提供对输入问题的响应。

在另一个示例性方面，本文还描述了一种计算机系统，其包括至少一个处理器；以及存储机器可读指令的存储设备，该机器可读指令允许处理器执行用于响应输入问题以查询计算机系统可访问的数据库的方法。该方法包括：接收以自然语言呈现的输入问题；从接收到的输入问题中枚举一个或多个可能的结构化查询语言(SQL)查询；使用复述模型对枚举的SQL查询进行排名，并对数据库执行该排名最高的SQL查询以搜索数据库；以及提供执行排名最高的SQL查询的结果作为对输入问题的响应。

附图说明

图1示出了用于解释本发明的方法的示例性SQL查询；

图2以流程图格式示出了本发明的示例性实施例的基本序列；

图3描绘了根据本发明的实施例的云计算环境；以及

图4描绘了根据本发明的实施例的抽象模型层。

具体实施方式

本发明引入了一种基于复述的方法来处理NLIDB任务，这是更为通用的TableQA任务的一个示例，是指计算机系统使用表结构化数据(诸如关系数据库)来回答自然语言问题的问题。图1示例性地示出了输入问题100，该输入问题100将要求表(本文也称为数据库)搜索以提供回答102作为回答该问题的输出。本发明所公开的方法不依赖文本-逻辑形式对来用作训练数据，因此可以高效地适应新的域。

与常规方法不同地，本发明将Table QA问题作为语句相似度问题来处理，该问题不要求问题-SQL查询作为训练数据。代替地，语句相似度方法将问题视为语句对之一。因此，通过以例如监督的方式训练复述模型，本发明消除了常规方法中所要求的大量训练数据的需求，因为本发明的比较通过确定两个语句中话语的相似度来比较两个语句。

而且，因为本发明的方法使用通用模板来转换SQL查询，所以它进一步使得能够有对任何域都鲁棒的方法。此外，由于这种新方法不要求将问题-SQL查询作为训练数据，因此适应新的域要容易得多。

图2示出了基于图1中所示的示例性输入问题的本发明的复述方法的示例性实施例的步骤：“Anna Nalick最初表演的歌曲总数是多少？”。

图2中的流程图200示出了本发明的示例性实施例。总结图2，在步骤202中接收用户的输入问题，并在步骤204中对其进行预处理，以找出所有条件值，并使用自然语言引擎从输入问题中提取话语。然后，在步骤206中，基于这些条件枚举可能的SQL查询。对于每个可能的SQL查询，使用简单的模板生成话语的序列。在步骤208中，通过使用预训练的复述模型对SQL查询进行排名，该复述模型将两个语句之间的话语进行比较。

在这种策略中，当适应新的域时不需要训练模型，同时由于在训练期间使用可能数百万个文档准备的预训练的复述模型而仍获得良好的性能。然后，在步骤210中，对数据库执行排名最高的SQL查询，并在步骤212中将查询的结果返回给用户。

现在返回图2中的步骤202，这个步骤提供用户的输入问题。在本发明的上下文中，输入问题的输入机制并不重要，因为用户可以输入问题作为文本查询，或者通过使用麦克风以口头方式提问，然后使用自然语言引擎转换声学输入。

步骤204实现条件检测并且被设计为检测接收到的输入问题中的值约束。例如，对于示例问题“Anna Nalick最初表演的歌曲总数是多少？”。在这个步骤和这个示例中，该方法仅将AnnaNalick检测为感兴趣的约束值。由于本发明不使用映射表，因此在这个步骤不检测可能或应当映射到SQL操作的动词。代替地，通过使用可以从原始语料库确定相似度的复述模型来解决这个问题，以便在步骤206中将操作动作放入对应可能的SQL查询的条件子句中。

步骤204是针对表中的值使用N-gram匹配、通过NER(命名实体识别)标记以及通过命名实体链接来实现的。因此，给定这个示例问题“Anna Nalick最初表演的歌曲总数是多少？”，(1)N-gram匹配尝试从字符串匹配的角度将“AnnaNalick”与表中的“AnnaChristineNalick”匹配；(2)NER标记技术可以将“AnnaNalick”与“Artist”列相匹配，因为它们都被标记为PERSON(人)；(3)命名实体链接是与NER标记相似的技术，将“AnnaNalick”链接到“Anna Christine Nalick”。由于该步骤204应用字符串匹配技术而不是任何特定数据库的任何属性或数据，因此它独立于任何特定数据库/表。

下一步骤206是其中枚举可能的SQL子句并为每个提议的SQL子句生成话语的阶段。这些话语形成自然语言语句，这些自然语言语句被馈送到复述模型。最初并基于图1中描述的示例性输入问题，使用束搜索来枚举可能的SQL查询的“select”和“where”子句。对于每个候选SQL查询，使用模板将其映射到自然语言中的话语的序列，以使得随后在步骤208中，可以应用预训练的复述模型对话语进行排名，以与来自输入问题的话语的序列进行比较。根据这样的候选SQL查询，可以枚举复杂的SQL查询来表示输入问题的含义，并且自然语言引擎可以为每个候选SQL查询生成话语的序列。

因此，以图1中的问题为例，初始束搜索(beam search)可以枚举可能的SQL查询，如{select count song choice where…；select count episode where..；selectcount…where original artist＝anna nalick}。然后，对于每个候选SQL查询，使用模板来制定描述其SQL含义的问题。例如，对于select count episode where…，可以产生语句“how many episodes that…(…多少插曲)”。

在步骤208中，预训练模型(本发明的复述模型)估计生成的语句描述所发布的问题的含义的概率。通过形成本发明的复述模型的神经网络模型来计算这个概率。基本上，这个模型以两个语句作为输入，并通过使用基于长期短期记忆(LSTM)的模型来比较每个候选SQL查询与输入问题的话语的序列来确定两个输入语句的匹配。LSTM是递归神经网络(RNN)。像大多数RNN一样，LSTM在这样的意义上是通用的：给定足够的网络单元，这个模型可以计算常规计算机可以计算的任何东西，条件是它具有适当的权重矩阵(被视为其程序)。

然后，以这些概率的降序对这些候选SQL查询进行排名，并选择最佳SQL作为将在步骤210中执行的预测的SQL查询。因此，图2中的步骤208是利用了预训练的复述模型的复述步骤。特别地，在示例性实施例中，使用四个向量来构建用于训练复述模型的特征：(i)来自一对语句的两个特征向量；(ii)一个分量形式的差向量；以及(iii)一个分量形式的乘法向量。这些语句可以从web语料库以及基准数据集中检索。这个预训练的复述模型独立于数据库，因为它仅评估两个语句之间的相似度。

可以以监督或弱监督的方式来训练预训练的复述模型。在监督的方式中，手动收集语句对。在弱监督的方式中，使用新闻语料库(表示有关同一事件的大量新闻)收集语句对。作为复述模型的训练的基础的基本假设是，在同一时间窗口内，描述事件的不同新闻报道应当视为该同一事件的复述版本。

这个复述步骤208的目标是训练和使用本发明的策略，以给出由来自候选SQL查询的话语形成的语句与来自用户查询问题的话语形成的语句之间的相似度。

在图2中的步骤210中，针对预期的关系数据库执行所选择的SQL查询，并将回答返回给用户，这是常规步骤并且在本领域中是众所周知的。在步骤212中，使用自然语言语句向用户呈现SQL查询的(一个或多个)回答和解释，这可以使用模板来实现。因此，除了经由自然语言引擎将每个SQL查询的结果返回给用户之外，该方法还可以将所选择的SQL查询返回给用户以回顾数据库是如何被搜索的以获得报告的结果。在本发明之前，在常规的TableQA问题解决方案中还没有采用这种向用户做出回答-搜索处理的SQL查询的结果和SQL解释两者的方法。

实现

本发明的上述示例性实施例可以以各种方式在基于计算机的系统中实现，包括其作为云服务的利用或经由用户可访问的远程定位服务的利用或甚至在用户的机器本身上的利用。

首先普通技术人员应当理解，尽管本公开包括如下的关于云计算的实现的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。

云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征包括：

按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。

广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。

资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。

迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。

可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。

服务模型如下：

软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。

平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。

基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。

部署模型如下：

私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。

共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。

公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。

混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。

云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。

现在参考图3，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(PDA)或移动电话54A，台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解，图3显示的各类计算设备54A-N仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图4，其中显示了云计算环境50(图3)提供的一组功能抽象层。首先应当理解，图4所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图4所示，提供下列层和对应功能：

硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机61；基于RISC(精简指令集计算机)体系结构的服务器62；服务器63；刀片服务器64；存储设备65；网络和网络组件66。软件组件的例子包括：网络应用服务器软件67以及数据库软件68。

虚拟层70提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器71、虚拟存储72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74，以及虚拟客户端75。

在一个示例中，管理层80可以提供下述功能：资源供应功能81：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能82：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能83：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(SLA)计划和履行功能85：为根据SLA预测的对云计算资源未来需求提供预先安排和供应。

工作负载层90提供云计算环境可能实现的功能91-96的示例。在该层中，可提供的工作负载或功能的示例包括与本发明的实现相关的任务，诸如例如从非专家用户接收自然语言输入查询、执行本发明的复述方法，然后经由自然语言界面将SQL查询搜索的结果以及SQL查询(如果用户期望)返回给用户。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、对市场上发现的技术的实际应用或技术改进，或者使本领域普通技术人员能够理解本文公开的实施例。

虽然已经根据几个示例性实施例描述了本发明，但是本领域技术人员将认识到可以通过修改来实践本发明。

另外，应注意的是，即使以后在审查期间进行了修改，申请人的意图也是涵盖所有权利要求要素的等同内容。

Claims (21)

1.一种用于处理输入问题以查询数据库的方法，该方法包括：

在计算机上的处理器中接收以自然语言呈现的输入问题；

使用所述处理器对所述输入问题进行预处理，以找出可能的结构化查询语言SQL查询的一个或多个条件值；

基于找出的所述一个或多个条件值枚举一个或多个可能的SQL查询；

使用复述模型对所枚举的SQL查询进行排名，所述复述模型被预训练以确定两个语句中的话语的序列的比较，第一语句包括所述输入问题，第二语句包括所枚举的SQL查询的SQL查询；

选择排名最高的SQL查询；以及

对数据库执行该排名最高的SQL查询，以在所述数据库中搜索对所述输入问题的响应。

2.如权利要求1所述的方法，还包括返回执行所述排名最高的SQL查询的一个或多个结果以回答所述输入问题。

3.如权利要求2所述的方法，其中自然语言引擎还被用于向用户提供对所述输入问题的所述回答。

4.如权利要求3所述的方法，其中还使用所述自然语言引擎向所述用户提供所述排名最高的SQL查询的解释，以解释被执行以查询所述数据库的所述排名最高的SQL查询。

5.如权利要求1所述的方法，其中所述复述模型包括基于预训练的长短期记忆LSTM的模型，该模型接收话语的序列的两个语句作为输入并确定所述两个语句的相似度。

6.如权利要求5所述的方法，其中所述预训练的复述模型包括长短期记忆递归神经网络LSTMRNN。

7.如权利要求5所述的方法，其中以监督方式和弱监督方式之一训练所述预训练的复述模型。

8.如权利要求5所述的方法，其中以监督方式训练所述预训练的复述模型，在该监督方式中手动收集用于训练的语句对。

9.如权利要求5所述的方法，其中以弱监督方式训练所述预训练的复述模型，在该弱监督方式中使用关于同一事件的大量新闻来收集用于训练的语句对。

10.如权利要求1所述的方法，该方法在云服务中实现。

11.如权利要求1所述的方法，该方法在能够访问所述数据库的服务器上实现。

12.一种响应输入问题以查询数据库的基于计算机的方法，该方法包括：

使用计算机上的处理器以自然语言接收输入问题；

根据所述输入问题生成话语的序列；

根据所述输入问题的词生成可能的结构化查询语言SQL查询的列表；

生成每个可能的SQL查询的话语的序列；

对于每个可能的SQL查询，执行复述模型，该复述模型测量为该SQL查询生成的话语的序列与根据所述输入问题生成的话语的序列之间的相似度；

确定哪个可能的SQL查询具有最高概率的相似含义；

使用确定为具有最高概率的相似含义的SQL查询对所述数据库执行查询；以及

通过报告被执行的SQL查询的结果来提供对所述输入问题的响应。

13.如权利要求12所述的基于计算机的方法，其中所述复述模型包括预训练的长短期记忆递归神经网络LSTMRNN，其接收两个语句作为输入并确定所述两个语句的相似度。

14.如权利要求12所述的基于计算机的方法，还包括提供对被执行的SQL查询的解释。

15.一种非暂态存储设备，其中存储有计算机可读指令集，以使计算机能够执行如权利要求1-14中任意一项所述的方法。

16.一种计算机系统，包括：

至少一个处理器；以及

存储设备，存储机器可读指令，该机器可读指令允许所述处理器执行用于响应输入问题以查询计算机系统能够访问的数据库的方法，其中该方法包括：

接收以自然语言呈现的输入问题；

根据接收到的输入问题枚举一个或多个可能的结构化查询语言SQL查询；

使用复述模型对所枚举的SQL查询进行排名，并对所述数据库执行该排名最高的SQL查询以搜索所述数据库；以及

提供执行所述排名最高的SQL查询的结果作为对所述输入问题的响应。

17.如权利要求16所述的计算机系统，其中该方法还包括提供对所述排名最高的SQL查询的解释。

18.如权利要求16所述的计算机系统，其中所述复述模型包括预训练的长短期记忆递归神经网络LSTMRNN，其接收两个语句作为输入并确定所述两个语句的相似度，

其中所述两个语句中的一个语句包括根据所述输入问题生成的话语，另一个语句包括根据可能的SQL查询生成的话语。

19.如权利要求16所述的计算机系统，该计算机系统实现云服务。

20.一种计算机系统，包括：

处理器；

耦合到所述处理器的计算机可读存储介质，所述计算机可读存储介质具有指令，当所述指令由所述处理器执行时实施如权利要求1-14中任意一项所述的方法。

21.一种用于处理输入问题以查询数据库的系统，所述系统包括分别用于执行如权利要求1-14中任意一项所述的方法的各个步骤的模块。

Images