CN113076401A

CN113076401A - 用于数据服务的方法及相应的系统、计算机设备和介质

Info

Publication number: CN113076401A
Application number: CN202110382810.8A
Authority: CN
Inventors: 苗寒
Original assignee: Beijing Yuannian Technology Co ltd
Current assignee: Beijing Yuannian Technology Co ltd
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2021-07-06
Anticipated expiration: 2041-04-09
Also published as: CN113076401B

Abstract

提供用于数据服务的方法和相应的系统、计算机设备和介质。该方法包括：接收来自用户的查询请求，以及响应于该查询请求执行以下步骤：对该查询请求进行语义解析以识别至少一个可能的目标查询对象；基于已有的元数据识别与每个目标查询对象相关联的一个或多个数据来源；对于每个目标查询对象，基于该目标查询对象在与其相关联的一个或多个数据来源中的每个中利用与该数据来源相应的查询语言进行查询以得到查询结果，该查询结果指示针对该目标查询对象是否查询到目标数据和/或包括针对该目标查询对象查询到的目标数据；将针对每个所述目标查询对象得到的查询结果输出供呈现给用户。利用本发明，可在冷启动的情况下查询数据而无须前期训练数据。

Description

用于数据服务的方法及相应的系统、计算机设备和介质

技术领域

本发明涉及数据服务领域，更具体而言，涉及一种用于数据服务的方法及相应的系统、计算机设备和计算机可读存储介质。

背景技术

目前，基于自然语言处理的人工智能算法被广泛应用于客服系统、智能家电中，然而其在商务智能方面的应用还有很大的探索空间。虽然现有的商务智能产品已经部分实现了基于自然语言查询数据的能力，但这些产品仍然存在很多缺点：例如，需要大量的前期数据标注，造成人工生成训练数据的额外成本；当应对复杂的企业级多数据库多数据源融合的情况时，准确度降低；对于以自然语言问询得到的数据，没有提供互动性。

因此，存在对能解决或缓解上述问题中至少之一的方案的需要。

发明内容

本发明的目的在于提供一种能够解决或缓解上述问题中至少之一的方案。

具体地，根据本发明的第一方面，提供一种用于数据服务的方法，其包括：

接收来自用户的查询请求；

响应于所述查询请求，执行以下处理步骤：

-对所述查询请求进行语义解析以识别至少一个可能的目标查询对象；

-基于已有的元数据识别与每个所述目标查询对象相关联的一个或多个数据来源；

-对于每个所述目标查询对象，基于所述目标查询对象、在与其相关联的一个或多个数据来源中的每个数据来源中利用与该数据来源相应的查询语言进行查询以得到查询结果，所述查询结果指示针对该目标查询对象是否查询到目标数据和/或包括针对该目标查询对象查询到的目标数据；以及

-将针对每个所述目标查询对象得到的查询结果输出供呈现给所述用户。

根据本发明的第二方面，提供一种用于数据服务的系统，其包括处理器，所述处理器被配置为执行计算机指令以：

接收来自用户的查询请求；

响应于所述查询请求，执行以下处理步骤：

根据本发明的第三方面，提供一种计算机设备，其包括存储器和处理器，所述存储器上存储有计算机指令，所述计算机指令在由所述处理器执行时导致上述的用于数据服务的方法被执行。

根据本发明的第四方面，提供一种非暂时性计算机可读存储介质，其上存储有计算机指令，所述计算机指令在由处理器执行时导致上述的用于数据服务的方法被执行。

根据本发明，对用户的查询请求进行语义解析以识别至少一个可能的目标查询对象；基于已有的元数据识别与解析得到的每个目标查询对象相关联的一个或多个数据来源；对于解析得到的每个目标查询对象，在与该目标查询对象相关联的每个数据来源中利用与该数据来源相应的查询语言进行查询以得到查询结果；并且，将针对每个目标查询对象得到的查询结果呈现给用户。如此，一方面，可实现基于已有的元数据查询数据，即，在冷启动的情况下进行数据查询，而无需前期训练数据，从而有利于降低成本，例如消除与进行前期数据标注以人工生成训练数据所需的成本。另一方面，对于同一查询请求，通过将自然语言的问询转化为一种或多种可能的目标查询对象并针对每种可能的目标查询对象查询得到相应的查询结果，可考虑多可能性，这有利于找出用户期望查询的数据，并为基于用户交互确定用户期望查询的数据创造了条件。这两方面相结合，本发明的方案是极其有利的。此外，本发明的方案有利地虑及了并适用于在多数据来源中进行数据查询的复杂情况。

附图说明

以示例的方式参考以下附图描述本发明的非限制性且非穷举性实施例，其中：

图1是示意性示出根据本发明一实施例的用于数据服务的方法的流程图；

图2是示意性示出根据本发明一实施例响应于查询请求进行数据查询得到查询结果的示意图。

具体实施方式

为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。

本发明提供用于数据服务的方案，其可用于各种可能的数据，包括例如但不限于：财务相关数据、税务业务相关的数据或其他业务相关的数据，尤其是企业业务相关的数据。

图1示意性示出根据本发明一实施例的用于数据服务的方法S100。方法S100可以包括步骤S110和步骤S120。

在步骤S110，接收来自用户的查询请求。查询请求可以包括来自用户的自然语言的输入，即，以自然语言表示的输入。

在步骤S120，响应于所述查询请求，执行以下处理步骤：步骤S122、步骤S124、步骤S126和步骤S128。这些处理步骤可以至少部分地基于人工智能模型执行。根据需要，处理步骤中的部分或者全部可以完全或部分地利用人工智能模型执行。人工智能模型可以包括多个模块和/或与一个或多个模块通信，以利用各种可能的算法进行数据服务。根据需要，这些模块可以全部被包括在人工智能模型中；或者，这些模块中的仅一些模块被包括在人工智能模型中，且剩余模块在人工智能模型之外。所述算法例如但不限于：用于实体识别的算法，其可以用于识别用户的身份以便针对每个用户提供特定于该用户的数据服务——例如，与该用户的权限相应的数据服务，符合该用户的偏好的数据服务等；用于语义解析和意图识别的算法如文本相似度算法，其可以用于对自然语言的查询请求进行分词和语义分析并据此识别用户意图查询的目标查询对象；推荐算法，其可以用于根据与查询请求相关联的数据的类型、特征等和/或用户的偏好等向用户推荐查询结果的呈现格式；等等。对于这些算法，现有技术中存在已知的实现方案，这里不作赘述。

图2是根据本发明一实施例的框架示意图。为方便起见，这里假定上述的处理步骤各自由人工智能模型执行或由人工智能模型与适配服务模块交互执行。人工智能模型包括用于语义解析和意图识别的算法，并可以可选地包括其他可能的算法，如推荐算法、实体识别算法等。

下面，结合图1和2对处理步骤作进一步示例性描述。

在步骤S122，人工智能模型对用户的查询请求进行语义解析以识别至少一个可能的目标查询对象。这可以利用各种可能的技术实现，所述技术例如各种已知的分词技术、语义分析技术、意图识别算法。

在步骤S122，可以考虑多可能性。即，对于同一个查询请求，识别出用户可能意图查询的不止一个可能的目标查询对象。这是特别有利的：一方面，可以实现在冷启动的情况下尽可能地查询出用户期望查询的数据，而无需前期训练数据；另一方面，为在使用过程中基于用户交互对人工智能模型进行训练和优化创造条件，有助于提升数据查询的精确度和用户体验。

在一个实施例中，当接收到用户的查询请求时，人工智能模型对该查询请求进行分词以得到各种可能的分词结果，每种分词结果可以包括分词得到的一个或多个词语如单词。例如，对于一个特定查询请求“南京市长江大桥”，一种可能的分词结果是“南京”、“市长”、“江大桥”，另一种可能的分词结果是“南京市”、“长江大桥”。

然后，对于每种分词结果，人工智能模型对得到的每个词语进行语义分析，以及在分词结果包括多个词语的情况下对得到的多个词语中的两个或更多个相组合可能形成的小短句进行语义分析，并利用人工智能的意图识别算法识别出与查询请求相关的一个或多个可能的目标查询对象。例如，假设对于一个特定查询请求得到的分词结果是“厨房”、“小家电”、“销量”，在此情况下，识别出的可能的目标查询对象可以包括：1)“厨房小家电”和“销量”两者的组合；2)“厨房小家电销量”。

在步骤S124，人工智能模型基于已有的元数据识别与每个识别出的目标查询对象相关联的一个或多个数据来源。在存在两个或更多个目标查询对象的情况下，需要针对每个目标查询对象识别与其相关联的数据来源。与不同的目标查询对象相关联的数据来源可能是完全或部分不同的。

本文中，“元数据”可以被广义地理解为可用于对已有的数据来源进行索引和定位的信息，是对数据来源和其中的数据的指示，而非数据来源中的数据本身。例如，图2中的元数据可以包括用于对数据来源1、数据来源2、……数据来源N进行索引和定位的信息。已有的数据来源可以包括既有的各种可用的数据来源。例如，对于一个企业，已有的数据来源可以包括该企业具有的已经产生的历史数据形成的各种数据库、文件(如表、文档)等；元数据可以指示例如：该企业的已有数据中存在哪些表、哪些文档，每个表的ID、每个表具有哪些维度/维度成员、成员的中文名及ID、不同成员的关联关系，每个文档的ID等。元数据可以融合多个数据来源，每个数据来源可以包括结构化的数据、半结构化的数据和/或非结构化的数据。数据来源例如可以包括关系型数据库、多维数据库、数仓、商业智能软件里的数据、报表数据、非关系型数据库、文档如会议记录和邮件、来自API接口的数据、企业外部的标准化的数据源等。

在步骤S126，对于每个识别出的目标查询对象，基于该目标查询对象、在识别出的与该目标查询对象相关联的一个或多个数据来源中的每个数据来源中利用与该数据来源相应的查询语言进行查询以得到查询结果。这里，查询结果应被广义地理解：对于每个目标查询对象，相应的查询结果可以指示针对该目标查询对象是否查询到目标数据——例如针对该目标查询对象未查询到目标数据，和/或包括针对该目标查询对象查询到的目标数据——在针对该目标查询对象查询到目标数据的情况下。

步骤S126可由图2中的人工智能模型与适配服务模块交互来实现。就此而言，适配服务模块可以将所针对的目标查询对象适配到符合要在其中查询的数据来源的查询语言；然后，可由适配服务模块或人工智能模型用相适配的查询语言基于目标查询对象在相应的数据来源中进行查询以得到查询结果。得到的查询结果可以被输出供呈现给用户，如下面将描述的。由此，可以实现自然语言到查询结果的可视化的端到端服务，例如自然语言到图表的可视化。

例如，假设针对识别出的单个目标查询对象，人工智能模型识别出的相关联的数据来源包括数据来源1和数据来源2；在此情况下，人工智能模型可以向适配服务模块指示这一点，并且响应于此，适配服务模块在数据来源1中利用与数据来源1相应的第一查询语言进行查询，得到在数据来源1中查询到的第一查询结果；在数据来源2中利用与数据来源2相应的第二查询语言进行查询，得到在数据来源2中查询到的第二查询结果，并将第一查询结果和第二查询结果返回给人工智能模型作为针对该单个目标查询对象得到的查询结果。

虽然图2中未示出，但人工智能模型与数据来源交互是可能的。

在步骤S128，人工智能模型将针对每个识别出的目标查询对象得到的查询结果输出供呈现给用户。该呈现可经由与人工智能模型通信的用于呈现的装置实现，该装置例如各种显示装置，如触摸屏等。在呈现时，每个目标查询对象与针对其得到的查询结果可以各种可能的形式相对应和关联。

在一个实施例中，查询结果以用户期望的格式被输出和呈现。该期望的格式可以由来自用户的输入指示，该输入可以被包括在用户的查询请求中，或者是单独的输入。例如，参照图2，假设输入到人工智能模型的查询请求为“今年产品销量饼图”，响应于该查询请求，人工智能模型可以饼图的形式输出作为查询结果的、指示今年产品销量的数据。替代地或附加地，该期望的格式可以是根据与该用户相关的历史数据或日志默认的。例如，在用户将呈现的查询结果手动切换为一种目标格式的情况下，该目标格式可以作为用户的偏好被记录在日志中、被默认为用户期望的格式。

在一个实施例中，每个查询结果可以用于其的推荐的格式被输出和呈现，该推荐的格式至少部分地取决于构成该查询结果的数据。例如，参照图2，对于针对某一查询请求得到的每个查询结果，人工智能模型可以根据构成该查询结果的数据的各种可能的特征(如数据所属的企业或行业、数据的性质、数据的含义、数据的量等)中的一个或多个利用推荐算法确定用于该查询结构的推荐的格式，并将该查询结果以为其确定的推荐的格式提供给用户。

在一个实施例中，每个查询结果可以相关联的可用的模板所定义的格式被输出和呈现。如此，可以由自然语言的查询生成作为查询结果的、格式规范的文件，有利于提升数据服务的便捷性、灵活性和用户体验。例如，假设一个查询结果包括财务数据，人工智能模型可以调用可用的财务报告模板，将该查询结果以财务报告模板所定义的格式提供给用户。

上述格式可以包括各种可能的格式或形式，例如但不限于图、表或其组合。

不同的查询结果可以相同或不同的格式被输出和呈现。针对不同的目标查询对象得到的查询结果可以相同或不同的格式被输出和呈现。

尽管上文描述了各处理步骤由人工智能模型执行或由人工智能模型与适配服务模块交互执行，但其他实施方式是可能的：例如，步骤S122、步骤S124、步骤S126和步骤S128中的某个或某些全部或部分地由人工智能模型外部的模块或算法执行是可能的。

本文中，“冷启动”意指利用已有的数据基于系统在进行该冷启动时的初始模型如人工智能模型和可能的相关算法来响应于查询请求进行处理、提供查询结果的过程。已有的数据可以包括系统在进行该冷启动时可用于数据服务的元数据。与该过程相关的信息，例如触发该过程的查询请求、在该过程中产生和涉及的信息(如分词结果、目标查询对象、查询结果)，用户在该过程中/后的反馈/交互(如对查询结果的选择、确认或否定)等，可以被记录例如作为日志或训练数据用于更新人工智能模型和可能的相关算法(如人工智能模型的推荐算法)，由此可以根据不断累积的使用日志和数据来更新、优化人工智能模型，从而提升数据查询的精确度和用户体验。用户的反馈可以是各种可能的反馈，如选择或切换所呈现的查询结果的呈现格式，选择所呈现的查询结果中的一个或多个为感兴趣查询结果。这里，感兴趣查询结果可以理解为包括用户期望查询的数据的查询结果。例如，针对一查询请求是否查询到数据以及用户对查询结果的确认和/或否定均可以被记录在日志中，并且在适合时例如作为训练的正和/或负样本用于对模型进行训练和优化。例如，在针对提供的查询结果存在用户反馈的情况下，该用户反馈及相应的查询请求和查询结果可以被记录作为训练数据用于对人工智能模型进行训练和改进。对模型和相关算法的训练、改进、更新、优化可以离线进行。

在一实施例中，人工智能模型可以将知识图谱用于数据服务。该知识图谱可以被纳入人工智能模型作为其组成部分，或者在人工智能模型外部、是人工智能模型可访问的。例如，对于存在相关的可用知识图谱的一个目标查询对象，人工智能模型可以：基于该可用知识图谱生成和提供与该目标查询对象相关联的附加数据，和/或在针对该目标查询对象查询得到目标数据后，基于该可用知识图谱生成和提供与针对该目标查询对象得到的目标数据相关联的附加数据；这样的附加数据可以被包括在针对该目标查询对象得到的查询结果中被输出供呈现给用户。如此，可以利用知识图谱进行数据推理和/或推荐，实现数据知识串联，从而提供更丰富、更全面的数据供用户选择和使用。

在一实施例中，针对目标查询对象得到的查询结果的呈现以各种可能的方式至少部分地基于知识图谱。例如，查询结果的呈现形式可以至少部分地利用或遵循知识图谱所体现或包括的关联关系。应理解，知识图谱可以利用包括现有技术在内的各种知识图谱技术创建，可以是各种可能的形式，涉及各种可能的业务或领域，包括各种可能的信息或数据。例如，知识图谱可以用于关联业务上各指标/数据的内在含义；通过利用所创建的知识图谱，可以实现企业内数据的因果关联，并且可以通过时间线串联数据，以提供更完整的数据报告。

根据本发明，不需要格外的前期数据标注，而是通过在使用过程中利用信息最大匹配原则和多可能性交互来实现利用用户的交互产生用户使用日志和训练数据用于人工智能模型的训练和优化，让人工智能模型的机器学习算法学习到数据的特征，由此省去了大量的标注和训练相关的工作，并且能够实现在冷启动时就能自适应地从元数据中抽取出核心信息。信息最大匹配原则和多可能性交互是指面对用户的自然语言查询时，向用户提供尽可能多的、与查询请求相关的查询结果供用户选择，即在冷启动时产生全量的选择，以保证尽可能地查询出用户期望查询的数据，同时增加后期用于训练人工智能模型的正/负样本。

本发明可以实现为一种用于数据服务的系统，该系统包括处理器，该处理器被配置为执行计算机指令以执行本发明的用于数据服务的方法的部分或全部步骤。上述用于呈现的装置可以可选地被纳入作为该系统的一个组成部分。

本领域普通技术人员应理解，图2中示出的示意图仅仅是对与本发明的方案相关的部分结构的示例性说明，并不构成对体现本发明的方案的计算机设备、处理器或计算机程序的限定。具体的计算机设备、处理器或计算机程序可以包括比图中所示更多或更少的部件或模块，或者组合或拆分某些部件或模块，或者可具有不同的部件或模块布置。

应理解，本发明的系统的各个模块/单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述各模块/单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器，也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行所述各模块/单元的操作。所述各模块/单元各自可以实现为独立的部件或模块，或者两个或更多个模块/单元可实现为单个部件或模块。

在一个实施例中，提供了一种计算机设备，其包括存储器和处理器，所述存储器上存储有可由处理器执行的计算机指令，所述计算机指令在由所述处理器执行时指示所述处理器执行本发明的用于数据服务的方法的各步骤。该计算机设备可以广义地为服务器、终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的用于数据服务的方法的步骤。

本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。

本领域普通技术人员可以理解，本发明的用于数据服务方法的全部或部分步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的用于数据服务方法的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。

以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。

尽管结合实施例对本发明进行了描述，但本领域技术人员应理解，上文的描述和附图仅是示例性而非限制性的，本发明不限于所公开的实施例。在不偏离本发明的精神的情况下，各种改型和变体是可能的。

Claims

1.一种用于数据服务的方法，包括：

接收来自用户的查询请求；

响应于所述查询请求，执行以下处理步骤：

2.根据权利要求1所述的方法，还包括：

接收所述用户对所呈现的查询结果的反馈，并记录所述查询请求、所呈现的查询结果和所述反馈作为交互数据，其中，所述反馈指示所述用户是否选择所呈现的查询结果中的一个或多个为感兴趣查询结果。

3.根据权利要求2所述的方法，其中，所述处理步骤基于人工智能模型执行，所述方法还包括：

利用所述交互数据作为训练数据对所述人工智能模型进行优化。

4.根据权利要求1所述的方法，还包括：对于一个目标查询对象，

利用可用的知识图谱提供与所述一个目标查询对象相关联和/或与针对所述一个目标查询对象得到的目标数据相关联的附加数据，

其中，针对所述一个目标查询对象得到的查询结果包括所述附加数据。

5.根据权利要求4所述的方法，其中，针对所述一个目标查询对象得到的查询结果的呈现至少部分地基于所述知识图谱。

6.根据权利要求1至5中任一项所述的方法，其中，

所述查询结果以所述用户期望的格式输出，所述方法还包括：接收来自所述用户的指示所述期望的格式的输入；和/或

每个查询结果以用于其的推荐的格式输出，所述推荐的格式至少基于构成该查询结果的数据。

7.根据权利要求6所述的方法，其中，所述格式包括图、表或其组合。

8.根据权利要求1至5中任一项所述的方法，其中，所述数据来源包括结构化的数据、半结构化的数据和/或非结构化的数据。

9.一种用于数据服务的系统，包括处理器，所述处理器被配置为执行计算机指令以：

接收来自用户的查询请求；

响应于所述查询请求，执行以下处理步骤：

10.根据权利要求9所述的系统，其中，所述处理器还被配置为执行计算机指令以：

11.根据权利要求10所述的系统，其中，所述处理步骤基于人工智能模型执行，所述处理器还被配置为执行计算机指令以：利用所述交互数据作为训练数据对所述人工智能模型进行优化。

12.根据权利要求9所述的系统，其中，所述处理器还被配置为执行计算机指令以：对于一个目标查询对象，

13.根据权利要求9至12中任一项所述的系统，其中，所述处理器还被配置为执行计算机指令以：

接收来自所述用户的指示期望的格式的输入，以所述用户期望的格式输出所述查询结果；和/或，

对于每个查询结果，以推荐的格式对其进行输出，其中所述推荐的格式至少基于构成该查询结果的数据。

14.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机指令，所述计算机指令在由所述处理器执行时导致根据权利要求1至8中任一项所述的方法被执行。

15.一种非暂时性计算机可读存储介质，其上存储有计算机指令，所述计算机指令在由处理器执行时导致根据权利要求1至8中任一项所述的方法被执行。