CN109977175B

CN109977175B - 数据配置查询方法和装置

Info

Publication number: CN109977175B
Application number: CN201910214615.7A
Authority: CN
Inventors: 张逸凡; 吴逸飞; 李扬; 韩卿
Original assignee: Yunyun Shanghai Information Technology Co ltd
Current assignee: Yunyun Shanghai Information Technology Co ltd
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2021-06-01
Anticipated expiration: 2039-03-20
Also published as: CN109977175A; US20210406281A1; US11281698B2; WO2020187023A1

Abstract

本申请公开了一种数据配置查询方法和装置。该方法包括确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，其中，有序关联至少包括单向关联和/或双向关联；基于至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；在数据库中输出符合目标关联路径的OLAP模型。本申请可以解决了相关技术中OLAP查询系统包括的OLAP模型需求数量大以及OLAP模型利用率低的技术问题。

Description

数据配置查询方法和装置

技术领域

本申请涉及数据配置查询技术领域，具体而言，涉及一种数据配置查询方法和装置。

背景技术

在当今数据化的时代，如何通过OLAP(Online Analytical Processing，联机分析处理)分析海量、复杂的数据以辅助商业决策，是商务智能和数据分析领域的重要课题；而数据模型就是OLAP分析的基础。OLAP分析的架构底层是数据仓库，包含一系列数据表；建模人员根据业务分析需求，基于这些表设计数据模型供分析人员使用；最终，分析人员的分析操作都会转化为一系列针对数据表的SQL(Structured Query Language，结构化查询语言)查询。数据模型给数据表赋予了业务含义，解耦了数据底层和业务需求的关系，如何有效地关联查询于模型，最大限度的利用OLAP分析来服务业务，是其中非常重要的一个部分。

OLAP数据模型是OLAP分析引擎基于处理数据逻辑的核心元素，其服务于SQL业务查询，所以特征信息和SQL查询的内容方式密切相关，基本的信息包括事实表，维度表，关联方式，维度和度量等等，有时一个业务查询关联到一个特定的模型，但是另一些时候在相对复杂的场景中由于需要使用不同业务数据的交叉分析，常常需要使用模型的相互组合才能得到最后的分析结果。

SQL查询相关OLAP模型的过程是透过查询执行引擎来完成，其主要流程包括：解析SQL语句，生成SQL语法树，分析SQL语法树，将其转换为查询执行计划(查询执行流程)，确认OLAP模型，生成物理执行计划，提取预计算结果，组合分析预计算结果，输出最终结果。

由于查询引擎中OLAP模型的选择和匹配逻辑比较固定，使得整个过程中对目标模型有着严格的要求，无法适配等价或相近模型。使得系统中的OLAP模型数量会随着查询的不断增加，会对整体系统的存储、管理和运维方面带来困难和挑战。

针对相关技术中OLAP查询系统包括的OLAP模型需求数量大以及OLAP模型利用率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据配置查询方法和装置，以解决相关技术中OLAP查询系统包括的OLAP模型需求数量大以及OLAP模型利用率低的问题。

为了实现上述目的，第一方面，本申请提供了一种数据配置查询方法，该方法应用于联机分析处理OLAP查询系统中，该方法包括：

确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，其中，有序关联至少包括单向关联和/或双向关联；

基于至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；

在数据库中输出符合目标关联路径的OLAP模型。

可选地，确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，包括：

基于查询指令的字符序列信息，识别出至少两个目标数据集以及目标数据集之间的关联信息；

判断两个目标数据集之间的关联信息是否包含于等价关联信息中；

当两个目标数据集之间的关联信息包含于等价关联信息中时，确定该两个目标数据集之间的有序关联为双向关联。

可选地，确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，还包括：

当两个目标数据集之间的关联信息不包含于等价关联中时，确定该两个目标数据集之间的有序关联为单向关联。

可选地，在数据库中输出符合目标关联路径的OLAP模型，包括：

在数据库中筛选出仅包含有查询指令所需要查询的至少两个目标数据集的OLAP模型；

将OLAP模型中包含的任意一个目标数据集作为候选中心与目标关联路径进行匹配，确定OLAP模型是否符合目标关联路径；

当OLAP模型符合目标关联路径时，输出该OLAP模型。

第二方面，本申请还提供了一种数据配置查询装置，该装置应用于OLAP查询系统中，该装置包括：

确定模块，用于确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，其中，有序关联至少包括单向关联和/或双向关联；

生成模块，用于基于至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；

输出模块，用于在数据库中输出符合目标关联路径的OLAP模型。

可选地，确定模块，用于：

可选地，输出模块，用于：

当OLAP模型符合目标关联路径时，输出该OLAP模型。

第三方面，本申请还提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的数据配置查询方法。

第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的数据配置查询方法被执行。

在本申请提供的数据配置查询方法中，通过确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，其中，有序关联至少包括单向关联和/或双向关联；基于至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；在数据库中输出符合目标关联路径的OLAP模型。通过上述方法，可以确认目标数据集之间的双向关联，将等价或相近OLAP模型可以通过一个OLAP数据代替，进而放大了OLAP数据模型的适用范围，降低了OLAP模型需求数量，提高了OLAP模型利用率，最大限度地复用已有OLAP模型，避免原来为支持相似分析过程造成的冗余模型，提高了查询的执行效率；从而解决了相关技术中OLAP查询系统包括的OLAP模型需求数量大以及OLAP模型利用率低的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例提供的一种数据配置查询方法的流程示意图；

图2是本申请实施例提供的一种目标关联路径的有向图；

图3是本申请实施例提供的一种步骤100的流程示意图；

图4是本申请实施例提供的另一种步骤100的流程示意图；

图5是本申请实施例提供的一种步骤300的流程示意图；

图6是本申请实施例提供的一种OLAP模型的示意图；

图7是本申请实施例提供的一种数据配置查询装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请的一个方面，本申请实施例提供了一种数据配置查询方法，该方法应用于OLAP查询系统中，图1是本申请实施例提供的一种数据配置查询方法的流程示意图，如图1所示，该方法包括如下的步骤100至步骤300：

100，确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，其中，有序关联至少包括单向关联和/或双向关联。

其中，查询指令可以由用户通过用户端输入用于查询业务的指令，该查询指令至少包括一个指令字符序列，例如，该查询指令为一个针对SQL业务的SQL查询指令，该查询指令中包含有多个目标数据集的信息以及目标数据集之间的关联信息，进而可以根据关联信息确定目标数据集之间的有序关联，有序关联至少包括单向关联和/或双向关联。

举例说明，查询指令为一个针对SQL业务的SQL查询指令，该查询指令中包含有A、B、C和D四个目标数据集的信息以及目标数据集之间的关联信息，A与B之间的关联信息为INNER JOIN，A与D之间的关联信息为LEFT JOIN，B与C之间的关联信息为LEFT JOIN，因此，可以确定A与D之间的有序关联为A向D的单向关联，B与C之间的有序关联为B向C的单向关联，而A与B之间的关联信息INNER JOIN属于等价关联，即“A INNER JOIN B”和“B INNERJOIN A”可以有统一的表达方式，仅需要定义一个OLAP模型即可，A与B之间的有序关联为A与B双向关联。其中，OLAP模型可以图图6所示。

200，基于至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径。

具体的，基于查询指令所需要查询的全部目标数据集之间的有序关联，而且基于查询指令所需的目标数据集之间均会有所关联，进而基于目标数据集之间的有序关联，可以将全部目标数据集进行串联起来，因为是有序关联，进而可以生成一个有方向的目标数据集串联路径，即目标关联路径，由该目标关联路径可以通过一个有向图的方式来表达数据集关联关系。

举例说明，该查询指令中包含有A、B、C和D四个目标数据集的信息以及目标数据集之间的关联信息，A与D之间的有序关联为A向D的单向关联，B与C之间的有序关联为B向C的单向关联，A与B之间的有序关联为A与B双向关联，而表示该目标关联路径的有向图如图2所示，该目标关联路径可以是由A或B开始，即目标关联路径包括两个路径，第一个路径为：A关联至B再关联至C，以及A关联至D，第二路径为：B关联至A再关联至B，以及B关联至C，因此，存在一个符合第一个路径的OLAP模型或者存在一个符合第二个路径的OLAP模型即可实现查询指令的需求，符合第一个路径的OLAP模型和符合第二个路径的OLAP模型的表达方式相同，因此在该OLAP查询系统中仅需要定义一个OLAP模型。

300，在数据库中输出符合目标关联路径的OLAP模型。

具体的，在数据库中匹配出符合目标关联路径的OLAP模型，并将该OLAP模型输出。这样，将等价或相近OLAP模型可以通过一个OLAP数据代替，进而放大了OLAP数据模型的适用范围，降低了OLAP模型需求数量，提高了OLAP模型利用率，最大限度地复用已有OLAP模型，避免原来为支持相似分析过程造成的冗余模型，提高了查询的执行效率。

在一个可行的实施方式中，图3是本申请实施例提供的一种步骤100的流程示意图，如图3所示，步骤100，确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，包括如下的步骤110至步骤130：

110，基于查询指令的字符序列信息，识别出至少两个目标数据集以及目标数据集之间的关联信息；

120，判断两个目标数据集之间的关联信息是否包含于等价关联信息中；

130，当两个目标数据集之间的关联信息包含于等价关联信息中时，确定该两个目标数据集之间的有序关联为双向关联。

具体的，步骤100具体包括，基于查询指令的字符序列信息，识别出全部的目标数据集(至少两个目标数据集)以及目标数据集之间的关联信息(关联字符，例如LEFT JOIN)，进而判断两个目标数据集之间的关联信息是否属于等价关联信息(等价关联字符，例如INNER JOIN)，当两个目标数据集之间的关联信息包含于等价关联信息中时，确定该两个目标数据集之间的有序关联为双向关联。

在一个可行的实施方式中，图4是本申请实施例提供的另一种步骤100的流程示意图，如图4所示，步骤100，确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，还包括如下的步骤140：

140，当两个目标数据集之间的关联信息不包含于等价关联中时，确定该两个目标数据集之间的有序关联为单向关联。

具体的，当判断两个目标数据集之间的关联信息是否属于等价关联信息(等价关联字符，例如INNER JOIN属于等价关联字符)时，如果判断两个目标数据集之间的关联信息不包含等价关联信息中(例如，LEFT JOIN不属于等价关联字符)，确定该两个目标数据集之间的有序关联为单向关联。这样，通过步骤110至步骤140，可以确定目标数据集之间的有序关联。

在一个可行的实施方式中，图5是本申请实施例提供的一种步骤300的流程示意图，如图5所示，步骤300，数据库中输出符合目标关联路径的OLAP模型，包括如下步骤310至步骤330：

310，在数据库中筛选出仅包含有查询指令所需要查询的至少两个目标数据集的OLAP模型；

320，将OLAP模型中包含的任意一个目标数据集作为候选中心与目标关联路径进行匹配，确定OLAP模型是否符合目标关联路径；

330，当OLAP模型符合目标关联路径时，输出该OLAP模型。

具体的，基于查询指令所需要查询的至少两个目标数据集确定仅包含全部目标数据集的OLAP模型，对于每个仅包含有查询指令所需要查询的至少两个目标数据集的OLAP模型，将OLAP模型中包含的任意一个目标数据集作为候选中心与目标关联路径进行匹配，确定OLAP模型是否符合目标关联路径，当当OLAP模型符合目标关联路径时，输出该OLAP模型，以便于进行后续处理。

基于相同的技术构思，本申请还提供了一种数据配置查询装置，图7是本申请实施例提供的一种数据配置查询装置的结构示意图，如图7所示，该装置应用OLAP查询系统中，该装置包括：

确定模块10，用于确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，其中，有序关联至少包括单向关联和/或双向关联；

生成模块20，用于基于至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；

输出模块30，用于在数据库中输出符合目标关联路径的OLAP模型。

可选地，确定模块10，用于：

可选地，输出模块30，用于：

当OLAP模型符合目标关联路径时，输出该OLAP模型。

在本申请提供的数据配置查询装置中，通过确定模块10，用于确定出查询指令所需要查询的至少两个目标数据集以及目标数据集之间的有序关联，其中，有序关联至少包括单向关联和/或双向关联；生成模块20，用于基于至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；输出模块30，用于在数据库中输出符合目标关联路径的OLAP模型。这样，通过确认目标数据集之间的双向关联，将等价或相近OLAP模型可以通过一个OLAP数据代替，进而放大了OLAP数据模型的适用范围，降低了OLAP模型需求数量，提高了OLAP模型利用率，最大限度地复用已有OLAP模型，避免原来为支持相似分析过程造成的冗余模型，提高了查询的执行效率；从而解决了相关技术中OLAP查询系统包括的OLAP模型需求数量大以及OLAP模型利用率低的技术问题。

基于相同的技术构思，本申请实施例还提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的数据配置查询方法。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的数据配置查询方法被执行。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

本申请所涉及的计算机程序可以存储于计算机可读存储介质中，所述计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体装置、虚拟装置、优盘、移动硬盘、磁碟、光盘、计算机存储器、只读计算机存储器(Read-Only Memory，ROM)、随机存取计算机存储器(Random Access Memory，RAM)、电载波信号、电信信号以及其他软件分发介质等。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种数据配置查询方法，其特征在于，所述方法应用于联机分析处理OLAP查询系统中，所述方法包括：

确定出查询指令所需要查询的至少两个目标数据集以及所述目标数据集之间的有序关联，其中，所述有序关联至少包括单向关联和/或双向关联；

基于所述至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；

在数据库中输出符合所述目标关联路径的OLAP模型；

所述确定出查询指令所需要查询的至少两个目标数据集以及所述目标数据集之间的有序关联，包括：

基于所述查询指令的字符序列信息，识别出所述至少两个目标数据集以及所述目标数据集之间的关联信息；

判断两个所述目标数据集之间的所述关联信息是否包含于等价关联信息中；

当两个所述目标数据集之间的所述关联信息包含于等价关联信息中时，确定该两个所述目标数据集之间的有序关联为双向关联；

所述在数据库中输出符合所述目标关联路径的OLAP模型，包括：

在所述数据库中筛选出仅包含有所述查询指令所需要查询的至少两个目标数据集的所述OLAP模型；

将所述OLAP模型中包含的任意一个所述目标数据集作为候选中心与所述目标关联路径进行匹配，确定所述OLAP模型是否符合所述目标关联路径；

当所述OLAP模型符合所述目标关联路径时，输出该所述OLAP模型。

2.根据权利要求1所述的数据配置查询方法，其特征在于，所述确定出查询指令所需要查询的至少两个目标数据集以及所述目标数据集之间的有序关联，还包括：

当两个所述目标数据集之间的所述关联信息不包含于等价关联中时，确定该两个所述目标数据集之间的有序关联为单向关联。

3.一种数据配置查询装置，其特征在于，所述装置应用于OLAP查询系统中，所述装置包括：

确定模块，用于确定出查询指令所需要查询的至少两个目标数据集以及所述目标数据集之间的有序关联，其中，所述有序关联至少包括单向关联和/或双向关联；

生成模块，用于基于所述至少两个目标数据集中目标数据集之间的有序关联生成目标关联路径；

输出模块，用于在数据库中输出符合所述目标关联路径的OLAP模型；

所述确定模块，用于：

所述输出模块，用于：

4.根据权利要求3所述的数据配置查询装置，其特征在于，所述确定模块，用于：

5.一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如权利要求1-2任一项所述的数据配置查询方法。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1-2任一项所述的数据配置查询方法被执行。