CN116610714B

CN116610714B - 一种数据查询方法、装置、计算机设备及存储介质

Info

Publication number: CN116610714B
Application number: CN202310871324.1A
Authority: CN
Inventors: 何昌华; 谢宇; 周家英; 刘星圻; 杨哲轩
Original assignee: Beijing Shuding Technology Co ltd
Current assignee: Beijing Shuding Technology Co ltd
Priority date: 2023-07-14
Filing date: 2023-07-14
Publication date: 2023-10-31
Anticipated expiration: 2043-07-14
Also published as: CN116610714A

Abstract

本公开提供了一种数据查询方法、装置、计算机设备及存储介质，通过物理数据表的属性信息，生成物理数据表对应的虚拟数据表，再将虚拟数据表中的多个目标虚拟数据表进行关联，得到虚拟数据宽表，并利用虚拟数据宽表进行数据查询，由于虚拟数据宽表中的数据是引用虚拟数据表的，而虚拟数据表中的数据是引用物理数据表的，虚拟数据表及虚拟数据宽表中仅存储数据的逻辑关系，不存储实际的数据，因此不需要占用额外的存储空间；而虚拟数据宽表能够将各种数据集中在一个数据表中，并且，通过为物理数据表生成对应的虚拟数据表，再由虚拟数据宽表引用虚拟数据表，使得虚拟数据宽表的引用关系简化，便于维护。

Description

一种数据查询方法、装置、计算机设备及存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种数据查询方法、装置、计算机设备及存储介质。

背景技术

在数据库中，大量数据以物理数据表的形式存储。这些物理数据表通常来自不同的数据源，数据结构差异较大，存储的数据类型也不同，数量较多，导致直接从物理表中查询数据的效率较低。若直接将各个物理数据表整合为一个物理数据宽表，则需要大量的存储空间，并且，由于物理数据宽表内包含大量数据，难以对物理数据宽表的模型进行更新，也难以增加新的字段或对数据表设置新的定义。

发明内容

本公开实施例至少提供一种数据查询方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种数据查询方法，包括：

获取多个物理数据表的属性信息；

针对任一物理数据表，基于所述属性信息，生成所述物理数据表对应的虚拟数据表；所述虚拟数据表与所述物理数据表具有相同的数据结构，且所述虚拟数据表中的各项数据分别引用所述物理数据表中对应的数据；

将所述虚拟数据表中的多个目标虚拟数据表进行关联，生成所述目标虚拟数据表对应的虚拟数据宽表；所述虚拟数据宽表中的各项数据分别引用所述目标虚拟数据表中对应的数据；

响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表，确定所述数据查询指令对应的目标数据。

一种可选的实施方式中，所述将所述虚拟数据表中的多个目标虚拟数据表进行关联，生成所述目标虚拟数据表对应的虚拟数据宽表，包括：

从所述目标虚拟数据表中选取出基准数据表；

从剩余的所述目标虚拟数据表中选取出关联数据表；

对所述基准数据表与所述关联数据表进行关联，得到新的基准数据表；

重复执行选取关联数据表，以及将基准数据表与关联数据表进行关联的步骤，直到剩余的所述目标虚拟数据表的数量为零。

一种可选的实施方式中，所述对所述基准数据表与所述关联数据表进行关联，得到新的基准数据表，包括：

基于所述基准数据表以及所述关联数据表的属性信息，从多种关联方式中选取目标关联方式；

利用所述目标关联方式，将所述基准数据表与所述关联数据表进行关联，得到新的基准数据表。

一种可选的实施方式中，通过以下步骤从所述虚拟数据表中筛选出目标虚拟数据表：

获取目标查询业务的至少一个预设查询语句；

基于所述预设查询语句，确定与所述预设查询语句匹配的目标虚拟数据表。

一种可选的实施方式中，所述响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表，确定所述数据查询指令对应的目标数据，包括：

响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表中指示的数据引用关系，确定所述数据查询指令对应的数据查询路径；

从当前存储的中间查询数据中，查找与所述数据查询路径中任一查询节点匹配的目标查询数据；所述查询节点指示有用于确定中间查询数据的数据查询逻辑；

在查找到任一所述目标查询数据的情况下，从所述目标查询数据对应的查询节点开始，基于所述目标查询数据，按照所述数据查询路径进行数据查询，得到所述数据查询指令对应的目标数据。

一种可选的实施方式中，在查找与所述数据查询路径中任一查询节点对应的目标查询数据之后，所述方法还包括：

在未查找到任一所述目标查询数据的情况下，从所述数据查询路径的初始查询节点开始，按照所述数据查询路径进行数据查询，得到所述数据查询指令对应的目标数据。

一种可选的实施方式中，所述方法还包括：

在按照所述数据查询路径进行数据查询的过程中，针对各个查询节点，基于所述查询节点对应的预测查询频率、历史查询频率以及计算复杂程度中的至少一种，确定所述查询节点的重要度评价值；

在所述重要度评价值高于或等于预设评价值的情况下，将所述查询节点对应的中间查询数据存储。

第二方面，本公开实施例还提供一种数据查询装置，包括：

获取模块，用于获取多个物理数据表的属性信息；

生成模块，用于针对任一物理数据表，基于所述属性信息，生成所述物理数据表对应的虚拟数据表；所述虚拟数据表与所述物理数据表具有相同的数据结构，且所述虚拟数据表中的各项数据分别引用所述物理数据表中对应的数据；

关联模块，用于将所述虚拟数据表中的多个目标虚拟数据表进行关联，生成所述目标虚拟数据表对应的虚拟数据宽表；所述虚拟数据宽表中的各项数据分别引用所述目标虚拟数据表中对应的数据；

查询模块，用于响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表，确定所述数据查询指令对应的目标数据。

一种可选的实施方式中，所述生成模块具体用于：

从所述目标虚拟数据表中选取出基准数据表；

从剩余的所述目标虚拟数据表中选取出关联数据表；

一种可选的实施方式中，所述生成模块在对所述基准数据表与所述关联数据表进行关联，得到新的基准数据表时，用于：

一种可选的实施方式中，所述装置还包括确定模块，用于：

获取目标查询业务的至少一个预设查询语句；

一种可选的实施方式中，所述查询模块具体用于：

一种可选的实施方式中，所述查询模块在查找与所述数据查询路径中任一查询节点对应的目标查询数据之后，还用于：

一种可选的实施方式中，所述查询模块还用于：

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

关于上述数据查询装置、计算机设备、及计算机可读存储介质的效果描述参见上述数据查询方法的说明，这里不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

本公开实施例提供的数据查询方法、装置、计算机设备及存储介质，通过物理数据表的属性信息，生成物理数据表对应的虚拟数据表，再将虚拟数据表中的多个目标虚拟数据表进行关联，得到虚拟数据宽表，并利用虚拟数据宽表进行数据查询，由于虚拟数据宽表中的数据是引用虚拟数据表的，而虚拟数据表中的数据是引用物理数据表的，虚拟数据宽表中仅存储数据的逻辑关系，不存储实际的数据，因此不需要占用额外的存储空间；而虚拟数据宽表能够将各种数据集中在一个数据表中，并且，通过为物理数据表生成对应的虚拟数据表，再由虚拟数据宽表引用虚拟数据表，使得虚拟数据宽表的引用关系简化，便于维护。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开一些实施例所提供的数据查询方法的流程图；

图2示出了本公开一些实施例所提供的数据查询路径的示意图；

图3示出了本公开一些实施例所提供的数据查询系统的示意图；

图4示出了本公开一些实施例所提供的数据查询装置的示意图；

图5示出了本公开一些实施例所提供的计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，数据库通常以物理数据表的形式存储数据，在提供数据查询服务时，由于物理数据表通常来自不同的数据源，数据结构差异较大，存储的数据类型也不同，数量较多，导致直接从物理表中查询数据的效率较低。若直接将各个物理数据表整合为一个物理数据宽表，则需要大量的存储空间，并且，由于物理数据宽表内包含大量数据，难以对物理数据宽表进行更新。

基于上述研究，本公开提供了一种数据查询方法，通过物理数据表的属性信息，生成物理数据表对应的虚拟数据表，再将虚拟数据表中的多个目标虚拟数据表进行关联，得到虚拟数据宽表，并利用虚拟数据宽表进行数据查询，由于虚拟数据宽表中的数据是引用虚拟数据表的，而虚拟数据表中的数据是引用物理数据表的，虚拟数据宽表中仅存储数据的逻辑关系，不存储实际的数据，因此不需要占用额外的存储空间；而虚拟数据宽表能够将各种数据集中在一个数据表中，并且，通过为物理数据表生成对应的虚拟数据表，再由虚拟数据宽表引用虚拟数据表，使得虚拟数据宽表的引用关系简化，便于维护。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种数据查询方法进行详细介绍，本公开实施例所提供的数据查询方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备。在一些可能的实现方式中，该数据查询方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为终端设备为例对本公开实施例提供的数据查询方法加以说明。

参见图1所示，为本公开实施例提供的数据查询方法的流程图，所述方法包括步骤S101~S104，其中：

S101、获取多个物理数据表的属性信息。

该步骤中，终端设备可以获取数据库中多个物理数据表的属性信息，属性信息可以包括物理数据表的存储位置，如物理数据表的地址信息、端口信息、访问协议等信息；属性信息还可以包括物理数据表的数据结构信息，如表头信息、键值信息等。

S102、针对任一物理数据表，基于所述属性信息，生成所述物理数据表对应的虚拟数据表；所述虚拟数据表与所述物理数据表具有相同的数据结构，且所述虚拟数据表中的各项数据分别引用所述物理数据表中对应的数据。

该步骤中，可以基于物理数据表的属性信息，生成物理数据表对应的虚拟数据表，该虚拟数据表的表结构schema可以与物理数据表的schema向匹配。

虚拟数据表与物理数据表具有相同的数据结构，如行信息、列信息、键值信息等；虚拟数据表中的各项数据分别引用物理数据表中对应的数据。比如，虚拟数据表中第二行、第三列的数据可以引用物理数据表中的第二行、第三列的数据，当物理数据表中的数据发生更新时，由于虚拟数据表中的数据引用物理数据表的数据，则虚拟数据表中的数据同样会发生更新。

值得注意的是，虚拟数据表中的键值信息等数据并不是物理数据表中的实体数据。上述键值信息是引用物理数据表中的数据，也即，虚拟数据表中记录了键值信息在虚拟数据表与物理数据表之间的对应关系（也即引用关系），虚拟数据表中并不对具体的键值数据进行维护。

上述虚拟数据表可以具有和其对应的物理数据表相同的索引结构（如二级索引、明细索引、列存索引、反转索引等）。

S103、将所述虚拟数据表中的多个目标虚拟数据表进行关联，生成所述目标虚拟数据表对应的虚拟数据宽表；所述虚拟数据宽表中的各项数据分别引用所述目标虚拟数据表中对应的数据。

该步骤中，可以对虚拟数据表进行筛选，筛选出目标虚拟数据表，在筛选目标虚拟数据表时，可以根据待进行的查询业务的查询需求进行筛选。

在进行目标虚拟数据表的筛选时，可以从多种筛选方式选取合适的目标筛选方式，比如，在用户指定有需要的虚拟数据表时，可以直接将用户指定的虚拟数据表作为目标虚拟数据表；在用户未指定虚拟数据表时，可以根据目标业务的需求进行筛选。

示例性的，可以先获取目标查询业务的至少一个预设查询语句，然后基于预设查询语句，确定预设查询语句匹配的目标虚拟数据。

比如，目标查询业务可以包含多个预设查询语句，预设查询语句中可以指示有需要查询的数据，这样，可以将包含需要查询的数据的虚拟数据表作为目标虚拟数据表。

上述预设查询语句可以为关系型数据库管理系统MySQL的查询语句，也即结构化查询语言（Structured Query Language，SQL），可以用于存取数据以及查询、更新和管理关系数据库系统，可以利用查询语句对数据库中的数据进行运算、条件查询等处理。

进一步的，还可以利用机器学习、深度学习等模型对虚拟数据表进行筛选，机器学习或深度学习等模型可以利用用户提供的样表模式数据、历史查询语句以及由模型收集的查询信息，进行分析与学习，从而确定出更符合用户需求的目标虚拟数据表。

在得到目标虚拟数据表后，即可将各个目标虚拟数据表进行关联，生成目标虚拟数据表对应的虚拟数据宽表。

值得注意的是，上述目标虚拟数据表不仅可以为从虚拟数据表中筛选得到的，还可以是由用户或业务需求指定的其他虚拟数据表，比如，目标虚拟数据表中，可以存在由上述虚拟数据表生成的中间虚拟数据表，或者用户指定的由其他方式生成的中间虚拟数据表。

上述物理数据表对应的虚拟数据表可以被称为贴源数据表，利用贴源数据表生成的其他虚拟数据表可以被称为业务数据表（如上述中间虚拟数据表），其中，上述虚拟数据宽表可以为业务数据表中的一种。

在一种可能的实施方式中，可以将贴源数据表和/或业务数据表作为上述目标虚拟数据表，生成上述虚拟数据宽表，生成的虚拟数据宽表也可以用于生成其他虚拟数据宽表。

在进行目标虚拟数据表的关联时，可以先从目标虚拟数据表中选取出基准数据表，然后，从剩余的目标虚拟数据表中选取出关联数据表，将基准数据表与关联数据表进行关联，得到新的基准数据表，之后，可以重复执行选取关联数据表，以及将基准数据表与关联数据表进行更新的步骤，直到剩余的目标虚拟数据表的数量为零，将最终得到的基准数据表作为上述虚拟数据宽表。

在将基准数据表与关联数据表关联时，可以根据基准数据表及关联数据表的属性信息，从多种关联方式中选取目标关联方式，然后，利用目标关联方式，将基准数据表与关联数据表进行关联，得到新的基准数据表。

示例性的，关联方式可以包括Join关联、Union关联及Filter关联。其中：

Join关联：通过数据表的主键及外键，关联不同Schema的数据表，得到的基准数据表可以形成一份连续的数据视图。通常可以用于关联事实表、维度表，能够呈现出与一个完整的、结构清晰的物理宽表相同的schema，且不会产生物理中间数据。

Union关联：可以通过关联不同数据表相同的字段，实现部分数据拼接成一份新数据的功能。可以解决不同计算方式的数据在同一套Schema下查询（比如拼接流数据和批数据、拼接不同粒度的批计算数据），且不会改变原表的计算逻辑。

Filter关联：使用Filter关联得到的虚拟数据宽表，可以解决在一张大表上通过条件过滤得到便捷使用的小表的需求，呈现出与一个计算逻辑清晰的小表相同的Schema，且不会产生物理中间数据。

在将各个目标虚拟数据表关联之后，即可形成虚拟数据宽表，虚拟数据宽表的各个字段从目标虚拟数据表映射而来，在逻辑上用于一个明确的Schema，可以被用户作为正常的数据表查询使用，同时，该虚拟数据宽表不会保存任何的表数据，仅存在表的相关逻辑。

S104、响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表，确定所述数据查询指令对应的目标数据。

在得到虚拟数据宽表之后，用户即可随时向终端设备发起针对虚拟数据宽表的数据查询指令，该数据查询指令可以为针对虚拟数据宽表的查询语句，终端设备可以解析并执行该数据查询指令，将查询到的目标数据反馈给用户实现数据查询。

在查询目标数据时，可以先基于虚拟数据宽表中指示的数据引用关系，确定数据查询指令对应的数据查询路径，然后，从当前存储的中间查询数据中，查询与查询路径中任一查询节点匹配的目标查询数据；查询节点只使用用于确定中间查询数据的数据查询逻辑；在查找到任一所述目标查询数据的情况下，可以从目标查询数据对应的查询节点开始，基于目标查询数据，按照数据查询路径进行数据查询，得到数据查询指令对应的目标数据。

其中，终端设备在获取到数据查询指令时，由于虚拟数据宽表层层嵌套的结构，可以对数据查询指令进行层层解析，直到将数据查询指令解析为基于目标虚拟数据表的查询语句，根据得到的查询语句，可以得到多层次的数据查询路径，数据查询路径可以包括多个查询节点，查询节点可以指示有用于确定中间查询数据的数据查询逻辑。通过执行该数据查询逻辑，则可以得到该查询节点对应的中间查询数据。

上述查询节点的数据查询逻辑，通常需要使用查询顺序中前一查询节点对应的中间查询数据，若能够直接获得当前查询节点对应的中间查询数据，则不需要执行当前查询节点之前的各个查询节点，能够有效提高查询效率。

参见图2所示，为本公开实施例所提供的数据查询路径的示意图。图中包含多个数据查询指令（查询语句），分别为Q1、Q2、Q3、Q4及Q5，各个数据查询指令对应的数据查询路径如图所示，图中展示有虚拟数据宽表21、多个物理数据表22，以及查询节点23，可见，查询节点231、查询节点232及查询节点233同时作为Q1及Q2的数据查询路径的一部分，也即是Q1及Q2的公共路径，因此，可以将查询节点231、查询节点232及查询节点233对应的中间查询数据预先进行计算并存储，从而在接收到Q1及Q2时，能够直接利用存储的中间数据，实现查询语句的快速响应。

相似的，图2中，查询节点234、查询节点235、查询节点236同时处于Q3、Q4的数据查询路径中，可以将查询节点234、查询节点235、查询节点236的中间查询数据存储；查询节点237、查询节点238及查询节点239则同时处于Q4及Q5的数据查询路径中，也可以将查询节点237、查询节点238及查询节点239的中间查询数据存储。

示例性的，Q4的查询路径中，查询节点2310需要同时使用查询节点236、查询节点239以及查询节点2311的中间查询数据，则可以先利用查询节点235的中间查询数据，确定查询节点2311的中间查询数据，再利用查询节点236、查询节点239以及查询节点2311的中间查询数据，确定查询节点2310的中间查询数据，进而得到Q4对应的目标数据，从而极大幅度的提高数据查询效率。

如图2所示，在针对Q1的数据查询过程中，可以直接获取查询节点231及查询节点232对应的中间查询数据，并从查询节点231及查询节点232开始，利用中间查询数据，按照数据查询路径进行数据查询。

在具体实施过程中，可以通过预先对目标查询业务的预设查询语句进行解析，确定公共的查询节点（存在于多个查询语句的数据查询路径中），并预先确定并公共的查询节点所对应的中间查询数据。

上述预先存储的中间查询数据可以作为缓存存储至终端设备的内存中，并对其设置有效期限，从而降低物理数据表中数据发生变更，而导致查询到的数据与实际结果不一致的情况出现的概率。

由于虚拟数据宽表的数据来自于多个物理数据宽表，可以使用不同种类的计算引擎来计算被拆分好的数据查询逻辑，并按照数据查询路径进行组装，用户仅需针对虚拟数据宽表进行查询，而不会感知到多种计算引擎的计算。

在预先存储上述中间查询数据时，除了可以以查询频率（公用的查询节点）为筛选条件外，还可以根据查询节点对应的数据查询逻辑的复杂程度来进行筛选。比如，若一个数据查询逻辑中包含较为复杂的数据查询逻辑（如求和、计数、平均值、方差等），则可以预先对其进行计算，并将得到的中间查询数据存储。

存储的中间查询数据可以形成一个物化视图，通过物化视图，可以确定其对应的查询节点在数据查询路径中的位置，从而判断该中间查询数据是否时数据查询指令需要的数据。

若未能查找到目标查询数据，则可以直接从数据查询路径中的初始查询节点开始，按照数据查询路径进行数据查询，得到数据查询指令对应的目标数据。

在按照数据查询路径进行数据查询的过程中，也可以对一些生成的中间查询数据进行存储。比如，可以针对各个查询节点，基于查询节点对应的历史查询频率、计算复杂程度或预测查询频率中的至少一种，确定所述查询节点的重要度评价值，在重要度评价值高于或等于预设评价值的情况下，将所述查询节点对应的中间查询数据存储。

上述中间查询数据可能会存在一些关联关系，中间查询数据之间可能会互相影响，比如，一个查询节点对应的中间查询数据可能需要其他查询节点的中间数据才能确定，因此，在对查询节点进行重要度评价值进行确定时，还可以引入中间查询数据的关联关系作为评价指标，对其重要度评价值进行确定。

在进行查询节点的筛选时，可以单独以查询节点的重要度评价值进行评价，筛选出重要度评价值高于预设评价值的查询节点，也可以从各个查询节点中筛选出查询节点集合，使查询节点集合对应的重要度评价值的总和最高，从而在考虑到中间查询数据的关联性的情况下，选择出最优的中间查询数据组合，提高中间查询数据的利用率。

上述历史查询频率可以为预设时间段内的计算过该查询节点的频率；计算复杂程度则可以根据其对应的数据查询逻辑中的运算类型、运算次数确定。

上述虚拟数据宽表可以将底层多模态的物理数据进行封装，将用户从复杂的数据建模中解放出来，改为通过虚拟化方式进行数据建模，通过虚拟表方式构建轻量灵活的数据模型。

由于虚拟数据宽表是基于查询语句和关联关系定义（虚拟数据表的引用关系）的逻辑结构，用于组织和表示数据的关联关系，而不是实际存储数据本身，能够通过执行查询语句来获取所需的数据，而不是在数据库中维护实际的数据副本，并且，能够通过查询和关联操作实时获取最新的数据结果，而无需维护和同步大量的物理数据副本，可以节省存储资源，并提供更加灵活和动态的数据访问方式。虚拟数据宽表的查询结果可以根据需要进行实时计算和分析，以满足特定的业务需求，而无需担心数据资产的膨胀和存储管理的复杂性。

虚拟数据宽表能够构建更加灵活和动态的数据模型，将数据的逻辑关系和查询逻辑嵌入到虚拟数据宽表中，提供更高层次的数据抽象和组织。使得数据的处理和分析更加简便，可以通过层级关系和关联操作进行复杂的查询和分析；

在虚拟数据宽表的层层嵌套过程中，可以明确追溯每个虚拟数据表中的数据是从哪些上游表（物理数据表）派生而来的，形成了一个数据的源头和传递路径。由于虚拟数据宽表的数据血缘关系明确，可以利用这些信息进行资产口径的梳理和合并。资产口径指的是对数据资产（虚拟数据宽表）的定义和标准化，包括数据的命名规范、结构定义、数据类型等。通过分析虚拟数据宽表之间的数据血缘关系，可以识别出具有相似数据血缘和结构的虚拟数据宽表，这些虚拟数据表可能对应相似的业务数据资产。

在进行资产口径的梳理和合并时，可以通过比较虚拟数据宽表之间的相似度来识别和合并具有相似数据血缘的虚拟数据宽表。相似度高表示这些虚拟数据宽表的数据来源和结构相似，可能对应相同或相似的业务实体或数据视图。通过合并这些相似的虚拟数据宽表，可以减少重复定义和维护的工作，提高数据管理的效率和一致性。

参见图3所示，为本公开实施例所提供的一种数据查询系统的示意图。图3中，该数据查询系统可以包括逻辑层、加速层以及物理层，用户可以向数据查询系统的终端设备发送针对虚拟数据宽表的查询语句，虚拟数据宽表中的各个数据列来自多个虚拟数据表对应的物理数据表，各个物理数据表的数据可以来自不同的数据平台，数据查询系统可以通过逻辑层对查询语句进行解析，并在加速层中查找合适的中间查询数据，从物理层中查找需要的部分数据，基于中间查询数据和物理层中查找到的数据，返回用户需要的数据。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与数据查询方法对应的数据查询装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据查询方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图4所示，为本公开实施例提供的一种数据查询装置的示意图，所述装置包括：

获取模块410，用于获取多个物理数据表的属性信息；

生成模块420，用于针对任一物理数据表，基于所述属性信息，生成所述物理数据表对应的虚拟数据表；所述虚拟数据表与所述物理数据表具有相同的数据结构，且所述虚拟数据表中的各项数据分别引用所述物理数据表中对应的数据；

关联模块430，用于将所述虚拟数据表中的多个目标虚拟数据表进行关联，生成所述目标虚拟数据表对应的虚拟数据宽表；所述虚拟数据宽表中的各项数据分别引用所述目标虚拟数据表中对应的数据；

查询模块440，用于响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表，确定所述数据查询指令对应的目标数据。

一种可选的实施方式中，所述生成模块420具体用于：

从所述目标虚拟数据表中选取出基准数据表；

从剩余的所述目标虚拟数据表中选取出关联数据表；

一种可选的实施方式中，所述生成模块420在对所述基准数据表与所述关联数据表进行关联，得到新的基准数据表时，用于：

一种可选的实施方式中，所述装置还包括确定模块，用于：

获取目标查询业务的至少一个预设查询语句；

一种可选的实施方式中，所述查询模块440具体用于：

一种可选的实施方式中，所述查询模块440在查找与所述数据查询路径中任一查询节点对应的目标查询数据之后，还用于：

一种可选的实施方式中，所述查询模块440还用于：

在按照所述数据查询路径进行数据查询的过程中，针对各个查询节点，基于所述查询节点对应的历史查询频率和/或计算复杂程度，确定所述查询节点的重要度评价值；

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图5所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器51和存储器52；所述存储器52存储有处理器51可执行的机器可读指令，处理器51用于执行存储器52中存储的机器可读指令，所述机器可读指令被处理器51执行时，处理器51执行下述步骤：

获取多个物理数据表的属性信息；

一种可选的实施方式中，处理器51执行的步骤中，所述将所述虚拟数据表中的多个目标虚拟数据表进行关联，生成所述目标虚拟数据表对应的虚拟数据宽表，包括：

从所述目标虚拟数据表中选取出基准数据表；

从剩余的所述目标虚拟数据表中选取出关联数据表；

一种可选的实施方式中，处理器51执行的步骤中，所述对所述基准数据表与所述关联数据表进行关联，得到新的基准数据表，包括：

一种可选的实施方式中，处理器51执行的步骤中，还包括：

获取目标查询业务的至少一个预设查询语句；

一种可选的实施方式中，处理器51执行的步骤中，所述响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表，确定所述数据查询指令对应的目标数据，包括：

一种可选的实施方式中，处理器51执行的步骤中，在查找与所述数据查询路径中任一查询节点对应的目标查询数据之后，还包括：

一种可选的实施方式中，处理器51执行的步骤中，还包括：

上述存储器52包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换。

上述指令的具体执行过程可以参考本公开实施例中所述的数据查询方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的数据查询方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的数据查询方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software Development Kit，SDK）等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种数据查询方法，其特征在于，包括：

获取多个物理数据表的属性信息；

2.根据权利要求1所述的方法，其特征在于，所述将所述虚拟数据表中的多个目标虚拟数据表进行关联，生成所述目标虚拟数据表对应的虚拟数据宽表，包括：

从所述目标虚拟数据表中选取出基准数据表；

从剩余的所述目标虚拟数据表中选取出关联数据表；

3.根据权利要求2所述的方法，其特征在于，所述对所述基准数据表与所述关联数据表进行关联，得到新的基准数据表，包括：

4.根据权利要求1所述的方法，其特征在于，通过以下步骤从所述虚拟数据表中筛选出目标虚拟数据表：

获取目标查询业务的至少一个预设查询语句；

5.根据权利要求1所述的方法，其特征在于，所述响应于针对所述虚拟数据宽表的数据查询指令，基于所述虚拟数据宽表，确定所述数据查询指令对应的目标数据，包括：

6.根据权利要求5所述的方法，其特征在于，在查找与所述数据查询路径中任一查询节点对应的目标查询数据之后，所述方法还包括：

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

8.一种数据查询装置，其特征在于，包括：

获取模块，用于获取多个物理数据表的属性信息；

9.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的数据查询方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任意一项所述的数据查询方法的步骤。