CN110874366A - 数据处理、查询方法和装置 - Google Patents

Abstract

本发明实施例提供一种数据处理、查询方法和装置，通过分析加速表得到至少一组用于生成物化表的字段组合；根据分析得到每组字段组合创建对应的物化表，实现创建生成物化表的过程自动化；进一步，使用皮尔逊相关系数的方式优化生成的物化表。从而可以根据物化表自动判断并操作哪些数据需要物化。进一步地，在查询数据是，只需查询物化表中存在输入的查询字段时，即可直接从物化表到处需要查询的数据，从而大大提高了数据查询效率。因此，可以解决现有技术中因此数据量、结构化查询语言(SQL)的复杂度等原因导致查询出数据的过程缓慢，不能满足系统响应的性能的问题。

Description

数据处理、查询方法和装置

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种数据处理、查询方法和装置。

背景技术

目前，用户在数据分析平台执行数据查询时，由于数据量、结构化查询语言(SQL)的复杂度等原因导致查询出数据的过程缓慢，不能满足系统响应的性能。

发明内容

为了解决上述问题，本发明提供一种数据处理、查询方法和装置，可以大大提高数据查询效率。

本发明实施例提供一种数据处理方法，包括：

分析加速表得到至少一组用于生成物化表的字段组合，所述加速表是指为了提高数据查询速度而构建的用于存放用户从数据仓库中选出的数据范围的数据库；

根据分析得到的每组字段组合创建对应的物化表，所述物化表是根据所述字段组合对所述加速表中的数据范围进行查询细分的数据库。

可选地，分析加速表得到至少一组物化表的字段组合，包括：

分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合。

可选地，分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合，包括：

分析所述表结构信息，得到各个字段的数据类型；

分析所述表数据信息，根据各个字段的数据类型，确定用于生成物化表的第一字段集；

分析所述历史查询SQL信息使用的字段、过滤条件、排序条件，使用皮尔逊相关性系数计算各字段的相关性，得到第二字段集，所述第二字段集中包括多组具有高相关性的字段组合；

根据所述第一字段集和所述第二字段集确定多组用于生成物化表的字段组合。

可选地，根据分析得到的每组字段组合创建对应的物化表之后包括：

建立所述物化表与其对应的字段组合之间的映射关系。

本申请还提供一种数据查询方法，包括：

根据用户输入的字段组合，查询字段组合与物化表之间的映射关系，确定存在与所述字段组合对应的物化表；

在所述物化表中确定所述字段组合指向的数据。

可选地，查询物化表之前包括：

分析加速表得到至少一组用于生成物化表的字段组合，所述加速表是指为了提高数据查询速度而构建的用于存放用户从数据仓库中选出的数据范围的数据库；

根据分析得到的每组字段组合创建对应的物化表，所述物化表是根据所述字段组合对所述加速表中的数据范围进行查询细分的数据库。

可选地，分析加速表得到至少一组物化表的字段组合，包括：

分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合。

可选地，分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合，包括：

分析所述表结构信息，得到各个字段的数据类型；

分析所述表数据信息，根据各个字段的数据类型，确定用于生成物化表的第一字段集；

分析所述历史查询SQL信息使用的字段、过滤条件、排序条件，使用皮尔逊相关性系数计算各字段的相关性，得到第二字段集，所述第二字段集中包括多组具有高相关性的字段组合；

根据所述第一字段集和所述第二字段集确定多组用于生成物化表的字段组合。

可选地，根据分析得到的每组字段组合创建对应的物化表之后包括：

建立所述物化表与其对应的字段组合之间的映射关系。

本申请还提供一种数据处理装置，包括：

分析模块，用于分析加速表得到至少一组用于生成物化表的字段组合；

创建模块，用于根据分析得到的每组字段组合创建对应的物化表。

本申请还提供一种数据查询装置，包括：

查询模块，用于根据用户输入的字段组合，查询字段组合与物化表之间的映射关系，确定存在与所述字段组合对应的物化表；

确定模块，用于在所述物化表中确定所述字段组合指向的数据。

本发明通过分析加速表得到至少一组用于生成物化表的字段组合；根据分析得到每组字段组合创建对应的物化表，实现创建生成物化表的过程自动化；进一步，使用皮尔逊相关系数的方式优化生成的物化表，从而可以根据物化表自动判断并操作哪些数据需要物化。进一步地，在查询数据时，只需查询新生成的数据量更少的物化表中是否存在查询的字段组合时，即可直接从物化表到处需要查询的数据，从而大大提高了数据查询效率。因此，可以解决现有技术中因此数据量、结构化查询语言(SQL)的复杂度等原因导致查询出数据的过程缓慢，不能满足系统响应的性能的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的数据处理方法的流程示意图；

图2为本发明一实施例提供的数据查询方法的流程示意图；

图3是对图1所示实施例中物化表生成方法进行说明的流程示意图；

图4为应用本发明实施例提供的物化表进行数据查询的示意图；

图5为本发明一实施例提供的数据处理装置的结构示意图；

图6为本发明一实施例提供的数据查询装置的结构示意图；

图7为本发明另一实施例提供的服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

现有技术中，由于数据量、SQL复杂度等原因导致查询出数据的过程缓慢，主要是因为现有技术中不能自动生成查询数据用的物化表，而是需要数据库管理人员介入自行判断并操作哪些数据需要物化。

因此为了解决现有技术中的问题，本申请提供一种自动生成用于数据查询的物化表，之后根据生成的物化表查询数据可以大大提供查询效率。

加速表：是指用户从数据仓库中选出数据范围并将该数据范围信息写入加速表中(也就是说，加速表中存放的是数据范围信息)，以便用户根据加速表中的数据范围信息在加速表中查询该数据范围信息对应的数据，可以提高数据查询速度。因为直接查询数据仓库，由于数据仓库中庞大的数据量，需要遍历整个数据仓库才有可能会查询到用户所需的数据，查询速度会很慢，而通过加速表(用户选择的数据范围)可以减少查询的数据量，从而可以提高查询访问速度。

物化表：是对加速表进行分析，从加速表中再抽取字段组合，并根据字段组合生成用户查询数据的物化表；也就是说，物化表中的字段组合其实是一种数据查询规则，对加速表中的数据范围信息做进一步的查询细化；当用户只想查询加速表的一部分数据时，不需要根据加速表去遍历数据范围对应的全部数据才能查询到用户所需的数据，而是可以根据物化表中的字段组合直接查询命中该字段组合对应的数据，更进一步提高数据查询访问速度。

图1为本发明一实施例提供的数据处理方法的流程示意图，如图1所示：

101、分析加速表得到至少一组用于生成物化表的字段组合；

在一种可选的实施方式中，可以分析加速表的表结构信息、表数据信息和历史查询SQL信息，从而根据分析的信息得到用于生成物化表的字段组合。

上述步骤101具体实现时包括：

分析所述表结构信息，得到各个字段的数据类型；

分析所述表数据信息，根据各个字段的数据类型，确定用于生成物化表的第一字段集；

分析所述历史查询SQL信息使用的字段、过滤条件、排序条件，使用皮尔逊相关性系数计算各字段的相关性，得到第二字段集，所述第二字段集中包括多组具有高相关性的字段组合；

根据所述第一字段集和所述第二字段集确定多组用于生成物化表的字段组合。需要说明的是，每一组字段组合其实可以是一种查询规则，每一组字段组合，因此根据物化表中的字段组合可以直接查询命中该字段组合指向的数据。

102、根据分析得到的每组字段组合创建对应的物化表。

可选地，步骤102之后还包括：

建立所述物化表与其对应的字段组合之间的映射关系。

图2为本发明一实施例提供的数据查询方法的流程示意图，如图2所示：

201、根据用户输入的字段组合，查询字段组合与物化表之间的映射关系，确定存在与所述字段组合对应的物化表；

202、在所述物化表中确定所述字段组合指向的数据。

其中，关于物化表的相关内容可以参考图1所示实施例所示的方法中的相关描述，不再赘述。

本发明通过分析加速表得到至少一组用于生成物化表的字段组合；根据分析得到每组字段组合创建对应的物化表，实现创建生成物化表的过程自动化；进一步，使用皮尔逊相关系数的方式优化生成的物化表，从而可以根据物化表自动判断并操作哪些数据需要物化。进一步地，在查询数据时，只需查询新生成的数据量更少的物化表中是否存在查询的字段组合时，即可直接从物化表到处需要查询的数据，从而大大提高了数据查询效率。因此，可以解决现有技术中因此数据量、结构化查询语言(SQL)的复杂度等原因导致查询出数据的过程缓慢，不能满足系统响应的性能的问题。

图3是对图1所示实施例中物化表生成方法进行说明的流程示意图，如图3所示，主要流程包括：

1、将T+1的分析数据导入到加速库中；

这里的T+1分析数据可以是延时1天的加速表，这里的加速库是用于让数据快速访问的数据库，例如OLAP分析型数据库，对于小数据量的分析数据也可以使用传统数据库。

2、分析导入的加速表的表结构信息、表数据信息和历史查询SQL信息；

首先，对表结构信息进行解析，得到表结构字段的各种数据类型，如参照日期型，字符串型，数值型归类，还可以抽取出可索引的数据类型；

其次，分析加速表的表数据，根据不同的字段的数据类型和数据枚举值的多少，筛选适合用于生成物化表的字段。如果是字符串型，该列最大字符数小于255的保留，如果是日期型则直接保留，如果是数值型，数据枚举值小于10000的保留；

例如：当数据值有10000个值，而数据枚举值只有2个，那么为了把该字段提取出来，数据量就从10000降到了2，但是却不影响真正的数据。比如某个表中有10000条记录，其中一个字段标识性别，性别就只有男和女两个值，那么当用户只查询性别这一个字段的数据时，从原始的加速表中出会需要从10000条记录中提取出男和女，但从包含性别的物化表(如果该物化表只有性别这一个字段的话)中出就可以只从2条记录中提取男和女的数据。

最后，将这份保留下来的列字段中的数据两两做皮尔逊系数的相关性计算，皮尔逊系数高(相关性高)的字段留在一起，而历史查询SQL中出现高频组合使用的字段留在一起。

3、根据上述分析的表结构信息、表数据信息和历史查询SQL信息，得到可以生成多份物化表的字段信息；

分析历史SQL使用的字段、过滤条件、排序条件使用皮尔逊相关性系数计算字段的相关性，得到多组具有高相关性的字段组合，并结合2步骤筛选出的的字段来得到最终的多组可用于生成物化表的字段组合。

例如，经过上面分析的字段，得到皮尔逊系数高于0.8的字段组和字段一起出现的频率高于50％的字段，相互之间存在这些关系的字段放到一个表中，这样就得到物化表需要的字段组合了。这里的字段例如可以为业务数据字段，系统数据字段等。

4、利用表创建逻辑机制，根据每份用于生成物化表的字段组合创建对应的物化表。

5、自动创建每个物化表与其对应的字段组合之间的映射关系；

可选地，还可以自动创建新生成的物化表和加速表之间的映射关系。

6、自动为可索引且需要索引的字段生成索引。

例如，通过执行数据库的索引命令来添加字段索引，目的是为可枚举的字段创建索引提高该字段的查询性能。

图4为应用本发明实施例提供的物化表进行数据查询的示意图，如图4所示，只需查询物化表的已有的字段时直接从物化表出数据，而不用从原始物化表出数据。

查询机制举例如下：原始的加速表中有A,B,C,D,E、F、G等很多个字段组合的信息，新生成的物化表X有A、B两个字段，新生成的物化表Y有B、C、D三个字段。当用户查询A、B字段组合时，识别到物化表X对应的字段信息符合，就会从物化表X中查询出数据。而用户查询B、C字段组合时就会从物化表Y中出；但是，当用户查询A、B、C时，由于物化表X和物化表Y都无法提供符合条件的数据，就会还是从原始的加速表中查询出数据。

图5为本发明一实施例提供的数据处理装置的结构示意图；如图5所示，包括：

分析模块，用于分析加速表得到至少一组用于生成物化表的字段组合；

创建模块，用于根据分析得到的每组字段组合创建对应的物化表。

可选地，所述分析模块具体用于：

分析所述表结构信息，得到各个字段的数据类型；

分析所述表数据信息，根据各个字段的数据类型，确定用于生成物化表的第一字段集；

分析所述历史查询SQL信息使用的字段、过滤条件、排序条件，使用皮尔逊相关性系数计算各字段的相关性，得到第二字段集，所述第二字段集中包括多组具有高相关性的字段组合；

根据所述第一字段集和所述第二字段集确定多组用于生成物化表的字段组合。

可选地，所述创建模块还用于：

建立所述物化表与其对应的字段组合之间的映射关系。

本实施例所示装置可以执行上述图1所示方法实施例，其实现原理和技术效果不再赘述。

图6为本发明一实施例提供的数据查询装置的结构示意图，如图6所示，包括：

查询模块，用于根据用户输入的字段组合，查询字段组合与物化表之间的映射关系，确定存在与所述字段组合对应的物化表；

确定模块，用于在所述物化表中确定所述字段组合指向的数据。

需要说明的是，本实施例所述物化表可以利用图5所示实施例所示的数据处理装置进行分析并自动生成。

本实施例所示装置可以执行上述图2所示方法实施例，其实现原理和技术效果不再赘述。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被计算机执行时能够实现上述方法实施例中与所述数据处理装置和数据查询装置相关的步骤或操作，在此不再赘述。

图7为本发明另一实施例提供的服务器的结构示意图，如图7所示，包括：

存储器71、处理器72以及通信组件73；

通信组件73，用于存储器71和处理器72之间的通信；

存储器72，用于存储计算机程序；

处理器71，与存储器和通信组件耦合，用于执行计算机程序，以用于：

分析加速表得到至少一组用于生成物化表的字段组合；根据分析得到每组字段组合创建对应的物化表。

处理器71，与存储器和通信组件耦合，用于执行计算机程序，还用于：

根据用户输入的字段组合，查询字段组合与物化表之间的映射关系，确定存在与所述字段组合对应的物化表；在所述物化表中确定所述字段组合指向的数据。

进一步，如图7所示，服务器包括：显示器74、电源组件75、音频组件76等其它组件。图7中仅示意性给出部分组件，并不意味着服务器只包括图7所示组件。

本实施例所示服务器可以执行上述图1-图2所示方法实施例，其实现原理和技术效果不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

分析加速表得到至少一组用于生成物化表的字段组合，所述加速表是指为了提高数据查询速度而构建的用于存放用户从数据仓库中选出的数据范围的数据库；

根据分析得到的每组字段组合创建对应的物化表，所述物化表是根据所述字段组合对所述加速表中的数据范围进行查询细分的数据库。

2.根据权利要求1所述的方法，其特征在于，分析加速表得到至少一组物化表的字段组合，包括：

分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合。

3.根据权利要求2所述的方法，其特征在于，分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合，包括：

分析所述表结构信息，得到各个字段的数据类型；

分析所述表数据信息，根据各个字段的数据类型，确定用于生成物化表的第一字段集；

分析所述历史查询SQL信息使用的字段、过滤条件、排序条件，使用皮尔逊相关性系数计算各字段的相关性，得到第二字段集，所述第二字段集中包括多组具有高相关性的字段组合；

根据所述第一字段集和所述第二字段集确定多组用于生成物化表的字段组合。

4.根据权利要求1所述的方法，其特征在于，根据分析得到的每组字段组合创建对应的物化表之后包括：

建立所述物化表与其对应的字段组合之间的映射关系。

5.一种数据查询方法，其特征在于，包括：

根据用户输入的字段组合，查询字段组合与物化表之间的映射关系，确定存在与所述字段组合对应的物化表；

在所述物化表中确定所述字段组合指向的数据。

6.根据权利要求5所述的方法，其特征在于，查询物化表之前包括：

分析加速表得到至少一组用于生成物化表的字段组合，所述加速表是指为了提高数据查询速度而构建的用于存放用户从数据仓库中选出的数据范围的数据库；

根据分析得到的每组字段组合创建对应的物化表，所述物化表是根据所述字段组合对所述加速表中的数据范围进行查询细分的数据库。

7.根据权利要求6所述的方法，其特征在于，分析加速表得到至少一组物化表的字段组合，包括：

分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合。

8.根据权利要求7所述的方法，其特征在于，分析所述加速表的表结构信息、表数据信息和历史查询SQL信息，根据分析的信息得到用于生成物化表的字段组合，包括：

分析所述表结构信息，得到各个字段的数据类型；

分析所述表数据信息，根据各个字段的数据类型，确定用于生成物化表的第一字段集；

分析所述历史查询SQL信息使用的字段、过滤条件、排序条件，使用皮尔逊相关性系数计算各字段的相关性，得到第二字段集，所述第二字段集中包括多组具有高相关性的字段组合；

根据所述第一字段集和所述第二字段集确定多组用于生成物化表的字段组合。

9.根据权利要求6所述的方法，其特征在于，根据分析得到的每组字段组合创建对应的物化表之后包括：

建立所述物化表与其对应的字段组合之间的映射关系。

10.一种数据处理装置，其特征在于，包括：

分析模块，用于分析加速表得到至少一组用于生成物化表的字段组合；

创建模块，用于根据分析得到的每组字段组合创建对应的物化表。

11.一种数据查询装置，其特征在于，包括：

查询模块，用于根据用户输入的字段组合，查询字段组合与物化表之间的映射关系，确定存在与所述字段组合对应的物化表；

确定模块，用于在所述物化表中确定所述字段组合指向的数据。

Images