CN104699788A - 数据库查询方法和装置 - Google Patents

Abstract

本申请公开了一种数据库查询方法和装置。该方法包括，获取多个初始化查询语句；获取多个初始化查询语句的查询对象和统计维度；基于预定聚合规则将具有相同查询对象和相同统计维度的多个初始化查询语句合并生成聚合查询语句。按照本申请的方案，能够有效提高从存储有海量数据的数据库中查询相关数据的查询效率。

Description

数据库查询方法和装置

技术领域

本公开一般涉及计算机技术领域，具体涉及数据库技术领域，尤其涉及一种数据库查询方法和装置。

背景技术

在数据量大爆炸的今天，基于海量信息的大数据(big data)建设已经成为众多企业关注的焦点。通过大数据分析可以在合理的时间内撷取、管理、处理、并整理成为能帮助企业经营决策产生积极目的的信息。

然而，随着大数据相关技术的普及和数据量的急剧膨胀，在对海量数据进行查询处理时，计算任务量也随之直线上涨，导致计算资源占用率高、计算效率低。

现有技术中，尽管有一些数据库工具(如hadoop\hive\hbase)在一定程度上加速了海量数据的处理效率，但是在进行数据库查询时，仍然需要执行大量的查询语句，并且投入一定的开发人员、消耗巨大的计算资源才能够完成，使得研发成本居高不下。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种高效的数据库查询方案。进一步地，期望该方案开发成本低。更进一步地，还期望该方案对系统资源占用少。

为了实现上述一个或多个目的，本申请提供了一种数据库查询的技术方案，能够有效地降低计算量，提高查询效率和计算资源的利用率，进而降低研发成本。

第一方面，本申请实施例提供了一种数据库查询方法，所述方法包括：获取多个初始化查询语句；获取多个所述初始化查询语句的查询对象和统计维度；基于预定聚合规则将具有相同查询对象和相同统计维度的多个所述初始化查询语句合并生成聚合查询语句。

第二方面，本申请实施例还提供了一种数据库查询装置，所述装置包括：查询语句获取模块，用于获取多个初始化查询语句；查询对象和统计维度获取模块，用于获取多个所述初始化查询语句的查询对象和统计维度；聚合模块，用于基于预定聚合规则将具有相同查询对象和相同统计维度的多个所述初始化查询语句合并生成聚合查询语句。

本申请实施例提供的数据库查询的方案，通过将多个初始化查询语句基于一定的聚合规则进行合并，生成聚合查询语句，在用户期望的查询内容不变的前提下，所需执行的查询语句数量更少，从而能够有效提高从存储有海量数据的数据库中查询相关数据的查询效率。此外，本申请实施例的方案直接针对底层基础数据即初始化查询语句进行处理，开发成本低。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请一个实施例的数据库查询方法的流程图；

图2示出了图1中步骤110的一个实施例的流程图；

图3示出了图1中步骤150的一个实施例的流程图；

图4示出了从初始化查询语句生成聚合查询语句的一种应用场景的示例性示意图；

图5示出了由多个初始化查询语句合并形成聚合查询语句的示例性示意图；

图6示出了根据本申请一个实施例的数据库查询装置的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，其示出了根据本申请一个实施例的数据库查询方法的示例性流程图100。

如图1所示，在步骤110中，获取多个初始化查询语句。在这里，多个初始化查询语句可以是但不限于HQL(Hibernate Query Language)语句。

在一种实施方式中，可以通过接入数据库，并基于对数据库的前端配置生成初始化查询语句的方式来获取多个初始化查询语句。

在这里，数据库例如可以是基于hive构架建立的数据仓库。用户可通过前端配置，来生成初始化的查询语句。例如，用户可在数据库的前端(例如，界面)输入想要查询的内容，从而使得数据库生成初始化查询语句。

接着，在步骤120中，获取多个初始化查询语句的查询对象和统计维度。在这里，查询对象可以是数据表。在数据库中，通常具有若干数据表，用户可通过配置来指定查询语句在哪一个或哪几个数据表中执行。统计维度是事实数据表中用来描述数据的分类的有组织层次结构(级别)。这些分类和级别描述了一些相似的成员集合，用户可基于这些成员集合进行分析。

例如，在数据表中，有“地区”这一统计维度，在该统计维度下，又有“北京市”、“天津市”、“上海市”等多个维度成员。通过步骤120，例如可以指定某数据表中的“地区”这一统计维度作为查询语句的执行对象。

随后，在步骤130中，基于预定聚合规则将具有相同查询对象和相同统计维度的多个初始化查询语句合并生成聚合查询语句。在一种实施方式中，预定聚合规则可以包括相同的统计指标。例如，可以将页面浏览量(page view，pv)，或者独立访问者(unique vistor，uv)量，作为统计指标。

在一个应用场景中，当预定聚合规则选取为pv时，可以将初始化查询语句中，针对相同数据表中相同统计维度的用于统计pv的那些初始化查询语句合并成聚合查询语句。

由于将多个初始化查询语句合并成了数量较少的聚合查询语句，在获得查询结果不变的前提下，查询语句的执行数量得以减少，从而提升了查询效率，减小了计算量。

可选地，在生成聚合查询语句后，本实施方式的数据库查询方法还可以包括，步骤140，基于预定调度策略，执行聚合查询语句。

在一种实施方式中，预定调度策略包括可以包括执行起始时间和/或执行次数。

通过基于预定调度策略执行聚合查询语句，可以使得用户在期望的场景(例如，期望的时间)下获得查询结果。

例如，在统计pv时，预定调度策略可以设定为每间隔24小时统计一次pv。

可选地，本实施方式的数据库查询方法还可以包括，步骤150，在执行聚合查询语句之后，将聚合查询语句的执行结果加载至输出终端。

将聚合查询语句的执行结果加载至输出终端，可以使用户方便地获取执行结果。

例如，当输出终端包括显示器时，用户可以在输出终端的显示器上查看聚合查询语句的执行结果。

在一种实施方式中，参见图3所示，步骤150可以具体包括，步骤151，将执行结果进行格式转换成为与输出终端相匹配的格式。以及，步骤152，将经格式转换的执行结果加载至输出终端。

例如，当输出终端包括打印设备时，可先将执行结果转换为该打印设备可识别的格式，再将该经格式转换的执行结果加载至该打印设备。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

图4示出了从初始化查询语句生成聚合查询语句的一种应用场景的示例性示意图。

在该应用场景中，数据仓库401中可以包括Table_a 402、Table_b415和Table_c 416三张数据表。

在table_a 402中，欲统计统计维度K1 403下的统计指标V1 404。那么，根据聚合策略R1 405，可以生成聚合查询语句H1 406和聚合查询语句H2 417等。其中，聚合查询语句H1 406由多个初始化查询语句407合并形成。

类似地，在Table_a 402下对统计维度K1 403的统计指标V2 408进行查询时，可基于聚合策略R2 409将多个初始化查询语句合并成聚合查询语句H3 410。

此外，在Table_a 402下对统计维度K2 411的统计指标V3 412进行查询时，可基于聚合策略R3 413将多个初始化查询语句合并成聚合查询语句Hn 414。

同理，在数据表Table_b 415和Table_c 416中，也可以类似地将多个初始化查询语句合并成数量较少的聚合查询语句，以达到提高查询效率的目的。

图5示出了一种由多个初始化查询语句510合并形成聚合查询语句520的示例性示意图。

以三个初始化查询语句511～513为例。

在初始化查询语句一511中，统计在Table_a数据表中Os(客户端手机平台)统计维度下uid(user identification，用户身份证明)为＇1111＇的统计指标uv和pv。

在初始化查询语句二512中，统计在Table_a数据表中Os统计维度下uid为＇2222＇的统计指标uv和pv。

在初始化查询语句三513中，统计在Table_a数据表中Os统计维度下uid为＇3333＇的统计指标uv和pv。

由于以上三个初始化查询语句的查询对象均为Table_a数据表，统计维度均为Os统计维度，因此可以将三条初始化查询语句合并形成一条聚合查询语句520。

执行三条初始化查询语句511～513和执行三条初始化查询语句511～513合并生成的一条聚合查询语句520，其结果均是获得uid分别为＇1111＇、＇2222＇、＇3333＇的uv和pv。

然而，若直接执行三条初始化查询语句511～513，则需计算三次；而若将三条初始化查询语句511～513合并成聚合查询语句520，则只需计算一次，即可得到相同的查询结果。

需要强调的是，图5仅仅是示意性地示出了如何由多个初始化查询语句合并形成聚合查询语句。在应用中，用户可在数据仓库中基于预定聚合规则将任意具有相同查询对象和相同统计维度的多个初始化查询语句合并生成聚合查询语句，而不局限于具体指定的某个或某几个数据表或统计维度。

进一步参考图6，其示出了根据本申请一个实施例的数据库查询装置的结构示意图。

如图6所示，数据库查询装置600可以包括查询语句获取模块610、查询对象和统计维度获取模块620和聚合模块630。

其中，查询语句获取模块610用于获取多个初始化查询语句。查询对象和统计维度获取模块620用于获取多个初始化查询语句的查询对象和统计维度。聚合模块630用于基于预定聚合规则将具有相同查询对象和相同统计维度的多个初始化查询语句合并生成聚合查询语句。

在一些实施例中，查询对象例如可以包括数据表。

在一些实施例中，预定聚合规则可以包括相同的统计指标。

在进一步的实施例中，查询语句获取模块610可以包括接入单元611和初始化单元612。

其中，接入单元611可用于接入数据库。初始化单元612可用于基于前端配置生成初始化查询语句。

在进一步的实施例中，数据库查询装置600中的聚合模块630还可以用于在生成聚合查询语句后，基于预定调度策略，执行聚合查询语句。

在一些实施例中，预定调度策略可以包括以下至少一种：执行起始时间以及执行次数。

在进一步的实施例中，数据库查询装置600还可以包括加载模块640。

加载模块640可以用于将聚合查询语句的执行结果加载至输出终端。

在进一步的实施例中，加载模块可以具体包括格式转换单元641和输出单元642。

其中，格式转换单元641可用于将执行结果进行格式转换成为与输出终端相匹配的格式。输出单元642可用于将经格式转换的执行结果加载至输出终端。

应当理解，数据库查询装置600中记载的诸单元或模块与参考图1-3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于数据库查询装置600及其中包含的单元，在此不再赘述。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括查询语句获取模块、查询对象和统计维度获取模块和聚合模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，查询语句获取模块还可以被描述为“第一获取模块”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种数据库查询方法，其特征在于，包括：

获取多个初始化查询语句；

获取多个所述初始化查询语句的查询对象和统计维度；

基于预定聚合规则将具有相同查询对象和相同统计维度的多个所述初始化查询语句合并生成聚合查询语句。

2.根据权利要求1所述的数据库查询方法，其特征在于：

所述查询对象包括数据表。

3.根据权利要求1所述的数据库查询方法，其特征在于：

所述预定聚合规则包括相同的统计指标。

4.根据权利要求1所述的数据库查询方法，其特征在于，所述获取多个初始化查询语句具体包括：

接入数据库；

基于对所述数据库的前端配置生成初始化查询语句。

5.根据权利要求1所述的数据库查询方法，其特征在于，在生成所述聚合查询语句后，还包括：

基于预定调度策略，执行所述聚合查询语句。

6.根据权利要求5所述的数据库查询方法，其特征在于，所述预定调度策略包括以下至少一种：

执行起始时间，

以及，执行次数。

7.根据权利要求5或6所述的数据库查询方法，其特征在于，在执行所述聚合查询语句之后，还包括：

将所述聚合查询语句的执行结果加载至输出终端。

8.根据权利要求7所述的数据库查询方法，其特征在于，所述将所述聚合查询语句的执行结果加载至输出终端具体包括：

将所述执行结果进行格式转换成为与输出终端相匹配的格式；

将经格式转换的所述执行结果加载至输出终端。

9.一种数据库查询装置，其特征在于，包括：

查询语句获取模块，用于获取多个初始化查询语句；

查询对象和统计维度获取模块，用于获取多个所述初始化查询语句的查询对象和统计维度；

聚合模块，用于基于预定聚合规则将具有相同查询对象和相同统计维度的多个所述初始化查询语句合并生成聚合查询语句。

10.根据权利要求9所述的数据库查询装置，其特征在于：

所述查询对象包括数据表。

11.根据权利要求9所述的数据库查询装置，其特征在于：

所述预定聚合规则包括相同的统计指标。

12.根据权利要求9所述的数据库查询装置，其特征在于，所述查询语句获取模块包括：

接入单元，用于接入数据库；

初始化单元，用于基于对所述数据库的前端配置生成初始化查询语句。

13.根据权利要求9所述的数据库查询装置，其特征在于，所述聚合模块还用于：

在生成所述聚合查询语句后，基于预定调度策略，执行所述聚合查询语句。

14.根据权利要求13所述的数据库查询装置，其特征在于，所述预定调度策略包括以下至少一种：

执行起始时间，

以及，执行次数。

15.根据权利要求13或14所述的数据库查询装置，其特征在于，还包括：

加载模块，用于将所述聚合查询语句的执行结果加载至输出终端。

16.根据权利要求15所述的数据库查询装置，其特征在于，所述加载模块具体包括：

格式转换单元，用于将所述执行结果进行格式转换成为与输出终端相匹配的格式；

输出单元，用于将经格式转换的所述执行结果加载至输出终端。