CN110704472A - 数据查询统计方法及装置 - Google Patents

Abstract

本发明提供了一种数据查询统计方法及装置，该方法包括：获取原始SQL语句；原始SQL语句包括查询条件；调用语法解析器拆解原始SQL语句，得到拆解结果；拆解结果用于描述原始SQL语句中各函数的层级信息和功能信息；根据层级信息和功能信息确定目标SQL语句；目标SQL语句中的函数与查询条件相关联；根据目标SQL语句生成统计结果。本发明可以提高对数据库进行查询及统计数据的效率，且在不同的SQL可以通用。

Description

数据查询统计方法及装置

技术领域

本发明涉及计算机技术领域，尤其是涉及一种数据查询统计方法及装置。

背景技术

现如今大量的程序应用中，各程序或系统都搭载着大量的数据，如果需要在页面上呈现这些数据，就需要对大量的数据进行查询、统计，在进行数据库查询时首先会把所有的数据都查询出来，然后再进行分页显示，这时候分页查询的操作就必不可少了，在实际应用中计算机程序常常运行大量结构化查询语言(Structured Query Language，SQL)对程序进行分页查询。其中，SQL是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。分页查询是指将过多的查询或统计结果在有限的界面上分多页来显示。

现有的分页查询可以在数据库中进行操作，MySQL的分页查询是最简单的，借助关键字limit即可实现查询，查询语句通用形式：select SQL_CALC_FOUND_ROWS*from table_name limit 0,10；select FOUND_ROWS()as count；MySQL提供了SQL_CALC_FOUND_ROWS和FOUND_ROWS()关键字，使用SQL_CALC_FOUND_ROWS查询一次后，可以使用FOUND_ROWS()获取数据总量，方便了对查询结果进行统计，但此种情形下效率较低，且只能在MySQL中使用。

另外，SQL的分页查询现有技术中较常使用的分页插件，其中Mybatis的PageHelper插件增加手写count查询支持，其主要方法是增加查询后缀配置参数，该参数是针对分页拦截器配置的，默认值为_COUNT。PageHelper会优先通过当前查询方法名查找手写的分页查询。如果存在就使用手写的count查询，如果不存在，则使用Mybatis默认的方式自动创建count查询。Mybatis PageHelper提供了用户自定义COUNT语句的接口，虽然提高了效率，但仍然需要用户自定义，并不是实时生成。

发明内容

本发明提供了一种数据查询统计方法及装置，可以提高对数据库进行查询及统计数据的效率，且能够适用于多种SQL语句。

第一方面，本发明实施例提供了一种数据查询统计方法，该方法包括：获取原始SQL语句；原始SQL语句包括查询条件；调用语法解析器拆解原始SQL语句，得到拆解结果；拆解结果用于描述原始SQL语句中各函数的层级信息和功能信息；根据层级信息和功能信息确定目标SQL语句；目标SQL语句中的函数与查询条件相关联；根据目标SQL语句生成统计结果。

第二方面，本发明实施例还提供一种数据查询统计装置，该装置包括：获取模块，用于获取原始SQL语句；原始SQL语句包括查询条件；拆解模块，用于调用语法解析器拆解原始SQL语句，得到拆解结果；拆解结果用于描述原始SQL语句中各函数的层级信息和功能信息；优化模块，用于根据层级信息和功能信息确定目标SQL语句；目标SQL语句中的函数与查询条件相关联；统计模块，用于根据目标SQL语句生成统计结果。

第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据查询统计方法。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述数据查询统计方法。

本发明实施例带来了以下有益效果：本发明实施例提供了一种数据查询统计方法及装置，该方法包括：获取原始SQL语句，调用语法解析器拆解原始SQL语句，得到拆解结果，由于语法解析器可以应用于不同SQL语句中，提高了可处理的原始SQL语句的范围，进而提高了本发明实施例的适用范围；在得到包括用于描述原始SQL语句中各函数的层级信息和功能信息的拆解结果后，根据拆解结果可以在原始SQL语句中确定目标SQL语句，目标SQL语句中的函数与查询条件相关联，通过确定出与查询条件相关的目标SQL语句，根据目标SQL语句生成统计结果，这一过程可以减少对与查询条件无关的SQL语句的查询和统计，从而可以快速生成统计结果，以提高查询统计的效率。本发明实施例可以提高对数据库进行查询及统计数据的效率，且在不同的SQL可以通用。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据查询统计方法流程图；

图2为本发明实施例提供的数据查询统计方法实施流程示意图；

图3为本发明实施例提供的数据查询统计方法一种添加统计函数的示例；

图4为本发明实施例提供的数据查询统计方法一种剔除排序函数的示例；

图5为本发明实施例提供的数据查询统计方法一种剔除关联表的示例；

图6为本发明实施例提供的数据查询统计装置结构示意框图；

图7为本发明实施例提供的计算机设备结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，使用SQL对程序进行分页查询时，通过调度系统实现所有SQL程序的顺序提取调度，进行大量重复的查询统计操作。这些SQL程序看上去是为了解决各种各样的业务问题，但其本质上是对于原始数据的直接操作，分页查询每次都要进行统计，计算查询结果，由于计算的相似性，导致大量的重复计算。因此，在实时生成的视图进行分页查询时，对于统计结果数量的SQL进行优化并能提高效率，在项目研发过程中也显得尤为重要。

基于此，本发明实施例提供的一种数据查询统计方法及装置，可以在对数据库进行分页查询、统计数据量时提供更便捷的操作方法并提高效率；同时打通不同SQL程序得以通用，实时快速的生成统计语句，减轻服务器对数据库查询和统计的负担。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据查询统计方法进行详细介绍。

本发明实施例提供了一种数据查询统计方法，可以应用于分页查询时，对将要进行运算的SQL语句进行分解优化。参见图1所示的一种数据查询统计方法流程图，该方法包括以下步骤：

步骤S102，获取原始SQL语句。

在本发明实施例中，原始SQL语句是指待计算的SQL语句，是服务器中目标程序中的SQL语句。原始SQL语句包括查询条件，其中，查询条件是与统计结果相关的参数或函数。

步骤S104，调用语法解析器拆解原始SQL语句，得到拆解结果。

在本发明实施例中，语法解析器通常是作为编译器或解释器的组件出现的，其作用是进行语法检查、并构建由输入的单词组成的数据结构。利用语法解析器得到原始SQL语句中包括的各函数的层级信息和功能信息。其中，层级信息用于描述函数语法之间的层级关系，功能信息用于描述函数的作用。

需要说明的是，语法解析器可以识别并拆解多种SQL类型，例如，当原始SQL语句类型为MySQL时，也能够对该语句进行拆解，因此，本发明实施例通过语法解析器识别不同的SQL类型，而不是局限于某种SQL。

步骤S106，根据层级信息和功能信息确定目标SQL语句。

在本发明实施例中，得到层级信息和功能信息之后，根据函数的层级和功能，确定该函数与查询条件的关联情况，将与查询条件相关联的函数确定为目标SQL语句。与查询条件相关联是指该函数是查询条件要限定的函数，该函数可以影响统计结果。

需要说明的是，在确定目标SQL语句时，仅保留与查询条件相关联的函数，将与查询条件无关的函数剔除，以减少计算量从而提高计算效率，还可以减轻服务器对数据访问负担。

步骤S108，根据目标SQL语句生成统计结果。

在本发明实施例中，根据目标SQL语句进行运算操作，可以得到统计结果。得到的统计结果可以返回至调用端。

本发明实施例提供了一种数据查询统计方法，该方法包括：获取原始SQL语句，调用语法解析器拆解原始SQL语句，得到拆解结果，由于语法解析器可以应用于不同SQL语句中，提高了可处理的原始SQL语句的范围，进而提高了本发明实施例的适用范围；在得到包括用于描述原始SQL语句中各函数的层级信息和功能信息的拆解结果后，根据拆解结果可以在原始SQL语句中确定目标SQL语句，目标SQL语句中的函数与查询条件相关联，最后根据目标SQL语句生成统计结果。本发明实施例可以提高对数据库进行查询及统计数据的效率，且在不同的SQL可以通用。

考虑到为了实时快速的生成统计语句，减轻服务器对数据库查询和统计的负担，根据层级信息和功能信息确定目标SQL语句，可以按照如下步骤执行：

(1)根据层级信息和功能信息抽取原始SQL语句中目标字符部分；

在本发明实施例中，目标字符部分可以是“FROM”，为了获得语法节点，可以抽取原始SQL语句中最外层FROM的部分作为目标字符部分。

(2)对目标字符部分进行优化，得到目标SQL语句。

剔除目标字符部分与查询条件无关的操作函数，得到目标SQL语句；操作函数包括以下至少一种操作：关联表操作、字段操作、排序操作、分组操作或分页操作。

对得到的目标字符部分进行中与查询条件不相关联的函数进行剔除，相关联的函数进行保留，得到目标SQL语句。其中与查询条件不相关联的函数是指在查询条件中未被调用的操作函数。

在本发明实施例中，可以通过剔除关联表(JOIN TABLE_NAME)、字段(COLUMN)、排序(ORDER BY)、分组(GROUP BY)、分页(LIMIT)等其他操作，得到目标SQL语句。

需要说明的是，如在SQL中存在排序函数(ORDER BY)，查询速率会变慢，所以在进行数据统计时则将剔除语句中的排序函数(ORDER BY)(特殊情况除外，如排序后分页取值并进行关联)。

另外需要说明的是，在本发明实施例中，参见图3所示的数据查询统计方法一种添加统计函数的示例，由于目标字符部分可能不存在与查询条件无关的操作函数，则可以不执行剔除操作。

为了基于目标SQL语句得到快速得到查询统计结果，可以按照如下步骤执行：

在目标SQL语句中添加聚合函数；根据聚合函数和目标SQL语句生成统计结果。

在本发明实施例中，聚合函数可以为统计函数(COUNT)、求和函数(SUM)或平均值函数(AVG)等，对目标SQL语句添加聚合函数进行计算可以得到统计结果。其中，统计函数COUNT，在数据库(SQL server或者access)中可以用来统计符合条件的数据条数。具体使用的聚合函数可以根据需求预先进行设置，本发明实施例对此不作具体限定。

参见图3所示的数据查询统计方法一种添加统计函数的示例，查询统计参数(替换所选择的统计参数)：

原语句：SELECT A,B,C FROM TABLE_NAME，添加统计函数后：SELECT COUNT(*)FROM TABLE_NAME

参见图4所示的数据查询统计方法一种剔除排序函数的示例，查询语句中进行统计时，剔除未被使用的排序参数(替换所选择的统计参数，并去掉排序语句)：原语句：SELECT A,B,C(SELECT D FROM TABLE_NAME_2WHERE XXX)AS F FROM TABLE_NAME WHEREYYYY ORDER BY A，删除及添加结果：SELECT COUNT(*)FROM TABLE_NAME WHERE YYYY。

参见图5所示的数据查询统计方法一种剔除关联表的示例，查询语句中进行统计时，剔除未被使用的关联表(替换所选择的统计参数，并去掉关联表语句)：原语句：SELECTT.A,T.B,T.C FROM TABLE_NAME AS T JOIN TABLE_NAME_2WHERE YYYY，删除及添加结果：SELECT COUNT(*)FROM TABLE_NAME WHERE YYYY。

本发明实施例提供了一种数据查询统计方法及装置，参见图2所示的数据查询统计方法实施流程示意图，该方法用以实现对于实时生成的视图，应用于分页查询时，读取服务器中的目标程序，对要进行运算的原始SQL语句进行分析拆解，得到优化后的新的SQL程序，从而实时快速的生成统计数据，实现提高在分页查询时的运算效率(统计数量的效率)，并以实现能够减轻服务器对数据访问负担过重的目标。本发明实施例可以实现不同的SQL可以通用；能够实时生成分页查询统计语句，提升效率的同时优化性能。

本发明实施例还提供一种数据查询统计装置，参见图6所示的数据查询统计装置结构框图，该装置包括：

获取模块61，用于获取原始SQL语句；原始SQL语句包括查询条件；拆解模块62，用于调用语法解析器拆解原始SQL语句，得到拆解结果；拆解结果用于描述原始SQL语句中各函数的层级信息和功能信息；优化模块63，用于根据层级信息和功能信息确定目标SQL语句；目标SQL语句中的函数与查询条件相关联；统计模块64，用于根据目标SQL语句生成统计结果。

优化模块，具体用于：根据层级信息和功能信息抽取原始SQL语句中目标字符部分；对目标字符部分进行优化，得到目标SQL语句。

优化模块，具体用于：剔除目标字符部分与查询条件无关的操作函数，得到目标SQL语句；操作函数包括以下至少一种操作：关联表操作、字段操作、排序操作、分组操作或分页操作。

统计模块，具体用于：在目标SQL语句中添加聚合函数；根据聚合函数和目标SQL语句生成统计结果。

本发明实施例还提供一种计算机设备，参见图7所示的计算机设备结构示意框图，该计算机设备包括存储器71、处理器72，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算机设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述任一种方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据查询统计方法，其特征在于，包括：

获取原始SQL语句；所述原始SQL语句包括查询条件；

调用语法解析器拆解所述原始SQL语句，得到拆解结果；所述拆解结果用于描述所述原始SQL语句中各函数的层级信息和功能信息；

根据所述层级信息和所述功能信息确定目标SQL语句；所述目标SQL语句中的函数与所述查询条件相关联；

根据所述目标SQL语句生成统计结果。

2.根据权利要求1所述的方法，其特征在于，根据所述层级信息和所述功能信息确定目标SQL语句，包括：

根据所述层级信息和所述功能信息抽取所述原始SQL语句中目标字符部分；

对所述目标字符部分进行优化，得到目标SQL语句。

3.根据权利要求2所述的方法，其特征在于，对所述目标字符部分进行优化，得到目标SQL语句，包括：

剔除所述目标字符部分与所述查询条件无关的操作函数，得到目标SQL语句；所述操作函数包括以下至少一种操作：关联表操作、字段操作、排序操作、分组操作或分页操作。

4.根据权利要求1所述的方法，其特征在于，根据所述目标SQL语句生成统计结果，包括：

在所述目标SQL语句中添加聚合函数；

根据所述聚合函数和所述目标SQL语句生成统计结果。

5.一种数据查询统计装置，其特征在于，包括：

获取模块，用于获取原始SQL语句；所述原始SQL语句包括查询条件；

拆解模块，用于调用语法解析器拆解所述原始SQL语句，得到拆解结果；所述拆解结果用于描述所述原始SQL语句中各函数的层级信息和功能信息；

优化模块，用于根据所述层级信息和所述功能信息确定目标SQL语句；所述目标SQL语句中的函数与所述查询条件相关联；

统计模块，用于根据所述目标SQL语句生成统计结果。

6.根据权利要求5所述的装置，其特征在于，所述优化模块，具体用于：

根据所述层级信息和所述功能信息抽取所述原始SQL语句中目标字符部分；

对所述目标字符部分进行优化，得到目标SQL语句。

7.根据权利要求6所述的装置，其特征在于，所述优化模块，具体用于：

剔除所述目标字符部分与所述查询条件无关的操作函数，得到目标SQL语句；所述操作函数包括以下至少一种操作：关联表操作、字段操作、排序操作、分组操作或分页操作。

8.根据权利要求5所述的装置，其特征在于，所述统计模块，具体用于：

在所述目标SQL语句中添加聚合函数；

根据所述聚合函数和所述目标SQL语句生成统计结果。

9.一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的数据查询统计方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至4任一项所述的数据查询统计方法。

Images