CN112328622A - 分组处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种分组处理方法、装置、电子设备和存储介质。其中，该方法包括确定分组语句对应的水平分区表；获取所述水平分区表对应的至少一个子表数据；汇总各所述子表数据作为分组结果返回。本发明实施例，通过确定出分组语句对应的水平分区表，借助水平分区表的数据分布特性进行分组，降低了分组过程中数据库的内存占用，可提高数据库处理性能。

Description

分组处理方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种分组处理方法、装置、电子设备和存储介质。

背景技术

分组是结构化查询语句中一种常见的功能，例如一个确定每个班级成绩最好的学生成绩的结构化查询语句可以表示为：SELECT MAX(GRADES)FROM CLASS_GRADE_TABLEGROUP BY CLASS_NO；对于上述分组语句，数据库为了实现分组功能需要将所要查询表CLASS_GRADE_TABLE的所有数据进行收集，再根据指定的分组列CLASS_NO把数据分配到不同的数据容器中，例如，将数据分配到哈希表不同的槽中，分组完成后遍历各数据容器中的数据，根据集函数MAX()求出MAX值作为该组的结果进行输出即可。

但是通过上述过程可以看出数据库在实现分组功能时在“收集数据”、“数据分组”、“遍历数据容器”和“集函数求值”等几处均需要进行计算，花费数据库中央处理器大量的计算性能，并且在分组过程中需要在内存中缓存全部数据，对数据库的处理性能具有较大影响。

发明内容

本发明提供一种水平分区表的分组处理方法、装置、电子设备和存储介质，以降低数据库的内存使用规模，可提升数据的性能。

第一方面，本发明实施例提供了一种分组处理方法，该方法包括：

确定分组语句对应的水平分区表；获取所述水平分区表对应的至少一个子表数据；汇总各所述子表数据作为分组结果返回。

第二方面，本发明实施例还提供了一种分组处理装置，该装置包括：

分区表模块，用于确定分组语句对应的水平分区表；

数据提取模块，用于获取所述水平分区表对应的至少一个子表数据；

分组结果模块，用于汇总各所述子表数据作为分组结果返回。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个处理器被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的分组处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例中任一所述的分组处理方法。

本发明实施例，通过确定出分组语句对应的水平分区表，提取水平分区表中的子表数据，将子表数据进行汇总作为分组结果返回，本发明实施例借助水平分区表完成分组语句，减少数据库在执行分组语句过程中的缓存占用量，可增强数据库的处理性能。

附图说明

图1是本发明实施例一提供的一种分组处理方法的流程图；

图2是本发明实施例二提供的另一种分组处理方法的流程图；

图3是本发明实施例三提供的一种分组处理装置的结构示意图；

图4是本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1是本发明实施例一提供的一种分组处理方法的流程图，本实施例可适用于数据库中执行分组语句的情况，该方法可以由分组处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，一般集成在数据库中，参见图1，本发明实施例提供的方法具体包括如下步骤：

步骤110、确定分组语句对应的水平分区表。

其中，分组语句可以是结构化查询语音(Structured Query Language,SQL)中对查询结果进行分组的语句，例如，求出每个班级成绩最好的学习成绩：SELECT MAX(GRADES)FROM CLASS_GRADE_TABLE GROUP BY CLASS_NO。水平分区表可以是存储结构与数值相关的数据表，水平分区表可以由一个或者多个子表组成，每个子表中的数据的取值可以对应相同的范围或者相同的数值。

在本发明实施例中，可以获取分组语句中的查询表，若查询表为水平分区表，则根据查询表在数据库中获取对应的存储数据，其中，分组语句中的查询表可以是水平分区表的表名，可以根据该表名在数据库获取到对应的数据表以便于进行后续操作。可以理解的是，若分组语句的查询表不是水平分区表，则可以按照现有的分组方法进行分组。

步骤120、获取水平分区表对应的至少一个子表数据。

其中，子表数据可以是水平分区表中各子表中存储的数据，水平分区表可以由一个或多个子表组成。

在本发明实施例中，可以针对水平分区表的各子表，采集当前子表中存储的数据，由于水平分区表的存储数据的分布特性，采集到各子表中的子表数据后，按照子表数据对应子表的不同，子表数据可以处于分组状态。

步骤130、汇总各子表数据作为分组结果返回。

具体的，可以将采集到的各子表数据汇总后作为分组结果返回，其中，分组结果可以由一个或多个子表数据组成，每个子表数据可以分别对应一个分组。

本发明实施例，通过确定分组语句对应的水平分区表，采集水平分区表对应的子表数据，汇总各子表数据作为分组结果反馈，实现了低缓存占用的分组，降低了数据库的存储开销，可增强数据库的处理性能。

实施例二

图2是本发明实施例二提供的另一种分组处理方法的流程图，本发明实施例是在上述实施例基础上的具体化，通过对是否存在集函数采取不同的处理方式进一步提高分组效率，参见图2，本发明实施例提供的方法具体包括如下步骤：

步骤210、确定分组语句的语句结构满足处理条件，其中，处理条件至少包括存在分组子句、查询表为单表和分组子句存在一个分组项。

其中，语句结构可以是分组语句的组成结构，可以包括查询表、分组项以及查询项等部分组成，查询表可以表示分组语句需要查询的数据表，分组项可以表示分组语句分组依据的数据表中的数据列，查询项可以表示分组语句在数据表查询的数据列。

在本发明实施例中，当分组语句的语句结构满足存在分组子句，例如，存在GROUPBY子句，且分组子句只存在一个分组项，以及分组语句的查询表为单表时，可以确定该分组语句可以进行执行本发明实施例提供的分组方法。

步骤220、确定分组语句对应的水平分区表。

进一步的，在上述发明实施例的基础上，所述水平分区表为一级LIST水平分区表，且所述水平分区表对应的子表的分区值有且仅有一个。

在本发明实施例中，一级LIST水平分区表可以是根据预设的分区值进行分区的水平分区表，一级LIST水平分区表中每个子表的分区值可以只存在一个。一个LIST水平分区表CLASS_GRADE_TABLE的结构如下表所示：

进一步的，在上述发明实施例的基础上，所述分组语句的分组项与所述水平分区表的分区列相同。

具体的，分组项可以是分组语句中用于分组的数据列，例如，GROUP BY CLASS_NO中的CLASS_NO，分区列可以是水平分区表中用于对子表进行分区的数据列，例如，PARTITION BY LIST(CLASS_NO)中的CLASS_NO，当分区项与水平分区表的分区列相同时，水平分区表的分区状态也就是分组语句需要的分组状态。

步骤230、检查分组语句的查询项，若查询项存在集函数，则将集函数标记置为1，否则将集函数标记置为0。

其中，集函数可以是数据库的库函数，当根据某一条件从数据表中导出一组行集时，集函数可以对该行集进行统计操作，集函数具体可以包括COUNT函数，相异集函数AVG|MAX|MIN|SUM|COUNT(DISTINCT)，完全集函数AVG|MAX|MIN|COUNT|SUM([ALL])，方差集函数VAR_POP、VAR_SAMP、VARIANCE、STDDEV_POP、STDDEV_SAMP和STDDEV，协方差集函数COVAR_POP、COVAR_SAMP、CORR，首行函数FIRST_VALUE，求区间范围内最大值集函数AREA_MAX，FIRST/LAST集函数AVG|MAX|MIN|COUNT|SUM([ALL])KEEP(DENSE_RANK FIRST|LAST ORDERBY子句)和字符串集函数LISTAGG/LISTAGG2等。

在本发明实施例中，可以对分组语句的查询项进行识别，若查询项中包含有集函数，可以将集函数标记置为1，例如，FLAG_B值置为1，若查询项中不包含有集函数，可以将集函数标记置为0，例如，FLAG_B值置为0。

步骤240、若分组语句不包括集函数，则针对水平分区表的子表，提取子表内第一行数据作为子表数据。

具体的，可以对分组语句的集函数标记进行检查，若集函数标记为0，则分组语句中不包括集函数，由于每个水平分区表的子表中的数据值相同，可以针对各子表提取子表内第一行数据作为对应的子表数据。

步骤250、若分组语句包括集函数，则针对水平分区表的子表，遍历子表内的所有数据，并将集函数处理所有数据的处理结果作为子表数据。

具体的，可以对分组语句的集函数标记进行检查，若集函数标记为1，则分组语句中包括集函数，需要对子表内的数据进行集函数处理，可以先将各子表内的所有数据读取，然后对读取到的数据进行对应的集函数操作获取到处理结果，每个子表可以存在各自的处理结果，可以将各处理结果作为子表数据返回。

步骤260、汇总各所述子表数据作为分组结果返回。

本发明实施例，通过确定分组语句的语句结构满足处理条件，并获取分组语句对应的水平分区表，检查分组语句的查询项，根据集函数的存在情况置位集函数标记，若分组语句不包括集函数，获取各子表的第一行数据作为子表数据，若分组语句包含集函数，则获取各子表的所有数据进行集函数操作后的处理结果作为子表数据，汇总子表数据作为分组结果。本发明实施例，对满足处理条件的分组语句，通过水平分区列表进行分组操作，减少了数据库的内存占用，通过分组语句包含集函数的情况进行不同的处理，提高子表数据获取效率，进一步提高数据库的分组速度，有助于增强数据库的性能。

进一步的，在上述发明实施例的基础上，所述水平分区表的子表为DEFAULT分区，则将所述子表内的所有数据分配到至少一个数据容器，遍历各所述数据容器中的数据以获取子表数据。

在本发明实施例中，当水平分区列表中不存在对应的分区项时，数据在存储时进入水平分区表的DEFAULT分区存储，因此，DEFAULT分区中可以存在多个取值的数据，无法直接用于分区语句的分组操作，需要将DEFAULT分区对应的子表中所有数据根据对应的取值分配到多个数据容器中，相同数据容器存储相同数值的数据，可以通过遍历各数据容器实现子表数据的获取。

在一个示例性的实施方式中，一个SQL分组语句为SELCT MAX(GRADES)FROMCLASS_GRADE_TABLE GROUP BY CLASS_NO，对应的分组操作可以包括如下步骤：

(1)检查SQL语句结构，若FROM项是单表，且有分组子句(GROUP BY子句)，且分组子句只有一个分组项，则进行步骤2，否则按现有技术中的分组处理操作执行。

(2)检查FROM项，该单表是一级LIST水平分区表，且每个子表的分区值只有一个(例如，PARTITION P1 VALUES(1)，P1分区的分区值只有1)，若是则进行步骤3，否则结束优化，按现有技术中的分组处理操作执行。

(3)检查分组项，分组项(例如，GROUP BY CLASS_NO中的CLASS_NO)必须是一级LIST水平分区表的分区列(例如，PARTITION BY LIST(CLASS_NO)中的CLASS_NO)，若是则设置优化标记FLAG_A值为1,否则为0，进行步骤4，否则结束优化，按现有技术中的分组处理操作执行。

(4)检查查询项，若存在集函数则设置集函数标记FLAG_B值为1，例如MAX()就是一个集函数；否则为0。执行步骤5。

(5)取数据时根据优化标记FLAG_A的值进行相应处理，为0，则按现有技术中的分组处理操作执行。若是1，则以子表为单位进行取数据操作，每个子表的数据取完则进行步骤6。

(6)处理当前子表数据，若当前子表是DEFAULT分区，则本子表按照现有技术中的分组处理操作执行。否则，判断集函数标记FLAG_B的值，若是0，则输出当前子表第一行数据即可。若为1，则需要遍历子表所有数据，按照集函数类型计算结果，将结果返回即处理完当前子表。重复步骤6递归处理下一个子表，直到所有子表处理完毕，进行步骤7。

(7)汇总上述所有子表的处理结果进行返回。

实施例三

图3是本发明实施例三提供的一种分组处理装置的结构示意图，本发明实施例可适用于数据库中分组语句的处理情况，本发明实施例提供的装置可执行本发明任意实施例提供的分组处理方法，具备执行方法相应的功能模块和有益效果，参见图3，本发明实施例提供的装置具体包括：分区表模块301、数据提取模块302和分组结果模块303。

分区表模块301，用于确定分组语句对应的水平分区表。

数据提取模块302，用于获取所述水平分区表对应的至少一个子表数据。

分组结果模块303，用于汇总各所述子表数据作为分组结果返回。

本发明实施例，通过分区表模块确定出分组语句对应的水平分区表，数据提取模块提取水平分区表中的子表数据，分组结果模块将子表数据进行汇总作为分组结果返回，本发明实施例借助水平分区表完成分组语句，减少数据库在执行分组语句过程中的缓存占用量，可增强数据库的处理性能。

进一步的，在上述发明实施例的基础上，所述装置还包括：

条件确认模块，用于确定所述分组语句的语句结构满足处理条件，其中，所述处理条件至少包括存在分组子句、查询表为单表和分组子句存在一个分组项。

进一步的，在上述发明实施例的基础上，所述分区表模块301中的水平分区表为一级LIST水平分区表，且所述水平分区表对应的子表的分区值有且仅有一个。

进一步的，在上述发明实施例的基础上，所述分区表模块301中的分组语句的分组项与所述水平分区表的分区列相同。

进一步的，在上述发明实施例的基础上，所述数据提取模块302包括：

第一处理单元，用于若所述分组语句不包括集函数，则针对所述水平分区表的子表，提取所述子表内第一行数据作为子表数据。

第二处理单元，用于若所述分组语句包括集函数，则针对所述水平分区表的子表，遍历所述子表内的所有数据，并将所述集函数处理所述所有数据的处理结果作为子表数据。

进一步的，在上述发明实施例的基础上，所述数据提取模块302还包括：

函数检查单元，用于检查所述分组语句的查询项，若所述查询项存在集函数，则将集函数标记置为1，否则将集函数标记置为0。

进一步的，在上述发明实施例的基础上，所述数据提取模块302中水平分区表的子表为DEFAULT分区，则将所述子表内的所有数据分配到至少一个数据容器，遍历各所述数据容器中的数据以获取子表数据。

实施例四

图4是本发明实施例四提供的一种电子设备的结构示意图，如图4所示，该电子设备包括处理器40、存储器41、输入装置42和输出装置43；电子设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；电子设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的分组处理方法对应的程序指令/模块(例如，分组处理装置中的分区表模块301、数据提取模块302和分组结果模块303)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的分组处理方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置42可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种分组处理方法，该方法包括：

确定分组语句对应的水平分区表；获取所述水平分区表对应的至少一个子表数据；汇总各所述子表数据作为分组结果返回。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的分组处理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述分组处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种分组处理方法，其特征在于，所述方法包括：

确定分组语句对应的水平分区表；

获取所述水平分区表对应的至少一个子表数据；

汇总各所述子表数据作为分组结果返回。

2.根据权利要求1所述的方法，其特征在于，还包括：

确定所述分组语句的语句结构满足处理条件，其中，所述处理条件至少包括存在分组子句、查询表为单表和分组子句存在一个分组项。

3.根据权利要求1所述的方法，其特征在于，所述水平分区表为一级LIST水平分区表，且所述水平分区表对应的子表的分区值有且仅有一个。

4.根据权利要求1所述的方法，其特征在于，所述分组语句的分组项与所述水平分区表的分区列相同。

5.根据权利要求1所述的方法，其特征在于，所述获取所述水平分区表对应的至少一个子表数据，包括：

若所述分组语句不包括集函数，则针对所述水平分区表的子表，提取所述子表内第一行数据作为子表数据；

若所述分组语句包括集函数，则针对所述水平分区表的子表，遍历所述子表内的所有数据，并将所述集函数处理所述所有数据的处理结果作为子表数据。

6.根据权利要求5所述的方法，其特征在于，还包括：

检查所述分组语句的查询项，若所述查询项存在集函数，则将集函数标记置为1，否则将集函数标记置为0。

7.根据权利要求1或5所述的方法，其特征在于，所述水平分区表的子表为DEFAULT分区，则将所述子表内的所有数据分配到至少一个数据容器，遍历各所述数据容器中的数据以获取子表数据。

8.一种分组处理装置，其特征在于，所述装置包括：

分区表模块，用于确定分组语句对应的水平分区表；

数据提取模块，用于获取所述水平分区表对应的至少一个子表数据；

分组结果模块，用于汇总各所述子表数据作为分组结果返回。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个处理器被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的分组处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的分组处理方法。

Images