CN109325031A - 一种数据统计方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据统计方法、装置、设备和存储介质。其中，该方法包括：获取待统计数据；确定列存储表中的数据区，该数据区用于存储待统计数据，且该数据区根据列存储表的行数进行分区；确定数据区中待统计数据的统计极值，并查找数据区在列存储辅助表中的统计极值，该列存储辅助表用于记录列存储表中各数据区的统计极值；对列存储辅助表中的统计极值与待统计数据的统计极值进行比对，并根据比对结果更新列存储辅助表中的统计极值。本发明实施例的技术方案，实现了列存储表中待统计数据的数据统计，减少了数据区中待统计数据之外其他数据的额外访问，降低了磁盘访问量，提高了列存储表中的数据统计效率。

Description

一种数据统计方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据库处理领域，尤其涉及一种数据统计方法、装置、设备和存储介质。

背景技术

在结构化查询语言(Structured Query Language，SQL)数据库中，对于数据表进行存储时一般选用行存储的方式，而如果用户仅需要对数据表中的某一列数据进行访问时，采用行存储方式的数据访问效率较低，此时数据库在行存储的基础上，可以通过将对应的数据表按单列而不是多行进行连续存储，实现对应的列存储。

此时，数据库中对数据表采用列存储时，也会基于该列存储方法对数据表执行对应的数据插入、删除、更新和查询的数据操作。其中，列存储表中通过数据区的方式，并结合若干行存储辅助表对数据表中的列数据进行存储，存储辅助表包括：列存储辅助表，用于记录每个数据区的控制信息及统计信息；插入辅助表，用于记录行数还不足一个数据区大小的插入数据；删除辅助表，用于记录被删除数据的起始行号和删除的行数；更新辅助表，用于记录更新数据的列号、行号及更新后的值。如此，在对列存储表进行查询时，可以根据列存储辅助表中的各数据区的统计信息确定某个数据区内是否有满足条件的数据，对不包含满足条件的数据所在的数据区可直接跳过，仅对包含满足条件数据所在的数据区中的数据进行进一步的过滤。

而当对列存储表进行数据删除和更新操作时，仅对删除辅助表和更新辅助表进行操作，在其中添加或修改相应的记录，但为了保证列存储辅助表中对应数据区的统计信息的正确性，需要重新计算各数据区的统计信息，为此需要读取整个数据区内的所有数据，这样会产生额外的磁盘访问，影响列存储表数据删除和更新的性能。

发明内容

本发明实施例提供了一种数据统计方法、装置、设备和存储介质，以减少数据区中待统计数据之外的额外访问，降低磁盘访问量，提高列存储表中的数据统计效率。

第一方面，本发明实施例提供了一种数据统计方法，该方法包括：

获取待统计数据；

确定列存储表中的数据区，所述数据区用于存储所述待统计数据，且所述数据区根据所述列存储表的行数进行分区；

确定所述数据区中待统计数据的统计极值，并查找所述数据区在列存储辅助表中的统计极值，所述列存储辅助表用于记录所述列存储表中各数据区的统计极值；

对所述列存储辅助表中的统计极值与所述待统计数据的统计极值进行比对，并根据比对结果更新所述列存储辅助表中的统计极值。

第二方面，本发明实施例提供了一种数据统计装置，该装置包括：

数据获取模块，用于获取待统计数据；

数据区确定模块，用于确定列存储表中的数据区，所述数据区用于存储所述待统计数据，且所述数据区根据所述列存储表的行数进行分区；

极值确定模块，用于确定所述数据区中待统计数据的统计极值，并查找所述数据区在列存储辅助表中的统计极值，所述列存储辅助表用于记录所述列存储表中各数据区的统计极值；

统计更新模块，用于对所述列存储辅助表中的统计极值与所述待统计数据的统计极值进行比对，并根据比对结果更新所述列存储辅助表中的统计极值。

第三方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据统计方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据统计方法。

本发明实施例提供的一种数据统计方法、装置、设备和存储介质，通过直接对每个数据区中的待统计数据的统计极值和在列存储辅助表中的统计极值进行比对，确定数据区在列存储辅助表中更新后的统计极值，实现了列存储表中待统计数据的数据统计，减少了数据区中待统计数据之外其他数据的额外访问，降低了磁盘访问量，提高了列存储表中的数据统计效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种数据统计方法的流程图；

图2为本发明实施例二提供的一种数据统计方法的流程图；

图3为本发明实施例三提供的一种数据统计方法的流程图；

图4为本发明实施例四提供的应用到具体列存储表中的一种数据统计方法的流程图；

图5为本发明实施例五提供的一种数据统计装置的结构示意图；

图6为本发明实施例六提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据统计方法的流程图，本实施例可适用于数据库技术中任一种基于列存储方法对列存储表执行对应的数据插入、删除或更新等操作时需要计算对应数据区统计信息的情况中。本实施例提供的一种数据统计方法可以由本发明实施例提供的数据统计装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，在本实施例中执行本方法的设备可以是平板电脑、台式机和笔记本等任意一种可以在数据库中执行数据列存储的智能终端。具体的，参考图1，该方法可以包括如下步骤：

S110，获取待统计数据。

其中，本实施例中为了提高数据表中列数据的访问效率，该数据表可以在行存储的基础上，采用列存储的方式对其中的单列数据进行连续存储。此时，在对列存储方式的数据表执行对应的数据插入、删除和更新等数据操作时，该数据表中每一列数据的统计信息可能会发生变化，其中列数据的统计信息可以包括列数据的最大值、最小值、平均值、总和、方差和平均差等各类统计运算值。而数据表中的原始列数据的统计信息在进行列存储时就已经确定，因此本实施例中的待统计数据是数据表采用列存储方式进行存储后，在执行数据删除或更新等数据操作时对应的待处理的各个操作数据。

具体的，由于待统计数据是数据表进行列存储后，通过执行相应的数据操作得到的各个操作数据，因此本实施例中可以通过获取用户针对该数据表输入的数据操作语句，并对该数据操作语句进行解析，从而根据解析结果确定本次数据操作中对应的待统计数据。

S120，确定列存储表中的数据区。

具体的，该数据区用于存储待统计数据，且该数据区根据列存储表的行数进行分区。其中，列存储表为数据库采用列存储方式进行存储的数据表；数据区为数据表进行列存储时每一列数据按照对应的行数进行分区存储后的存储位置。例如，数据表在列存储时，可以将数据表中的全部列数据每隔预设行数对应一个数据区间，而每个数据区间中的每一列数据都对应存储到一个数据区中。如预设行数为5行时，将数据表中前5行数据对应存储到数据区间1中，并将前5行数据中的每一列数据都对应存储到数据区间1的不同数据区中，数据区可以由数据区间的区号和存储的数据表中列数据的列号唯一确定。

可选的，在获取到待统计数据时，由于此时列存储表中的数据已经发生变更，因此需要对列存储表中各列数据的统计信息进行更新，而列存储表中的数据分别存储在对应数据区中，此时可以根据获取的待统计数据在列存储表中的行号和列号确定列存储表中的数据区。

S130，确定数据区中待统计数据的统计极值，并查找数据区在列存储辅助表中的统计极值。

具体的，列存储辅助表是辅助数据表进行列存储的表格，记录列存储表中每个数据区的控制信息和各类统计信息，其中包括统计极值信息，数据库在对列存储表中的数据进行查询时可以通过对应的列存储辅助表进行辅助查询。其中，列存储辅助表中的各数据区的控制信息可以包括该数据区的区号、所存储的列数据在列存储表中的列号、该数据区的数据占用空间大小(字节数)以及该数据区对应存入数据库中的数据文件号等；列存储辅助表中的各数据区的统计信息是对该数据区中数据进行统计运算得到的信息，如该数据区中存储列数据的最大值、最小值以及所有值的和等。

本实施例中的列存储辅助表可以在后续对列存储表进行数据查询时，通过其中的控制信息和统计信息，快速定位到列存储表中满足查询条件的数据所在的数据区，提高查询效率。现有技术中的列存储辅助表中仅包括各数据区的控制信息和统计信息，由于列存储表进行数据删除或更新操作时，所存储的有效数据会发生变化，为了保证列存储辅助表中对应数据区的统计信息的正确性，现有技术需要在数据删除或更新操作后读取整个数据区的所有数据，重新计算各数据区的统计信息，影响数据删除或更新操作性能。因此本实施例中为了减少数据区中在数据删除或更新操作后需要对相应统计信息进行维护而导致的对待统计数据之外的额外访问，在列存储辅助表中包含的各数据区信息中新增一项统计标识信息，该统计标识用于判断该数据区的统计信息是否精准，以在后续数据查询时可以直接根据该统计标识判断是否需要读取整个数据区的所有数据，从而重新计算各数据区对应的统计信息，在统计标识表示该数据区的统计信息为精准值时，直接采用该统计信息作为对应的查询结果，降低数据的额外访问。其中，本实施例中列存储辅助表的结构是预先定义的，如表1所示。

表1列存储辅助表的结构

列名	类型	说明
			COL_ID	SMALLINT	所存储列数据的列号
SEC_ID	INT	数据区间的区号
			FILE_ID	INT	数据文件的文件号
OFFSET	BIGINT	数据文件中的偏移
			COUNT	INT	数据区大小(行数)
ACOUNT	INT	区内的有效数据行数(去除删除数据的行数)
			N_LEN	INT	数据占用空间大小(字节数)
N_NULL	INT	包括的NULL值的行数
			N_DIST	INT	所有数据互不相同的行数
MAX_VAL	VARBINARY(8188)	数据区内最大值
			MIN_VAL	VARBINARY(8188)	数据区内最小值
SUM_VAL	VARBINARY(8188)	数据区内所有值的和
			IS_ACCURATE	INT	数据区统计信息是否精准

其中，数据文件中的偏移是指当前数据区在数据文件中的偏移字节，例如，若三个数据区保存到同一个数据文件中，则第一个数据区在数据文件中的偏移为0，第二个数据区在数据文件中的偏移为第一个数据区占用的数据空间，第三个数据区在数据文件中的偏移为第一个和第二个数据区占用的数据空间，通过数据文件中的偏移可以快速定位到对应的数据区所在的存储地址。区内有效数据行数用于记录数据区中的有效数据所占有的行数，因为在删除数据时可以将要删除的数据记录在删除辅助表中，而并不是在数据区中直接删除，所以数据区中可能会存在已经删除的数据，而区内有效数据行数则记录去除了删除辅助表中记录的删除数据后的行数。数据区的统计信息不仅包括上述列存储辅助表中的最大值、最小值和所有值的和，还可以包括平均值、方差等各类统计值。

由于本实施例主要针对列存储表中的列数据的查询，通过列存储辅助表中记录的各个数据区的控制信息和统计信息可以快速确定初步满足查询条件的数据区，之后仅在初步过滤出的数据区中进一步进行查询，而不需要对其他数据区中的数据进行访问查询。此时在列存储表执行数据删除、更新等数据操作后，各数据区的统计信息则发生改变。由于执行数据删除时各数据区的数据统计极值范围只会缩小，满足当前的统计极值范围，此时的统计极值可以保持不变；而执行数据更新操作时，会使各数据区的统计极值的范围扩大，此时需要重新确定各数据区的统计极值。

可选的，在确定列存储表中的数据区后，首先需要对获取的待统计数据进行分析，确定对应数据区中的待统计数据的统计极值，而不需要对列存储表中待统计数据之外的其他数据进行访问，降低磁盘访问量，同时查找出该数据区在列存储辅助表的统计极值，以便对列存储辅助表中的统计极值进行更新。具体的，本实施例中确定对应数据区中的待统计数据的统计极值时，可以在确定列存储表中的数据区后，在内存中建立两个临时数组MAXV和MINV，数组长度为列存储表的列数，用于记录各列数据中的待统计数据的最大值和最小值。此时在执行数据更新操作时可能会更新列存储表中的多行数据，首先对待统计数据进行预处理，将待统计数据按行号确定对应的数据区，进行数据区归类。例如若此次更新操作涉及10行数据，其中前5行在数据区间1(若列存储表有c1,c2两列，则前5行数据对应存储在c1_1和c2_1两个数据区中)，后5行数据在数据区间2(若列存储表有c1,c2两列，则后5行数据对应存储在c1_2和c2_2两个数据区中)。在根据数据区的归类结果执行数据更新时，每个数据区更新第一行数据时，可以将更新的新值按列号存入数组MAXV和MINV的对应位置，之后每更新一个数据，比较当前新值与MAXV和MINV中对应位置值的大小，若大于MAXV对应位置的值，则将MAXV对应位置的值修改为当前新值；若小于MINV对应位置的值，则将MINV对应位置的值修改为当前新值；依次对多个数据区进行更新，从而得到各数据区中待统计数据的统计极值。

S140，对列存储辅助表中的统计极值与待统计数据的统计极值进行比对，并根据比对结果更新列存储辅助表中的统计极值。

可选的，在确定数据区中待统计数据的统计极值，并查找出该数据区在列存储辅助表中的统计极值后，可以对每一数据区对应的列存储辅助表中的统计极值与待统计数据的统计极值进行比对，根据比对结果确定列存储表执行对应的数据更新操作后各数据区当前的最大值和最小值，从而更新各数据区在列存储辅助表中的统计极值。例如，比较MAXV数组中各列对应位置值与对应数据区统计信息的最大值，将统计信息的最大值修改为两者中较大的值；比较MINV数组中各列对应位置值与对应数据区统计信息的最小值，将统计信息的最小值修改为两者中较小的值，从而实现各数据区在列存储辅助表中的更新。

此外，在本实施例中，由于本次仅更新了列存储辅助表中的统计极值，而没有对应更新各数据区的统计和、该数据区的平均值等统计信息，此时的统计信息是不精确的，且数据删除时的统计极值也是不精确的，因此需要在列存储辅助表中对统计信息不精确的数据区进行标记，本实施例中可以通过在列存储辅助表中新增的统计标识来判断对应数据区的统计信息是否精准。此时，本实施例的技术方案还可以包括：

根据比对结果更新列存储辅助表中的统计极值后，修改对应的统计标识。

具体的，列存储辅助表中的统计标识主要用于判断各数据区的统计信息是否精准，统计信息若是通过读取数据区中的全部数据进行运算得到的，此时的统计标识为第一标识，表示数据区的统计信息准确；统计信息若是在执行其他数据操作后未重新读取全部数据而得到的，此时的统计标识为第二标识，表示数据区的统计信息不精准。本实施例中的统计标识可以通过读取各数据区在列存储辅助表中的IS_ACCURATE列的字段值来确定，若读取的字段值为TRUE，此为第一标识，说明该数据区的统计信息准确；若读取的字段值为FALSE，此为第二标识，说明该数据区的统计信息不准确。

可选的，本实施例中在根据比对结果更新列存储辅助表中的统计极值后，此时的该数据区的统计信息由于执行对应的数据操作可能并不准确，此时可以通过待统计数据在列存储表中的数据区，修改该数据区在列存储辅助表中对应的统计标识，从而对统计信息不精准的数据区进行标记，也就是将列存储辅助表中对应数据区的统计标识由TRUE修改为FALSE，以便后续实现相应的数据查询，提高数据查询精度。

本实施例提供的技术方案，通过直接对每个数据区中的待统计数据的统计极值和在列存储辅助表中的统计极值进行比对，确定数据区在列存储辅助表中更新后的统计极值，实现了列存储表中待统计数据的数据统计，减少了数据区中待统计数据之外其他数据的额外访问，降低了磁盘访问量，提高了列存储表中的数据统计效率。

实施例二

图2为本发明实施例二提供的一种数据统计方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的，参照图2，本实施例可以包括如下步骤：

S210，获取待统计数据。

S220，确定列存储表中的数据区，该数据区用于存储待统计数据，且该数据区根据列存储表的行数进行分区。

S230，确定数据区中待统计数据的统计极值，并查找数据区在列存储辅助表中的统计极值，该列存储辅助表用于记录列存储表中各数据区的统计极值。

S240，对列存储辅助表中的统计极值与待统计数据的统计极值进行比对，并根据比对结果更新列存储辅助表中的统计极值，并修改对应的统计标识。

S250，接收到对列存储表的数据查询语句，则根据数据查询语句确定查询类型，并根据列存储辅助表中的统计极值确定本次查询的目标数据。

具体的，本实施例中在对列存储表执行对应数据操作后，各数据区的统计信息也进行相应更新，此时用户如果对该列存储表进行数据查询时，首先会接收到用户输入的针对该列存储表的数据查询语句，通过分析该数据查询语句，可以对应得到本次查询针对的列存储表中的指定列和查询条件，从而确定本次查询的查询类型。其中，查询类型可以分为集函数查询和非集函数查询，集函数查询为针对列存储表中满足查询条件的某一列的列数据进行各类集函数对应的运算统计结果查询，该运算统计结果可以通过读取满足查询条件的数据区在列存储辅助表中的对应统计信息来获取；而非集函数查询为除集函数查询之外的普通条件查询，例如对满足一定数值范围的列数据查询。

此时，本实施例中为了提高查询效率，还可以根据数据查询语句中的查询条件，以及该列存储表的各个数据区在对应的列存储辅助表中记录的统计极值，快速定位到满足本次查询条件的目标数据区，初步过滤出列存储表中与本次查询无关的数据区，提高查询速率。例如，若本次查询的为列存储表中第一列数值大于预设值的数据，则可以借助列存储辅助表中记录的各数据区对应存储数据的列号和相应数据区间的区号，快速确定列存储表中第一列数据对应的数据区，并根据各第一列数据所在的数据区的统计极值初步过滤出可能包含有大于预设值的数据所在的目标数据区。

S260，判断查询类型是否为集函数查询，若是，执行S280；若否，执行S270。

可选的，由于集函数查询的查询结果可以通过满足查询条件的数据区在列存储辅助表中对应的集函数统计信息来确定，不需要读取数据区的数据信息；而非集函数查询则需要通过读取目标数据区的数据判断是否满足查询条件来确定，说明不同的查询类型需要对应执行不同的操作，因此本实施例中首先需要判断本次查询的查询类型是否为集函数查询。

S270，获取目标数据区中满足非集函数查询中查询条件的数据查询结果。

具体的，若本次查询的查询类型为非集函数查询，则无论目标数据区的统计标识是否为第一标识，也就是目标数据区的统计信息无论是否精准，都需要分别读取目标数据区中的全部列数据，从而获取目标数据区中满足本次非集函数查询中查询条件的各个对应行的数据值，并将满足本次非集函数查询条件的各行数据值作为本次查询的数据查询结果。

S280，判断本次查询是否存在集函数查询条件，若是，执行S291；若否，执行S290。

其中，集函数查询条件说明本次集函数查询是针对列存储表中某一列对应的数据区中满足某一数据条件的数据进行集函数统计，而不是对数据区中的全部数据进行集函数统计。例如，本次查询为查询一个列的平均值，此时不存在集函数查询条件，是针对该列所有数据区的全部数据进行统计查询；若本次查询为查询一个列中数据值大于20的所有数据的平均值，此时集函数查询条件为选取出该列对应的数据区中数据值大于20的数据，并求取对应的平均值，此时是针对该列数据区中部分数据进行统计查询。具体的，集函数查询中针对是否存在集函数查询条件，可以对应执行不同的数据查询操作。

S290，根据目标数据区在列存储辅助表中的统计标识，获取目标数据区满足集函数查询中查询条件的精准统计信息，并更新对应的统计标识。

其中，该精准统计信息包括目标数据区中的集函数统计值。具体的，若本次查询的查询类型为集函数查询，且本次查询不存在集函数查询条件，此时是针对某一列对应的整个数据区中的全部数据进行集函数查询。由于查询结果需要通过目标数据区在列存储辅助表中的统计信息来确定，因此为了保证查询结果的正确性，首先需要确定目标数据区在列存储辅助表中的统计信息是否精准，因此本实施例在集函数查询时，首先确定目标数据区在列存储辅助表中的统计标识，若统计标识为第一标识TRUE，则表示目标数据区在列存储辅助表中的统计信息精准，此时可以直接获取目标数据区中满足集函数查询的精准统计信息，并判断本次查询是否是针对列存储表中整列数据的集函数查询，若是，则还需要对本列中各个数据区的该精准统计信息进行进一步统计计算，将最后的统计结果作为本次集函数查询的数据查询结果，且此时保持目标数据区的统计标识为第一标识不变。例如集函数查询为查询某一列数据的数据和时，本实施例中确定该列对应的数据区，并根据该数据区在列存储辅助表中的统计标识判断对应的统计信息是否精准，若统计信息精准，则直接获取统计信息中该数据区的数据和，作为本次查询在该数据区的数据查询结果，此时还需要将该列的各个数据区的数据和进行进一步相加计算，得到本次查询中所需要的该列的数据和，并将此作为本次查询最终的数据查询结果。

而在确定目标数据区在列存储辅助表中的统计标识为第二标识FALSE时，则表示目标数据区在列存储辅助表中的统计信息并不精准，此时需要通过读取目标数据区中的全部有效列数据，重新计算出该目标数据区的各统计信息，包括最大值、最小值、数据和、平均值等，并对应更新到该目标数据区在列存储辅助表的相应记录中，此时将该目标数据区在列存储辅助表中的统计标识由第二标识更新为第一标识，并获取目标数据区中满足本次集函数查询条件的精准统计信息，将该精准统计信息作为本次查询在该数据区的数据查询结果，此时还需要将针对某一列的各个数据区的数据和进行进一步统计计算，得到本次查询中所需要的该列的集函数查询结果，并将此作为本次集函数查询最终的数据查询结果。

S291，获取目标数据区中满足集函数查询条件的查询数据，并确定该查询数据在本次集函数查询中的精准统计信息。

具体的，若本次查询的查询类型为集函数查询，且本次查询中存在集函数查询条件，此时是针对整个数据区中的部分数据进行集函数查询。因此本实施例中首先获取各目标数据区中满足本次集函数查询条件的各项查询数据，并针对该各项查询数据执行对应的集函数统计操作，得到满足集函数查询条件的查询数据的集函数统计结果，作为本次查询在该数据区的数据查询结果，同时，对查询数据在各个目标数据区中的集函数统计结果再次进行对应的集函数统计运算，得到本次查询中所需要的集函数查询结果，作为本次集函数查询最终的数据查询结果。

本实施例提供的技术方案，通过直接对每个数据区中的待统计数据的统计极值和在列存储辅助表中的统计极值进行比对，确定数据区在列存储辅助表中更新后的统计极值，实现了列存储表中待统计数据的数据统计，减少了数据区中待统计数据之外其他数据的额外访问，降低了磁盘访问量，提高了列存储表中的数据统计效率。

实施例三

图3为本发明实施例三提供的一种数据统计方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的，参照图3，本实施例可以包括如下步骤：

S310，获取数据操作语句，并根据数据操作语句确定待统计数据对应的数据操作类型。

可选的，由于待统计数据是列存储表通过执行相应的数据操作得到的各个操作数据，因此在获取待统计数据之前，还需要获取相应的数据操作语句，并对该数据操作语句进行解析，得到其中包含的待操作数据以及本次操作的数据操作类型，数据操作类型可以包括数据删除、更新、插入等，其中由于列存储中的数据插入是插入到列存储表的插入辅助表中，对各数据区的统计极值没有影响，因此本实施例中重点说明列存储表执行数据删除和数据更新时，在列存储辅助表中对应数据区的统计极值的模糊化更新情况。而执行查询操作时还需要读取插入辅助表中的数据获得满足查询条件的记录合并到查询结果中。

S320，获取待统计数据。

S330，确定列存储表中的数据区，该数据区用于存储待统计数据，且该数据区根据列存储表的行数进行分区。

S340，确定数据区中待统计数据的统计极值，并查找数据区在列存储辅助表中的统计极值，该列存储辅助表用于记录列存储表中各数据区的统计极值。

S350，对列存储辅助表中的统计极值与待统计数据的统计极值进行比对，并根据比对结果更新列存储辅助表中的统计极值，并修改对应的统计标识。

可选的，在本实施例中需要判断数据操作类型，如果本次数据操作类型为数据删除时，则保持列存储辅助表中的统计极值不变，并修改数据区在列存储辅助表中的统计标识。

由于数据删除时，各数据区的数据值范围只会缩小，而在数据查询时通过数据区的统计极值快速定位到满足条件的数据区，仅是初步过滤出不符合条件的数据区，还需要进一步对满足条件的数据区内的列数据进行读取，准确查询出符合查询条件的列数据。因此在数据删除时，可以保持列存储辅助表中对应数据区的统计极值不变，删除后的该数据区的数据值也在此极值范围内，可以实现初步过滤数据区的作用，只是此时的统计极值并不精准，因此仅需要修改数据删除操作对应的数据区在列存储辅助表中的统计标识，也就是将第一标识修改为第二标识，从而在列存储辅助表中对统计信息不精确的数据区进行标记，用于说明该数据区此时的统计信息是不精准的。

S360，根据数据操作类型确定列存储表对应的操作辅助表，并在操作辅助表中记录待统计数据，以在后续执行对应的数据操作。

其中，数据库通过列存储方式存储数据表时，为了便于对列存储表的访问和存储，会通过行存储的方式预先设置多个操作辅助表，用于辅助记录列存储表执行的各类操作信息，可以包括插入辅助表、删除辅助表和更新辅助表。本实施例中根据数据操作类型判断本次操作需要借助的操作辅助表，并将本次的操作数据，也就是待统计数据，对应记录到各操作辅助表中，以便在后续达到相应的操作条件时，可以借助各操作辅助表执行对应的数据操作，实现数据的插入、删除和更新过程。同时，本实施例中的S360与S330的执行顺序无先后之分，也可以同时执行。

S370，在预设时间，将操作辅助表中的待统计数据写入列存储表对应的数据文件中，并重新计算列存储辅助表中相关数据区对应的统计信息为精确值。

其中，数据文件用于存储列存储表中的各数据区。预设时间可以由用户根据需要自行设置，如可以设置为系统较为空闲的时间，如每天的凌晨3点，或者是每周日的凌晨3点。

在列存储表的数据经过较多的数据操作后，存在操作辅助表数据膨胀的问题。因此，在系统较为空闲或对该列存储表不进行操作时，对该列存储表进行数据重整，可以预先设置一个时间，作为预设时间，在到达预设时间时，将各种操作辅助表中的数据对应写入或合并到列存储表对应的数据文件，并重新计算列存储辅助表中相关数据区对应的统计信息为精确值，将相应的统计标识由第二标识修改为第一标识。这样可以避免操作辅助表数据膨胀的问题，提高数据的查询效率，因为在进行数据查询时，在数据文件的数据区查询到数据后，还需要查询该操作辅助表检测要查询的数据是否有对应操作记录，如果有，则利用该对应的操作辅助表中的数据进行数据重整更新。

本实施例提供的技术方案，通过直接对每个数据区中的待统计数据的统计极值和在列存储辅助表中的统计极值进行比对，确定数据区在列存储辅助表中更新后的统计极值，实现了列存储表中待统计数据的数据统计，减少了数据区中待统计数据之外其他数据的额外访问，降低了磁盘访问量，提高了列存储表中的数据统计效率。

实施例四

图4为本发明实施例四提供的应用到具体列存储表中的一种数据统计方法的流程图，本实施例在上述实施例的基础上给出了具体的应用场景。示例性的，列存储表T包含c1、c2两列，共10行数据，每个数据区间大小为5行，每列数据存储为各数据区间中的2个数据区，数据存储内容和存储格式如表2、表3、表4和表5中所示。

表2 c1_1数据区

行号	列值
		1	11
2	12
		3	13
4	14
		5	15

表3 c2_1数据区

行号	列值
		1	51
2	52
		3	53
4	54
		5	55

表4 c1_2数据区

行号	列值
		6	16
7	17
		8	18
9	19
		10	20

表5 c2_2数据区

列存储表T在初始存储，并未进行任何其他操作时，其对应的各数据区在列存储辅助表中的统计标识为第一标识，标识各数据区的统计信息精准；其中，c1_1数据区保存列存储表T中c1列前5行的数据，最大值为15，最小值为11；c1_2数据区保存列存储表T中c1列后5行的数据，最大值为20，最小值为16；c2_1数据区保存列存储表T中c2列前5行的数据，最大值为55，最小值为51；c2_2数据区保存列存储表T中c2列后5行的数据，最大值为60，最小值为56。

此时，若列存储表T执行数据更新语句：UPDATE T SET C1＝12,C2＝58 WHERE C1<＝12 OR C1>＝19；则列存储表T在列存储辅助表中的统计信息需要根据本实施例中的数据统计方法进行相应更新。具体的，本实施例可以包括如下步骤：

S410，根据数据更新语句对应获取列存储表T中的待统计数据，此数据更新语句中更新c1列小于等于12或者大于等于19的行，即更新行号为1、2、9、10的行，待统计数据为行号为1、2、9、10中的每一列更新后的数据。

S420，确定待统计数据所在列存储表T中的数据区，此时行号1、2在同一个数据区间，包括c1_1数据区和c2_1数据区；行号9、10在同一个数据区间，包括c1_2数据区和c2_2数据区。

S430，确定每个数据区中待统计数据的统计极值。

本实施例在内存中建立两个临时数组MAXV[2]和MINV[2]，首先更新c1_1数据区和c2_1数据区，也就是第一个数据区间，更新c1_1数据区和c2_1数据区中的第1行数据时，将MAXV[0]和MINV[0]都设置为c1列的新值12，将MAXV[1]和MINV[1]都设置为c2列的新值58，更新c1_1数据区和c2_1数据区中的第2行数据时，比较MAXV[0]、MINV[0]和c1列的新值，此时为相等，不需修改MAXV[0]、MINV[0]；比较MAXV[1]、MINV[1]和c2列的新值，此时为相等，不需修改MAXV[1]、MINV[1]。

按照同样的方式，确定c1_2数据区和c2_2数据区中待统计数据的统计极值。

S440，对列存储表T中的各数据区在列存储辅助表中的统计极值与对应数据区中待统计数据的统计极值进行比对，并根据比对结果更新各数据区在列存储辅助表中的统计极值和统计标识。

具体的，c1_1数据区和c2_1数据区修改完毕后，将MAXV[0]、MINV[0]与c1_1数据区在列存储辅助表中的最大值和最小值进行比较，此时c1_1数据区的最小值和最大值不修改，将c1_1数据区的统计标识IS_ACCUREATE置为FALSE；将MAXV[1]、MINV[1]与c2_1数据区的最大值和最小值进行比较，修改c2_1的最大值为58，最小值不修改，将c2_1数据区的统计标识IS_ACCUREATE置为FALSE。

按照同样的方式，更新c1_2数据区和c2_2数据区在列存储辅助表中的统计极值和统计标识，从而实现列存储辅助表中数据区统计信息的模糊化处理。

同时，在对列存储表T进行数据更新操作时，还需要确定列存储表对应的操作辅助表，并在操作辅助表中对应记录更新语句中的待统计数据，以在后续执行对应的数据操作。在达到预设时间时，可以将操作辅助表中的待统计数据写入列存储表对应的数据文件中，实现数据重整。

此外，若后续接收到对应的数据查询语句，则根据列存储表T中的各数据区在列存储辅助表中的统计极值初步过滤出符合查询条件的数据区，在本次查询为非集函数查询时，再次通过访问对应的操作辅助表，确定初步过滤出的数据区中的实际有效数据，从而在初步过滤出的数据区中查询出满足本次查询的数据查询结果；在本次查询为集函数查询时，首先判断初步过滤出的数据区在列存储辅助表中的统计标识，若不是精准的，则需要访问列存储表T对应的各操作辅助表，确定初步过滤出的数据区中的实际有效数据，重新计算出初步过滤出的数据区的各统计信息，从而确定满足本次查询的集函数查询结果；若统计极值为精准的，则直接根据初步过滤出的数据区在列存储辅助表中的统计信息确定满足本次查询的集函数查询结果。

本实施例提供的技术方案，通过直接对每个数据区中的待统计数据的统计极值和在列存储辅助表中的统计极值进行比对，确定数据区在列存储辅助表中更新后的统计极值，实现了列存储表中待统计数据的数据统计，减少了数据区中待统计数据之外其他数据的额外访问，降低了磁盘访问量，提高了列存储表中的数据统计效率。

实施例五

图5为本发明实施例五提供的一种数据统计装置的结构示意图，如图5所示，该装置可以包括：

数据获取模块510，用于获取待统计数据；

数据区确定模块520，用于确定列存储表中的数据区，该数据区用于存储待统计数据，且该数据区根据列存储表的行数进行分区；

极值确定模块530，用于确定数据区中待统计数据的统计极值，并查找数据区在列存储辅助表中的统计极值，该列存储辅助表用于记录列存储表中各数据区的统计极值；

统计更新模块540，用于对列存储辅助表中的统计极值与待统计数据的统计极值进行比对，并根据比对结果更新列存储辅助表中的统计极值。

本实施例提供的技术方案，通过直接对每个数据区中的待统计数据的统计极值和在列存储辅助表中的统计极值进行比对，确定数据区在列存储辅助表中更新后的统计极值，实现了列存储表中待统计数据的数据统计，减少了数据区中待统计数据之外其他数据的额外访问，降低了磁盘访问量，提高了列存储表中的数据统计效率。

进一步的，上述装置还可以包括：标识修改模块550，用于在根据比对结果更新列存储辅助表中的统计极值后，修改对应的统计标识。

进一步的，上述装置还可以包括：数据查询模块560，用于接收到对列存储表的数据查询语句，则根据数据查询语句确定查询类型，并根据列存储辅助表中的统计极值确定本次查询的目标数据区；查询类型为非集函数查询，则获取目标数据区中满足非集函数查询中查询条件的数据查询结果；查询类型为集函数查询，则确定本次查询的集函数查询条件；若本次查询不存在集函数查询条件，则根据目标数据区在列存储辅助表中的统计标识，获取目标数据区满足本次集函数查询的精准统计信息，并更新对应的统计标识，该精准统计信息包括目标数据区中的集函数统计值；若本次查询存在集函数查询条件，则获取目标数据区中满足集函数查询条件的查询数据，并确定该查询数据在本次集函数查询中的精准统计信息。

进一步的，上述装置还可以包括：操作获取模块570，用于获取数据操作语句，并根据数据操作语句确定待统计数据对应的数据操作类型；

相应的，上述装置还可以包括：数据记录模块580，用于根据数据操作类型确定列存储表对应的操作辅助表，并在操作辅助表中记录待统计数据，以在后续执行对应的数据操作。

进一步的，上述装置还可以包括：文件写入模块590，用于在预设时间，将操作辅助表中的待统计数据写入列存储表对应的数据文件中。

进一步的，上述统计更新模块540，可以具体用于数据操作类型为数据删除，则保持列存储辅助表中的统计极值不变，并修改数据区在列存储辅助表中的统计标识。

本实施例提供的数据统计装置可适用于上述任意实施例提供的数据统计方法，具备相应的功能和有益效果。

实施例六

图6为本发明实施例六提供的一种设备的结构示意图。如图6所示，该设备包括处理器60、存储装置61、通信装置62、输入装置63和输出装置64；设备中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；设备的处理器60、存储装置61、通信装置62、输入装置63和输出装置64可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储装置61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据统计方法对应的模块(例如，用于数据统计装置中的数据获取模块510、数据区确定模块520、极值确定模块530和统计更新模块540)。处理器60通过运行存储在存储装置61中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据统计方法。

存储装置61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置62可用于实现网络连接或者移动数据连接。

输入装置63可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，例如接收数据操作语句或数据查询语句。

输出装置64可包括显示屏等显示设备。

本实施例提供的一种设备可用于执行上述任意实施例提供的数据统计方法，具备相应的功能和有益效果。

实施例七

本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的数据统计方法。该方法具体可以包括：

获取待统计数据；

确定列存储表中的数据区，该数据区用于存储待统计数据，且该数据区根据列存储表的行数进行分区；

确定数据区中待统计数据的统计极值，并查找数据区在列存储辅助表中的统计极值，该列存储辅助表用于记录列存储表中各数据区的统计极值；

对列存储辅助表中的统计极值与待统计数据的统计极值进行比对，并根据比对结果更新列存储辅助表中的统计极值。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据统计方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述数据统计装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据统计方法，其特征在于，包括：

获取待统计数据；

确定列存储表中的数据区，所述数据区用于存储所述待统计数据，且所述数据区根据所述列存储表的行数进行分区；

确定所述数据区中待统计数据的统计极值，并查找所述数据区在列存储辅助表中的统计极值，所述列存储辅助表用于记录所述列存储表中各数据区的统计极值；

对所述列存储辅助表中的统计极值与所述待统计数据的统计极值进行比对，并根据比对结果更新所述列存储辅助表中的统计极值。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据比对结果更新所述列存储辅助表中的统计极值后，修改对应的统计标识。

3.根据权利要求1所述的方法，其特征在于，还包括：

接收到对所述列存储表的数据查询语句，则根据所述数据查询语句确定查询类型，并根据所述列存储辅助表中的统计极值确定本次查询的目标数据区；

所述查询类型为非集函数查询，则获取所述目标数据区中满足所述非集函数查询中查询条件的数据查询结果；

所述查询类型为集函数查询，则确定本次查询的集函数查询条件；

若本次查询不存在所述集函数查询条件，则根据所述目标数据区在列存储辅助表中的统计标识，获取所述目标数据区满足本次集函数查询的精准统计信息，并更新对应的统计标识，所述精准统计信息包括所述目标数据区中的集函数统计值；

若本次查询存在所述集函数查询条件，则获取所述目标数据区中满足所述集函数查询条件的查询数据，并确定所述查询数据在本次集函数查询中的精准统计信息。

4.根据权利要求1所述的方法，其特征在于，在获取待统计数据之前，还包括：

获取数据操作语句，并根据所述数据操作语句确定所述待统计数据对应的数据操作类型；

相应的，在获取待统计数据之后，还包括：

根据所述数据操作类型确定所述列存储表对应的操作辅助表，并在所述操作辅助表中记录所述待统计数据，以在后续执行对应的数据操作。

5.根据权利要求4所述的方法，其特征在于，还包括：

在预设时间，将所述操作辅助表中的待统计数据写入所述列存储表对应的数据文件中。

6.根据权利要求4所述的方法，其特征在于，对所述列存储辅助表中的统计极值与所述待统计数据的统计极值进行比对，并根据比对结果更新所述列存储辅助表中的统计极值，包括：

所述数据操作类型为数据删除，则保持所述列存储辅助表中的统计极值不变，并修改所述数据区在所述列存储辅助表中的统计标识。

7.一种数据统计装置，其特征在于，包括：

数据获取模块，用于获取待统计数据；

数据区确定模块，用于确定列存储表中的数据区，所述数据区用于存储所述待统计数据，且所述数据区根据所述列存储表的行数进行分区；

极值确定模块，用于确定所述数据区中待统计数据的统计极值，并查找所述数据区在列存储辅助表中的统计极值，所述列存储辅助表用于记录所述列存储表中各数据区的统计极值；

统计更新模块，用于对所述列存储辅助表中的统计极值与所述待统计数据的统计极值进行比对，并根据比对结果更新所述列存储辅助表中的统计极值。

8.根据权利要求7所述的装置其特征在于，还包括：

标识修改模块，用于在根据比对结果更新所述列存储辅助表中的统计极值后，修改对应的统计标识。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据统计方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的数据统计方法。