CN114416761A - 更新统计信息的方法、装置、设备、介质及产品 - Google Patents

Abstract

本公开提供了一种更新统计信息的方法、装置、设备、介质及产品，涉及计算机技术领域，尤其涉及分布式数据库、数据处理、云服务领域。具体实现方案为：监测数据表中的数据状态；若监测到数据状态发生变化，则确定数据状态发生变化的数据所对应的数据文件，并确定数据文件对应的描述文件，更新描述文件中存储的统计信息。本公开在监测到数据状态变化后，对数据文件统计信息进行更新，保证统计信息的准确性。另外在本公开中，通过描述文件存储数据文件对应的统计信息，相比于将统计信息存储在元数据中更简洁，便于进行查询。

Description

更新统计信息的方法、装置、设备、介质及产品

技术领域

本公开涉及计算机技术领域，尤其涉及分布式数据库、数据处理、云服务领域。

背景技术

在分布式数据库系统中，数据文件按特定的目录结构，保存在文件系统上，统计信息通常保存在元数据管理系统中。在执行查询时，查询引擎通常会先获取需要查询的数据对应的统计信息，利用数据的统计信息进行查询优化，以提升查询速度。例如，联表查询时，可以通过表统计信息中记录的行数，选择两张表的顺序，实现最优的性能。

发明内容

本公开提供了一种用于更新统计信息的方法、装置、设备、介质及产品。

根据本公开的一方面，提供了一种更新统计信息的方法，包括：监测数据表中的数据状态；若监测到数据状态发生变化，则确定数据状态发生变化的数据所对应的数据文件，并确定所述数据文件对应的描述文件；更新所述描述文件中存储的统计信息。

根据本公开的另一方面，提供了一种更新统计信息的装置，包括：

监测单元，用于监测数据表中的数据状态；更新单元，用于在监测到数据状态发生变化的情况下，确定数据状态发生变化的数据所对应的数据文件，并确定数据文件对应的描述文件，更新描述文件中存储的统计信息。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的更新统计信息的方法的流程示意图；

图2是根据本公开实施例的生成描述文件的流程示意图；

图3是根据本公开实施例的确定数据文件对应描述文件的流程示意图；

图4是根据本公开实施例的统计信息描述文件的结构示意图；

图5是根据一示例性实施例示出的一种更新统计信息的装置框图；

图6是用来实现本公开实施例的更新统计信息的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开应用于收集数据统计信息的场景。数据的统计信息从数据组织形式上，可以分为表统计信息、列统计信息、分区统计信息。其中，表统计信息通常包括：表对应的数据所在的文件个数、记录的行数、原始数据大小、存储在磁盘上的数据大小。列统计信息的具体内容因字段而异，一些通用的列统计信息包括：一张表的某列中空值的个数、不同数据的个数等。除上述之外，对于字段类型为整数类型的数据，列统计信息还包括最大值、最小值；对于字段类型为布尔类型的数据，列统计信息还包括真(True)值的个数、假(False)值的个数等。分区统计信息的内容与列统计信息一致，区别在于统计的数据范围是分区级别的，而不是表级别的。

然而，收集统计信息时，需要对数据进行多次计算，故，导致统计信息的收集成本较高，没有办法保证统计信息实时更新。在目前分布式数据库系统的使用场景中，更常见是，数据分析人员在进行查询时，往往使用了过期很久的统计信息，造成查询没有办法进行充分优化，有的甚至比不使用统计信息更加缓慢。

在分布式数据库系统中，相关技术主要通过用户手动操作，触发执行指定的查询语句(ANAYLZE table_name)。通过执行查询语句，以完成对指定表格的统计信息收集。收集的统计信息，通常保存在元数据管理系统或系统表中，比如，数据库(Greenplum)将统计信息存储在系统表(pg_statistic)中；Apache Hive将统计信息保存在元数据管理系统的数据表(TABLE_PARAMS、TAB_COL_STATS、PART_COL_STATS)中。

相关技术中，由于用户经常忘记进行手动收集统计信息，导致无法保证统计信息实时更新。另外，在分布式数据库的实际使用场景中，对于PB级别的数据，对整个库表的统计信息收集开销巨大。定时收集以确保统计信息的准确性因资源限制更难实现。需说明，PB是petabyte的缩写，是指数据存储单位。统计信息更新不及时，导致统计信息与当前数据的实际情况不匹配，即统计信息不能准确的反映当前数据的实际信息。查询引擎利用不准确的统计信息进行查询优化，反而会导致查询性能更差。

有鉴于此，本公开实施例基于数据表是组织磁盘上存储数据的文件，以及对数据表的操作，最终会反映在磁盘中的文件上的事实，提供了一种统计信息的处理方法。以分布式数据库系统在磁盘中存储数据的文件为对象，为每个对象生成对应的描述文件。通过描述文件跟踪该描述文件对应的文件所保存的数据的统计信息。监测到对数据表中数据进行操作时，同步更新操作涉及的文件对应的描述文件。通过本公开能够及时自动更新统计信息，确保统计信息与当前文件的实际情况相匹配，为优化查询性能做准备。在执行查询时，读取所需文件前，先访问描述文件，获取文件的统计信息，再根据统计信息进行查询优化，提高查询性能。

应理解，分布式数据库系统支持多种文件存储格式(例如：列式存储格式，行式存储格式，以及csv和pickle等)。本公开提供的更新统计信息的方法适用于以任意文件存储格式存储的文件。本公开以下为与描述文件进行区分，将分布式数据库系统在磁盘中存储数据的文件称为数据文件。

在一种实施方式中，可以检测对数据库中数据表的操作，若检测到对数据表中的数据进行操作，且数据表中的数据有变化，则对表统计信息和/或列统计信息进行自动更新。该实施例在相关技术的基础上，实现对统计信息的自动更新。根据数据文件的变化执行，数据文件有变化时，才会触发更新统计信息。

在另一种实施方式中，在元数据系统中建立数据表与数据文件的映射关系，并以数据文件为单位收集数据文件的统计信息。在检测到数据文件中的数据有变化的情况下，更新元数据系统中该数据文件的统计信息。

在又一种实施方式中，数据表对应的数据文件建立描述文件，通过描述文件存储数据文件的统计信息，并在元数据中增加描述文件的存储路径。在检测到数据表的数据发生变化的情况下，更新数据文件对应描述文件中的统计信息。

在下述实施例中，本公开将结合附图说明更新统计信息的方法。

图1是根据本公开实施例的更新统计信息的方法的流程示意图；如图1所示，本公开提供的一种更新统计信息的方法，包括以下步骤。

在步骤S101中，监测数据表中的数据状态。

在本公开实施例中，导致数据表中数据状态发生变化的操作包括：增加操作，删除操作和/或修改操作。在监测到对数据表进行操作后，确定数据表中的数据状态是否发生变化。状态发生变化是指新增数据，删除数据和/或修改数据等。

在步骤S102中，若监测到数据状态发生变化，则确定数据状态发生变化的数据所对应的数据文件，并确定数据文件对应的描述文件。

在本公开实施例中，确定数据状态发生变化的数据所在的位置，并确定存储该位置对应数据的数据文件。之后更新该数据文件对应的描述文件。基于大部分情况下(尤其是使用列式存储格式存储的表格)，对数据表中数据的修改仅涉及数据表对应的一部分数据文件。故，在检测到对数据表中的数据进行操作后，确定发生变化的数据涉及的目标数据文件。仅更新目标数据文件对应的描述文件，能够提高效率，降低资源损耗。

在步骤S103中，更新描述文件中存储的统计信息。

在本公开中，若监测到数据状态发生变化，则同步更新状态发生变化的数据涉及的数据文件对应的描述文件，能够实现对数据文件的统计信息进行及时更新，保证统计信息的准确性。另外在本公开中，通过描述文件存储数据文件对应的统计信息，相比于将统计信息存储在元数据中更简洁，便于进行查询。

在本公开实施例中，导致数据文件中的数据状态发生变化的操作包括，增加操作，删除操作和/或修改操作。不同操作下的统计信息，可以通过不同的更新方式进行更新。例如，以整个数据文件为单位重新计算统计信息对应的值，或者，仅以发生变化的数据为单位更新统计信息对应的值。对于仅通过发生变化的数据就可以实现更新的统计信息，可以不对整个数据文件进行计算，如此，可以进一步降到收集统计信息的开销。

在一种实施方式中，导致数据文件中的数据发生变化的操作为增加操作。可以理解为，在数据表中执行插入数据的操作，造成数据文件中的数据发生变化。对于描述文件中不同类型的统计信息采用不同的方式进行更新。例如，统计信息为统计不同的值的个数，以及统计Char(定长字符串类型)/Varchar(可变长字符串类型)类型字段的平均长度，需要以整个数据文件为对象重新计算不同的值的个数，以及统计Char/Varchar类型字段的平均长度。对于统计信息为Int(整数类型)/Long(长整型类型)类型字段的最大值、Int/Long类型字段的最小值、Double类型字段的最大值、Double(双精度浮点型)类型字段的最小值、Decimal(精准数据类型)类型字段的最大值、Decimal类型字段的最小值等，可以根据插入的数据更新统计信息。

一例中，检测到插入数据，确定插入数据对应的数据文件。在该数据文件对应的描述文件中，获取与插入数据的字段类型有关的统计信息。利用插入数据更新统计信息。例如，若插入数据的字段类型为Double类型，则将插入数据与Double类型字段的最大值进行比较，若插入数据大于最大值，则用插入数据替换最大值。若插入数据小于或等于最大值，则维持最大值不变。若插入数据的字段类型为Boolean(布尔型)类型，则确定插入数据为真值or假值，若插入数据为真值，则更新统计信息中的真值个数。

又一例中，对于在同一个数据文件中插入多个值的情形，在判断最大值和最小值时，从新插入的多个数据中确定最大值和最小值。将新插入的最大值和最小值分别与描述文件中存储的最大值和最小值进行比较。根据比较结果更新描述文件。

在本公开实施例中，对于删除操作、修改操作，以及增加操作，删除操作和修改操作间的组合操作而言，都只需要根据发生变化的数据更新统计空值的个数，统计Boolean类型字段的真值个数，以及统计Boolean类型字段的假值个数。在本公开实施例中，若统计信息的值通过字段类型本身确定，则可以仅根据发生变化的数据更新统计信息。例如Boolean类型字段的真值个数。若统计信息的值需要通过字段类型的值确定，则需要以数据文件为对象重新进行计算。例如Double类型字段的最大值。为了便于理解，本公开实施例在表1中列举了多种在不同操作下的更新统计信息的方式。在表1中，“需要”表示需要以整个数据文件为单位重新计算统计信息。“不需要”表示仅需要以发生变化的数据为单位计算统计信息。

表1统计信息在不同操作下的更新方式

在本公开实施例中，修改操作还可以为修改表结构。根据修改结构后的数据表，更新数据文件对应的描述文件中的统计信息。例如，修改数据表中的列名称，确定修改的列名称存储的数据文件，更新数据文件对应的描述文件中的列索引。

在上述任一实施例的基础上，检测到新建一个数据文件，称为第一数据文件。为第一数据文件生成第一描述文件，第一描述文件中包括预设的待收集统计信息，并对第一数据文件中的数据进行计算，确定待收集统计信息对应的值。

在上述任一实施例的基础上，检测到删除已有的数据文件，称为第二数据文件。删除第二数据文件对应的第二描述文件，并在第二数据文件所属数据表的元数据中删除第二描述文件的存储路径。

在上述任一实施例的基础上，如图2所示，描述文件采用如下方式生成。

在步骤S201中，确定数据表的全部数据文件。

在分布式数据库中，一个数据表中的数据对应存储在多个数据文件中。在生成描述文件时，确定数据表的所有数据文件。

在步骤S202中，针对全部数据文件中的各个数据文件，以数据文件组为单位，生成数据文件组对应的描述文件。

在本公开实施例中，数据文件组中包括一个或多个数据文件，数据文件组与描述文件之间具有一一对应关系。在一种实施方式中，可以按实际需要对数据文件进行分组，为同一组内的数据文件生成一个描述文件，通过该描述文件收集该组内数据文件的统计信息。为同一组内的数据文件生成一个描述文件，能够在保证及时更新统计信息的基础上，节省存储空间。

在又一种实施方式中，基于提高查询性能的考虑，为一个数据文件生成一个描述文件。换言之，为多个数据文件生成一个描述文件时，在查询的过程中，可能只需要其中一个数据文件中的数据，此时只需要该数据文件的统计信息即可。若将多个数据文件作为一个整体计算统计信息，会导致需要查询的数据文件的统计信息不准确，导致查询性能较差。例如描述文件1中存储有数据文件A和数据文件B的统计信息，查询引擎只需查询数据文件A的数据，这种情况下，查询引擎无法准确的根据描述文件1中记载的统计信息进行查询优化。故，为一个数据文件生成一个描述文件，能够提高查询性能，便于查询引擎进行灵活的查询优化。在该实施方式中，为每个数据文件生成描述文件，在检测到表格中的数据发生变化的情况下，仅需确定发生变化的数据所在的数据文件，重新计算该数据文件的统计信息即可，降低收集统计信息的开销。

在上述任一实施例的基础上，可以预先设定统计信息的项目，针对每个数据文件生成包括相同统计信息项目的描述文件。可以理解为，预先设定的统计信息项目中包括所有类型的统计信息。示例的，统计信息的项目可以包括数据文件存储位置、数据文件格式、记录条数、数据文件大小、空值的个数、不同的值的个数，以及Int/Long类型字段的最大值、Int/Long类型字段的最小值、Double类型字段的最大值、Double类型字段的最小值、Decimal类型字段的最大值、Decimal类型字段的最小值、Char/Varchar等类型字段的平均长度、Char/Varchar等类型字段的最大长度、Boolean类型字段的真值个数、Boolean类型字段的假值个数等。在另一种实施方式中，可以根据数据文件中的实际数据类型确定。例如，数据文件中不包括boolean类型的数据，则设置生成的描述文件中，不包括涉及boolean类型字段的统计信息项目。

在上述任一实施例的基础上，本公开采用“statistics+对应数据文件名”的方式，为描述文件命名。采用该方式命名能够直观的确定描述文件与数据文件的对应关系，但本公开并不限定命名的方式。

在上述任一实施例的基础上，本公开实施例的描述文件内容以json形式保存。以json的格式保存的描述文件比较直观，可读性强，便于进行快速处理，但不限于采用这个格式。除了json格式外还可以采用xml,yaml等，可以根据实际需要进行选择。

在上述任一实施例的基础上，在数据表的元数据中增加描述文件的存储路径，便于定位描述文件所在的位置。

在上述任一实施例的基础上，如图3所示，确定数据文件对应的描述文件，包括以下步骤。

在步骤301中，确定数据表的元数据。本实施例中，元数据中存储有描述文件的存储路径。

在步骤302中，基于元数据，确定数据文件所对应描述文件的存储路径。

在本公开中，在更新描述文件时，在元数据中确定描述文件的存储路径。为了提高定位描述文件的效率，除了在数据表的元数据中增加描述文件的存储路径外，还可以在数据文件的内容中，写入其对应的统计信息描述文件的存储位置。比如，可以在数据文件的文件头中写入，或者文件尾中写入。该方式可以通过文件头或文件尾快速定位的描述文件的存储位置，能够快速的定位到数据文件对应的描述文件。

在步骤303中，基于确定的存储路径，获取数据文件对应的描述文件。

在本公开中，在查询描述文件以及更新描述文件时，可以通过描述文件的存储位置，快速准确的定位到数据文件对应的描述文件。

在上述任一实施例的基础上，在执行查询时，读取所需数据文件前，先访问该数据文件对应的描述文件，获取数据文件的统计信息，再根据统计信息进行查询优化。换言之，查询引擎需确定待查询的数据所属的数据文件，并在元数据中确定数据文件对应描述文件的存储路径；基于存储路径，读取描述文件，从描述文件中获取数据文件的统计信息。在本公实施例中，在查询时基于描述文件的存储路径，能够快速定位到数据文件对应的描述文件，便于提高查询效率。另外，由于描述文件中的统计信息，是在监测到数据表中的数据状态发生变化的情况下，及时更新后的统计信息。故，采用描述文件中的统计信息进行查询优化，能够提高查询优化效率，避免进行无效的查询优化，降低资源消耗。

下述实施例将举例说明利用本公开提供的方法收集统计信息。例如，表table1记录了100,000个学生的成绩及是否毕业等信息，并使用列式存储格式(ORC)。表结构如下：

字段	类型
		身高(Height)	int
是否毕业(is_graduate)	boolean
		省略其余8列	-

图4是根据本公开实施例的统计信息描述文件的结构示意图。如图4所示，在分布式数据库和元数据系统中包括有数据库1和数据库2。在数据库1中存储有表1(table1)，table1的数据保存在3个数据文件中，分别为数据文件1，数据文件2和数据文件3。其中数据文件1的存储路径为./table1/data/data_file_1，数据文件2的存储路径为./table1/data/data_file_2，数据文件3的存储路径为./table1/data/data_file_3。为每个数据文件生成描述文件，数据文件1对应的描述文件为统计信息描述文件1，且统计信息描述文件1存储在./table1/data/statistics_data_file_1。数据文件2对应的描述文件为统计信息描述文件2，且统计信息描述文件2存储在./table1/data/statistics_data_file_2。数据文件3对应的描述文件为统计信息描述文件3且统计信息描述文件3存储在./table1/data/statistics_data_file_3。需说明，在图4中通过“./”表示相对路径。在图4中table1的元数据中包括有表结构，数据格式，权限信息，压缩算法，数据文件存储路径以及描述文件存储路径等。其中，数据文件存储路径为：/db1/table1/data，描述文件存储路径为：/db1/table1/data/statistics。假设data_file_1保存了is_graduate列的学生是否毕业的数据，利用本公开为名称为data_file_1的数据文件生成描述文件。示例的，data_file_1对应的统计信息描述文件/db1/table1/data/statistics_data_file_1内容如下：

本公开实施例在下述表格中对上述data_file_1对应的统计信息描述文件/db1/table1/data/statistics_data_file_1的内容进行解释说明。

在/db1/table1/data/statistics_data_file_1中，db1表示数据库的名称。table1表示数据表的名称。statistics_data_file_1表示数据文件名称为data_file_1的描述文件。

当部分学生毕业后，表1中是否毕业的状态需要更新，在列式存储格式中，字段is_graduate会保存在一个数据文件中，假设为data_file_1，此时仅需在更新操作结束后，重新计算data_file_1的统计信息，并写入statistics_data_file_1即可。

在查询is_graduate字段时，首先读取statistics_data_file_1，根据统计信息进行查询计划优化，随后执行查询。可以看出，本公开能够及时的更新数据文件对应的统计信息，为有效的查询优化提供基础。

基于相同的构思，本公开实施例还提供一种更新统计信息的装置。

可以理解的是，本公开实施例提供的更新统计信息的装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图5是根据一示例性实施例示出的一种更新统计信息的装置框图。参照图5，该装置400包括监测单元401和更新单元402。

监测单元401，用于监测数据表中的数据状态；更新单元402，用于在监测到数据状态发生变化的情况下，确定数据状态发生变化的数据所对应的数据文件，并确定数据文件对应的描述文件，更新描述文件中存储的统计信息。

本公开实施例提供的装置，在监测到数据状态变化后，对数据文件统计信息进行更新，保证统计信息的准确性。另外在本公开中，通过描述文件存储数据文件对应的统计信息，相比于将统计信息存储在元数据中更简洁，便于进行查询。

在一种实施方式中，描述文件采用如下方式生成：

确定数据表的全部数据文件；针对全部数据文件中的各个数据文件，以数据文件组为单位，生成数据文件组对应的描述文件；其中，数据文件组中包括一个或多个数据文件，数据文件组与描述文件之间具有一一对应关系。

在一种实施方式中，更新单元402，还用于：确定数据表的元数据，元数据中存储有描述文件的存储路径；基于元数据，确定数据文件所对应描述文件的存储路径；基于确定的存储路径，获取数据文件对应的描述文件。

在一种实施方式中，装置400还包括：查询单元403，用于确定待查询的数据所属的数据文件，并在元数据中确定数据文件对应描述文件的存储路径，基于存储路径，读取描述文件，从描述文件中获取数据文件的统计信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如更新统计信息的方法。例如，在一些实施例中，更新统计信息的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的更新统计信息的方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行更新统计信息的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (11)

1.一种更新统计信息的方法，包括：

监测数据表中的数据状态；

若监测到数据状态发生变化，则确定数据状态发生变化的数据所对应的数据文件，并确定所述数据文件对应的描述文件；

更新所述描述文件中存储的统计信息。

2.根据权利要求1所述的方法，所述描述文件采用如下方式生成：

确定所述数据表的全部数据文件；

针对所述全部数据文件中的各个数据文件，以数据文件组为单位，生成数据文件组对应的描述文件；

其中，所述数据文件组中包括一个或多个数据文件，数据文件组与描述文件之间具有一一对应关系。

3.根据权利要求1所述的方法，确定所述数据文件对应的描述文件，包括：

确定所述数据表的元数据，所述元数据中存储有描述文件的存储路径；

基于所述元数据，确定所述数据文件所对应描述文件的存储路径；

基于确定的存储路径，获取所述数据文件对应的描述文件。

4.根据权利要求1-3中任意一项所述的方法，还包括：

确定待查询的数据所属的数据文件，并在元数据中确定所述数据文件对应描述文件的存储路径；

基于所述存储路径，读取所述描述文件，从所述描述文件中获取所述数据文件的统计信息。

5.一种更新统计信息的装置，包括：

监测单元，用于监测数据表中的数据状态；

更新单元，用于在监测到数据状态发生变化的情况下，确定数据状态发生变化的数据所对应的数据文件，并确定所述数据文件对应的描述文件，更新所述描述文件中存储的统计信息。

6.根据权利要求5所述的装置，所述描述文件采用如下方式生成：

确定所述数据表的全部数据文件；

针对所述全部数据文件中的各个数据文件，以数据文件组为单位，生成数据文件组对应的描述文件；

其中，所述数据文件组中包括一个或多个数据文件，数据文件组与描述文件之间具有一一对应关系。

7.根据权利要求5所述的装置，所述更新单元，还用于：

确定所述数据表的元数据，所述元数据中存储有描述文件的存储路径；

基于所述元数据，确定所述数据文件所对应描述文件的存储路径；

基于确定的存储路径，获取所述数据文件对应的描述文件。

8.根据权利要求5-7中任意一项所述的装置，还包括：

查询单元，用于确定待查询的数据所属的数据文件，并在元数据中确定所述数据文件对应描述文件的存储路径，基于所述存储路径，读取所述描述文件，从所述描述文件中获取所述数据文件的统计信息。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-4中任一项所述的方法。

Images