CN106445949A - 检测数据表中数据变化的方法和装置 - Google Patents

Abstract

本发明公开了一种检测数据表中数据变化的方法和装置，涉及互联网技术领域，能够解决现有技术中检测数据表中数据变化时检测效率低的问题。本发明的方法包括：获取待测数据表的表名；根据表名生成全表查询语句，并对全表查询语句进行解释操作；从解释操作的解释结果中获取第一属性信息，第一属性信息为数据表的当前属性信息；获取本地存储的数据表的第二属性信息，第二属性信息为前一次检测数据表时获取并记录的属性信息；通过对第一属性信息及第二属性信息的比对，判断数据表中的数据是否发生变化。本发明适用于基于hive或impala环境下对数据表中的数据变化进行检测的场景中。

Description

检测数据表中数据变化的方法和装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种检测数据表中数据变化的方法和装置。

背景技术

数据表是数据仓库(或者数据库)中的重要对象。在实际应用中，需要对数据表中的数据进行实时监控，以便当数据仓库的结构等发生变化时，能够快速定位问题来源。

在实际应用中，传统的数据仓库检测工具可以通过更新时间的时间标识来判断数据是否发生变化，而基于Hadoop的数据仓库工具hive或impala却没有这种利用时间标识判断数据变化的功能。现有技术中，当基于hive/impala检测数据表中数据的变化时，需要对数据表进行全表扫描，统计出数据表的总数据量，并通过总数据量来判断数据表中数据有没有发生变化。然而，由于上述检测数据表变化的方法需要全表扫描，所以检测效率较低。

发明内容

有鉴于此，本发明提供一种检测数据表中数据变化的方法和装置，能够解决现有技术中检测数据表中数据变化时检测效率低的问题。

依据本发明一个方面，提供了一种检测数据表中数据变化的方法，所述方法包括：

获取待测数据表的表名；

根据所述表名生成全表查询语句，并对所述全表查询语句进行解释操作；

从所述解释操作的解释结果中获取第一属性信息，所述第一属性信息为所述数据表的当前属性信息；

获取本地存储的所述数据表的第二属性信息，所述第二属性信息为前一次检测数据表时获取并记录的属性信息；

通过对所述第一属性信息及所述第二属性信息的比对，判断所述数据表中的数据是否发生变化。

依据本发明另一个方面，提供了一种检测数据表中数据变化的装置，所述装置包括：

获取单元，用于获取待测数据表的表名；

生成单元，用于根据所述获取单元获取的所述表名生成全表查询语句；

解释单元，用于对所述生成单元生成的所述全表查询语句进行解释操作；

所述获取单元，还用于从所述解释单元的所述解释操作的解释结果中获取第一属性信息，所述第一属性信息为所述数据表的当前属性信息；

所述获取单元，还用于获取本地存储的所述数据表的第二属性信息，所述第二属性信息为前一次检测数据表时获取并记录的属性信息；

判断单元，用于通过对所述获取单元获取的所述第一属性信息及所述第二属性信息的比对，判断所述数据表中的数据是否发生变化。

借由上述技术方案，本发明提供的检测数据表中数据变化的方法和装置，能够根据待测数据表的表名生成全表查询语句，并对该全表查询语句进行解释操作，然后通过对解释结果中的数据表的第一属性信息及本地存储的第二属性信息的比对，判断该数据表中的数据是否发生变化。与现有技术中通过全表扫描判断数据表的变化相比，本发明通过对全表查询语句进行解释操作，直接从解释结果中获取数据表的属性信息，并利用该属性信息判断数据表的变化，而无需对全表进行逐行扫描，从而提高了检测效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种检测数据表中数据变化的方法的流程图；

图2示出了本发明实施例提供的一种检测数据表中数据变化的装置的组成框图；

图3示出了本发明实施例提供的另一种检测数据表中数据变化的装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种检测数据表中数据变化的方法，如图1所示，该方法包括：

101、获取待测数据表的表名。

在实际应用中，数据仓库包含至少一个数据表，每个数据表由至少一个文件组成。当数据仓库工具检测数据表中数据变化时，需要先获取待测数据表的表名，以便后续对与该表名对应的数据表进行数据变化检测。

需要说明的是，数据仓库工具检测数据表的时机可以为实时的，也可以为非实时的。对于非实时的检测方法，可以为周期性的检测，也可以为不定点的检测。

102、根据表名生成全表查询语句，并对全表查询语句进行解释操作。

其中，当数据仓库工具获取待测数据表的表名之后，会自动生成全表查询语句，然后自动生成全表查询解释语句，最后自动执行该解释语句，从而实现对全表查询的解释操作。

在实际应用中，由于hive或者impala都支持通用的SQL(StructuredQuery Language，结构化查询语言)查询方式，所以当表名为TB时，生成的全表查询语句为SELECT*FROM TB。

具体的，数据仓库工具中的解释操作为对查询语句执行计划的分析过程。该解释操作可以分析出查询语句在执行过程中所需的执行时间、所使用的索引、所查数据表的大小、所查数据表中文件的个数以及查询顺序等信息。由此可知，数据仓库工具可以从执行计划分析信息中获取一些有关数据表中数据变化的信息，并通过这些信息来判断数据表的变化情况。

103、从解释操作的解释结果中获取第一属性信息。

在上述步骤102中提及解释操作为对查询语句执行计划的分析过程，因此，解释操作的解释结果为查询语句的执行计划。当对全表查询语句进行解释操作之后，数据仓库工具可以从解释结果中获取待测数据表的第一属性信息。其中，第一属性信息为数据表的当前属性信息。

需要说明的是，在实际应用中，数据表的属性信息包括数据表中文件数量和文件大小等信息。其中，文件数量为数据表中文件的总个数，文件大小为数据表中所有文件的总大小(即数据表的总大小)。具体的，属性信息可以仅包括文件数量，也可以仅包括文件大小，也可以包括文件数量和文件大小，在此不作限定。

104、获取本地存储的数据表的第二属性信息。

其中，第二属性信息为前一次检测数据表时获取并记录的属性信息，用于判断数据表的当前属性信息有没有发生变化，进而判断数据表中的数据有没有发生变化。

105、通过对第一属性信息及第二属性信息的比对，判断数据表中的数据是否发生变化。

当数据仓库工具获得同一个数据表的第一属性信息和第二属性信息后，会将第一属性信息与第二属性信息进行比对。当比对结果为第一属性信息与第二属性信息相同时，数据仓库工具确定该数据表中的数据没有发生变化；当比对结果为第一属性信息与第二属性信息不同时，数据仓库工具确定该数据表中的数据发生了变化。

本发明实施例提供的检测数据表中数据变化的方法，能够根据待测数据表的表名生成全表查询语句，并对该全表查询语句进行解释操作，然后通过对解释结果中的数据表的第一属性信息及本地存储的第二属性信息的比对，判断该数据表中的数据是否发生变化。与现有技术中通过全表扫描判断数据表的变化相比，本发明通过对全表查询语句进行解释操作，直接从解释结果中获取数据表的属性信息，并利用该属性信息判断数据表的变化，而无需对全表进行逐行扫描，从而提高了检测效率。

进一步的，对全表查询语句进行解释操作的具体实现方式为：根据全表查询语句生成解释语句，并执行该解释语句。

示例性的，若全表查询语句为SELECT*FROM TB，则根据SELECT*FROM TB生成的解释语句为EXPLAIN SELECT*FROM TB。由此，数据仓库工具可以从其对数据表TB的解释操作的解释结果中获取用于判断数据表变化的属性信息。

进一步的，在上述实施例中提及数据表的属性信息可以包括文件数量和文件大小。在实际应用中，数据仓库工具可以仅用文件数量来判断数据表的变化，也可以仅用文件大小来判断数据表的变化，也可以用文件数量和文件大小的组合来判断数据表的变化。下面针对不同情况进行详细介绍：

情况一：

若数据表的属性信息包括文件数量，且仅用文件数量来判断数据表的变化，则判断数据表中数据变化的具体实现方式为：数据仓库工具需要将第一文件数量与第二文件数量进行比对；若第一文件数量与第二文件数量相同，则确定数据表中的数据未发生变化；若第一文件数量与第二文件数量不同，则确定数据表中的数据发生变化。

其中，第一文件数量对应第一属性信息，即第一文件数量为数据表的当前文件的总数量；第二文件数量对应第二属性信息，即第二文件数量为前一次检测数据表时获取并记录的文件的总数量。

示例性的，若第一文件数量为10，第二文件数量为9，则第一文件数量与第二文件数量不同，此时可以确定数据表中的数据发生变化；若第一文件数量为10，第二文件数量为10，则第一文件数量与第二文件数量相同，此时可以确定数据表中的数据未发生变化。

情况二：

若数据表的属性信息包括文件大小，且仅用文件大小来判断数据表的变化，则判断数据表中数据变化的具体实现方式为：数据仓库工具需要将第一文件大小与第二文件大小进行比对；若第一文件大小与第二文件大小相同，则确定数据表中的数据未发生变化；若第一文件大小与第二文件大小不同，则确定数据表中的数据发生变化。

其中，第一文件大小对应第一属性信息，即第一文件大小为数据表的当前文件的总大小；第二文件大小对应第二属性信息，即第二文件大小为前一次检测数据表时获取并记录的文件的总大小。

示例性的，若第一文件大小为100GB，第二文件大小为101GB，则第一文件大小与第二文件大小不同，此时可以确定数据表中的数据发生变化；若第一文件大小为100GB，第二文件大小为100GB，则第一文件大小与第二文件大小相同，此时可以确定数据表中的数据未发生变化。

在实际应用中，常常会发生文件数量不变，文件大小发生变化，或者文件大小不变，文件数量发生变化的情况。例如，某数据表中当前文件数量为6，文件大小为88GB，变化前的文件数量为6，文件大小为80GB，说明数据表的某些文件中数据增加。此时，若仅使用文件数量或者文件大小对数据表的变化进行判断，会发生判断错误的情况。因此，为了提高检测的准确率，可以采用如下情况三进行判断：

情况三：

若数据表的属性信息包括文件数量和文件大小，且用文件数量和文件大小共同来判断数据表的变化，则判断数据表中数据变化的具体实现方式有三种。

第一种方式：数据仓库工具需要将第一文件数量与第二文件数量进行比对；若第一文件数量与第二文件数量不同，则确定数据表中的数据发生变化；若第一文件数量与第二文件数量相同，则继续将第一文件大小与第二文件大小进行比对，若第一文件大小与第二文件大小相同，则确定数据表中的数据未发生变化，若第一文件大小与第二文件大小不同，则确定数据表中的数据发生变化。

示例性的，若第一文件数量为11,第一文件大小为50TB，第二文件数量为11,第二文件大小为55TB，则数据仓库工具先将第一文件数量与第二文件数量进行比对，比对的结果为相同。此时，数据仓库工具并不直接确定数据表中的数据未发生变化，而是继续判断文件大小是否发生改变。通过将第一文件大小和第二文件大小比较，得知文件大小不同，从而确定数据表中的数据发生变化。

第二种方式：数据仓库工具需要将第一文件大小与第二文件大小进行比对；若第一文件大小与第二文件大小不同，则确定数据表中的数据发生变化；若第一文件大小与第二文件大小相同，则继续将第一文件数量与第二文件数量进行比对，若第一文件数量与第二文件数量相同，则确定数据表中的数据未发生变化，若第一文件数量与第二文件数量不同，则确定数据表中的数据发生变化。

示例性的，若第一文件数量为8,第一文件大小为50TB，第二文件数量为11,第二文件大小为50TB，则数据仓库工具先将第一文件大小与第二文件大小进行比对，比对的结果为相同。此时，数据仓库工具并不直接确定数据表中的数据未发生变化，而是继续判断文件数量是否发生改变。通过将第一文件数量和第二文件数量比较，得知文件数量不同，从而确定数据表中的数据发生变化。

第三种方式：数据仓库工具同时将第一文件数量和第一文件大小分别与第二文件数量和第二文件大小进行比对；若两者均相同，则确定数据表中的数据未发生变化；若两者中有一种不相同，则确定数据表中的数据发生变化。

示例性的，若第一文件数量为8,第一文件大小为70TB，第二文件数量为11,第二文件大小为70TB，则数据仓库工具同时判断文件数量和文件大小的变化情况，从而得知文件数量不同，文件大小相同，进而确定数据表中的数据发生变化。

需要说明的是，由于第三种方式，采用了同时比较的方式，所以第三种方式相对于前两种方式来说，能够更进一步提高检测效率。

进一步的，为了保证下一次检测的准确率，在确定数据表中的数据已发生变化后，数据仓库工具需要将本地存储的第二属性信息更改为第一属性信息，以便使得本地存储的数据表的属性信息为最新数据。

需要说明的是，本发明主要适用于hive或impala环境中，但是并不限于这两种环境，其他检测数据仓库(或者数据库)的环境同样也可以适用于本发明。

进一步的，根据上述方法实施例，本发明的另一个实施例还提供了一种检测数据表中数据变化的装置，如图2所示，该装置包括：获取单元21、生成单元22、解释单元23和判断单元24。其中，

获取单元21，用于获取待测数据表的表名；

生成单元22，用于根据获取单元21获取的表名生成全表查询语句；

解释单元23，用于对生成单元22生成的全表查询语句进行解释操作；

获取单元21，还用于从解释单元23的解释操作的解释结果中获取第一属性信息，第一属性信息为数据表的当前属性信息；

获取单元21，还用于获取本地存储的数据表的第二属性信息，第二属性信息为前一次检测数据表时获取并记录的属性信息；

判断单元24，用于通过对获取单元21获取的第一属性信息及第二属性信息的比对，判断数据表中的数据是否发生变化。

进一步的，如图3所示，解释单元23，包括：

生成模块231，用于根据全表查询语句生成解释语句；

执行模块232，用于执行生成模块231生成的解释语句。

进一步的，如图3所示，判断单元24，包括：

第一比对模块241，用于当数据表的属性信息包括文件数量时，将第一文件数量与第二文件数量进行比对；

第一确定模块242，用于当第一比对模块241的比对结果为第一文件数量与第二文件数量相同时，确定数据表中的数据未发生变化，当第一比对模块241的比对结果为第一文件数量与第二文件数量不同时，确定数据表中的数据发生变化。

进一步的，如图3所示，判断单元24，包括：

第二比对模块243，用于当数据表的属性信息包括文件大小时，将第一文件大小与第二文件大小进行比对；

第二确定模块244，用于当第二比对模块243的比对结果为第一文件大小与第二文件大小相同时，确定数据表中的数据未发生变化，当第二比对模块243的比对结果为第一文件大小与第二文件大小不同时，确定数据表中的数据发生变化。

进一步的，如图3所示，该装置还包括：

更改单元25，用于当判断单元24确定数据表中的数据发生变化时，将本地存储的第二属性信息更改为第一属性信息。

本发明实施例提供检测数据表中数据变化的装置，能够根据待测数据表的表名生成全表查询语句，并对该全表查询语句进行解释操作，然后通过对解释结果中的数据表的第一属性信息及本地存储的第二属性信息的比对，判断该数据表中的数据是否发生变化。与现有技术中通过全表扫描判断数据表的变化相比，本发明通过对全表查询语句进行解释操作，直接从解释结果中获取数据表的属性信息，并利用该属性信息判断数据表的变化，而无需对全表进行逐行扫描，从而提高了检测效率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的随身电子防丢设备的状态检测方法、设备、服务器及系统设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种检测数据表中数据变化的方法，其特征在于，所述方法包括：

获取待测数据表的表名；

根据所述表名生成全表查询语句，并对所述全表查询语句进行解释操作；

从所述解释操作的解释结果中获取第一属性信息，所述第一属性信息为所述数据表的当前属性信息；

获取本地存储的所述数据表的第二属性信息，所述第二属性信息为前一次检测数据表时获取并记录的属性信息；

通过对所述第一属性信息及所述第二属性信息的比对，判断所述数据表中的数据是否发生变化。

2.根据权利要求1所述的方法，其特征在于，所述对所述全表查询语句进行解释操作，包括：

根据所述全表查询语句生成解释语句，并执行所述解释语句。

3.根据权利要求1所述的方法，其特征在于，数据表的属性信息包括文件数量；

所述通过对所述第一属性信息及所述第二属性信息的比对，判断所述数据表中的数据是否发生变化，包括：

将第一文件数量与第二文件数量进行比对；

若所述第一文件数量与所述第二文件数量相同，则确定所述数据表中的数据未发生变化；

若所述第一文件数量与所述第二文件数量不同，则确定所述数据表中的数据发生变化。

4.根据权利要求1所述的方法，其特征在于，数据表的属性信息包括文件大小；

所述通过对所述第一属性信息及所述第二属性信息的比对，判断所述数据表中的数据是否发生变化，包括：

将第一文件大小与第二文件大小进行比对；

若所述第一文件大小与所述第二文件大小相同，则确定所述数据表中的数据未发生变化；

若所述第一文件大小与所述第二文件大小不同，则确定所述数据表中的数据发生变化。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

若确定所述数据表中的数据发生变化，则将本地存储的所述第二属性信息更改为所述第一属性信息。

6.一种检测数据表中数据变化的装置，其特征在于，所述装置包括：

获取单元，用于获取待测数据表的表名；

生成单元，用于根据所述获取单元获取的所述表名生成全表查询语句；

解释单元，用于对所述生成单元生成的所述全表查询语句进行解释操作；

所述获取单元，还用于从所述解释单元的所述解释操作的解释结果中获取第一属性信息，所述第一属性信息为所述数据表的当前属性信息；

所述获取单元，还用于获取本地存储的所述数据表的第二属性信息，所述第二属性信息为前一次检测数据表时获取并记录的属性信息；

判断单元，用于通过对所述获取单元获取的所述第一属性信息及所述第二属性信息的比对，判断所述数据表中的数据是否发生变化。

7.根据权利要求6所述的装置，其特征在于，所述解释单元，包括：

生成模块，用于根据所述全表查询语句生成解释语句；

执行模块，用于执行所述生成模块生成的解释语句。

8.根据权利要求6所述的装置，其特征在于，所述判断单元，包括：

第一比对模块，用于当数据表的属性信息包括文件数量时，将第一文件数量与第二文件数量进行比对；

第一确定模块，用于当所述第一比对模块的比对结果为所述第一文件数量与所述第二文件数量相同时，确定所述数据表中的数据未发生变化，当所述第一比对模块的比对结果为所述第一文件数量与所述第二文件数量不同时，确定所述数据表中的数据发生变化。

9.根据权利要求6所述的装置，其特征在于，所述判断单元，包括：

第二比对模块，用于当数据表的属性信息包括文件大小时，将第一文件大小与第二文件大小进行比对；

第二确定模块，用于当所述第二比对模块的比对结果为所述第一文件大小与所述第二文件大小相同时，确定所述数据表中的数据未发生变化，当所述第二比对模块的比对结果为所述第一文件大小与所述第二文件大小不同时，确定所述数据表中的数据发生变化。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述装置还包括：

更改单元，用于当所述判断单元确定所述数据表中的数据发生变化时，将本地存储的所述第二属性信息更改为所述第一属性信息。