CN107784043A - 数据仓库数据表的监控方法、装置及系统 - Google Patents

Abstract

本申请公开一种数据仓库数据表的监控方法、装置及系统。该方法包括：检测数据仓库中是否有数据表将被更新；当检测到数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的数据表；当待监控的数据表包括将被更新的数据表时，记录将被更新的数据表当前的第一信息；判断将被更新的数据表是否被更新完成；当将被更新的数据表被更新完成时，记录数据表被更新后的第二信息；判断第一信息与第二信息是否相同；以及当第一信息与第二信息不同时，发送数据表的更新通知。该方法能够及时通知被更新数据表的其他使用者，确保数据仓库数据表中数据的一致性，避免数据错误。

Description

数据仓库数据表的监控方法、装置及系统

技术领域

本发明涉及数据仓库技术领域，具体而言，涉及一种数据仓库数据表的监控方法、装置及系统。

背景技术

数据仓库是采集、存储及加工数据的大工厂。为了让数据在后续的数据清洗、数据应用中更便于管理、提升效率，都会对数据仓库进行分层。通常分为四层：缓冲数据层、基础数据层、通用数据层及聚合应用层。这四层均会涉及不同特征的数据表，用于存储不同用处和不同粒度的数据。数据表和数据表之间有着充分条件和必要条件。数据表是由不同程序加工出来的，这使得程序和程序之间也会满足各种充分条件和必要条件。在实际应用中，将这些充分条件和必要条件通过配置文件(如配置表)来维护一套完整的程序之间执行顺序的依赖关系，从而确保各数据表之间的逻辑关系。

目前可通过调度平台在配置文件中配置任务来自动执行数据仓库中的各程序，或者也可以通过SecureCRT工具直接调用并执行数据仓库中的python程序或shell程序，或通过SecureCRT工具通过Linux命令直接使各程序按照一定的规则执行。

但无论是通过调度平台基于配置文件来运行程序，还是通过SecureCRT工具直接调用并运行程序，均存在着因上层数据被重新计算，与下层数据不一致，而导致下层程序运行结果出现错误的问题。并且在大型数据仓库中，每天程序的运算量非常巨大，一旦出现数据错误，需要耗费大量的人工，严重影响了数据仓库的数据处理效率。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明提供一种数据仓库数据表的监控方法、装置及系统，能够及时通知被更新数据表的其他使用者，确保数据仓库数据表中数据的一致性，避免数据错误。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种数据仓库数据表的监控方法，包括：检测数据仓库中是否有数据表将被更新；当检测到数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的数据表；当待监控的数据表包括将被更新的数据表时，记录将被更新的数据表当前的第一信息；判断将被更新的数据表是否被更新完成；当将被更新的数据表被更新完成时，记录数据表被更新后的第二信息；判断第一信息与第二信息是否相同；以及当第一信息与第二信息不同时，发送数据表的更新通知。

根据本发明的一实施方式，检测数据仓库中是否有数据表将被更新包括：当数据仓库中的任务指令开始被执行时，启动一监控作业，产生并记录程序日志，程序日志包括：将被更新的数据表；以及检测程序日志，以检测数据仓库中是否有数据表将被更新。

根据本发明的一实施方式，判断将被更新的数据表是否被更新完成包括：判断监控作业是否被结束，如果监控作业被结束，则判断将被更新的数据表被更新完成。

根据本发明的一实施方式，第一信息和第二信息被记录于一配置表中，配置表还包括：监控作业的标识、数据表的名称及数据表的路径。

根据本发明的一实施方式，发送数据表更新通知包括：向数据表的所有使用者发送更新通知。

根据本发明的一实施方式，待监控的数据表及待监控的数据表的所有使用者信息被配置于一配置文件中。

根据本发明的另一个方面，提供一种数据仓库数据表的监控装置，包括：数据表检测模块，用于检测数据仓库中是否有数据表将被更新；数据表判断模块，用于当检测到数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的数据表；第一信息记录模块，用于当待监控的数据表包括将被更新的数据表时，记录将被更新的数据表当前的第一信息；更新判断模块，用于判断将被更新的数据表是否被更新完成；第二信息记录模块，用于当将被更新的数据表被更新完成时，记录数据表被更新后的第二信息；信息判断模块，用于判断第一信息与第二信息是否相同；以及通知发送模块，用于当第一信息与第二信息不同时，发送数据表的更新通知。

根据本发明的一实施方式，数据表检测模块包括：监控子模块，用于当数据仓库中的任务指令开始被执行时，启动一监控作业，产生并记录程序日志，其中程序日志包括：将被更新的数据表；以及检测子模块，用于检测程序日志，以检测数据仓库中是否有数据表将被更新。

根据本发明的一实施方式，更新判断模块包括：监控作业判断子模块，用于判断监控作业是否被结束，如果监控作业被结束，则判断将被更新的数据表被更新完成。

根据本发明的一实施方式，第一信息和第二信息被记录于一配置表中，配置表还包括：监控作业的标识、数据表的名称及数据表的路径。

根据本发明的一实施方式，通知发送模块还用于向数据表的所有使用者发送更新通知。

根据本发明的一实施方式，待监控的数据表及待监控的数据表的所有使用者信息被配置于一配置文件中。

根据本发明的再一个方面，提供一种数据仓库数据表的监控系统，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中处理器配置为经由执行可执行指令来执行以下操作：检测数据仓库中是否有数据表将被更新；当检测到数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的数据表；当待监控的数据表包括将被更新的数据表时，记录将被更新的数据表当前的第一信息；判断将被更新的数据表是否被更新完成；当将被更新的数据表被更新完成时，记录数据表被更新后的第二信息；判断第一信息与第二信息是否相同；以及当第一信息与第二信息不同时，发送数据表的更新通知。

根据本发明的数据仓库数据表的监控方法，通过监控所有有可能发生更新的数据表，当这些数据表中的至少其中之一发生更新时，及时通知其他使用该数据表的使用者，从而确保数据仓库数据表中数据的一致性，避免数据错误，提升数据仓库数据的处理效率。

另外，根据一些实施例，本发明的数据仓库数据表的监控方法，进一步通过启动监控作业的方式对待监控的数据表进行监控，从而当待监控数据表中的至少其中之一发生更新时，可及时通知其他使用该数据表的使用者，确保了数据仓库数据表中数据的一致性，避免数据错误，提升了数据仓库数据的处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1是根据一示例性实施方式示出的一种数据仓库数据表的监控方法的流程图。

图2是根据一示例性实施方式示出的另一种数据仓库数据表的监控方法的流程图。

图3是根据一示例性实施方式示出的一种数据仓库数据表的监控装置的框图。

图4是根据一示例性实施方式示出的另一种数据仓库数据表的监控装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。

图1是根据一示例性实施方式示出的一种数据仓库数据表的监控方法的流程图。该方法例如可以应用于数据仓库的服务器中。如图1所示，该监控方法10包括：

在步骤S102中，检测数据仓库中是否有数据表将被更新。

在步骤S104中，当检测到所述数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的所述数据表。

待监控的数据表例如可以包括在数据仓库的程序运行过程中有可能发生更新即有可能被重新计算的数据表。通常，这些有可能被重新计算的数据表数量不是很大。

在步骤S106中，当待监控的所述数据表包括将被更新的所述数据表时，记录将被更新的所述数据表当前的第一信息。

第一信息例如为当前的文件大小、更新时间等。

在步骤S108中，判断将被更新的所述数据表是否被更新完成；

在步骤S110中，当将被更新的所述数据表被更新完成时，记录所述数据表被更新后的第二信息。

第二信息例如为被更新后的文件大小、更新时间等。

在步骤S112中，判断所述第一信息与所述第二信息是否相同。

即判断数据表是否发生实质性更新。

在步骤S114中，当所述第一信息与所述第二信息不同时，发送所述数据表的更新通知。

本发明实施方式的数据仓库数据表的监控方法，通过监控所有有可能发生更新的数据表，当这些数据表中的至少其中之一发生更新时，及时通知其他使用该数据表的使用者，从而确保数据仓库数据表中数据的一致性，避免数据错误，提升数据仓库数据的处理效率。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施方式。

图2是根据一示例性实施方式示出的另一种数据仓库数据表的监控方法的流程图。该方法例如可以应用于数据仓库的服务器中。如图2所示，该监控方法20包括：

在步骤S202中，当数据仓库中的任务指令开始被执行时，启动一监控作业，产生并记录程序日志。

无论是通过“背景技术”部分所述的调度平台还是SecureCRT工具启动了数据仓库中的程序，均会在启动一监控作业(job)，如在Linux后台启动该唯一的监控作业。数据仓库中的程序一旦被启动，就会产生程序日志，其中会记录脚本内容及程序执行过程中产生的一切信息，如将被更新的数据表。

在步骤S204中，检测程序日志，以检测数据仓库中是否有数据表将被更新。

从程序日志中，获取将被更新的目标数据表，并判断该目标数据表是否将被更新，从而检测数据仓库中是否有数据表将被更新。

在步骤S206中，当检测到数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的数据表。

例如可以将待监控的数据表记录于一配置文件(如base.cfg)中，从而判断待监控的数据表是否包括将被更新的目标数据表。

在步骤S208中，当待监控的所述数据表包括将被更新的所述数据表时，记录将被更新的所述数据表当前的第一信息。

例如可以建立一个配置表，并以该监控作业的标识(ID)来为该配置表命名。如该监控作业的标识为1000001，则创建该配置表为1000001.cfg。该配置文件可以包括该监控作业的标识、该将被更新的目标表的名称及路径，该第一信息例如可以包括该将被更新的目标表的文件大小、文件更新时间等。目标文件的路径可以由从程序日志中获取的数据更新范围转化而成。

表一是根据一示例示出的该配置表，但本发明不以此为限。

表一

在步骤S210中，判断将被更新的数据表是否被更新完成。

在数据仓库中的程序被启动后，直到程序执行结束前，该监控作业会一直存在。因此，例如可以不断扫描该监控作业是否依然存在，即该监控作业是否被结束，来判断将被更新的数据表是否被更新完成。如果该监控作业不存在了，则判断将被更新的数据表被更新完成。

在步骤S212中，当将被更新的数据表被更新完成时，记录数据表被更新后的第二信息。

当监控任务被结束了，即将被更新的数据表被更新完成，重新从程序日志中统计该数据表的信息，即更新后的第二信息，并将其记录到上述配置表中。第二信息例如包括：该数据表的文件大小、更新时间等。

表二是根据一示例示出的更新后的该配置表，但本发明不以此为限。

表二

在步骤S214中，判断第一信息与第二信息是否相同。

当更新完该监控作业的最后信息后，将每个目标数据表的第一信息与第二信息进行比对，判断两者是否相同。

在步骤S216中，当第一信息与第二信息不同时，发送该数据表的更新通知。

当第一信息与第二信息存在差异时，触发通知功能，发送该数据表的更新通知。例如，向其他使用该数据表的使用者发送该更新通知，以及时通知其他使用者该数据表被更新，以避免其他使用者使用未更新的该数据表进行相关计算，导致数据错误。其他使用者例如也可以与待监控的数据表一起被配置于上述配置文件base.cfg中。

当该监控作业中所有发生变化的目标数据表均被通知完成后，删除该监控作业的配置表1000001.cfg。

本发明实施方式的数据仓库数据表的监控方法，进一步通过启动监控作业的方式对待监控的数据表进行监控，从而当待监控数据表中的至少其中之一发生更新时，可及时通知其他使用该数据表的使用者，确保了数据仓库数据表中数据的一致性，避免数据错误，提升了数据仓库数据的处理效率。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图3是根据一示例性实施方式示出的一种数据仓库数据表的监控装置的框图。该装置例如可以应用于数据仓库的服务器中。如图3所示，该监控装置30包括：数据表检测模块302、数据表判断模块304、第一信息记录模块306、更新判断模块308、第二信息记录模块310、信息判断模块312、通知发送模块314。

其中，数据表检测模块302用于检测数据仓库中是否有数据表将被更新。

数据表判断模块304用于当检测到所述数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的所述数据表。

第一信息记录模块306用于当待监控的所述数据表包括将被更新的所述数据表时，记录将被更新的所述数据表当前的第一信息。

更新判断模块308用于判断将被更新的所述数据表是否被更新完成。

第二信息记录模块310用于当将被更新的所述数据表被更新完成时，记录所述数据表被更新后的第二信息。

在一些实施例中，所述第一信息和所述第二信息被记录于一配置表中，所述配置表还包括：所述监控作业的标识、所述数据表的名称及所述数据表的路径。

信息判断模块312用于判断所述第一信息与所述第二信息是否相同。

通知发送模块314用于当所述第一信息与所述第二信息不同时，发送所述数据表的更新通知。

在一些实施例中，通知发送模块314还用于向所述数据表的所有使用者发送所述更新通知。待监控的所述数据表及待监控的所述数据表的所有使用者信息被配置于一配置文件中。

本发明实施方式的数据仓库数据表的监控装置，通过监控所有有可能发生更新的数据表，当这些数据表中的至少其中之一发生更新时，及时通知其他使用该数据表的使用者，从而确保数据仓库数据表中数据的一致性，避免数据错误，提升数据仓库数据的处理效率。

图4是根据一示例性实施方式示出的另一种数据仓库数据表的监控装置的框图。该装置例如可以应用于数据仓库的服务器中。相比于图3所示的监控装置30，图4所示的监控装置40的不同之处在于：

数据表检测模块402包括：监控子模块4022及检测子模块4024。

其中监控子模块4022用于当所述数据仓库中的任务指令开始被执行时，启动一监控作业，产生并记录程序日志，其中所述程序日志包括：将被更新的所述数据表。

检测子模块4024用于检测所述程序日志，以检测所述数据仓库中是否有数据表将被更新。

更新判断模块408包括：监控作业判断子模块4082，用于判断所述监控作业是否被结束，如果所述监控作业被结束，则判断将被更新的所述数据表被更新完成。

本发明实施方式的数据仓库数据表的监控装置，进一步通过启动监控作业的方式对待监控的数据表进行监控，从而当待监控数据表中的至少其中之一发生更新时，可及时通知其他使用该数据表的使用者，确保了数据仓库数据表中数据的一致性，避免数据错误，提升了数据仓库数据的处理效率。

需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施方式的方法。

以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (13)

1.一种数据仓库数据表的监控方法，其特征在于，包括：

检测数据仓库中是否有数据表将被更新；

当检测到所述数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的所述数据表；

当待监控的所述数据表包括将被更新的所述数据表时，记录将被更新的所述数据表当前的第一信息；

判断将被更新的所述数据表是否被更新完成；

当将被更新的所述数据表被更新完成时，记录所述数据表被更新后的第二信息；

判断所述第一信息与所述第二信息是否相同；以及

当所述第一信息与所述第二信息不同时，发送所述数据表的更新通知。

2.根据权利要求1所述的方法，其特征在于，检测数据仓库中是否有数据表将被更新包括：

当所述数据仓库中的任务指令开始被执行时，启动一监控作业，产生并记录程序日志，所述程序日志包括：将被更新的所述数据表；以及

检测所述程序日志，以检测所述数据仓库中是否有数据表将被更新。

3.根据权利要求2所述的方法，其特征在于，判断将被更新的所述数据表是否被更新完成包括：判断所述监控作业是否被结束，如果所述监控作业被结束，则判断将被更新的所述数据表被更新完成。

4.根据权利要求2或3所述的方法，其特征在于，所述第一信息和所述第二信息被记录于一配置表中，所述配置表还包括：所述监控作业的标识、所述数据表的名称及所述数据表的路径。

5.根据权利要求1-3任一项所述的方法，其特征在于，发送所述数据表更新通知包括：向所述数据表的所有使用者发送所述更新通知。

6.根据权利要求2所述的方法，其特征在于，待监控的所述数据表及待监控的所述数据表的所有使用者信息被配置于一配置文件中。

7.一种数据仓库数据表的监控装置，其特征在于，包括：

数据表检测模块，用于检测数据仓库中是否有数据表将被更新；

数据表判断模块，用于当检测到所述数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的所述数据表；

第一信息记录模块，用于当待监控的所述数据表包括将被更新的所述数据表时，记录将被更新的所述数据表当前的第一信息；

更新判断模块，用于判断将被更新的所述数据表是否被更新完成；

第二信息记录模块，用于当将被更新的所述数据表被更新完成时，记录所述数据表被更新后的第二信息；

信息判断模块，用于判断所述第一信息与所述第二信息是否相同；以及

通知发送模块，用于当所述第一信息与所述第二信息不同时，发送所述数据表的更新通知。

8.根据权利要求7所述的装置，其特征在于，数据表检测模块包括：

监控子模块，用于当所述数据仓库中的任务指令开始被执行时，启动一监控作业，产生并记录程序日志，其中所述程序日志包括：将被更新的所述数据表；以及

检测子模块，用于检测所述程序日志，以检测所述数据仓库中是否有数据表将被更新。

9.根据权利要求8所述的装置，其特征在于，所述更新判断模块包括：监控作业判断子模块，用于判断所述监控作业是否被结束，如果所述监控作业被结束，则判断将被更新的所述数据表被更新完成。

10.根据权利要求8或9所述的装置，其特征在于，所述第一信息和所述第二信息被记录于一配置表中，所述配置表还包括：所述监控作业的标识、所述数据表的名称及所述数据表的路径。

11.根据权利要求7-9任一项所述的装置，其特征在于，所述通知发送模块还用于向所述数据表的所有使用者发送所述更新通知。

12.根据权利要求11所述的装置，其特征在于，待监控的所述数据表及待监控的所述数据表的所有使用者信息被配置于一配置文件中。

13.一种数据仓库数据表的监控系统，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中所述处理器配置为经由执行所述可执行指令来执行以下操作：

检测数据仓库中是否有数据表将被更新；

当检测到所述数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的所述数据表；

当待监控的所述数据表包括将被更新的所述数据表时，记录将被更新的所述数据表当前的第一信息；

判断将被更新的所述数据表是否被更新完成；

当将被更新的所述数据表被更新完成时，记录所述数据表被更新后的第二信息；

判断所述第一信息与所述第二信息是否相同；以及

当所述第一信息与所述第二信息不同时，发送所述数据表的更新通知。