CN101685452A - 数据仓库调度方法及调度系统 - Google Patents

Abstract

一种数据仓库调度方法，用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据，包括以下步骤：(1)预先建立保存每一节点之依赖关系的节点关系表，所述依赖关系至少包括所述节点的所有前置节点；(2)预先建立用于保存每一节点当前状态的节点池记录表；(3)节点分配器定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点，放入待处理池；(4)数据处理单元不间断地进行节点执行操作，直至待处理池中不再出现节点；每一节点执行操作包括：从待处理池中取出若干个节点，执行每一节点，并把执行的结果保存至节点池记录表中该节点的当前状态。

Description

数据仓库调度方法及调度系统

技术领域

本发明涉及数据库领域，尤其涉及数据仓库中调度方法及调度系统。

背景技术

数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。也就是说，对所有的应用系统，例如客户关系管理(CRM，Customer Relationship Management)系统、财务系统等，按主题进行集成，并记录整个历史变化情况。随着企业信息化程度的不断提高，企业内部积累了大量的业务数据，数据仓库用于对这些相互独立、分散的数据进行统一处理，以满足企业高层决策与分析需要。

参照图1，其为数据仓库系统的体系结构框图。整个数据仓库系统是一个包含四个层次的体系结构，包括数据源101、数据仓库102、联机分析处理(OLAP，on-line analytical processing)系统103及前端工具104，其中：

数据源101，是数据仓库系统的基础，通常包括企业内部信息和外部信息。内部信息包括各种业务处理数据和各类文档数据，外部信息包括各类法律法规、市场信息和竞争对手的信息等。例如，CRM系统，财务系统。

数据仓库102，是以数据表的结构存储所述数据源101的数据，每个数据表对应一个数据对象，一个数据源可以对应多个数据对象。

OLAP系统103，用于对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。

前端工具104，主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库的应用开发工具，实现对数据仓库102的访问。其中，数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。

数据源101中的数据实时进行更新，以网络交易为例，网络上实时进行很多操作，如新会员进行注册、老会员修改信息、商品进行交易等等，这些数据实时地在数据源101中进行保存或修改。服务器通常需要定期根据数据源101中的数据处理数据仓库102中的数据。调度包括两方面的内容，同步/刷新。“同步”是指将数据源的数据复制到数据仓库。“刷新”是指对原始数据进行处理、计算，更新数据仓库的数据。

还是以网上交易为例，当用户甲完成会员注册后，当天进行了N笔商品的交易。这些数据实时的记录在数据源101中。数据仓库102定时每天将这些数据复制过来，我们称之为“同步”。假设数据仓库102中包括一张宽表，该宽表中每一记录表示一个会员的基本信息和交易信息，该宽表的字段包括“用户名”、“用户地址”、“用户身份信息”、“用户首次注册时间”、“用户当天交易额”、“用户累计交易额”等，服务器以天为单位，通过对原始数据的计算，修改数据仓库102中数据，我们称之为“刷新”。

并且，服务器定期根据数据源101中的数据处理数据仓库102中的数据时，将处理可通过设置若干任务等来完成，每一任务完成一次或一批数据仓库102中的数据同步/刷新。还是以上例来说明，建立任务1来完成从数据源101同步数据到数据仓库102，建立任务2来完成宽表中“用户名”、“用户地址”、“用户身份信息”、“用户首次注册时间”等字段的数据的更新，建立任务3来完成宽表中“用户当天交易额”字段的更新，建立任务4来完成宽表中“用户累计交易额”字段的更新。任务2和任务3是需要先后顺序，再完成任务2后才能完成任务3。上述实现根据数据源101中的数据处理数据仓库102中数据的过程，我们称之为数据仓库102的调度。

现有的数据仓库调度方法包括以下步骤：

首先，将所有的任务等需要处理器处理的单元划按照数据处理类型分为同步处理单元和刷新处理单元；

接着，确认同步处理单元中任务执行的规则；

随后，按照任务的依赖关系(比如，任务3依赖于任务2)以及服务器性能等来确认刷新处理单元中一共有多少条执行线并排执行，以及每一执行线中的任务个数及任务的先后顺序(如图2所示)；

随后，服务器先执行同步处理单元中每一任务；

最后，当同步处理单元中每一任务都执行完毕后，按照处理单元中设定的并排执行线及每一执行线的任务，并排执行该些任务。

上述的数据仓库调度方法存在以下缺陷：

第一，同步和刷新没有天然的先后顺序，刷新中的很多任务只依赖一部分的同步，不需要等所有的同步处理单元中的任务执行完毕再进行刷新工作，这种调度方式容易造成机器资源不能充分被利用，容易造成资源浪费。

第二，刷新处理单元中的每一执行线上的任务都是以串行的方式进行执行的，还是以图2为例，必须是先执行任务11、等任务11执行完毕再执行任务12，.....依次类推，执行线上任何一个任务执行失败，整个执行线都要停下来，后续无关任务无法运行或直接跳过失败的任务，事实上执行线上所有的任务都是有依赖关系的，假设任务12依赖于任务11、任务13依赖于任务11，再建立执行线时只能建立成”任务11-任务12-任务13....”，或者”任务11-任务13-任务12....”，若执行线建立成”任务11-任务12-任务13....”，当任务12出现执行失败时，任务13将也无法执行，即现有的调度方式存在任意一个任务失败以后，后续无关任务也无法运行，导致后续任务数据不准确的问题，特别是当发生这些问题时，技术人员需要花大量精力去解决它，费时费力且效率差。

第三，现有的调度方法中，不能在服务器中预先设定替代方案来处理失败任务，不具有扩展性。特别当为了某些客户需求，需要在现有的数据仓库中增加一些新的表时，通常需要新增任务来完成该表中的数据与数据源中数据的更新过程，现有的调度方法不具有扩展性，需要对刷新处理单元进行重新设定，比如对刷新处理单元整个执行线进行修改，修改其执行线上的任务个数及任务执行先后顺序，甚至是对所有执行线的划分进行修改。

发明内容

本发明的第一目的在于提供一种数据仓库调度方法，以解决现有调度时资源浪费大、扩展性的技术问题。

本发明的第二目的在于提供一种数据仓库调度系统，以解决现有调度时资源浪费大、扩展性的技术问题。

为了达到上述目的，本发明一种数据仓库调度方法，用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据，包括以下步骤：

(1)预先建立保存每一节点之依赖关系的节点关系表，所述依赖关系至少包括所述节点的所有前置节点；

(2)预先建立用于保存每一节点当前状态的节点池记录表；

(3)定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点，放入待处理池；

(4)不间断地进行节点执行操作，直至待处理池中不再出现节点；每一节点执行操作包括：从待处理池中取出若干个节点，执行每一节点，并把执行的结果保存至节点池记录表中该节点的当前状态。

本发明较优地，步骤(3)之前还包括：预先建立替代池，所述替代池中保存节点的所有替代节点信息；步骤(3)还包括：当查询到节点池记录表中的节点之当前状态为处理出错时，先访问所述替代池，若从中找到一替代节点，则将所述替代节点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

本发明还可以通过以下方式来实现，步骤(2)还包括，节点池记录表预先设置节点的处理出错次数；步骤(3)还包括，当查询到节点池记录表中的节点之当前状态为处理出错时，进一步获得所述节点的处理出错次数，在访问所述替代池时，若节点的处理出错次数＜所述节点的替代节点个数+1时，则从中找到其它的替代节点，并将该替代接点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

步骤(4)之后还包括：每次调度结束后，若还存在节点未执行，则将未执行的节点更新至初始状态，重新运行步骤(2)和步骤(3)。

并且，步骤(4)中是根据设备的处理能力来确定从待处理池中取出的节点个数N，并且是以并行方式来运行N个节点。

本发明还可以给节点设立优先级，步骤(2)还包括，预先在节点池记录表中设置每一节点的优先级配置；步骤(4)还包括，是按照优先级顺序来从待处理池中取出N个节点。

本发明还公开了一种数据仓库调度系统，用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据，包括处理器和存储单元，

所述存储单元进一步包括：节点关系表：用于保存每一节点之依赖关系，所述依赖关系至少包括所述节点的所有前置节点；节点池记录表：用于保存每一节点包括其当前状态的节点信息；

所述处理器至少包括节点分配器和数据处理单元，

节点分配器：至少包括常规节点分配单元，用于定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点，放入待处理池；

数据处理单元：用于不间断地进行节点执行操作，直至待处理池中不再出现节点；每一节点执行操作包括：从待处理池中取出若干个节点，执行每一节点，并把执行的结果保存至节点池记录表中该节点的当前状态。

存储单元还包括替代池，用于保存节点的所有替代节点信息。

节点分配器还包括修复节点分配单元，用于当查询到节点池记录表中的节点之当前状态为处理出错时，先访问所述替代池，若从中找到一替代节点，则将所述替代节点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

与现有技术相比，本发明具有以下的优点：

第一：本发明的节点充分并行，最大限度提高机器资源；

第二：本发明的调度方式具有很强的扩展性，数据仓库上新项目以后，只需要在节点关系表中新加新节点的前置关系，不需要动任何历史配置，更不需要动整个架构；

第三：对错误的修复功能，可以使用替代节点去代替错误节点；

第四：当出现错误节点(即节点池记录表中的节点之当前状态为处理出错)，并且无法自动修复的时候，系统完成其他所有没有依赖关系的节点以后，调度终止。由于该错误节点的出现，以该节点为前置节点的节点都不会被调度，后续技术人员只需对错误节点进行修复后，重新调度调度程序，即执行步骤(3)步骤(4)，从而实现数据处理出现断电点的无缝连接。

附图说明

图1为数据仓库系统的体系结构框图；

图2为刷新处理单元的一结构示例图；

图3为本发明一种数据仓库调度系统的原理结构示意图；

图4为本发明数据仓库调度方法的流程图。

具体实施方式

以下结合附图，具体说明本发明。

请参阅图3，其为本发明一种数据仓库调度系统的原理结构示意图。该调度系统用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据。

节点是数据仓库的最小数据处理单元，实际操作中，可以将任何一个数据处理单元作为一个节点，我们可以将所有的任务直接作为节点，或者将其拆分成节点。按照上面对用户信息刷新的例子来说，三个刷新任务可以是三个节点，但是最合理的是，比如“用户地址”需要汇总三个不同数据源的数据，那我可以将它变成4个节点来算，前三个节点分别从三个不同的数据源取数，这是三个没有依赖关系的节点，第四个节点是汇总这三部分的信息，他的前置节点是之前的那三个节点。

也就是说，任务可以不拆开来，直接将任务作为节点来运行的。但是拆的越细，就越有利于并行，而且不会增加太多的维护成本。而以往的调度逻辑，就是把一整件事情(任务)，合并在一起处理，因为拆开来以后，维护成本相当大。

本调度系统200包括处理器220和存储单元210。

存储单元210进一步包括：

节点关系表211：用于保存每一节点之依赖关系，依赖关系至少包括所述节点的所有前置节点。节点关系表211中保存每一节点的依赖关系。节点的依赖关系中包括前置节点和后置节点，假设节点2的执行必须用到节点1执行结果的数据，则节点1是节点2的前置节点，换言之，节点2是节点1的后置节点，本发明中保存每一节点的前置节点。节点可以有前置节点，也可以没有前置节点。并且，节点不仅可以有一个前置节点，也可以由多个前置节点，在节点关系表211中预先进行保存，保存每个节点和每个前置节点的对应关系。

节点池记录表212记录每一节点的执行情况，其初始值为未运行，节点的执行情况包括“未运行”“已完成”“处理出错”、“替代处理出错”等。

替代池213，用于保存节点的所有替代节点信息。当有些节点可以有替代节点时，可以为该些节点建立替代池213，用于建立该些节点对应的替代节点信息。这些替代节点和被代替的节点可以采用相同的序号，在正常执行不出错的情况下不会被调用。

待处理池214，用于存储所有可以被处理的节点。该池内的节点可以是已经处于所有前置节点成功处理的节点，或者是没有前置的节点。

处理器220至少包括节点分配器221和数据处理单元222。

节点分配器221：至少包括常规节点分配单元223，用于定期查询节点池记录表212中的节点的当前状态和节点关系表212中节点的依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点，放入待处理池214。节点分配器221还包括修复节点分配单元224，用于当查询到节点池记录表212中的节点之当前状态为处理出错时，先访问所述替代池213，若从中找到一替代节点，则将所述替代节点放入待处理池214，否则停止对该节点及以该节点为前置节点的调度。

数据处理单元222：用于不间断地进行节点执行操作，直至待处理池214中不再出现节点；每一节点执行操作包括：从待处理池214中取出若干个节点，执行每一节点，并把执行的结果保存至节点池记录表212中该节点的当前状态。

事情上，数据仓库调度系统可以为一软件，安装该软件时，在服务器对应的存储空间上建立节点关系表211、节点池记录表212、替代池213和替代池213，节点分配器221和数据处理单元222是逻辑单元，运行该些逻辑单元即可实现查询和运行的功能。

请参阅图4，其为本发明数据仓库调度方法的流程图，用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据，它包括以下步骤：

S110：预先建立保存每一节点之依赖关系的节点关系表，所述依赖关系至少包括所述节点的所有前置节点；

S120：预先建立用于保存每一节点当前状态的节点池记录表。

步骤S110和步骤S120是设置步骤，这两个步骤没有先后顺序，在调度之初，技术人员预先进行设定。

S130：定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点，放入待处理池。步骤S130是节点分配器来完成的，在首次查询时，将没有前置节点的节点，放入待处理池中，在后续查询时，查询所有前置节点的当前状态为已完成的节点，放入待处理池中。

S140：不间断地进行节点执行操作，直至待处理池中不再出现节点；每一节点执行操作包括：从待处理池中取出若干个节点，执行每一节点，并把执行的结果保存至节点池记录表中该节点的当前状态。步骤S140是数据处理单元来完成的。步骤S140中是根据设备的处理能力来确定从待处理池中取出的节点个数N，并且是以并行方式来运行N个节点。并且，步骤S120中预先在节点池记录表中设置每一节点的优先级配置；数据处理单元是按照优先级顺序来从待处理池中取出N个节点。

在本发明中，引入了替代节点这个想法，即预先建立替代池，所述替代池中保存节点的所有替代节点信息；步骤S130还包括：当查询到节点池记录表中的节点之当前状态为处理出错时，先访问所述替代池，若从中找到一替代节点，则将所述替代节点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

并且，替代节点还可以设置多个，此时，可以按照以下的方式完成运行的自动修复功能，即步骤S120还包括，节点池记录表预先设置节点的处理出错次数；步骤S130还包括，当查询到节点池记录表中的节点之当前状态为处理出错时，进一步获得所述节点的处理出错次数，在访问所述替代池时，若节点的处理出错次数＜所述节点的替代节点个数+1时，则从中找到其它的替代节点，并将该替代接点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

另外，步骤S130和步骤S140没有先后顺序，反复在运行。

节点分配器定时判断有哪些节点可以运算，放入待处理池。数据处理单元从待处理池抓取N(N根据机器资源可配置，这是有现有机器性能决定)个节点，进行处理。每处理完一个节点或者一个节点处理失败以后，就从待处理池抓取下一个节点继续处理。

调度开始，将节点池、替代池中所有节点状态设为初始状态。清空待处理池。当数据处理单元完成所有的节点处理，并且在待处理池中不再出现节点。如果执行节点期间没有出现错误，调度结束。数据仓库刷新完成。如果中间出现节点错误，节点分配器将去替代池中寻找是否存在可替代的节点，如果存在，将其放入待处理池。等数据处理单元处理以后，向节点池中原失败节点反馈是否处理成功。另外，数据处理单元处理到没有可处理的节点存在以后，该次调度结束，并检查节点池中节点是否全部处理完成。是，刷新处理完成；否，通知管理员，对其进行处理。

系统中存在未处理完成的节点是因为存在节点运算的错误，需要人工修复。出现这种的情况下，节点池中只有依赖于该节点运算结果的节点不会被执行。管理员修复无法运算的节点，将未运行、运行失败的节点状态恢复到初始状态。重新运行步骤130-步骤140即可。

综上所述，本发明至少具有以下几个特点：

一、并行处理强

1，假设节点分配器定时1分钟，根据节点关系表，从节点池中获取没有前置关系和所有前置节点已经完成的节点，放入待处理池。节点分配器负责寻找所有可以被处理的节点。

2，数据处理单元始终保持从待处理池中获取N个节点进行处理，处理完以后向节点池反馈。以便节点处理器可以获取更多的可处理节点放入待处理池。在这里数据处理单元只要从待处理池中获取N个节点进行处理，这保证了机器的充分并行。

3，我们还可以对节点进行优先级的配置，进入待处理池按照优先级顺序被数据处理单元提取出来处理，优先处理一些紧急节点。

定时1分钟是经验值，会依据机器的资源、性能的变化有所调整。

二、自动修复功能

当节点池中的节点收到数据错误模块的出错信息以后，节点分配器去替代池中去寻找是否存在可替代的节点，如果存在，将其放入待处理池中，到数据处理单元处理完成以后，向节点池反馈该节点成功调度，其他以该节点作为前置条件的节点可以继续调度。

三、断点无缝连接功能

当出现错误节点，并且无法自动修复的时候，调度系统完成其他所有没有依赖关系的节点以后，调度终止。由于该错误节点的出现，后续相关节点都不会被调度，因此不会出现数据上的错误，后续人工对错误节点修复以后，不需要对数据进行修复，也不需要重新调度已经调度完成的节点。只需要将未处理的节点和处理失败的节点状态更新到初始状态，重新运行该调度系统即可。该算法一方面可以将不相关的节点提早处理，不需要等人工修复处理以后再处理，延长数据的处理时间。另一方面暂停相关节点的处理，避免由于前置的错误导致后续节点的计算错误，带来繁杂的数据初始化工作。从而实现数据处理断点以后的一个无缝的连接。

以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域的技术人员能思之的变化，都应落在本发明的保护范围内。

Claims (9)

1、一种数据仓库调度方法，用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据，其特征在于，包括以下步骤：

(1)预先建立保存每一节点之依赖关系的节点关系表，所述依赖关系至少包括所述节点的所有前置节点；

(2)预先建立用于保存每一节点当前状态的节点池记录表；

(3)定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点，放入待处理池；

(4)不间断地进行节点执行操作，直至待处理池中不再出现节点；每一节点执行操作包括：从待处理池中取出若干个节点，执行每一节点，并把执行的结果保存至节点池记录表中该节点的当前状态。

2、如权利要求1所述的数据仓库调度方法，其特征在于，

步骤(3)之前还包括：预先建立替代池，所述替代池中保存节点的所有替代节点信息；

步骤(3)还包括：当查询到节点池记录表中的节点之当前状态为处理出错时，先访问所述替代池，若从中找到一替代节点，则将所述替代节点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

3、如权利要求2所述的数据仓库调度方法，其特征在于，

步骤(2)还包括，节点池记录表预先设置节点的处理出错次数；

步骤(3)还包括，当查询到节点池记录表中的节点之当前状态为处理出错时，进一步获得所述节点的处理出错次数，在访问所述替代池时，若节点的处理出错次数＜所述节点的替代节点个数+1时，则从中找到其它的替代节点，并将该替代接点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

4、如权利要求2或3所述的数据仓库调度方法，其特征在于，步骤(4)之后还包括：

每次调度结束后，若还存在节点未执行，则将未执行的节点更新至初始状态，重新运行步骤(2)和步骤(3)。

5、如权利要求1所述的数据仓库调度方法，其特征在于，步骤(4)中是根据设备的处理能力来确定从待处理池中取出的节点个数N，并且是以并行方式来运行N个节点。

6、如权利要求5所述的数据仓库调度方法，其特征在于，

步骤(2)还包括，预先在节点池记录表中设置每一节点的优先级配置；

步骤(4)还包括，是按照优先级顺序来从待处理池中取出N个节点。

7、一种数据仓库调度系统，用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据，其特征在于，包括处理器和存储单元，

所述存储单元进一步包括：

节点关系表：用于保存每一节点之依赖关系，所述依赖关系至少包括所述节点的所有前置节点；

节点池记录表：用于保存每一节点包括其当前状态的节点信息；

待处理池，用于存储当前可以被处理的节点；

所述处理器至少包括节点分配器和数据处理单元，

节点分配器：至少包括常规节点分配单元，用于定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系，找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点，放入待处理池；

数据处理单元：用于不间断地进行节点执行操作，直至待处理池中不再出现节点；每一节点执行操作包括：从待处理池中取出若干个节点，执行每一节点，并把执行的结果保存至节点池记录表中该节点的当前状态。

8、如权利要求7所述的数据仓库调度系统，其特征在于，

存储单元还包括替代池，用于保存节点的所有替代节点信息。

9、如权利要求8所述的数据仓库调度系统，其特征在于，节点分配器还包括修复节点分配单元，用于当查询到节点池记录表中的节点之当前状态为处理出错时，先访问所述替代池，若从中找到一替代节点，则将所述替代节点放入待处理池，否则停止对该节点及以该节点为前置节点的调度。

Images