CN105630580A - 基于调度平台的数据汇总方法及数据汇总装置 - Google Patents

Abstract

本发明提供一种基于调度平台的数据汇总方法及数据汇总装置，该方法包括汇总调度平台单元轮询触发汇总入口进程，并在接收到触发信息后扫描任务队列，根据多个汇总任务的优先级别依次执行任务队列中的汇总任务；执行汇总任务时，清除先前的汇总结果以及备份表中的所有数据，并从原始数据中提取符合当前汇总条件的数据到中转表，将中转表中的数据备份至备份表；从备份表及原始数据表中提取需要实时汇总处理的数据，并根据备份表的数据以及原始数据表的数据采用退旧加新的方法将变更后的数据汇总至汇总表中。该装置应用上述方法对数据进行汇总。本发明的方法在数据汇总过程中运算量小，效率高，并且可以实现数据的实时汇总。

Description

基于调度平台的数据汇总方法及数据汇总装置

技术领域

本发明涉及数据的处理领域，尤其是一种基于调度平台的数据汇总方法以及数据汇总装置。

背景技术

人们在日常生活、工作中经常需要对各种各样的数据进行汇总、分析、处理，尤其在现代企业中，集团总部和各子公司的各种凭证、单据及其他业务数据量非常庞大，要想在这些海量的数据中查询统计数据或出具报表，工作量非常巨大。

现在的大部分企业使用数据汇总、分析软件对大量的数据进行汇总、分析，然而，由于企业需要处理的数据量过于巨大，这些数据汇总、分析的软件在性能上形成了瓶颈，未能满足数据分析的要求。并且，从海量大数据中分析统计数据同时也给数据库及应用服务带来相当大的压力，从而影响甚至拖垮整个系统性能。因此，如何快速响应查询、统计、分析及出具报表等就成了数据汇总软件必须解决的重大问题。

现有的一些数据汇总系统，如联机分析处理(On-LineAnalyticalProcessing，OLAP)等系统的应用推进了用于提取对企业决策分析有用的信息的数据仓库，数据仓库技术在数据统计分析上优势相当大，但由于其需要预处理后数据才可使用，这样的方式无法满足信息管理系统中实时性要求相当高的特点，因此这类的数据处理方式方法并不适合现代的信息管理系统。

此外，现代的信息管理系统中并发录入数据的可能性相当大，数据汇总的过程中往往需要根据汇总统计规则把录入的数据统计后更新到汇总相关表，相关表如果不做加锁处理，则有可能由于脏数据等原因导致数据不正确，因此做这类的数据处理，需要采用加锁方式实现。通常，加锁方式可采用服务端加锁或数据库端对数据进行加锁等，但这些加锁方式都可能会带来资源竞争及导致程序复杂度相当高，不便于后续的开发维护等处理。因此，需要考虑一套合理的方案来简单有效地解决加锁问题。

发明内容

本发明的主要目的是提供一种数据处理量较少的基于调度平台的数据汇总方法。

本发明的另一目的是提供一种数据处理性能较好的基于调度平台的数据汇总装置。

为了实现上述的主要目的，本发明提供的基于调度平台的数据汇总方法包括汇总调度平台单元轮询触发汇总入口进程，并在接收到触发信息后扫描任务队列，根据多个汇总任务的优先级别依次执行任务队列中的汇总任务；执行汇总任务时，清除先前的汇总结果以及备份表中的所有数据，并从原始数据中提取符合当前汇总条件的数据到中转表，将中转表中的数据备份至备份表；从备份表及原始数据表中提取需要实时汇总处理的数据，并根据备份表的数据以及原始数据表的数据采用退旧加新的方法将变更后的数据汇总至汇总表中。

由上述方案可见，数据汇总时通过预先提取符合条件的数据到备份表中，避免以原始数据作为基础汇总数据，数据的处理量较少。并且，由于数据汇总方法能够在全量汇总的基础上实现实时汇总，即使汇总的数据量庞大，也能及时地实现实时数据汇总，提升数据汇总的性能。此外，通过汇总调度平台单元对多个汇总任务进行调度，实现对多个汇总任务的调度，使数据汇总处理更加高效。

一个优选的方案是，汇总调度平台单元扫描任务队列前，接收创建汇总任务的命令和/或调整汇总任务执行优先等级的命令，并在任务队列中创建汇总任务和/或调整汇总任务的执行优先等级。

由此可见，汇总调度平台单元能够根据接收的命令调节各个汇总任务的处理优先顺序或者创建汇总任务，数据汇总操作更加灵活。

另一个优选的方案是，汇总调度平台单元在汇总任务完成后，判断所完成的汇总任务为周期性任务时，设定该任务的下次执行时间，并将该汇总任务保留在任务队列中。

可见，通过查询数据汇总的周期性可以设置周期性的汇总任务的周期性操作时间，方便周期性的汇总任务的执行。

再一个优选的方案是，执行实时汇总任务时，所采用的退旧加新的方法是：将备份表中的数据乘以-1，然后与原始数据表的数据相加计算差额数据，将差额数据汇总至汇总表中。

由此可见，采用退旧加新的方法对数据进行汇总，而不是采用直接将新的数据替代备份数据，这样可以增加汇总数据的准确性。

为实现上述的另一目的，本发明提供的基于调度平台的数据汇总装置包括汇总调度模块、全量汇总模块以及实时汇总模块，汇总调度模块使用汇总调度平台单元轮询触发汇总入口进程，并在接收到触发信息后扫描任务队列，根据多个汇总任务的优先级别依次执行任务队列中的汇总任务；全量汇总模块用于清除先前的汇总结果以及备份表中的所有数据，并从原始数据中提取符合当前汇总条件的数据到中转表，将中转表中的数据备份至备份表；实时汇总模块用于从备份表及原始数据表中提取需要实时汇总处理的数据，并根据备份表的数据以及原始数据表的数据采用退旧加新的方法将变更后的数据汇总至汇总表中。

由上述方案可见，通过汇总调度平台单元对多个汇总任务的调度，提高对汇总任务的处理效率。此外，数据汇总装置能够实现全量汇总、实时汇总等功能，提升数据汇总装置的性能，满足企业对大量数据进行实施汇总的要求。此外，由于数据汇总装置不需要对数据进行预处理，只需要对原始数据提取后进行汇总，数据汇总的运算量较少，提高数据汇总的效率。

附图说明

图1是本发明数据汇总装置实施例的结构框图。

图2是本发明数据汇总方法实施例中的汇总调度步骤的流程图。

图3是本发明数据汇总方法实施例中的全量汇总步骤的流程图。

图4是本发明数据汇总方法实施例中的实时汇总步骤的流程图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的数据汇总方法用于对大量的数据进行汇总、分析，数据汇总装置是应用上述方法实现对数据汇总分析的装置。

参见图1，本实施例的数据汇总装置包括汇总配置模块10、汇总调度模块11、全量汇总模块15以及实时汇总模块16，汇总调度模块11内设有周期性执行模块12。

汇总配置模块10用于对汇总任务的汇总方案进行配置，即根据汇总的任务需求配置汇总的方案，由此形成汇总方案主表以及汇总方案明细表，方案主表用于描述汇总方案及表示方案是否停用，方案明细表用于描述汇总方案的维度、统计项及能参与汇总处理的数据条件表达式。

汇总调度模块11应用汇总调度平台单元对汇总任务进行调度，如接收触发信息，并根据触发信心扫描汇总任务队列，并执行任务队列中的汇总任务。同时，根据汇总任务的执行情况决定是否需要删除汇总任务，对于周期性执行的汇总任务，还需要确定该周期性执行的任务下次执行时间等等。周期性汇总任务的执行由周期性执行模块12控制汇总任务的执行时间、执行间隙等。

全量汇总模块15用于对数据进行全量汇总，采样全清全汇的方式对原始数据进行统计汇总处理，并将汇总的数据保存至汇总表中。实时汇总模块16用于对数据进行实时汇总处理，从海量的原始数据中获取需要汇总的数据，并将需要汇总的数据提取后，根据汇总的需要采用退旧加新的方式得到汇总后的数据，将汇总后的数据保持至汇总表中。

汇总调度模块11是由汇总调度平台单元通过汇总管理工具管理汇总任务的调度、汇总任务及与调度相关参数设置，并通过汇总管理工具创建汇总任务调度来触发处理提交到汇总任务调度队列中的汇总任务。汇总调度平台单元也会扫描汇总任务配置表中的周期性任务，如在任务配置表中存在但任务执行队列里面不存在该任务，汇总调度平台单元将把该任务增加到汇总任务队列，并通过调度周期性地执行该周期任务。汇总调度平台单元由汇总任务类型配置表、汇总调度作业单元及汇总工具共同组成。

汇总任务类型配置表中的一条记录描述了一种汇总任务类型，该任务描述表示了汇总调度平台单元触发了这种汇总任务后调用的过程、过程执行的节点及调用的周期等。其中，汇总任务类型配置表主要包括：任务类别、任务描述、任务周期(任务周期，可表示一次性任务或者是以分钟为单位的周期性任务)、任务处理过程名称、线程优先级以及运行节点等。

汇总调度作业单元可以使oraclejob任务调度实现，汇总调度平台单元可通过汇总管理工具创建job任务调度，也可以通过工具删除job任务调度。通过汇总工具也可以设置汇总线程数，该汇总线程数对应的是在oracle数据库中创建的汇总任务调度个数，设置多少个便可以创建多少个调度。基于数据库压力及性能考虑，最多可支持5条线程。这些线程调度同时启动的情况下可同时并行执行处理不同的汇总任务类型，从而达到多类型汇总并行计算处理的效果。

下面结合图2说明汇总调度模块11的工作流程。

首先，汇总调度模块11接收配置汇总方案的信息，也就是执行步骤S1，配置汇总方案的信息由汇总配置模块10发出，配置汇总方案的信息包含是否创建汇总任务的信息、调整汇总任务执行的优先等级的信息。

然后，汇总调度模块11执行步骤S2，由Oraclejob调度轮询触发汇总入口过程，判断是否接收到触发信息。如在调度触发汇总入口过程后，即接收到触发信息后，RUN_JOB将扫描任务队配置表及汇总任务对列表，判断任务队列中是否有需要执行的汇总任务。

接着，汇总调度模块11执行步骤S3，判断任务队列中没有需要执行的汇总任务，则调度完成，待启动下一次调度操作。如果扫描到有需要执行的汇总任务，则根据配置方案的汇总任务的优先等级排序，取出优先等级最高的任务，假如多个汇总任务都是同一优先等级的汇总任务，则取出预计处理时间最先的汇总任务，即执行步骤S4。同时，还需要根据获取的汇总任务的类型获取执行该汇总任务的参数类型、该汇总任务的周期性参数等信息。

根据优先等级机制或时间排序规则取到需处理的任务后，汇总调度平台单元根据取到的汇总任务类别动态调用对应的过程处理汇总任务，即执行步骤S5。

汇总任务处理完成后，汇总调度平台单元将判断该任务是否为周期性任务，即执行步骤S6，如果是周期性任务，则修改该汇总任务下次执行启动时间，执行步骤S7，待下次启动。如果该汇总任务不是周期性汇总任务，则执行步骤S8，处理完汇总任务后从任务队列中删除该汇总任务。

在当前汇总任务处理完成后，汇总调度平台单元将再次执行步骤S2，接收触发信息，并在接收到触发信息后扫描任务队列。

汇总调度平台单元的汇总管理工具用于管理汇总调度作业的操作，可启动或删除汇总调度作业，也可以用于调整任务队列中正处于等待状态的汇总任务处理优先等级，比如有某个正在排队的汇总任务需要优先处理，便可通过汇总工具调整该汇总任务的计划开始处理时间，以便待当前正在处理的汇总任务处理完后优先处理该汇总任务。

全量汇总模块15用于对数据进行全量汇总处理，汇总数据是在原始数据的基础上按业务规则统计汇总生成汇总数据到相关汇总表中。全量汇总模块15采用先清除掉汇总结果表及已汇总原始数据备份表中的所有数据，如使用TRUNCATE方式可回收表空闲块以提高数据访问性能，然后从原始凭证等数据中提取符合汇总条件的数据到临时中转表，提取的数据通过业务规则加工处理形成汇总数到汇总表中。

参见图3，全量汇总模块15对汇总的数据进行汇总操作时，首先清除先前的汇总结果，即执行步骤S11，并且将备份表的数据也一并清除。然后，执行步骤S12，从原始数据中提取符合汇总条件的数据至临时中转表中，再执行步骤S13，将中转表中的数据备份至备份表，这一步骤是通过将临时中转表将与汇总的备份表采用交换表分区的方式把参与汇总的数据快速地备份到备份表中，以供后续的实时汇总采用退旧加新的算法实时汇总数据。最后，执行步骤S4，将汇总数据生成至汇总表。

实时汇总模块16采用退旧加新的方法把调整变更后的数据汇总到汇总表中，参加图4，实时汇总模块16执行实时汇总的方法是首先从备份表以及原始数据表中提取需要实时汇总的数据，例如在凭证、单据等业务数据在生成的过程中，调用汇总提供的接口把该张凭证或单据的汇总任务提交到汇总调度平台单元的汇总任务队列，汇总调度平台单元根据调度机制轮询汇总任务队列，扫描到有实时汇总任务时便调用触发相应的处理过程，处理过程中将从汇总备份表中扫描是否有该张凭证或单据的汇总备份，如有将取出备份表中的数据并乘以-1，即执行步骤S21。

然后，执行步骤S22，删除备份表对应的备份数据，并且重新备份新的数据。接着，执行步骤S23，采用退旧加新的方法计算变更后的数据，也就是将备份表中的数据并乘以-1以后，与本张凭证或单据新数据合并计算差额，计算差额后根据汇总规则把该差额数据汇总合并到汇总表中，从而保证汇总数据的正确性。下面描述退旧加新方法的计算过程：

例如，原已参与汇总凭证数据为：

凭证ID	科目	借方金额	贷方金额
				100052	10001	5800
100052	10002		5800

表1

这个凭证汇总到汇总表后形成的数据简单为：

科目	借方金额	贷方金额
			10001	5800
10002		5800

表2

修改后的凭证数据为：

凭证ID	科目	借方金额	贷方金额
				100052	10001	7800

100052

10002

7800

表3

采用退旧加新算法把这张凭证修改前后的数据提取到临时中转表中数据为：

科目	借方金额	贷方金额
			10001	-5800
10002		-5800
			10001	7800
10002		7800

表4

表4中数据通过科目的分组合计形成这张凭证修改前后的差额数据为：

科目	借方金额	贷方金额
			10001	-5800
10002		-5800
			10001	7800
10002		7800

表5

上面数据通过维度分组合并后形成差额数据：

科目	借方金额	贷方金额
			10001	2000
10002		2000

表6

把上面的差额数据合并到汇总表中便形成了最终汇总数据：

科目	借方金额	贷方金额
			10001	7800
10002		7800

可见，通过退旧加新的方法计算新的汇总数据，可以提高更新后的数据的准确性。

由于本发明应用汇总调度平台单元对多个汇总任务进行调度，控制每一个汇总任务的创建、删除、周期性执行，并根据实际执行情况调整不同汇总任务的执行优先等级，也就是调节多个汇总任务的执行先后顺序，提高数据汇总的效率。

此外，数据汇总操作进行全量数据汇总时，从原始数据中提取符合汇总条件的数据进行汇总处理，对数据汇总的处理量较小，也有利于实时汇总的进行，满足企业对海量数据进行实时汇总的需要。

最后需要强调的是，本发明不限于上述实施方式，如执行退旧加新方法的具体运算方法的改变、将中转表的数据备份至备份表的具体执行方法的改变等变化也应该包括在本发明权利要求的保护范围内。

Claims (10)

1.基于调度平台的数据汇总方法，其特征在于：包括

汇总调度平台单元轮询触发汇总入口进程，并在接收到触发信息后扫描任务队列，根据多个汇总任务的优先级别依次执行所述任务队列中的汇总任务；

执行汇总任务时，清除先前的汇总结果以及备份表中的所有数据，并从原始数据中提取符合当前汇总条件的数据到中转表，将所述中转表中的数据备份至所述备份表；

从所述备份表及原始数据表中提取需要实时汇总处理的数据，并根据所述备份表的数据以及所述原始数据表的数据采用退旧加新的方法将变更后的数据汇总至所述汇总表中。

2.根据权利要求1所述的基于调度平台的数据汇总方法，其特征在于：

所述汇总调度平台单元扫描所述任务队列前，接收创建汇总任务的命令和/或调整汇总任务执行优先等级的命令，并在所述任务队列中创建汇总任务和/或调整汇总任务的执行优先等级。

3.根据权利要求1或2所述的基于调度平台的数据汇总方法，其特征在于：

所述汇总调度平台单元在汇总任务完成后，判断所完成的汇总任务为周期性任务时，设定该任务的下次执行时间，并将该汇总任务保留在所述任务队列中。

4.根据权利要求1或2所述的基于调度平台的数据汇总方法，其特征在于：

将所述中转表中的数据备份至所述备份表的步骤是对所述中转表与所述备份表执行交换表分区的操作。

5.根据权利要求1或2所述的基于调度平台的数据汇总方法，其特征在于：

所述调度平台单元执行多个优先等级相同的汇总任务时，先执行预计处理时间最先的汇总任务。

6.根据权利要求1或2所述的基于调度平台的数据汇总方法，其特征在于：

执行实时汇总任务时，所采用的退旧加新的方法是：将所述备份表中的数据乘以-1，然后与所述原始数据的数据相加计算差额数据，将所述差额数据汇总至所述汇总表中。

7.基于调度平台的数据汇总装置，其特征在于：包括

汇总调度模块，汇总调度平台单元轮询触发汇总入口进程，并在接收到触发信息后扫描任务队列，根据多个汇总任务的优先级别依次执行所述任务队列中的汇总任务；

全量汇总模块，清除先前的汇总结果以及备份表中的所有数据，并从原始数据中提取符合当前汇总条件的数据到中转表，将所述中转表中的数据备份至所述备份表；

实时汇总模块，从所述备份表及原始数据表中提取需要实时汇总处理的数据，并根据所述备份表的数据以及所述原始数据表的数据采用退旧加新的方法将变更后的数据汇总至所述汇总表中。

8.根据权利要求7所述的基于调度平台的数据汇总装置，其特征在于：

还包括汇总配置模块，接收创建汇总任务的命令和/或调整汇总任务执行优先等级的命令，并在所述任务队列中创建汇总任务和/或调整汇总任务的执行优先等级。

9.根据权利要求7或8所述的基于调度平台的数据汇总装置，其特征在于：

所述汇总调度模块设有周期性执行模块，在汇总任务完成后，判断所完成的汇总任务为周期性任务时，设定该任务的下次执行时间，并将该汇总任务保留在所述任务队列中。

10.根据权利要求7或8所述的基于调度平台的数据汇总装置，其特征在于：

所述全量汇总模块将所述中转表中的数据备份至所述备份表通过对所述中转表与所述备份表执行交换表分区的操作实现。