CN101963923A - 批量处理多重化方法 - Google Patents

Abstract

本发明提供一种批量处理多重化方法。在由多个节点执行并行处理等多重化处理的系统中，无法应对批量处理中的突发性的处理数据量的增加，即，当数据量如此增加时，通过预定的多重度(数)无法应对这样的变化。因此，在证券交易等中，无法完全应对在特定日中交易件数突然增加，数据处理量增加的情形。为了解决上述问题，在本发明中，在多个节点中执行批量作业时，动态地设定包含该并行处理的处理的多重度。由此，更详细地说，根据节点的状况(节点的性能以及负荷状况)、批量作业的输入文件的状况来设定多重度。

Description

批量处理多重化方法

技术领域

本发明涉及高效率地进行所谓批量处理的技术。其中，特别是涉及为了高速地执行帐户批量处理等针对大量数据的批量处理，决定使用多个节点并行执行批量作业时的最佳处理的多重度的技术。

背景技术

目前，关于执行批量作业，提出了在专利文献1中公开的技术。在专利文献1中记载了如下内容：接受与定义了作业执行顺序的作业网有关的脚本数据的输入，根据所述脚本数据，针对每个所述作业网进行在所述作业网的执行中所使用的资源节点的分配要求，由此针对每个所述作业网分配根据该分配要求分配的资源节点。

【专利文献】特开2008-226181号公报

发明内容

在批量处理中，存在应该处理的数据量突发性地增加的情况。例如，作为证券业系统的课题，由于在投资信托的月末再投资处理中需要在特定日对所有账户进行处理、根据经济状况某天突然股票买卖件数增加以及由于IPO(新股上市)的集中导致买卖件数增加这类事情，使批量处理时间增加，结果，由于与每天的批量处理量的急剧变动相伴的批量处理的长时间，使第二天在线开始时间延迟，导致针对客户的在线服务提供时间被缩短、以及与长时间的批量处理在同一节点内同时执行的其他业务的批量处理等的处理时间也受到影响，结果，其他业务的在线开始时间也发生延迟，因此需要即使每天发生变动也要使批量处理时间均匀。

为了解决上述问题，在本发明中，当在多个节点中执行批量作业时，动态地设定包含该并行处理的处理的多重度。由此，在本发明中，提供一种通过柔性地设定执行多重度以及执行节点，有效使用资源，来缩短批量处理时间的方法。即使在特定日等的批量处理的件数增加时，通过扩展(scale out)批量处理来进行处理，不管处理件数的变动能够使处理时间均匀(接近)。由此，能够提前消除由于特定日的大量数据的批量处理，使批量处理时间长时间化，导致第二天在线开始延迟等的担心。

另外，在批量处理中，各处理的特性不同，具有需要CPU资源的批量处理、需要磁盘资源的批量处理，因此，在本发明中，提供以下的方法，通过使用者针对每个作业组设定参数，能够从两个种类中选择执行多重度的决定方式，并且能够根据要执行的作业的种类、输入数据的配置，以最佳的方式来决定作业的执行多重度，能够进一步缩短批量处理时间。

根据本发明能够更加高效地执行批量处理。

附图说明

图1表示本发明的一个实施方式的构成设备的整体结构。

图2表示在作业管理节点上的节点管理表的内容。

图3表示在作业管理节点上的子作业管理表的内容。

图4表示在作业管理节点上的作业管理表的内容。

图5表示作业管理节点上的数据配置信息表的内容。

图6表示作业管理节点上的作业组执行条件表的内容。

图7表示作业管理节点上的作业组执行节点组表的内容。

图8是表示本发明的一个实施方式的作业执行的流程的图。

图9是表示使用了子作业同步方式时的多重度决定的流程的图的前半部分。

图10是表示使用了子作业同步方式时的多重度决定的流程的图的后半部分。

图11是表示使用了子作业并行方式时的多重度决定的流程的图。

符号说明

101、客户节点；101、102、作业管理节点；102、103～105、作业执行节点

具体实施方式

参照附图详细说明用于实施本发明的方式。下面的实施方式只是例子，本发明并不限于下述的结构。

在本说明中为了方便，按照针对一个批量处理进程，分配一个CPU内核数204的设定来进行记述，但是并不依赖于物理上的CPU内核数，可以任意地设定针对节点201的处理多重度数(CPU内核数201)。在如多线程等那样成为多个线程时、或者在使用超线程时，也能够根据情况任意地设定。

图1表示本发明一实施方式的整个系统的结构。本实施方式的系统由客户节点101、作业管理节点102以及作业执行节点103-105构成。这些构成设备在相互能够沟通的状态下连接。使用者能够经由这些构成设备中的客户节点101进行针对系统的设定。具体地讲，使用者能够进行作业组执行条件表110的最小多重度242、最大多重度243、处理对象数据的开始键244、结束键245以及执行选择246的指定。此时，不关心使用者经由客户节点101进行的设定的方法。

接下来，参照流程图(图8～图11)，对本发明实施方式的处理流程进行说明。

首先，在作业执行开始前的阶段，对作业管理节点102上的节点管理表109、作业管理表108、数据配置信息表114、作业组执行条件表110、以及作业组执行节点组表114的各参数设定值。在此，不关心参数的形式、设定方法以及配置场所。

若满足时刻启动等作业组的开始条件，则在作业管理节点102上作业管理部106启动开始作业组(步骤301)。此时的作业组的开始条件与目前的作业的开始条件一样，作为种类具有时刻启动、登录事件监视、先行作业、文件生成、手动功能等。在本实施方式中，不关心开始条件的种类。

当由于某一开始条件，作业开始启动时，作业管理节点102上的作业管理部106从作业组执行条件表110取得作业组的最小多重度242、最大多重度243、处理对象数据的开始键244、结束键245以及执行选择246(步骤302)。

然后，作业管理部106从作业组执行节点组表114中取得与开始的作业组251对应的节点组252的信息(步骤303)。

接下来，作业管理部106将作业组的最小多重度242、最大多重度243、处理对象数据的开始键244、结束键245、要执行的节点组252的信息交给节点多重度计算部107，节点多重度计算部107进行作业执行时的多重度的计算(步骤304)。节点多重度计算部107根据从作业管理部转交的执行选择246来决定作业组的多重度的决定方式是子作业同步方式与子作业并行方式的哪一个(步骤305)。

接着，分别对子作业同步方式与子作业并行方式中的作业执行多重度的决定方式进行说明。

首先，对子作业同步方式中的决定多重度的处理进行说明。子作业同步方式是根据各作业执行节点103-105的CPU负载状况决定处理多重度，按照最佳的多重度来执行作业的方式。在子作业同步方式中，首先决定临时多重度，根据临时多重度来决定最终的多重度。临时多重度是在作业组执行条件表110的最小多重度242与最大多重度243的范围中，占用(使用)空闲内核数中的最多内核数的多重度。根据临时多重度计算出的多重度是考虑了各作业执行节点103-105的性能后计算出的为了最高效率地使用CPU资源的最终的多重度。通过在决定多重度之前决定一次临时多重度，能够不必计算各多重度的处理性能地求出最佳多重度，从而实现多重度计算处理的短缩。

当作业管理节点102的节点多重度计算部107开始计算时(步骤313)，将作业组执行条件表110的最大多重度243与节点管理表109的空闲内核数206的总和进行比较(步骤315)。作为比较的结果，当空闲内核数206的总和为最大多重度243以上时，使节点管理表109的性能比高的节点优先占用最大多重度的量的空闲内核。此时，空闲内核数206的总数为临时多重度(步骤316)。

当最大多重度243大于空闲内核数206的总时，将作业组执行条件表110的最小多重度242与节点管理表109的空闲内核数206的总和进行比较。作为该比较的结果，当最小多重度242为空闲内核数206的总和以下时，分别占用空闲内核的量，空闲内核数206成为临时多重度(步骤317)。当最小多重度242大于空闲内核数206时，占用空闲的内核，使节点管理表201的性能比大的节点优先，按最小多重度的量对每一节点分配1多重度(步骤320)。此时，临时多重度成为与最小多重度相同的值。

当空闲内核数是0时，节点多重度计算部107参照节点管理表201的CPU分配方法，按照在各节点设定的分配方法进行CPU的分配(步骤321)。当CPU分配方法为“其他节点”时，对其他节点进行分配(步骤321)。当CPU分配方法为“待机”时，进行待机直到空闲内核数成为1以上(步骤320)。此时，不影响在该时刻占用CPU的作业的执行，进行待机直到先行作业释放CPU产生空闲内核为止。

在该时刻，节点多重度计算部107决定临时多重度(步骤322)。当决定了临时多重度时，节点多重度计算部107开始进行根据临时多重度来决定多重度的处理。

首先，进行临时多重度是否与最大多重度243一致的判断(步骤323)。在临时多重度与最大多重度243不一致时，通过临时多重度+1的多重度计算处理量(步骤325)。该处理量是根据节点管理表201上的性能比203和CPU内核数204的数值计算出的表示各节点的处理性能的指数。在处理相同的作业时，通过处理量大的节点进行处理能够缩短处理时间。

当空闲内核数为负时，即，空闲内核数的总数低于作业数时，进行(空闲内核数/作业数)这样的计算，将计算的结果作为处理量(步骤324)。

在计算出处理量后，将临时多重度的处理量与临时多重度+1的处理量进行比较(步骤326)。在临时多重度+1的处理量大时，使临时多重度加1，再次进行临时多重度是否与最大多重度一致的判断(步骤325)。通过进行这样的处理，决定在最大多重度以下的范围内使临时多重度的值增加到哪里为止。

使用同样的算法，判断在最小多重度以上的范围内使临时多重度的数值降低到哪里为止。此时，将临时多重度与临时多重度-1的处理量进行比较(步骤330)，当临时多重度-1的处理量超过了临时多重度的处理量时，使临时多重度减1(从临时多重度中减去1)(步骤329)。

通过按照上述的算法调整临时多重度的数值，计算能够处理最多处理量的多重度，并决定为(最终的)多重度(步骤331)。另外，作为此处的多重度并不一定为最多，作为第二多等也可以。

在通过上面的方法决定了多重度后，节点多重度计算部107将多重度的信息发送给作业管理部106。

在子作业同步方式中，提供一种根据各作业执行节点103-105的CPU使用状况计算处理多重度，由此以最佳的多重度执行作业的方式。

然后，对子作业并行方式中的多重度决定处理进行说明。子作业并行方式提供一种识别配置了作业的输入文件的节点，在配置了文件的节点执行作业，由此在通信负荷极少的状态下执行作业的方式。在此，不关心输入文件的配置形式以及配置场所。

当节点多重度计算部107以子作业并行方式开始多重度计算时，参照数据配置信息表112，取得要执行的作业的输入文件的分割数(步骤332)。该分割数成为作业执行的多重度(步骤333)。此时，使执行各作业的节点与配置了处理对象的数据的节点一致。例如，在配置了键#1～#100的文件的节点上，执行以键#1～#100的文件为对象进行处理的作业。

在子作业并行方式中，在配置了处理对象的文件的节点上，执行针对该文件进行处理的作业。由此，无需针对其他节点的文件进行处理，能够减轻执行作业时的通信负荷。

当决定了多重度时，作业管理部106从节点多重度计算部107取得各子作业的执行信息，生成子作业管理表113(步骤308)。

作业管理节点102的作业执行指示部111根据子作业管理表202，对各作业执行节点103-105进行作业执行的指示(步骤309)。受到执行指示的各作业执行节点103-105，根据转交的执行指示执行作业(步骤310)。

当作业的执行结束时，作业管理部106对子作业管理表202上的各子作业的执行状态进行更新(步骤311)。

Claims (6)

1.一种批量处理多重化方法，其决定使用了分散配置的多个节点的批量作业执行中的作业的执行多重度，该批量处理多重化方法的特征在于，

从使用者接受对构成所述批量作业的每个作业组执行的节点组的选择，

检测构成所选择的节点组的节点的状况或者所述批量作业的输入文件状况，

使用所述检测到的所述节点的状况或者所述批量作业的输入文件状况，决定执行多重度数，该执行多重度数表示构成对所述批量作业进行处理的所述节点组的节点的数量，

从所述节点组选择遵从所决定的所述执行多重度数的数量的节点，

在选择的所述节点中对所述批量作业进行多重化处理。

2.根据权利要求1所述的批量处理多重化方法，其特征在于，

所述节点的状况是所述节点的性能以及负载状况。

3.根据权利要求2所述的批量处理多重化方法，其特征在于，

关于决定所述执行多重度数，使用由所述使用者选择的多重度决定方式来决定所述执行多重度数。

4.根据权利要求3所述的批量处理多重化方法，其特征在于，

关于所述多重度决定方式，由所述使用者选择根据所述节点的性能以及负载状况来计算最佳多重度的子作业同步方式以及根据所述批量作业的文件配置来决定最佳多重度的子作业并行方式中的某一方，

按照所选择的多重度决定方法来决定所述执行多重度数。

5.根据权利要求4所述的批量处理多重化方法，其特征在于，

在选择了所述子作业同步方式时，关于决定所述执行多重度数，假设伪多重度，根据假设的所述伪多重度来决定多重度。

6.根据权利要求4或5所述的批量处理多重化方法，其特征在于，

所述子作业并行方式中的多重度与输入文件的分割数为相同值，在配置了所述输入文件的节点上执行对该文件进行处理的作业。

Images