CN102317916A

CN102317916A - 分散系统

Info

Publication number: CN102317916A
Application number: CN2010800076778A
Authority: CN
Inventors: 中村聪; 藤野亮; 志村文生; 佐藤久; 塚本哲史
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2009-03-03
Filing date: 2010-02-23
Publication date: 2012-01-11
Also published as: WO2010100859A1; JP2010204876A; TW201101186A; US20120016994A1

Abstract

本发明在同一系统内进行多个业务处理的分散群集环境中，能够根据每一业务处理的优先顺序、或者执行处理的分散节点的处理能力来选择个别的负荷分散方法，在负荷分散中对于使用者决定的负荷的阈值尝试自动调整，即使在构成分散群集环境的节点的基础性能不是特别均等的情况下，也能够通过并行执行来最大限度地充分利用分散群集环境的资源。

Description

分散系统

技术领域

本发明涉及信息处理系统中的负荷分散。其中特别涉及用于实现分散群集环境中的处理的负荷分散的技术。此外，本发明也能够应用于金融机构中的联机方式的定货系统或者批方式的户头管理系统等。

背景技术

在历来的信息处理系统中，为高效率地运用系统，提出了把多个服务器作为群集运用的群集技术。其中特别提出用于分散其负荷的分散群集技术(环境)。但是，由于近年的信息处理量进一步增加，要求进一步分散其负荷的技术，作为为此的技术，提出了专利文献1中公开的技术。在专利文献1中，记载了为解决预先对于全部服务器建立负荷分散用的服务器(RPC服务器)产生的问题，使用负荷存储单元存储自身节点的负荷，在检测到过负荷的情况下，选择能够增加负荷的移动目的地节点，使负荷移动指示移动到上述移动目的地节点。

现有技术文献

专利文献1：日本特开2000-137692号公报

发明内容

发明要解决的课题

但是，在专利文献1中，在使用多个节点进行处理的分散群集环境中的负荷分散中总的来说停留在对于通用的业务处理的负荷分散方式、或者对于具有均等的处理能力的分散节点的负荷分散方式。因此，未考虑意识到附加了优先顺序的多个业务处理、或者由具有非一律的处理性能的分散节点构成的分散群集环境的负荷分散方式。

例如，在证券业务的情况下，在每日的联机定货交易处理中，把特定名牌商品作为对象的处理量突发地上升，待处理的信息在排队滞留。在该种情况下，有时此后准时投入的、本来希望最优先处理的系统控制系统处理被推后。因此，在决定分散群集环境的负荷分散方式时需要研究根据业务灵活地变更方式，在同一系统中在一定的规则中应用多个业务那样的负荷分散方式。

用于解决课题的手段

本发明是在同一系统内进行多个业务处理的分散群集环境中选择与每一处理中与每一业务处理的特性对应的、表示怎样给各节点分散负荷的负荷分散方法的发明。这里，关于特性，包含业务处理的优先顺序或者执行处理的分散节点的处理能力。另外本发明也包含在负荷分散中进行与预定的(存储的)负荷的阈值对应的负荷的调整。

这里，在本发明中包含以下的方式，在分散配置的多个节点和多个客户机互相连接的分散系统中，具有：存储与上述各客户机中的每一业务的特性对应的负荷分散方式的存储单元；检测上述各节点中的资源的利用状况的单元；根据上述检测的结果判断在某个节点中是否需要分散负荷的单元；判定根据上述判断的结果判断为需要分散负荷的节点中的业务处理是否是对于某个客户机的处理的业务处理，从上述存储单元中确定与已判定的业务处理的特性对应的负荷分散方式的单元；和按照已确定的上述负荷分散方式执行负荷分散的单元。

另外，在该分散系统中，在上述特性中包含每一上述业务处理的优先顺序以及上述各节点的处理能力中的至少一方，这也包含在本发明中。进而，在这些分散系统中，还具有存储上述各节点中的上述资源利用状况的第二存储单元；和存储上述各节点中的资源利用状况的阈值的第三存储单元，上述进行判定的单元比较在上述第二存储单元和上述第三存储单元内存储的内容来进行判定，这也包含在本发明中。

另外，本发明的目的是提供如下的分散群集环境、节点负荷分散方法、节点负荷分散程序：即使在构成分散群集环境的节点的基础性能不特别均等的情况下，也能够通过并行执行最大限度地充分利用分散群集环境的资源。

发明效果

本发明通过对于每一业务定义负荷分散的条件，能够实现能够根据进行处理的业务的要件适当地分散处理的节点选择处理的技术。另外，即使在分散群集环境中在不同的时期导入了具有不同性能的节点的情况下，也不会导致服务水平降低，能够提供均等的服务，因此增强了分散群集环境的灵活性。

附图说明

图1是表示本发明的一个实施方式的整体结构的图。

图2是表示本发明的一个实施方式中的客户机具有的节点管理表的一例的图。

图3是表示本发明的一个实施方式中的客户机具有的处理时间管理表的一例的图。

图4是表示本发明的一个实施方式中的客户机具有的模式设定表的一例的图。

图5是表示本发明的一个实施方式中的分散节点向客户机发送超过资源阈值的主旨的情况下、客户机中的负荷分散方式是“调整方式”的情况下的流程图。

图6是表示本发明的一个实施方式中的分散节点向客户机发送超过资源阈值的主旨的情况下、以及向客户机发送资源利用率降低的主旨的情况下的流程图。

图7是表示在本发明的一个实施方式中的客户机从分散节点接收到资源利用率降低的信息的情况下的流程图。

具体实施方式

下面参照附图说明实施本发明的方式。以下的实施方式是例示，本发明并不限于本实施方式的结构。

图1表示本实施方式中的系统整体的结构图。本实施方式中的系统由各分散节点以及各客户机构成，以在同一网络上可互相连通的状态连接。客户机作为处理信息取得单元，具有作为输入终端的功能、和汇总从多个输入终端输入的信息或者从其他系统发送的信息并且向分散节点进行委托处理的网关功能。分散节点作为处理信息取得单元，具有根据来自客户机的发送委托来取得的情形、以及通过从别的分散节点赋予的、从客户机发送的发送委托来取得的网关功能。分散节点以及客户机中的网关功能，可以是同一装置，也可以分到不同的装置。这里，各分散节点以及各客户机存在多个，但是因为虽然在执行中的处理(程序)不同但是互相是同样的结构，所以在本说明中，关于分散节点以分散节点100、关于客户机以客户机200为代表例进行说明。

分散节点100具有CPU101、存储器102、存储介质103、通信接口110，在存储器102上，存在具有用于进行多个业务处理的逻辑的信息处理程序104、对在分散处理中使用的资源的阈值信息进行保存的资源阈值表105、以一定时间间隔监视资源使用率的资源监视程序106、用于保存信息处理结果的存储器内数据库107。存储介质103，只要是硬盘、存储器等实现信息保存的介质，用哪个实现都可以。资源阈值表105，只要是CPU、存储器、网络中的能够定期监视信息的收发量的内容则不问对象，但是在本发明中以下以其中的CPU为例进行说明。另外，资源阈值表105的值在节点起动时通过使用者设定。

接着，客户机200具有CPU201、存储器202、存储介质203、通信接口210。在存储器202上，存在向分散节点的信息处理程序委托信息处理的信息委托程序204、保存关于可从客户机连接的全部分散节点的网络信息的节点管理表206、测量并保存各分散节点中的信息处理所需要的时间的处理时间管理表207、定义每一业务的分散处理方式(称为模式)的模式设定表208、具有各分散处理方式的内容的模式内容程序209。在存储介质203上，具有记录给予信息委托程序204的信息的主文件205，但是也可以通过通信接口210经由网络发送要给予信息委托程序204的信息。关于该存储介质203，也和存储介质103同样，只要是实现信息保存的介质，通过哪种实现均可。另外，客户机200也可以采用在客户机中形成层次结构的结构。例如，也可以通过从在同一网络中存在的别的客户机20a向客户机200发送指定了应该处理的范围的信息，客户机200根据该信息使信息委托程序204运转等，可以从客户机实现对于分散节点的中继功能的形式运转。

图2表示关于节点管理表206的内容的一例。节点管理表206的条目，由各分散节点具有的在同一网络内唯一的分散节点ID2061和表示通过使用者对于分散节点进行分组而得的组ID2062、IP地址(也包含端口号)2063、表示在起动时间中在处理候补节点列表中存在的时间的比例的运转率2064、表示分散处理方式中作为发送对象是否是良好状态的标志2065、在后述的阈值调整方式中使用的阈值修正系数2066构成。通过向全部客户机发送分散节点起动时以及结束时自己的信息，客户机对于节点管理表中的分散节点的条目进行追加以及删除。客户机在决定信息委托程序中的分散节点的发送目的地时，利用节点管理表206。

图3表示时间管理表207的内容的一例。各客户机每次记录从对分散节点委托处理到接收到处理结束的通知为止的时间。处理时间管理表207由对于每一个分散节点唯一的节点ID 2071、到现在的处理平均时间2072、表示从起动到现在的更新次数的2073构成。

图4表示方式设定表208具有的两种表中的内容的一例。业务方式表2081是成对记录了客户机进行的业务处理20811和后述的负荷分散的方式20812的表，时间模式表2082是成对记录处理被执行的日期时间20821和负荷分散的模式20822的表。作为起动客户机200时的变元，通过预先赋予记载业务方式表2081以及日期模式表2082的内容的文本文件2083，在客户机200的信息委托程序204起动时解释文本文件2083，在业务模式表2081以及日期模式表2082内反映内容。在客户机200向分散节点发送用于处理的信息时，在通过分散节点100接收到资源利用率阈值超过的信息的情况下，客户机200使用模式设定表208，确定在有关业务中设定的负荷分散的模式。

接着，以客户机200为例说明分散处理中各客户机从各分散节点中选择委托处理的分散节点的情况下的内容。客户机200执行以下处理：参照节点管理表206使用轮询方式选择委托处理的分散节点，对于选择的分散节点100(在该例中说明通过轮询方式选择分散节点100的情况)发送用于处理的信息，接收到该信息的分散节点100，关于处理在自身中预先存储的信息处理程序104中，从发送来的信息中确定业务，使用对应的逻辑执行处理。这里，客户机向分散节点委托处理的业务处理的单位，例如在证券业务的情况下为多个户头对象批处理(例如全部户头)中的一户头等，为最大限度享受通过分散群集环境实现的并行化的计算机性能提高的效果，希望分割为尽可能细的单位的设计，但是在本发明的实施方式中不一定拘泥于业务处理的单位。在分散节点100中处理结束后，分散节点100向发送源的客户机200通知正常结束，客户机200经由主文件205或者通信接口210取得成为下一对象的信息。另一方面，在分散节点100中，在存储器内数据库107中保存信息处理的结果。但是保存目的地也可以由信息处理程序104根据业务指定，例如别的业务的信息处理的结果不在存储器内数据库107内而在存储介质103内保存。

这里，在分散节点100处理信息的期间，在分散节点100中以一定时间间隔执行在别的线程中执行的资源监视程序106。在资源利用率超过使用者预先在资源阈值表105中设定的资源利用率阈值的情况下，对于各客户机，分散节点100发送超过阈值的主旨以及在资源阈值表105中记录的阈值。在客户机200接收(全部客户机接收，但是这里关于客户机200接收的情况说明)到该主旨后，参照模式设定表208，根据在当前的业务中设定的负荷分散的模式，变更举动。

负荷分散的方式有三种，下面分别说明。

第一种方式是“通常模式”，即使在客户机200通过分散节点100接收到超过资源利用率阈值的主旨的情况下，也继续用轮询方式决定委托处理的分散节点。成为通常方式中的轮询的详细调查对象的分散节点，在节点管理表206中记录的分散节点的各条目成为对象。

第二种方式是“遵守模式”，在客户机200通过分散节点100接收到超过资源利用率阈值的主旨的情况下，据此把节点管理表206中的该分散节点100的条目中的发送可能标志2065从“OK”变更为“NG”。成为遵守方式中的轮询的详细调查对象的分散节点，仅把发送可能标志2065是“OK”的条目作为对象。由此也能够防止对于发送可能标志2065一旦成为“NG”的分散节点，在不再次返回“OK”的情况下，从应用遵守方式的客户机发送用于处理的信息。

第三种方式是“调整模式”，在客户机200通过分散节点100接收到超过资源利用率阈值的信息的情况下，进行发送了超过资源阈值主旨的分散节点100具有的、资源阈值表105的内容在当前的业务中是否带来最大效率的判定。关于该判定的内容在下一段落中说明。成为调整模式中的轮询的详细调查对象的分散节点，与遵守模式相同，把发送可能标志2065为“OK”的条目作为对象。

图5表示调整模式的情况下的判定的内容。首先，客户机200从分散节点100接收阈值的主旨(步骤502)，参照模式设定表208，得知当前的处理是调整模式。在调整模式中，对于发送了超过资源阈值的分散节点100，发送委托继续处理的委托信息(步骤503)。比较该处理需要的时间和记录接收超过资源阈值的主旨前的状态下处理所需要的时间的处理时间管理表207(步骤504)。在该比较中，连续三次超过处理时间记录表207的值的情况下(步骤505)，判断为关于超过资源阈值，该分散节点100不可能进行正常的业务处理，客户机200把节点管理表206中的该分散节点100的发送可能标志2065从“OK”变更为“NG”(步骤506)。另外，在步骤505中，即使不是连续三次超过处理时间记录表207的值的情况下，在五次的处理时间的平均超过处理时间记录表207的值的情况下(步骤507)，转移到步骤506。此外，步骤505或者507中的次数(三次、五次)是一例，其他次数也可以。另外，这些次数预先在系统中存储。

在步骤507，在五次的处理时间的平均未超过处理时间记录表207的值的情况下，不管超过当前的阈值，根据处理需要的时间的判断中判断为能够进行正常的业务处理，发送把该分散节点200的资源阈值表105的内容按照节点管理表206中记录的阈值修正系数2066，向上修正资源阈值表105的值的命令(步骤508)。例如，关于资源阈值表105，假定把CPU作为监视对象，值是70的阈值修正系数2066是3的情况下，因为成为70×(1+0.03)＝72.1，所以从客户机200发送使关于资源阈值表105的内容从70变更为四舍五入后的72的命令。遵照该命令分散节点100更新资源阈值表105的值。通过重复该流程，在业务处理中判断为带来故障(处理需要的时间延迟)的值之前分阶段提高阈值。但是，在修正值超过100的情况下，不进行命令的发送(在不超过的情况下进行命令的发送)。

接着使用图6说明信息处理中的分散节点100超过资源阈值的通知过程。在根据监视分散节点100的资源利用率超过资源阈值表105的值的情况下(步骤601)，对于各客户机发送超过阈值的主旨信息和阈值的值(步骤602)。另外，在步骤602之后资源利用率降低到不到资源阈值表105的值的一定值的情况下，对于各客户机通知资源利用率降低的信息(步骤603)。这里，也可以给每一分散节点定义一定值，例如在不到资源阈值表105的值的十分之八的情况下应用步骤603等。

接着，图7表示通过接收来自分散节点100的资源利用率降低的主旨的、客户机200的动作(关于来自分散节点100的、超过资源阈值的接收，由各客户机接收，但是因为在全部客户机中是相等的逻辑，所以这里说明客户机200的情况)。在客户机200接收到来自分散节点100的资源利用率降低的主旨的情况下(步骤701)，确认客户机200具有的节点管理表206，进行该节点100的条目的发送可能标志2065是否是“NG”的确认(步骤702)。在该分散节点100的发送可能标志2065是“NG”的情况下，在由于资源利用率的超过为原因对于业务产生障碍的节点中，因为关于资源利用率再次产生剩余，所以判断为能够再次进行正常的业务处理，把发送可能标志2065变更为“OK”(步骤704)。在步骤702，在除外节点列表2062中不存在该节点100的情况下，在步骤701的状况出现之前，继续执行处理。

另外，在各客户机中通过来自各分散节点的资源超过通知，有节点管理表206的条目的全部发送可能标志2065成为“NG”的情况的可能性。在这种情况下，在遵守模式和调整模式中，因为在轮询方式中参照的节点列表只是仅发送可能标志2065是“OK”的节点，所以在从发送可能标志2065成为“NG”的任意的分散节点接收到在步骤603中叙述的降低至不到资源阈值一定值的主旨的情况下，对于各分散节点委托(发送委托处理的委托信息)新的处理(反之在未接收的情况下也可以抑制委托信息的发送)。亦即，在未接收到降低的信息的情况下在客户机中成为等待处理的状态。但是，在通常的节点中，因为从节点管理表206的全部条目中选择委托信息处理的节点，所以等待状态不发生。

这样，根据本发明，通过对于各业务规定负荷分散的方式，分散群集环境中的各客户机以及各分散节点合作，能够对于每一业务使用任意的负荷分散模式那样进行选择。

另外，对于负荷分散的方式，不仅遵照单一指定的阈值，而且关于使用者设定的阈值，提供在不发生由于业务处理需要的时间减少引起的服务水平降低的范围内自律地试行调节的模式。

符号说明

10a、10n、100…分散节点，20a、20n、200…客户机

Claims

1.一种分散系统，是分散配置的多个节点和多个客户机互相连接的分散系统，其特征在于，具有：

存储了与上述各客户机中的每一业务的特性对应的负荷分散方式的存储单元；

检测上述各节点中的资源的利用状况的单元；

根据上述检测的结果判断在某个节点中是否需要分散负荷的单元；

判定根据上述判断的结果判断为需要分散负荷的节点中的业务处理是否是对于某个客户机的处理的业务处理，从上述存储单元中确定与已判定的业务处理的特性对应的负荷分散方式的单元；和

按照已确定的上述负荷分散方式执行负荷分散的单元。

2.根据权利要求1所述的分散系统，其特征在于，

在上述特性中包含每一上述业务处理的优先顺序以及上述各节点的处理能力中的至少一方。

3.根据权利要求1所述的分散系统，其特征在于，

还具有存储上述各节点中的上述资源利用状况的第二存储单元；和

存储上述各节点中的资源利用状况的阈值的第三存储单元，

上述进行判定的单元比较在上述第二存储单元和上述第三存储单元内存储的内容而进行判定。

4.根据权利要求1所述的分散系统，其特征在于，

上述客户机，在客户机中形成层次结构，区分为在同一网络中指定信息处理委托的范围的客户机和进行信息处理委托的客户机，实现对于上述分散节点的信息处理。

5.根据权利要求3所述的分散系统，其特征在于，

上述第二存储单元具有存储表示上述资源利用状况的资源的利用率的资源利用率管理表，

上述第三存储单元具有表示上述资源利用状况的阈值的资源阈值表，

上述进行判定的单元，以预定的间隔监视上述资源利用率管理表，在该监视的结果是超过上述资源阈值表的值的情况下以及降低至不到上述资源阈值表的值的一定值的情况下，对于各客户机通知这些状况。

6.根据权利要求1所述的分散系统，其特征在于，还具有：

保存用于存储作为关于上述各节点的节点信息的、进而包含表示可否发送处理委托的标志的节点信息的节点信息表的第四存储单元；和

在上述确定的负荷分散方式中利用上述标志，执行处理委托的发送对象的分散节点的取舍选择的单元。

7.根据权利要求6所述的分散系统，其特征在于，

在上述存储单元中存储的上述负荷分散方式之一中，包含如下负荷分散方式：顺序读入发送上述处理委托的节点列表的条目，选择发送目的地的负荷分散方式。

8.根据权利要求6所述的分散系统，其特征在于，

在上述存储单元中存储的上述负荷分散方式之一中，包含如下负荷分散方式：在该分散系统中，在从上述节点接收到超过资源阈值的主旨的情况下，通过把上述接收的节点的条目变更为不进行处理的除外节点，能够从上述处理委托的发送目的地中除外的负荷分散方式。

9.根据权利要求6所述的分散系统，其特征在于，

在上述存储单元中存储的上述负荷分散方式之一中，包含在从各节点接收到超过资源阈值的主旨的情况下，测量相应分散节点中的处理时间，并在看不到应答时间引起的性能恶化的情况下发送向上方修正相应分散节点的资源利用率管理表的值的命令的负荷分散方式。