CN102567416B - 一种负载均衡的分布式数据统计方法及系统 - Google Patents

Abstract

本发明提供了分布式数据统计方法，该方法使用N个能够相互交换数据的数据处理装置对来自M个对象的数据按对象分别进行统计。所述方法为每个数据处理装置分配其负责统计的对象，并且将所有对象的数据任意地分成N份。每个数据处理装置按对象对其中一份数据进行统计，并存储与其负责统计的对象对应的中间结果，而根据对象分配方案将其他中间结果相应地传送给其他数据处理装置。每个数据处理装置再按对象将其收到的中间统计结果与其存储的中间统计结果进行整合，得到相应对象的最终统计结果。所述方法在分布式的数据统计中实现了多个数据处理装置之间的负载均衡。本发明还提供了采用所述方法的分布式系统。

Description

一种负载均衡的分布式数据统计方法及系统

技术领域

本发明涉及一种负载均衡的分布式数据统计方法及系统。 

背景技术

在银行系统中，常常利用大型设备采用集中信息处理的方式来进行商户交易统计。换句话说，传统的商户交易统计方法必须将同一商户的所有交易采集到同一台计算机上进行统计运算。随着银行业务的发展，无论是批量处理还是联机交易，处理量都急剧膨胀，一般一个省的日均交易量都在数十万笔上下，部分发达地区超过百万。目前，国内半数以上的银行使用的是UNIX开放平台，这些主机的处理能力虽然逐年提高，但与大型主机相比，其处理能力仍有很大差距，随着扩展业务(或中间业务)的急剧增加，主机负荷越来越成为问题，虽然UNIX主机计算能力不断提高，最新的机器总能适应银行业务的发展，但对银行企业而言，不可能频繁地更换主机，旧的投资必须在一定范围内得到保护。 

由于个人计算机的性能得到极大的提高及其使用的普及，使处理能力分布到连网的所有计算机成为可能。分布式计算是和集中式计算相对立的概念，分布式计算的数据可以分布在很大区域。在分布式网络中，数据的存储和处理都是在本地工作站上进行的。因为每台计算机都能够存储和处理数据，所以不要求服务器功能十分强大，其价格也就不必过于昂贵。在分布式网络中使用的计算机既能够作为独立的系统使用，也可以把它们连接在一起得到更强的处理功能。 

在使用分布式网络的情况下，可以将单个重负载的运算合理地分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果 汇总，返回给用户，从而实现系统处理能力的大幅度提高。但是，在现有的商户交易统计方法中，常常必须满足将同一商户的所有交易采集到同一台计算机上进行统计运算。由于不同的商户交易量差别很大，因此需要采用非常复杂的负载均衡算法才能将商户交易统计运算均分在不同计算机上，并且还需要根据商户交易量的变化经常调整分治策略。 

图1示出常规的分布式商户交易统计方法。在图1所示的方法中，首先为每个计算机12分配其将处理哪些商户，然后每个计算机12从中心数据库11提取相应商户的数据。为了便于每个计算机能够快速并准确地采集到同一商户的所有交易，存储商户交易的数据库11会在交易数据的特定字段上创建索引以提高数据读取性能。这样的索引创建大大增加了数据开销，并且当商户数量或交易量发生较大变化时，还必须对这些索引进行修改以适应处理对象的变化，从而也大大增加了数据库管理的复杂度。 

不仅在银行业务中，在其他一些行业的应用中也存在类似问题。因此，对于可以适应对象的数据量变化并且可以适应计算机资源的灵活增减的、更高效的分布式数据统计方法及系统有很大的需求。 

发明内容

本发明的目标是利用能够相互交换数据的多个数据处理装置来更高效并且更灵活地对来自多个对象的数据分别进行统计。 

为了实现上述目标，本发明提供了一种分布式数据统计方法，该方法使用N个能够相互交换数据的数据处理装置对来自M个对象的数据按对象分别进行统计，其中N和M为大于1的整数，所述数据被存储在中心数据库中。所述方法包括以下步骤：(1)将所述M个对象划分成相互独立的N个对象集合，并且将所述N个对象集合一一对应地分配给所述N个数据处理装置；(2)将存储在所述中心数据库中的数据划分成相互独立的N个数据块，其中每个所述数据块包括来自 所述M个对象中的一个或多个对象的数据；(3)每个所述数据处理装置分别从所述中心数据库提取相应的数据块，并且按对象对其所提取的数据块中的数据进行统计，得到与所述一个或多个对象对应的一个或多个中间统计结果；(4)每个所述数据处理装置存储与其被分配的对象集合中所包含的对象对应的中间统计结果，而根据所述对象集合分配将其余的中间统计结果相应地传送给其他数据处理装置；(5)每个所述数据处理装置按对象将其收到的中间统计结果与其存储的中间统计结果进行整合，得到相应对象的最终统计结果。每个所述对象集合可以包括一个或多个对象或者为空集。 

在一些实施例中，可以根据所述M个对象中的每一个的数据的量来划分所述对象集合。 

在一些实施例中，可以根据所述N个数据处理装置中的每一个的处理能力来划分所述对象集合。 

所述N个数据块中的每一个的大小可以相同或者不同。在一些实施例中，可以根据所述N个数据处理装置中的每一个的处理能力来确定每个所述数据块的大小。 

在一些实施例中，所述N个数据处理装置可以通过数据总线相互传送数据。 

本发明还提供了一种分布式数据统计系统，该系统被用于对来自M个对象的数据按对象分别进行统计。所述系统包括：中心数据库，其被用于存储所述数据；N个数据处理装置，所述N个数据处理装置能够进行数据交换，每个所述数据处理装置分别被分配相互独立的对象集合，所述对象集合包含所述M个对象中的一个或多个或者所述对象集合为空。每个所述数据处理装置被配置为分别从所述中心数据库提取相互独立的数据块，每个所述数据块包括来自所述M个对象中的一个或多个对象的数据；按对象对其所提取的数据块中的数据进行统计，得到与所述一个或多个对象对应的一个或多个中间统计结果；存储与其被分配的对象集合中所包含的对象对应的中间统计结果，而根 据所述对象集合分配将其余的中间统计结果相应地传送给其他数据处理装置；并且按对象将其收到的中间统计结果与其存储的中间统计结果进行整合，得到相应对象的最终统计结果。 

本发明所提供的分布式数据统计方法具有高度的灵活性，并且其在多个数据处理装置之间实现了负载均衡。利用本发明所提供的方法，可以方便地增减硬件资源，而对于业务的依赖性相对较低，从而使得这样的用于对来自多个对象的数据分别进行统计的系统具有高度的可扩展性。 

下面将结合具体的实施例来描述本发明的方法。 

附图说明

本发明的前述和其他目标、特征和优点根据下面对本发明的实施例的更具体的说明将是显而易见的，这些实施例在附图中被示意。 

图1是银行系统中常规的分布式商户交易统计方法的示意图。 

图2是根据本发明的方法的流程图。 

图3是根据本发明的方法用于银行系统的第一实施例的示意图。 

图4是根据本发明的方法用于银行系统的第二实施例的示意图。 

具体实施方式

以下结合附图和具体实施方式进一步详细说明本发明。需要说明的是，附图中的各结构只是示意性说明，用以使本领域普通技术人员最佳地理解本发明的原理，其不一定按比例绘制。 

图2是根据本发明的方法的流程图。为清楚起见，在下文中以所述方法在银行系统中的应用为例来说明本发明所提供的方法，例如统计某一地区内使用银行POS终端的各个商户每天的成功交易次数和总额、失败交易次数和总额、信用卡消费总额、借记卡消费总额等等。在诸如大型超市、商场等商户内可能会安装多个POS终端，但是每个POS终端所返回的数据均被认为是该商户的一条交易数据。通常，会 在每条交易数据上加上商户ID作为标识。就当日的统计结算而言，从诸如各个商户的POS机传回的交易数据被统一存放在银行系统的中心数据库中。可以设定例如每天的晚上10点作为结算时间点，在此之前24小时之内存入的中心数据库的交易数据都作为统计的内容。因此，在这些应用中，所述“对象”即为每个商户，来自各个对象的数据则可以是每个商户的交易数据，但应理解这仅是为了举例而不是限制性的。 

本发明所提供的方法使用多个能够相互交换数据的数据处理装置来进行上述商户交易情况统计，每个数据处理装置通常将负责为一个或多个商户统计其当日所有的交易数据。在下面的说明中，将以计算机为例来说明本发明所提供的商户交易统计方法的步骤及其实施例。但应理解的是，任何具有数据处理能力的装置或设备都落在本发明的范围内。所述数据处理装置之间的数据交换可以通过任何已知的方法来实现，诸如通过数据总线传输或者通过互联网传输等等。各个数据处理装置之间可以有线或者无线的方式相互连接。 

在所述方法开始时，首先为每个计算机分配其负责处理的商户。一般而言，中心数据库中所存储的交易数据所对应的那些商户都是已知的。假定在中心数据库中存储有M个不同商户的数据，并且假定所使用的计算机的数量为N个，则在步骤S100中，M个商户被分成N个集合以分配给每个计算机，这种集合划分可以采用多种方式来进行，因此将存在多种分配结果。不同于常规的分布式统计方法，即每个计算机一般地将负责处理一个以上的商户的交易统计，如果一台计算机没有被分配特定的商户，则该台计算机将处于闲置状态。然而，根据本发明的方法，即使分配的结果中存在空的商户集合，也不会有任何计算机闲置，这将在下文中更详细地描述。比较理想的情况是，各个计算机的处理能力相似，并且各个商户的交易量相似，则在M恰好为N的倍数时，可以简单地将M任意均分为N个集合，或者在M不是N的倍数时，在任意均分的基础上将余数逐一均分到相应个数的 集合中，由此可以得到包含零个商户(例如商户数小于计算机个数)、一个商户或多个商户的集合。优选地，还可以在商户分配时考虑各个计算机的处理能力或者商户以往的或预期的交易数据的量，但是这不是必须的。例如，可以将交易量相对小的多个商户放在一个集合中，而将交易量大得多的商户单独作为一个集合。可以将这样的集合分配给处理速度相对较快的计算机，由此将使得本发明的方法取得更好的效果。步骤S100中的处理任务的分配结果可以被预先地设置在各个计算机的寄存器中，并且每个计算机不仅应解其自身应处理哪些商户的数据，还应了解其他计算机应处理的哪些商户的数据。另外，还可以存在额外的控制计算机来实时地对每个计算机进行配置。在实践中，可以将每个计算机被分配的商户的编号信息存储在寄存器中，以便各个计算机在处理交易数据时进行识别。 

在步骤S102中，将中心数据库中存储的当日的数据划分成N个数据块，每个数据块可以包括若干条交易数据。如前所述，每个商户每天向中心数据库传送多条交易数据，一般地中心数据库不会在其中按商户存储数据，而是例如按数据到达的先后存储在数据库中的存储器上的顺序位置。因此，所述划分可以直接根据各个计算机的读取位置顺序来划分。这样划分得到的每条数据中可能含有不止一个商户的交易数据，也有可能仅含有来自一个商户的交易数据。实际上，步骤102中所述的划分关键在于所形成的数据块的大小，而不关注数据块中的交易数据来自哪个商户。在所用的各个计算机的处理性能大致相当的情况下，可以简单地将所述数据库中的数据均分成大小相等的N个数据块，及每个数据块包含相等数量的交易数据。也可以分出较大的数据块给处理速度较快的计算机进行处理，但这不是必需的。在实践中，并不会在物理上将中心数据库中的存储器分块，而是例如将每个计算机应从该数据库中提取的数据的信息预先地或者实时地配置在各个计算机的寄存器中，诸如相应的数据在数据库中的存储地址或者应提取的交易数据的时间戳等等。 

在进行上述设置之后，每个所述数据处理装置分别从中心数据库提取相应的数据块，如步骤S104所示。在该步骤中，每个计算机进一步地对其所提取的数据块中的交易数据进行统计。例如，在所述多个计算机之一所提取的数据块中包括来自多个商户的交易数据的情况下，该计算机将识别每条交易数据中的商户ID信息，然后将相同商户ID的交易数据按照预定的统计条件进行处理。比如说，在统计每个商户每天的成功交易总额的情况下，计算机就将识别交易数据中的交易状态及交易金额，然后将相同商户ID的交易数据所包含的成功交易金额相加。仅通过对所提取的数据块得到的统计结果，在此被称为中间统计结果。由此，对于一个计算机，其将在步骤S104中得到一个或多个中间统计结果，并且中间统计结果的个数取决于数据块中的交易数据所对应的商户的个数。从步骤S104可以看出，与常规方法不同，每个计算机不仅将处理其本身被分配的商户的数据，还就处理其他计算机所负责统计的商户的数据。因此，即使在某些情况下，所分配的商户集合中出现空集，所有计算机仍将全部都被充分利用。 

在得到中间统计结果之后，每个计算机将会把与其被分配的商户集合中所包含的商户对应的中间统计结果存储在其自己的存储器上，而根据所述商户集合分配将其余的中间统计结果相应地传送给其他数据处理装置，如步骤S106所示。各个计算机可以在其向外传送的中间统计结果数据中加入对应的商户ID以供其他计算机识别。虽然，与常规方法相比，多了这个数据交换的过程，但实际上由于通常情况下商户的数量M、计算机的数量N远远小于交易数据的量(通常用于这种处理的计算机为10～20台，而交易数据大概在100万条～200万条)，因此这种中间统计结果的相互交换不会占用很多资源，也不会耗费很长的时间。在实践中，每个计算机最多进行N-1次数据交换，并且在网络上传输的数据总量至多为N*(N-1)份中间统计结果，按照现有技术能够达到的数据交换速度水平，这个过程将很快就能完成。 

最后在步骤S108中，每个计算机将其收到的中间统计结果与其 本身所存储的中间统计结果进行整合，这种整合同样是按中间结果所对应的商户来进行，并且整合的方式遵照正在进行的统计类型。例如，所需要获得的是当日成功交易总额，则每个计算机将从其自己得到的某个商户的成功交易总额中间值与从其他计算机得到的该商户的成功交易总额中间值相加，由此得到该商户最终的当日成功交易总额。 

从图2的说明中可以看到，与常规的方法，本发明所提供的分布式商户交易统计方法具有很大的灵活性和可扩展性，并且在多个数据处理装置之间实现了负载均衡。应理解的是，虽然在图2中以银行系统的应用为例来解释本发明的方法，但实际上本发明的方法可以应用在任何其它行业的任何类似应用中。 

图3是根据本发明的方法用于银行系统的第一实施例的示意图，图4是根据本发明的方法用于银行系统的第二实施例的示意图。在图3和图4中示出了所有的计算机均连接在数据总线上以便进行数据交换，但这仅是为了举例的目的，而不是为了限制本发明。另外，假定采用5台性能相似的计算机32(在图4中为42)来实现本发明的方法，但应理解的是所使用的数据处理装置的类型、数量及其性能都可以按实际需要进行调整。 

在图3的第一实施例中，用5台计算机32统计12个商户S1-S12每天的成功交易总额。如图所示，各个计算机32已经都被分配了商户集合，其中计算机1负责处理商户{S1，S2，S3}、计算机2负责处理商户{S4，S5，S6}、计算机3负责处理商户{S7，S8}、计算机4负责处理商户{S9，S10}、计算机5负责处理商户{S11，S12}。另外，每台计算机32也已经被预先配置了其从中心数据库31中提取数据的相应地址，因此在开始进行统计时，每台计算机32首先分别从数据库31中提取相应的数据块D1-D5。在该实施例中，数据块D1-D5中的每一个都包括了来自所有商户S1-S12的交易数据，这可能是由于各个商户的交易量相当并且在一天中相对均匀地发生，使得其交易数据相对均匀地分布在数据库31中。因此，每台计算机在对各自提取的数据块中 的交易数据进行统计之后，分别都会得到12个中间统计结果，其中每一个对应于一个商户。然后，计算机1将把与商户S1-S3对应的中间统计结果保存在其本机的存储器上，并且通过数据总线33将商户S4-S6的中间结果传给计算机2、将商户S7和S8的中间结果传给计算机3、将商户S9和S10的中间结果传给计算机4，而将商户S11和S12的中间结果传给计算机5。同样地，计算机2-5也将进行这样的操作。最后，对于商户S1，计算机1将会把其本机上的商户S1的中间统计结果与来自计算机2-5的四个另外的中间统计结果整合，例如将这些结果相加而得到商户S1的当天成功交易总额。对于其他商户，计算机1-5也将进行类似的操作以得到最终统计结果。 

在图4的第二实施例中，用5台计算机32统计3个商户S1-S3每天的成功交易总额，这三个商户可能是每日交易量非常庞大的大型超市或者商场。如图所示，各个计算机32已经都被分配了商户集合，其中计算机1负责处理商户{S1}、计算机2负责处理商户{S2}、计算机3负责处理商户{S3}，而计算机4和计算机5都没有其必须给出最终统计结果的对应商户，但是它们仍然将参与统计操作。与图3所示的实施例相同，每台计算机32已经被预先配置了其从中心数据库31中提取数据的相应地址，因此在开始进行统计时，每台计算机32首先分别从数据库31中提取相应的数据块D1-D5。在该实施例中，数据块D1-D5中的每一个都包括了来自所有商户S1-S3的交易数据。每台计算机在对各自提取的数据块中的交易数据进行统计之后，分别都会得到3个中间统计结果。然后，计算机1将把与商户S1对应的中间统计结果保存在其本机的存储器上，并且通过数据总线43将商户S2的中间结果传给计算机2、将商户S3的中间结果传给计算机3。对于计算机4和5，它们将把商户S1-S3的中间统计结果分别传送给计算机1-计算机3，而不需要在其本机上保存任何中间统计结果。同样地，对于商户S1，计算机1将会把其本机上的商户S1的中间统计结果与来自计算机2-5的四个另外的中间统计结果整合，例如将这些结 果相加而得到商户S1的当天成功交易总额。对于其他商户，计算机2和计算机3也将进行类似的操作以得到最终统计结果。图4的实施例可以被理解为在某些商户的交易数据量特别庞大时，可以用多台计算机共同得到该商户的最终交易统计结果，而这个概念隐含在本发明的方法中并且以灵活和方便的形式被实现。 

虽然在本说明书中以银行系统的具体应用作为实施例来解释本发明的方法，但实际上本发明的范围不限于此，所公开的方法和系统可以应用在任何其它行业的任何类似应用中。 

应当说明的是，以上具体实施方式仅用以说明本发明的技术方案而非对其进行限制。尽管参照上述具体实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或对部分技术特征进行等同替换而不脱离本发明的实质，其均涵盖在本发明请求保护的范围中。 

Claims (8)

1.一种分布式数据统计方法，所述方法使用N个能够相互交换数据的数据处理装置对来自M个对象的数据按对象分别进行统计，其中N和M为大于1的整数，所述数据被存储在中心数据库中，其特征在于，所述方法包括以下步骤：

(1)将所述M个对象划分成相互独立的N个对象集合，并且将所述N个对象集合一一对应地分配给所述N个数据处理装置；

(2)将存储在所述中心数据库中的数据划分成相互独立的N个数据块，其中每个所述数据块包括来自所述M个对象中的一个或多个对象的数据；

(3)每个所述数据处理装置分别从所述中心数据库提取相应的数据块，并且按对象对其所提取的数据块中的数据进行统计，得到与所述一个或多个对象对应的一个或多个中间统计结果；

(4)每个所述数据处理装置存储与其被分配的对象集合中所包含的对象对应的中间统计结果，而根据所述对象集合分配将其余的中间统计结果相应地传送给其他数据处理装置；

(5)每个所述数据处理装置按对象将其收到的中间统计结果与其存储的中间统计结果进行整合，得到相应对象的最终统计结果。

2.如权利要求1所述的方法，其特征在于，其中每个所述对象集合包括一个或多个对象或者为空集。

3.如权利要求1所述的方法，其特征在于，其中根据所述M个对象中的每一个的数据的量来划分所述对象集合。

4.如权利要求1所述的方法，其特征在于，其中根据所述N个数据处理装置中的每一个的处理能力来划分所述对象集合。

5.如权利要求1所述的方法，其特征在于，其中所述N个数据块中的每一个的大小相同或者不同。

6.如权利要求1所述的方法，其特征在于，其中根据所述N个数据处理装置中的每一个的处理能力来确定每个所述数据块的大小。

7.如权利要求1所述的方法，其特征在于，其中所述N个数据处理装置通过数据总线相互传送数据。

8.一种分布式数据统计系统，所述系统被用于对来自M个对象的数据按对象分别进行统计，其特征在于，所述系统包括：

中心数据库，其被用于存储所述数据；

N个数据处理装置，所述N个数据处理装置能够进行数据交换，每个所述数据处理装置分别被分配相互独立的对象集合，所述对象集合包含所述M个对象中的一个或多个或者所述对象集合为空，其中

每个所述数据处理装置被配置为分别从所述中心数据库提取相互独立的数据块，每个所述数据块包括来自所述M个对象中的一个或多个对象的数据；

按对象对其所提取的数据块中的数据进行统计，得到与所述一个或多个对象对应的一个或多个中间统计结果；

存储与其被分配的对象集合中所包含的对象对应的中间统计结果，而根据所述对象集合分配将其余的中间统计结果相应地传送给其他数据处理装置；并且

按对象将其收到的中间统计结果与其存储的中间统计结果进行整合，得到相应对象的最终统计结果。

Images