CN101441557A - 基于动态数据拆分的分布式并行计算的系统及其方法 - Google Patents

Abstract

一种基于动态数据拆分的分布式并行计算的系统及其方法，该系统包括：拆分单元，其负责分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立计算项；运算单元，其负责对所述计算项进行分布式并行计算，包括若干运算机；环境单元，其负责在并行计算前部署所述运算机中的执行环境，并且在计算执行完成后将所述运算机还原到执行前的状态；负载均衡单元，其负责检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机。本发明的优点为：1)最大程度加快计算速度；2)最大程度利用了计算机的空闲资源；3)方便控制、监控和查看数据计算；4)运算单元自容灾。

Description

基于动态数据拆分的分布式并行计算的系统及其方法

技术领域

本发明涉及计算机、网络通信领域，特别涉及一种基于动态数据拆分的分布式并行计算的系统及其方法。

背景技术

随着计算机及网络的普及，由于网络通信活动的日益频繁，为网络中的计算机提供各种服务的服务器越来越多，例如各种门户网站、各种即时通讯服务提供商、各种搜索引擎等，而提供这些网络服务的各种服务器每天不但要接收到海量的数据，而且还要在各种复杂计算模型下对这些数据进行计算。以即时通讯服务提供商为例，其每天接收到的数据总量可能超过500G，每个月则达到16T；而针对接收到的这些数据，还需要通过计算服务器(运算机)进行数十项计算模型的计算，而且这些计算模型的逻辑都非常复杂，因此对这样的海量数据进行计算耗时极长；即使是单个模型的计算，月度汇总的耗时都可能超过10天，而年度汇总则耗时更长。对于这样的状况，以前的做法是按计算模型并行计算，即将没有关联的计算模型分机器执行；即使这样，由于单个模型的计算时间长，而且部分模型之间又有直接的联系，导致耗时仍然很长；另一方面，由于各模型所需计算时间的不同，所采用的计算服务器并不都是一直在参与运算，部分计算服务器在每天计算完成后总是有段空闲时间，直到第二天的运算开始，因此会造成运算资源的浪费。

而现有技术中，为提高数据的运算效率，通过按任务分服务器(静态数据拆分)在多服务器上并行计算，每台服务器固定计算整个模型中的一部分任务；例如大型游戏服务器中，作为整个计算模型中的一部分任务，将角色的AI(Artificial Intelligence，人工智能)放到一台计算服务器上运算，将场景的动画放到另一台计算服务器上运算，等等；其中每台运算机(计算服务器)所要执行的任务是固定的，每台运算机的计算环境相应于其所执行的任务而固定。但是，这种按任务来进行静态数据拆分的方法，存在如下缺点：1、各种任务有大有小，所需运算资源分配不均，因此运算机利用率不高；2、必须额外做容灾，使得运算机利用率更低；3、不能灵活的增删运算机，以增加计算效率或分离运算机；4、运算机计算环境切换困难，运算机的计算环境对应其所执行的任务而固定。另一方面，现有技术中还存在一种基于对等式分布计算技术的并行信息传送技术方案，在此方案中，信息不是通过服务器和客户机之间一对一传送而是通过多个同位体和客户机之间并行传送，可以有效缩短传送信息所需的时间；此外，中央服务器不是在中央控制来自所有客户机的所有请求，而是多个同位体同时进行并行处理这些请求，从而可以大大减少服务器的负荷，以便减少用于构造服务器的成本并且网络总的可利用带宽可以增大。这种方案的缺点在于：1、该方案仅适用互联网上的数据传输，不适合内网数据传输；2、该技术方案仅能加快信息的传送，而不能对数据进行模型计算，可提高信息的传送效率而无法提高数据的计算效率。

发明内容

因此，本发明的目的在于提供一种基于动态拆分数据，使用多台服务器协同并同时计算一个数据项目的系统及其方法。

为实现上述目的，本发明提供一种基于动态数据拆分的分布式并行计算的系统，其包括：拆分单元，其负责分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立的子集，这些子集中，每个与其它子集的计算无相关性的子集作为一个计算项；运算单元，其负责对所述计算项进行分布式并行计算，包括若干运算机，各运算机分别计算其所分配到的计算项；环境单元，其负责在并行计算前部署所述运算机中的执行环境，并且在计算执行完成后将所述运算机还原到执行前的状态；负载均衡单元，其负责检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机。

其中，该系统还包括控制单元，该控制单元包括至少一控制机，通过该控制机可配置管理所述系统和执行控制指令。

其中，该系统还包括显示单元，该显示单元负责显示和监控所述系统的各单元的运行情况，并且在系统执行指令失败或系统资源紧张时告警。

其中，该系统还包括以邮件或短信的方式发送告警的告警单元，该告警单元包括邮件代理和短信代理，以及设于所述系统的其他各单元的发送邮件或短信的工具。

其中，该系统还包括汇总单元，当所述待计算数据的某些计算无法由所述拆分单元拆分时，运算单元并行计算的所有数据项结果都传到该汇总单元中，传输完成后，由该汇总单元进行汇总运算。

其中，所述划分规则为根据用户需求按待计算数据的散列或者日期去分割。

其中，在所述运算单元中，当一计算项在一运算机上计算失败时，该计算项自动重新分配至另一运算机进行计算。

其中，所述运算单元可以修改保存所述运算机相关信息的配置文件，从而在该运算单元中增加或删除运算机。

其中，部署所述运算机中的执行环境包括在所述运算机中部署计算脚本、创建必须的目录和设置必要的环境变量。

其中，所述系统的显示单元、控制单元、负载均衡单元、环境单元以及拆分单元设置于一台服务器中。

其中，所述运算机中对计算项的数据传输和计算同时进行。

其中，所述运算单元包括由一台服务器虚拟而成的数个运算机。

相应地，本发明还提供一种基于动态数据拆分的分布式并行计算的方法，其包括步骤：

S1、分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立的子集，这些子集中，每个与其它子集的计算无相关性的子集作为一个计算项；

S2、在若干运算机中部署执行环境；

S3、检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机；

S4、各运算机分别计算其所分配到的计算项；

S5、计算执行完成后将所述运算机还原到执行前的状态。

其中，还包括步骤：执行步骤S1后，所述待计算数据的某些计算无法拆分时，则对执行步骤S4所得的所有数据项结果执行汇总运算。

其中，步骤S1中的划分规则为根据用户需求按待计算数据的散列或者日期去分割。

其中，执行步骤S4时，当一计算项在一运算机上计算失败时，该计算项自动重新分配至另一运算机进行计算。

其中，还包括步骤：修改保存所述运算机相关信息的配置文件，从而增加或删除运算机。

其中，还包括步骤：将一台服务器虚拟成多台运算机。

本发明所提供的基于动态数据拆分的分布式并行计算的系统及其方法具有如下优点：1)最大程度加快计算速度；2)最大程度利用了计算机的空闲资源；3)方便控制、监控和查看数据计算；4)运算单元自容灾，如果其中部分运算机坏了，不影响计算结果，只是计算效率有所降低。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。

附图中，

图1为本发明基于动态数据拆分的分布式并行计算的系统的结构示意图；

图2为本发明基于动态数据拆分的分布式并行计算的系统的一较佳实施例的结构示意图；

图3为本发明基于动态数据拆分的分布式并行计算的系统的又一较佳实施例的结构示意图；

图4为本发明基于动态数据拆分的分布式并行计算的系统中数据传输和计算的方式的示意图；

图5为本发明基于动态数据拆分的分布式并行计算的方法的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，其为本发明基于动态数据拆分的分布式并行计算的系统的结构示意图，该系统主要包括拆分单元10、运算单元11、环境单元12、负载均衡单元13，其中运算单元11由若干运算机(slave)14组成。

拆分单元10负责分割数据，其把待计算数据根据规则划分成相对独立的子集，这些子集中，每个与其它子集的计算无相关性的子集作为一个计算项，“无相关性”是指一数据子集的计算不受另一数据子集计算的影响，即此无相关性的两个数据子集可以同时作并行运算，不需运算完一个子集才能算另一个子集，对于满足成为计算项条件的子集，要求任意两个子集之间都无相关性，即这些子集可以同时并行计算，也就是由拆分单元10拆分出可作并行计算的计算项；利用该拆分单元10可实现对待计算数据项目的动态拆分，而动态数据拆分与静态数据拆分相比，动态拆分的数据更均匀，拆分的子集数量可控，因此对运算机的任务分配更合理，利用率也会提高不少。运算单元11负责对所述计算项进行分布式并行计算，并行计算的主要运算在该运算单元11中执行，各运算机14分别计算其所分配到的计算项。环境单元12负责在并行计算前部署所有运算机(slave)中的执行环境，并且在计算执行完成后将所述运算机还原到执行前的状态，从而使整个计算对slave透明；因此，slave在计算完一个模型后，如果需要用于计算其他模型，不用人工去搭计算环境。负载均衡单元13其负责检查所有运算机的负载情况，其根据各运算机的磁盘、内存、CPU、IO等资源消耗情况，动态地分配相应数量的计算项至各运算机。

参见图2，其为本发明基于动态数据拆分的分布式并行计算的系统的一较佳实施例的结构示意图，在此较佳实施例中，该基于动态数据拆分的分布式并行计算的系统除包括拆分单元10、由若干运算机14组成的运算单元11、环境单元12、负载均衡单元13外，还包括用于辅助该系统运行的控制单元、显示单元、告警单元16、汇总单元17和源数据存储单元18，在此实施例中控制单元和显示单元结合在一起成为显示/控制单元15。

源数据存储单元18存储有对应于待计算数据项目的源数据，其将数据传输给拆分单元10进行拆分。控制单元是唯一需要人工干预的单元，其主要功能是配置管理和执行指令，该控制单元包括至少一控制机，通过控制机(master)，项目负责人19可采用网页控制的方式增加、删除或修改待计算模型的配置项，通过控制机来对不同的计算模型进行配置管理；同样，项目负责人也可以利用CGI(公共网关接口)登陆控制机(master)，执行所需的控制指令，控制机再将指令传达给其他各单元。显示单元具有显示和监控功能，其可以通过网页的形式实时显示各单元的运行情况，计算模型的计算进度，以及预估模型计算还需要多少时间等信息；同时，在系统执行指令失败或系统资源紧张时，会向项目负责人19告警(例如以邮件或短信的方式，通过告警单元16来完成)。告警单元16主要负责将计算过程中的异常快速传达给项目负责人19，该告警单元16主要包括邮件代理和短信代理，其他各单元的每台服务器上都有一个专门的工具来实现发邮件或短信的功能。汇总单元17为可选单元，当数据的某些计算无法拆分时，即对某些计算来说，数据无法全部拆分为可进行并行计算的计算项时，则需要将数据汇总，由运算单元11并行计算的所有数据项结果都将传到该汇总单元17中，传输完成后，会自动启动汇总运算；如果对特定的计算模型或计算项目来说不存在无法拆分的数据，则该汇总单元17可省去；而且该汇总单元17可看作一特别的运算机，如图2所示，其同样可像普通的运算机一样由环境单元12来搭建其运行环境，由环境单元12负责在汇总计算前部署汇总单元17中的执行环境，并且在汇总计算执行完成后将所述汇总单元17还原到执行前的状态。

在此较佳实施例中，拆分单元10分割待计算数据项目的规则可以是根据用户需求按数据的散列(Hash)或者日期等去分割。

在针对某一计算模型进行计算之前，先通过环境单元12在运算单元11的运算机14上的搭环境，包括部署针对计算模型的计算脚本，创建必须的目录，设置必要的环境变量等。在模型计算时，每台运算机14先拖取原始数据(经拆分单元10分割后的数据)，然后启动运算脚本，计算完成后再将数据传输到汇总单元17上(需要汇总运算的情况下)。

为确保执行的准确性，该系统中运行的每个步骤都要验证数据的正确性。例如，传输完原始数据后，需要检查传输后的文件数量及校验和；在计算完成后，需要检查计算的结果文件数量及文件大小；传输汇总数据完成后，需要检查文件的数量及校验和。如果其中任何一个地方异常，都标志这个计算项计算失败，进而通过显示/控制单元15和告警单元16来告警，并将该计算项自动重新分配至另一运算机进行计算，直到失败3次(次数可调整)。

由于运算机是在项目计算的时候才分配的，所以如果有运算机坏了，该并行计算系统会自动找另外的运算机重新计算该机负责的任务，因此该系统的运算单元是自容灾的，不需要额外加机器作容灾。

同样，我们还可以在运算单元中修改保存运算机相关信息的配置文件，从而方便地从该并行计算系统中增加或删除一台运算机，从而灵活地增加或减少该系统的资源。

在此较佳实施例中，各单元可分别采用单独的服务器来实现，也可以如显示/控制单元15一样，采用数个单元结合的形式。

实际上，由于除运算单元外的显示、控制、负载均衡、环境以及拆分单元等的负载都很小，通常可将显示单元、控制单元、负载均衡单元、环境单元以及拆分单元设置于一台服务器中，具体可参见图3，其为本发明基于动态数据拆分的分布式并行计算的系统的又一较佳实施例的结构示意图。图3中，通过虚线和方框按照功能将该实施例的结构划分为四部分，由左至右分别为数据接收、原始数据存储、数据计算和结果数据存储；数据接收单元25、26和27负责接收数据并分别传递给原始数据存储单元28和29，其中数据接收单元25传递数据1给原始数据存储单元28，并且在控制机20的控制下，分割为数据1/1、1/2及1/3，而数据接收单元26和27传递数据2给原始数据存储单元29，并在控制机20的控制下，分割为数据2/1、2/2及2/3；方框内为本发明的并行计算系统，其包括由显示、控制、负载均衡、环境以及拆分单元等组合而成的控制机(master)20、若干运算机21，项目负责人22通过控制机20向该系统输入控制指令，同时，控制机还20具有显示和告警功能，从而项目负责人22可掌握系统的运行，数据1/1、1/2及1/3，数据2/1、2/2及2/3分别通过所述运算机21进行并行运算；最终，并行计算的结果由控制机20控制其进行汇总运算并存入结果数据存储单元23和24。

应用本系统来进行模型计算时，整个系统的使用流程如下：首先可由项目负责人在配置单元中添加计算项，填写各种计算所需的配置，例如项目负责人的邮箱地址、电话号码、数据源的位置、数据拆分方式等。然后在控制单元中填入执行参数，点击执行按钮，系统则启动并行计算的全部流程。每一个流程完成后无需人工干预，自动进入下一个流程。期间可以在显示单元中观察有哪些项目正在计算、各个运算机的系统运行状态、每个项目中数据项完成的情况、已经完成的数据项的计算日志、以及整个计算项目大概还需要多长时间结束等。计算完成后网页上会自动显示状态为完成，如果配置了完成通知的邮箱和电话号码，系统还会自动发邮件和短信通知。

此外，如图4所示，其为本发明基于动态数据拆分的分布式并行计算的系统中数据传输和计算的方式的示意图；因为在同一台机器上，传输数据和运行脚本之间影响很小，可以同时进行，所以在并行计算时，所述运算机对计算项的数据传输和计算可以同时进行；如图4所示，在传源数据2的同时进行计算1，在传源数据3和传汇总1的同时进行计算2等等，从而提高了时间的利用效率。设空闲计算机器数N，单机器的整个项目计算时间Ts，并行计算的总时间Tp，数据传输的总时间Tt，汇总时间Tg，则Tp＝(Ts-Tg+Tt)/N+Tg；计算和数据传输是可以同时进行的，所以Tp≌(Ts-Tg)/N+Tg；如果不需要汇总，则Tp≌Ts/N；从而利用本发明的系统可充分利用空闲机器，并最大程度加快数据项目的计算速度。

此外，本发明的并行计算技术的另一种应用方式为，将一台服务器虚拟成多台运算机，也就是由一台服务器虚拟成数个运算机来代替多台独立的运算机(服务器)，进而可以将本发明的所有单元在一台机器上实现，也就是将各单元设置于一台服务器中；由于除运算单元外的其他单元对服务器资源的消耗接近于零，所以只用考虑运算单元的资源消耗。一般服务器上都有不只一块的CPU，计算时，一个进程只能在一个CPU上执行，这样对CPU是极大的浪费，如果在一台服务器上虚拟成多台服务器，并用来做并行计算，则可以充分利用CPU，加大执行效率。

对应于本发明基于动态数据拆分的分布式并行计算的系统，本发明还提供了相应的基于动态数据拆分的分布式并行计算的方法，参见图5，其为该方法的流程图。该方法包括步骤：S1、分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立的子集，这些子集中，每个与其它子集的计算无相关性的子集作为一个计算项，通过这样的动态拆分使得数据更均匀，拆分的子集数量可控，从而可以更加合理的分配计算任务；S2、在若干运算机中部署执行环境，即针对不同的计算模型，部署计算脚本，创建必须的目录，设置必要的环境变量等；S3、检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机，从而可充分合理的利用全部运算机的资源；S4、各运算机分别计算其所分配到的计算项，即执行并行计算的运算工作；S5、计算执行完成后将所述运算机还原到执行前的状态，使整个计算对运算机透明，因而，运算机在计算完一个模型后，如果需要用于计算其他模型，可重新搭建新的计算环境。

该方法还包括，步骤S1中的划分规则为根据用户需求按待计算数据的散列或者日期去分割；执行步骤S1后，所述待计算数据的某些计算无法拆分时，则对执行步骤S4所得的所有数据项结果执行汇总运算。

作为该方法的进一步改进，执行步骤S4时，当一计算项在一运算机上计算失败时，该计算项自动重新分配至另一运算机进行计算；而且，该方法还可以包括修改保存运算机相关信息的配置文件，从而可方便地增加或删除运算机；因此通过该方法可实现运算单元的自容灾，不需要额外加机器作容灾。

该方法还可以包括将一台服务器虚拟成多台运算机，从而可以充分利用现有多CPU服务器的资源，加大执行效率。

可以理解，以上所述的基于动态数据拆分的分布式并行计算的方法，可应用于本发明所提供的基于动态数据拆分的分布式并行计算的系统中，在此不再赘述。

综上，本发明所提供的基于动态数据拆分的分布式并行计算的系统及其方法具有如下优点：1)最大程度加快计算速度；2)最大程度利用了计算机的空闲资源；3)方便控制、监控和查看数据计算；4)运算单元自容灾，如果其中部分运算机坏了，不影响计算结果，只是计算效率有所降低。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (14)

1、一种基于动态数据拆分的分布式并行计算的系统，其特征在于，其包括：

拆分单元，其负责分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立的子集，这些子集中，每个与其它子集的计算无相关性的子集作为一个计算项；

运算单元，其负责对所述计算项进行分布式并行计算，包括若干运算机，各运算机分别计算其所分配到的计算项；

环境单元，其负责在并行计算前部署所述运算机中的执行环境，并且在计算执行完成后将所述运算机还原到执行前的状态；

负载均衡单元，其负责检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机。

2、如权利要求1所述的基于动态数据拆分的分布式并行计算的系统，其特征在于，其还包括控制单元，该控制单元包括至少一控制机，通过该控制机可配置管理所述系统和执行控制指令。

3、如权利要求1所述的基于动态数据拆分的分布式并行计算的系统，其特征在于，其还包括汇总单元，当所述待计算数据的某些计算无法由所述拆分单元拆分时，运算单元并行计算的所有数据项结果都传到该汇总单元中，传输完成后，由该汇总单元进行汇总运算。

4、如权利要求1—3任一所述的基于动态数据拆分的分布式并行计算的系统，其特征在于，所述划分规则为根据用户需求按待计算数据的散列或者日期去分割。

5、如权利要求1—3任一所述的基于动态数据拆分的分布式并行计算的系统，其特征在于，在所述运算单元中，当一计算项在一运算机上计算失败时，该计算项自动重新分配至另一运算机进行计算。

6、如权利要求1—3任一所述的基于动态数据拆分的分布式并行计算的系统，其特征在于，所述运算单元可以修改保存所述运算机相关信息的配置文件，从而在该运算单元中增加或删除运算机。

7、如权利要求1—3任一所述的基于动态数据拆分的分布式并行计算的系统，其特征在于，部署所述运算机中的执行环境包括在所述运算机中部署计算脚本、创建必须的目录和设置必要的环境变量。

8、如权利要求1—3任一所述的基于动态数据拆分的分布式并行计算的系统，其特征在于，所述运算单元包括由一台服务器虚拟而成的数个运算机。

9、一种基于动态数据拆分的分布式并行计算的方法，其特征在于，包括步骤：

S1、分割待计算的数据项目，把待计算数据根据划分规则拆分成若干相对独立的子集，这些子集中，每个与其它子集的计算无相关性的子集作为一个计算项；

S2、在若干运算机中部署执行环境；

S3、检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机；

S4、各运算机分别计算其所分配到的计算项；

S5、计算执行完成后将所述运算机还原到执行前的状态。

10、如权利要求9所述的基于动态数据拆分的分布式并行计算的方法，其特征在于，其还包括步骤：执行步骤S1后，所述待计算数据的某些计算无法拆分时，则对执行步骤S4所得的所有数据项结果执行汇总运算。

11、如权利要求9或10所述的基于动态数据拆分的分布式并行计算的方法，其特征在于，步骤S1中的划分规则为根据用户需求按待计算数据的散列或者日期去分割。

12、如权利要求9或10所述的基于动态数据拆分的分布式并行计算的方法，其特征在于，执行步骤S4时，当一计算项在一运算机上计算失败时，该计算项自动重新分配至另一运算机进行计算。

13、如权利要求9或10所述的基于动态数据拆分的分布式并行计算的方法，其特征在于，其还包括步骤：修改保存所述运算机相关信息的配置文件，从而增加或删除运算机。

14、如权利要求9或10所述的基于动态数据拆分的分布式并行计算的方法，其特征在于，其还包括步骤：将一台服务器虚拟成多台运算机。

Images