CN103164287B - 基于Web动态参与的分布式并行计算平台系统 - Google Patents

Abstract

本发明公开一种基于Web动态参与的分布式并行计算平台系统，包括计算任务管理主机和计算节点；所述计算任务管理主机包括计算任务分解单元、计算任务派发单元、Web服务器单元、计算结果收集单元和计算结果汇总处理单元；计算节点包含Web浏览器和嵌入在Web浏览器网页中运行的Java？Applet节点程序；计算任务分解单元把计算任务分解，并封装为计算任务包。任何网络闲置计算机通过浏览器访问Web服务器单元的服务网址，获取含有Java？Applet节点程序的网页，成为计算节点。节点程序通过RMI远程调用从计算任务派发单元获取计算任务包及把计算结果发送给计算结果收集单元。本发明利用网络闲置计算资源进行高性能计算，成本低廉，实施灵活方便。

Description

基于Web动态参与的分布式并行计算平台系统

技术领域

本发明涉及一种利用网络闲置计算资源、基于Web动态参与的分布式并行计算平台系统，属于分布式高性能计算技术领域。

背景技术

随着社会生产生活的发展，各个领域对高性能计算的需求越来越迫切。计算机模拟已成为与理论和实验并列的第三种科学技术研究手段，是高性能计算的最主要应用方向。社会、经济、金融、生态等越来越多的复杂巨系统成为需要定量分析、模拟的对象，为科学决策提供依据。另一方面随着信息技术的发展，出现越来越多的海量信息和数据的处理，这也必然需要高性能计算。高性能计算已不能局限在少数几个数据中心，而需要大量走进实验室，企业，和学校，成为许多科学研究的基础条件。但高性能计算系统的价格和维护费用都十分可观，编程和使用难度也很大，令许多潜在用户望而却步。

海量信息和数据，一般可以分成许多小的相互独立的子集，分别进行处理。大多数复杂系统模拟对象也具有离散特性。这些复杂系统，包括社会、经济和生态系统中的Agent主体，相互之间的作用都有局部性，从而也可以分解成相对独立的子模拟计算任务。由此可见，多数高性能计算任务可分解成相对独立的子任务，并行计算成为提高计算性能必然的选择。

中国专利申请200810224328.6从硬件上构建专用的并行计算系统，结合相应的算法，充分利用任务离散特性，使计算的效率最大化。其他如美国专利US5432718等也是设计专门的硬件来完成某特定类别系统的模拟仿真处理。针对任务特性设计开发专用的高性能计算机，可以使效率最大化，降低硬件成本。但研发投入大，技术要求高，周期长。

由于技术及成本投入等因素，分布式并行计算成为一种更为广泛而实用的解决方案。中国专利申请200810239104.2，200810217439.4等为解决各自领域高性能计算问题，利用专用的机群或服务器，构建分布式并行计算平台。硬件投入成本仍然很高。对许多科研项目和人员来说还是过于昂贵。

因高性能计算资源的限制，一些研究和模拟实验只能大幅简化，从而影响效果。甚至有些研究计划不得不搁置或放弃。许多海量信息和数据也未能充分挖掘和利用。

与此同时，可以看到有大量的计算资源处于闲置或半闲置状态。各种用途的服务器，利用率不一定很高。个人计算机通常从事轻松的交互型办公任务，CPU利用率一般小于5%。普通计算机计算性能不高，但数量庞大。这些闲置计算能力的总量是惊人的。而互联网上的闲置计算资源就更多了。

能否有效的利用这些分散的闲置计算资源，以用于高性能计算？NASA的SETIhome项目，就是利用互联网上闲置计算资源来进行寻找外星智能的计算。还有BONIC等其他一些类似的项目和尝试。其中有些取得比较好的效果。但这些方法都需要在计算节点安装软件，进行配置。在恶意软件横行的网络环境下，安装额外软件是不受欢迎的。操作配置上复杂，或者安全上的顾虑，会让很多的人不愿贡献其计算资源参与计算。限制了可以利用的闲置计算资源的范围。所以，参与的便利性和安全性是成功构建分布式大规模并行计算平台的关键因素。而这正是现有各种技术和方法的共同弱点。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种便利快捷的利用网络闲置计算资源，基于Web动态参与的分布式并行计算平台系统。使得网络闲置计算资源，不需安装部署任何软件，也不需额外配置，经由Web浏览器访问指定页面即可参与计算，成为计算节点。计算过程中，这些计算节点仍可进行轻量级的如日常办公的工作，并且可以随时动态参与和退出。

技术方案：一种基于Web动态参与的分布式并行计算平台系统，包括计算任务管理主机和计算节点；所述计算任务管理主机包括计算任务分解单元、计算任务派发单元、Web服务器单元、计算结果收集单元和计算结果汇总处理单元；计算节点包含Web浏览器和嵌入在Web浏览器网页中运行的JavaApplet节点程序；

计算任务分解单元，接受用户提交的计算任务，并对这些计算任务进行初始化，将计算任务按粒度分解成多个子计算任务，将子计算任务封装成计算任务包对象；海量数据处理高性能计算中，把待处理数据根据一定规则分解成相对独立的子集，每个子集对应一个计算任务包。复杂系统模拟中，把系统按相互作用的局部性划分成子区域，每个子区域及其作用邻域的状态对应一个计算任务包。

Web服务器单元，通过URL地址提供Web访问服务；当计算节点通过Web浏览器访问该URL地址时，Web浏览器返回一个任务计算网页，内嵌JavaApplet计算节点程序；

计算任务派发单元，提供RMI远程调用服务，公开一个派发计算任务包的调用接口；当有调用请求时，把所述计算任务分解单元所封装的计算任务包对象派发给请求者；

计算结果收集单元，通过RMI远程调用服务，公开一个收集计算任务包的计算结果的调用接口；调用请求者通过该RMI远程调用接口返回计算任务包的计算结果；

计算结果汇总处理单元，当所有计算任务包的计算完成后，对其计算结果进行汇总处理，把计算结果输出给用户；

计算节点的Web浏览器，是任何支持Java的Web浏览器；任何网络闲置计算资源，都可以通过支持Java的Web浏览器随时动态的参与到计算中，成为计算节点；

计算节点的JavaApplet节点程序，即所述访问Web服务器单元返回任务计算网页中内嵌的JavaApplet节点程序，通过RMI远程调用服务向计算任务派发单元请求获取计算任务包对象；启动计算任务包对象的计算处理；计算完成后，把计算结果对象通过RMI远程调用服务发送给计算结果收集单元。

所述计算任务包对象，既包括所计算任务所需的信息和数据，也包括处理所述信息和数据的程序逻辑，是一个完整的Java对象。

所述计算任务包对象，是一个可以序列化的Java对象。

所述计算任务包对象的派发，是指把计算任务包Java对象序列化，经RMI远程调用协议从计算任务派发单元传送给计算节点JavaApplet程序单元，在计算节点上再反序列化为Java对象。

所述的计算任务派发单元，计算结果收集单元，Web服务器单元在同一计算机中。这一点需要特别注意。嵌入在网页中运行的JavaApplet节点程序，访问资源时有一定的安全限制，不能建立任意的网络连接。但可以访问该网页来源主机的网络资源，如建立与源主机网络连接，调用源主机上的RMI服务等。

所述计算任务派发单元，把计算任务包对象派发给计算节点后，开始计时；如因计算节点失效或计算失败等原因，超过预定最大时间没有返回计算结果，则自动将该计算任务包对象派发给别的计算节点。

所述计算任务派发单元，在要求严格的情况下，可将每个计算任务包对象发给两或多个计算节点计算，将返回的计算结果进行比较验证，从而增加容错性。

网络中任何一台闲置或半闲置计算机，不管何种软硬件平台，都可以通过支持JAVA的浏览器经网络加入到计算平台，成为一个计算节点。本架构中，既允许局域网中的计算机参与进来，也允许广域网Internet上的计算机成为计算节点。这样可以最大范围的利用闲置计算资源。

网络计算节点通过Web浏览器参与计算的同时，仍可进行日常办公上网等工作。因为操作系统会自动进行进程负载管理，所以对用户使用体验没有明显影响。

任何计算节点，可以在计算过程中动态通过Web浏览器加入，获取对计算任务包进行计算。

任何计算节点，可以随时退出计算，即使有计算任务包正在处理中。因为没有返回结果的情况下，计算任务派发单元会将计算任务包对象重新派发给别的计算节点。

有益效果：本发明提供的基于Web动态参与的分布式并行计算平台系统，具有如下优点：

1、利用网络闲置计算资源构建高性能分布式并行计算平台系统，不需要额外的投入和成本，成本低廉。

2、网络闲置计算参与到分布式计算中来，不需要任何安装部署和配置。所以不会带来安全顾虑，也没有技能要求。

3、因基于Java技术，具有跨平台特性，对计算节点计算机的软硬件平台没有要求。任何软硬件平台的计算机都可以通过支持JAVA的浏览器，随时加入到计算平台，成为一个计算节点。

4、局域网，或者Internet上的闲置计算资源都可以参与计算，成为计算节点。这样可以最大范围的利用闲置计算资源。

5、计算节点可以随时参与或者退出分布式并行计算，不影响计算总体进行和结果的正确性。

6、网络计算节点参与计算同时，仍可进行日常办公上网等工作，没有明显影响。便利性得到最大化，使更多的闲置计算资源愿意参与到计算中来。

附图说明

图1为本发明实施例的网络拓扑示意图；

图2为本发明实施例的结构示意；

图3为本发明实施例的运行时序图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于Web动态参与的分布式并行计算平台系统的网络拓扑结构总体上是一个星型架构，包括计算任务管理主机，以及众多的网络闲置计算资源通过Web浏览器参与计算构成的计算节点。

任何闲置计算资源，包括任何空闲服务器，笔记本，个人计算机等，都可以经由支持Java的Web浏览器随时参与到计算平台系统，成为计算节点。这些闲置计算资源，不限数量，不限平台，都可以经由网络参与计算。所述的网络，既可以是局域网，也可以是互联网。

如图2所示，基于Web动态参与的分布式并行计算平台系统包括计算任务管理主机和计算节点，在此实施例中，计算任务管理主机包含计算任务分解单元，计算任务派发单元，计算结果收集单元，Web服务器单元，计算结果汇总处理单元；计算节点包含Web浏览器单元和嵌入在Web浏览器网页中运行的JavaApplet节点程序。

注意在必要情况下，计算任务分解单元及计算结果汇总处理单元物理上可从计算任务管理主机分离到独立的计算机上完成，以提高处理性能。

计算任务分解单元接受用户提交发布的计算任务，进行初始化处理，并对计算任务进行分解。这是重要的步骤，分布式并行计算的前提是对计算任务进行分解。海量数据处理的高性能计算中，由于数据相互间一般较少耦合，可以较容易的把待处理数据根据一定规则分解成相对独立的子集，每个子集的数据用于构建一个计算任务包Java对象（计算任务包对象）。复杂系统模拟的高性能计算中，复杂系统内部相互作用一般具有局部性。从物理世界中的粒子，物体的相互作用，到社会、经济和生态系统中的Agent主体相互作用，从某种意义上都随距离的增大而迅速减弱。根据这种作用的局部性，可以把系统按一定规则划分为相互耦合较弱的子区域。因邻域内个体相互作用，各子区域的邻域状态，也要和子区域内的状态一起封装到计算任务包中。

计算任务派发单元，通过RMI远程调用服务接受请求，派发计算任务包对象。而计算结果收集单元通过RMI远程调用服务接受请求，收集计算任务包的计算结果。其中计算任务包和计算结果，都是封装成Java对象，序列化后经RMI远程调用服务在网络中传输。接收端计算节点收取后再反序列化为Java对象。其中计算任务包包含计算的代码逻辑，而计算结果对象仅仅是对计算结果数据的封装。

Web服务器单元，可以是任何一种Web服务器；注意虽然本发明提供的分布式并行计算平台系统是基于Java技术的，但对Web服务器是否支持Java技术没有要求。Web服务器只需支持HTML网页，这是所有Web服务器具备的基础功能。

计算结果汇总处理单元，在所有计算任务包计算完成后，对计算结果收集单元收集的计算结果进行汇总处理。因为计算任务包计算的都是子计算任务，还需把这些结果综合汇总起来，形成整体的结果。然后以屏幕显示和文件报表输出的形式，把计算结果反馈给用户。

Web浏览器，是任何支持Java的浏览器。访问指定的网址后，返回的页面中包含有一个JavaApplet节点程序。这个JavaApplet节点程序循环的进行三个任务：通过RMI远程调用服务获取计算任务包；执行计算任务包；通过RMI远程调用服务返回计算结果。如此循环，直到所有计算任务包计算完成。如果没有新的计算任务包，JavaApplet节点程序休眠预设时间后，然后再去查询是否有计算任务包。

此外，如图3所示，基于Web动态参与的分布式并行计算平台系统的动态运行过程。该过程包括以下步骤：

S1、计算任务分解单元，接受用户提交的计算任务，对计算任务初始化，并对计算任务进行分割，划分成许多独立的子计算任务，封装成计算任务包对象；

S2、计算任务派发单元，把计算任务分解单元分解生成的计算任务包对象，通过RMI远程调用接口监听，提供派发服务；

S3、网络闲置计算资源，通过浏览器访问Web服务器单元的服务网址，获取包含有计算节点JavaApplet节点程序的网页；

S4、浏览器执行网页，并启动其中的JavaApplet节点程序；

S5、JavaApplet计点程序启动后，自动通过RMI远程调用服务向计算任务派发单元请求计算任务包对象；

S6、计算任务派发单元派发计算任务包对象给JavaApplet节点程序，如果当前没有计算任务，则返回一个空的任务对象；

S7、JavaApplet节点程序，得到计算任务包对象后，判断是否为空的任务对象，如果是空的任务对象，表明当前没有计算任务，进入休眠，特定时间后继续S5步骤。如果计算任务包不为空，则调用该计算任务包对象的执行方法，执行计算；

S8、计算任务包计算完成后，把计算结果封装成Java对象返回给JavaApplet计算节点程序；

S9、JavaApplet节点程序把计算结果对象序列化后，调用计算任务收集单元的RMI远程调用接口，把计算结果对象发送给计算任务收集单元。然后JavaApplet节点程序重复S5步骤，继续请求计算任务；

S10、所有计算任务包计算完成后，计算结果汇总处理单元对计算结果进行汇总处理，形成最终的整体结果；

S11、计算结果汇总处理单元把计算结果以屏幕显示或文件报表输出的形式反馈给用户，任务结束。

任务超时处理。计算任务派发单元将计算任务包派发给计算节点时，记录下分发时间。如超过预定时间没返回结果，将该计算任务包重新派发给别的节点。因此计算节点的失效或临时退出，并不会影响总体结果的正确性。所以本发明提供的分布式并行计算平台系统具有较强的灵活性和容错性。

本发明提供的基于Web动态参与的分布式并行计算平台系统，架构简洁，流程清晰，易于理解和实现。这样，采用本发明提供的计算平台来进行高性能计算时，可将主要精力放在问题本身，而不需在平台本身花太多时间。

本发明的分布式并行平台系统将问题相关部分和无关部分，在架构上做了清晰的分离。只有少数几个特定于要解决问题的部分，需要针对不同问题更新其实现。大部分是问题无关部分，作为基础架构可以在不同的问题情景下直接的重用。

Claims (9)

1.一种基于Web动态参与的分布式并行计算平台系统，其特征在于：包括计算任务管理主机和计算节点；所述计算任务管理主机包括计算任务分解单元、计算任务派发单元、Web服务器单元、计算结果收集单元和计算结果汇总处理单元；计算节点包含Web浏览器和嵌入在Web浏览器网页中运行的JavaApplet节点单元；

计算任务分解单元，接受用户提交的计算任务，并对所述计算任务进行初始化，将计算任务按粒度分解成多个子计算任务，将每个子计算任务封装成计算任务包对象；

Web服务器单元，通过URL地址提供Web访问服务；当计算节点通过Web浏览器访问所述URL地址时，返回一个的任务计算网页，内嵌JavaApplet节点单元；

计算任务派发单元，通过端口提供RMI远程调用服务，公开一个派发计算任务包的调用接口；当有计算节点调用请求时，通过RMI远程调用服务把所述计算任务分解单元封装的计算任务包对象派发给计算节点的JavaApplet节点单元；如果当前没有计算任务，则返回一个空的任务对象；

计算结果收集单元，通过RMI远程调用服务，公开一个收集计算任务包的计算结果的调用接口；调用请求者通过RMI远程调用接口返回计算任务结果；

计算结果汇总处理单元，当所有计算任务包的计算完成后，对其计算结果进行汇总处理，并把计算结果输出给用户；

Web浏览器，是支持Java的Web浏览器；网络闲置计算资源通过Web浏览器随时动态的参与到计算中，成为计算节点；

JavaApplet节点单元，即所述访问Web服务器单元返回任务计算网页中内嵌的JavaApplet节点单元，通过RMI远程调用服务向计算任务派发单元请求获取计算任务包对象；得到计算任务包对象后，判断是否为空的任务对象，如果是空的任务对象，表明当前没有计算任务，进入休眠，预定时间后继续通过RMI远程调用服务向计算任务派发单元请求计算任务包对象；如果计算任务包不为空，则启动计算任务包对象的计算处理，计算完成后，把计算结果对象通过RMI远程调用服务发送给计算结果收集单元。

2.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：所述的计算任务派发单元、计算结果收集单元和Web服务器单元在同一计算机中。

3.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：所述计算任务包对象，既包括计算任务包所需的信息和数据，也包括处理这些信息和数据的程序逻辑；所述计算任务包对象是一个序列化的Java对象。

4.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：所述计算任务包对象的派发，是指把计算任务包对象序列化，经RMI远程调用服务从计算任务派发单元传送给计算节点的JavaApplet节点单元，在计算节点上再反序列化为Java对象。

5.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：如计算节点因失效或计算失败的原因，超过预定最大时间没有返回计算结果，所述计算任务派发单元自动将该计算任务包对象重新派发给别的计算节点。

6.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：所述计算任务派发单元，可将每个计算任务包对象发给两或多个计算节点计算，将计算节点返回的计算结果进行比较验证。

7.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：网络中任何一台闲置或半闲置计算机，不管何种软硬件平台，都可以通过支持JAVA的Web浏览器经网络加入到计算平台系统，成为一个计算节点。

8.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：计算节点通过Web浏览器参与计算的同时，仍可进行日常办公上网工作。

9.如权利要求1所述的基于Web动态参与的分布式并行计算平台系统，其特征在于：任何计算节点，可以在计算过程中动态通过Web浏览器加入，获取计算任务包对象进行计算；也可以随时退出计算，计算任务派发单元会将计算任务包重新派发给别的计算节点。