CN103888537A - 一种基于web页面的网格计算方法及系统 - Google Patents

Abstract

本发明提供一种基于web页面的网格计算方法及系统，涉及网格计算技术领域，所述方法包括以下步骤：网格计算任务管理服务器将计算需求用户提出的计算任务定制成计算任务分片，存储于网格计算任务管理服务器任务队列中；在互联网特定web页面被用户浏览时，web页面通过富客户端技术实现的网格计算任务管理程序将任务计算程序加载至用户浏览客户端，网格计算任务管理程序向网格计算任务管理服务器申请领取计算任务分片，进行计算，并将结果回传；网格计算任务管理服务器将多个计算结果分片合成为完整需求计算结果。该网格计算系统包括：网格计算任务提交平台，网格计算任务管理服务器，web网页计算任务管理程序网格和web页面服务器。

Description

一种基于web页面的网格计算方法及系统

技术领域   

本发明涉及计算机、互联网、网络通信、网格计算、分布式计算等技术领域，针对大规模高性能计算应用和网格计算系统，为更好解决网格计算节点部署问题，通过结合web服务器、网格计算任务管理服务器和用户浏览客户端进行大规模网格计算节点快速动态部署的一种创新实现方法，具体说是一种基于web页面的网格计算方法及系统。

背景技术

网格计算是随着互联网通信技术的快速发展而出现的专门针对复杂科学计算的新型分布式计算架构。该计算架构充分利用互联网的资源共享机制把分布在网络上的大量异构计算机（可以为台式机、笔记本电脑或大型服务器等）综合成一个计算平台，将其作为嵌入在分布式电信基础设施中的一个虚拟的超级并行计算机集群。其中负责部分计算任务的每一台计算机称为一个网格节点，而完整的计算任务是由成若干个网格节点协同完成。

网格计算的设计目标是：解决对于任何单一的超级计算机来说，仍然大得难以解决的问题，并同时保持解决多个较小的问题的灵活性。这样，网格计算就提供了一个多用户环境。它的第二个目标就是：更好的利用可用计算力，迎合大型的计算用户的断断续续的需求。

充分利用网上的闲置处理能力是网格计算的一个优势，典型的网格系统首先把网格计算需求用户提交的计算任务和数据分割成若干小片；然后分析完成任务所需要的计算资源；再将分成小片的任务分配给这些网格节点进行计算；完成计算的网格节点将计算结果汇总，以便反馈给网格计算的需求用户。

传统上，为了部署网格计算系统，每个网络计算节点计算机需要安装特定网格计算程序，该计算软件一般是运行优先级低于正常程序，该程序可以根据所在计算机的计算资源向网格计算任务管理服务器申请获取合适数量任务分片；只要节点的计算机的计算资源出现部分闲置，该网格计算程序就会自动工作；任务分片计算完毕后，采用分次或批量提交给网格计算任务管理服务器。

由于现存的网格计算应用系统大部分是网格计算需求用户针对自身需求自行开发的，网格节点用户需要单独下载安装网格计算的客户端网格计算节点软件，并需要学习软件的使用方法。这样的部署方式导致网格计算平台不统一，每个科学计算任务都重新开始设计程序，网格计算需求用户开发成本高，也增加了网格计算节点用户的时间成本。其次，大部分网络用户对于把自己的闲置计算资源共享给某个大型科学计算任务存在主观选择性，导致了大部分科学计算网格计算需求没有得到大规模网络用户的计算资源共享支持。

发明内容

基于web页面的网格计算方法及系统由以下子系统构成包括：网格计算任务提交平台，网格计算任务管理服务器，web网页网格计算任务管理程序和web页面服务器。其中网格计算任务管理服务器和web页面服务器可以部署在同一台物理服务器上。

在网络用户通过浏览客户端浏览本发明部署的网页时，浏览过程中加载网格计算节点任务计算程序，所述方法包括以下步骤：

步骤1：网格计算的需求用户通过网格计算任务提交平台提出计算任务请求，该请求包括完整计算逻辑表达，任务管理分片策略等细节；

步骤2：根据所述计算任务请求定制计算任务，将所述计算任务分片，并将计算任务片发送给web网页浏览客户端的任务计算程序；

步骤3：任务计算程序申请接收计算任务分片，经过对所述计算任务片段进行计算，得出计算结果。然后采用实时或批量方式将结果提交给网格计算任务管理服务器。

步骤4：网格计算任务管理服务器将多个分片计算结果合成为完整计算结果。

系统中网格计算任务提交平台用于接收网格计算的需求用户提交的网格计算任务请求，定制计算任务。该平台提供给网格计算需求用户标准的编程语言接口，并提供科学计算常用算法库、任务管理接口、任务分片策略库等便利资源。

所述web网格计算任务管理服务器用于接收网格计算任务提交模块提交的计算任务，对计算任务进行分片，将计算任务片通知给任务计算程序，还用于接收任务计算程序反馈的计算任务片的计算结果，并将所述计算结果合成为完整计算结果，将所述网格计算结果推送给网格计算任务接收模块：

所述任务计算程序用于回应所述web网格计算任务管理服务器发出的通知，并进行任务计算。

 本发明的有益效果是：

(1) 采用本发明所述的技术方案，由于特定web页面被网络用户浏览时动态加载网格任务计算程序，而该程序采用主流的富客户端技术实现，从技术层面保证对用户的浏览体验不造成影响，网格计算的部署和实施过程简便快捷，并且高效。目前每天拥有10万以上浏览量的web网站有数万个，因此可以借助成熟的互联网web页面内容浏览服务，无缝透明的使得千万乃至上亿的网络用户成为网格计算参与者。而免除了从零开始推广、避免了用户下载、安装、配置、运行网格计算节点的复杂过程，使用户在浏览互联网的同时，参与了科学计算任务。

(2) 基于web页面的网格计算方法及系统的网格计算架构，为网格计算需求客户提供统一、标准的网格计算任务发布平台，有利于计算资源的集中使用，可为多个网格计算任务同时提供大规模计算资源。

(3) 基于web页面的网格计算方法及系统的网格计算架构，借助了广大的web页面浏览用户，汇集大规模闲置计算资源，可以为社会提供全新的网格计算业务模式，给网格计算需求用户带来大量计算能力。

附图说明

图1是本发明基于web页面的网格计算方法及系统总体架构图；

图2是本发明基于web页面的网格计算方法及系统任务处理流程图；

图3是本发明web端计算节点程序执行流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合系统整体结构图、系统整体运行流程和web网页客户端运行流程，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

目前大多数个人计算机均进行web网页浏览操作，因此结合浏览客户端的网格计算节点，将节省网格计算的部署步骤与时间，更加高效地利用用户时间和计算机的计算能力。同时也使整个计算过程直观易用，增强了大规模闲置计算资源快速汇集能力。

基于web页面的网格计算业务通过分布在web浏览用户电脑上的任务计算程序，整合数千万在线web浏览用户的闲置计算资源，为网格计算需求用户提供超级网格计算的收费服务；而参与的网格计算节点用户的浏览体验不受影响。本部分实现方式用两个流程加以介绍，具体包括基于web页面的网格计算系统整体运行流程和网格计算节点web页面端程序执行流程。

基于web页面的网格计算系统整体运行流程：

基于web页面的网格计算系统整体运行流程参见图2。在网络用户通过浏览器客户端浏览本发明部署的网页时，通过嵌入到网页的富客户端技术实现的网格计算任务管理程序把网格计算节点加载到分布在不同地理位置的每个用户电脑，整合浏览用户的电脑闲置计算资源，为网格计算需求用户提供超级网格计算服务，具体包括以下步骤：

步骤1：网格计算的需求用户提交计算任务请求。

该计算任务请求里包含了需求用户的计算需求信息。在本实施例中，网格计算的需求用户在网格计算任务提交平台上用计算机领域公知的编程语言对计算逻辑进行描述、对可并行化的核心逻辑进行标识并制定任务分片策略，提交给网格计算任务管理服务器。

步骤2：网格计算任务管理服务器收到计算任务描述后，按照用户指定的任务分片策略对计算任务进行分片处理，加入到计算任务分片队列，等待网格计算节点申请。

步骤3：网格计算任务管理服务器收到网格计算节点发出计算任务申请后，根据请求信息中对计算资源的描述，从计算任务分片队列中分配合适数量的计算任务分片，发送给网格计算节点。

步骤4：网格计算节点申请获得网格计算任务管理服务器分配的计算任务分片后，对任务分片进行计算，采用每个计算任务分片单独提交或批量提交的方式将计算结果发送回网格计算任务管理服务器。

步骤5：网格计算任务管理服务器收集各个网格计算节点返回的计算分片结果。

步骤6：网格计算任务管理服务器对计算分片结果进行综合处理，形成完整计算结果。

步骤4中的每个网格计算节点计算机可以接受多个不同计算任务及多个计算任务片；同一个计算任务、甚至是计算片，也可以分配给多个用户客户端，以提供冗余计算能力提供计算机结果的可验证性。同时可以避免网格计算节点用户在该web页面停留时间过短导致的计算结果没有返回。

步骤3和步骤4循环进行，直到整个计算任务结束。

网格计算任务管理服务器所实现的计算任务分片功能、计算任务分配功能、计算结果收集功能、计算结果综合汇总功能、供用户查询功能、负载均衡与多节点冗余计算功能等可以由计算机领域的公知技术完成。

网格计算节点web页面端程序执行流程：

网格计算节点web页面端执行流程参见图3，本发明所示的基于web页面的网格计算方法及系统的计算节点程序采用互联网的公知技术--富客户端技术，将网格计算节点程序嵌入到网页中，对网络用户透明，无需安装。从网络用户打开浏览网页到完成计算任务具体包括以下步骤：

步骤1：网络用户浏览自己感兴趣的网页，如果打开的网页是本发明部署的web页面，则该客户计算机成为网格计算节点。

步骤2：在网页加载到客户浏览器过程中，加载网格计算任务，在保证用户浏览体验不受影响的情况下，下载并运行网格计算任务管理程序。

步骤3：网格计算任务管理程序向网格计算任务管理服务器申请获取计算任务分片，该计算任务分片包括任务计算程序和需要处理的数据。如果为非第一次申请同一个计算任务，则不需要获得任务计算程序。

步骤4：收到任务计算程序和需要处理的数据，执行该程序进行计算。

步骤5：计算结束后，返回计算结果给网格计算任务管理服务器。

上述执行流程的步骤3、步骤4、步骤5循环执行，直到用户离开该页面。

用户可以在计算结果未完成或未提交前自主离开该页面，网格计算任务分片计算过程自动终止。由于计算任务分片大都划分颗粒度比较小，其对本发明的计算能力影响甚微。

网格计算任务管理程序所实现的后端下载功能、运行调度功能等可以由计算机领域的公知技术完成。

图1为基于web页面的网格计算系统总体架构图，由4个组成部分构成：web页面服务器，网格计算任务管理服务器，任务计算程序和网格计算任务提交平台。图2为基于web页面的网格计算方法及系统任务处理流程图。

网格计算任务管理服务器负责接收来自网格计算需求用户提交的网格计算任务，根据其指定的任务分片策略对任务进行切片，并加入分片任务队列；当有网格计算节点用户申请获取计算任务分片，将一个或者多个计算任务分片分配并发送给相对应的网络浏览用户；并在网格计算节点用户对计算任务分片计算完毕后，对计算结果进行收集；当收集到足够的结果数据时，对数据进行综合处理，形成完整计算结果，供网格计算需求用户查询。

web页面服务器负责提供web页面内容，供网络用户群体浏览，并在web页面中添加任务计算程序自动加载功能，在网络浏览用户打开web页面进行浏览时，加载网格计算任务管理程序，对后续计算任务分片进行管理。

网格计算任务提交平台负责为网格计算需求用户提供统一的标准的计算任务描述形式，帮助网格计算需求用户发布网格计算任务，通过正确性验证后提交给网格计算任务管理服务器。

Claims (8)

1.一种基于web页面的网格计算方法，其特征在于，在互联网用户浏览网页时，加载基于web页面的网格计算程序，进行网格计算任务处理，所述方法包括以下步骤：

步骤A：网格计算的需求用户提出计算任务请求；

步骤B：根据所述计算任务请求定制计算任务，将所述计算任务分片，并将计算任务片分发给用户浏览客户端；

步骤C：所述用户浏览客户端，接受计算任务并领取相应的计算任务片，对所述计算任务片进行计算，得出计算结果；

步骤D：将所述计算结果合成为网格计算结果。

2.如权利要求1所述的网格计算方法，其特征在于，所述步骤A具体包括：所述网格计算的需求用户向网格计算任务管理服务器提出所述计算任务请求，计算任务请求包括计算需求信息、输入数据及定制的计算程序。

3.如权利要求2所述的网格计算方法，其特征在于，所述步骤B中定制计算任务的步骤具体包括：网格计算任务管理服务器将收到的计算任务请求包含的计算需求信息转换为计算任务。

4.如权利要求1所述的网格计算方法，其特征在于，所述步骤B中计算任务片以服务器端可配置或自动加载的形式，下发给用户浏览器客户端网格计算程序。

5.如权利要求1所述的网格计算方法，其特征在于，所述步骤C中分片的计算结果是在网格计算服务器的协调下进行统一综合。

6.如权利要求1所述的网格计算方法，其特征在于，所述步骤C中分片的计算过程不进行任何软件安装，不在用户计算机上存储文件，对用户完全透明。

7.如权利要求1所述的网格计算方法，其特征在于，所述步骤D具体包括：接受计算任务的用户浏览器客户端将计算任务片的计算结果上报给网格计算任务管理服务器，网格计算任务管理服务器将计算结果合成为网格计算结果，并将其推送给网格计算任务提交平台。

8.一种采用权利要求1所述的网格计算方法的网格计算系统，其特征在于，所述系统包括网格计算任务接收模块，网格计算任务管理服务器，网格计算任务提交平台，web网页网格计算任务管理程序和web页面服务器；

所述网格计算任务接收模块用于接收网格计算的需求用户通过网格计算任务提交平台提交的网格计算任务请求，定制计算任务，并向通信网格计算任务管理服务器提交所述计算任务，还用于收取网格计算服务器推送的网格计算结果；

所述网格计算任务管理服务器用于接收网格计算任务提交模块提交的计算任务，对计算任务进行分片，将计算任务片分配发送给各个网格计算程序，还用于接收上报的计算任务片的计算结果，并将所述计算结果合成为网格计算结果，将所述网格计算结果推送给网格计算任务接收模块；

所述web页面服务器为用户提供感兴趣的浏览内容，并在提供内容过程中，同时将网格计算客户端管理程序加载至用户浏览器，将该计算机节点加入到网格计算环境中。

Images