CN1710859A

CN1710859A - 网格数据传输系统

Info

Publication number: CN1710859A
Application number: CN 200510027578
Authority: CN
Inventors: 毛宏燕; 黄林鹏; 欧佳凡; 李明禄
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2005-07-07
Filing date: 2005-07-07
Publication date: 2005-12-21

Abstract

一种网格技术领域的网格数据传输系统，当用户在显示终端执行数据传输任务时，显示终端的输出端连接到处理服务器，处理服务器的输出端连接到数据服务器和数据存储器，根据用户要求对指定的数据服务器执行数据传输，并将传输状态存储至数据存储器；执行数据传输任务时，数据服务器与处理服务器相连，在数据服务器间传输数据和文件，数据存储器与处理服务器相连，存储数据传输的状态信息，处理服务器的输出端连接到显示终端，经过数据服务器的一系列处理，最终以文字和图标的形式将数据传输的状态显示在显示终端，以供用户查看和浏览。本发明可同时支持多个服务器站点的传输，具有智能恢复、检查错误和纠错功能。

Description

网格数据传输系统

技术领域

本发明涉及一种的是网格技术领域的传输系统，具体是一种传输大规模数据量的网格数据传输系统。

背景技术

网格计算实现分布式环境下的高性能资源共享和海量数据传输。网格计算环境中存在着大量的数据信息，如何管理和传输这些数据成为网格软件发展的关键技术之一。现行的数据传输系统只有服务器实现和命令行模式的客户端软件，没有图形界面的客户端，这给普通的网格用户带来了极大的困难，阻碍了网格技术的发展和普及。同时，网格环境下，数据传输时故障常有发生，要求数据传输系统具有智能恢复机制，并提供检错和纠错功能。目前的数据传输系统已经不能满足网格环境的需求，必须设计专门针对网格、面向网格的数据传输系统，支持多种协议的跨平台技术，对不同资源节点上的海量数据进行交换和管理。

经对现有技术文献的检索发现，中国专利申请号02135654.8，发明名称：一种数据传输系统及其数据传输方法，公开号：CN1531294A，该专利的数据传输系统中，数据管理中心进行数据处理，并输出至数据输出装置。用户在非计算机形式的终端进行管理和查询。该数据传输系统的不足：(1)系统无法同时支持多个服务器站点，未实现多种协议的跨平台机制。(2)不具有友好的图形界面客户端，使得用户不能及时浏览和查询数据传输状态。(3)当数据传输出现故障时，系统不具有智能恢复机制，且对出现的问题不能提供检查功能。(4)未能对突发数据量、大数据量的传输予以解决。(5)未能提供网络环境下并行传输，带状传输，部分传输，及第三方传输。(6)从使用数据传输系统的长远角度看，该系统未基于统一的标准和规范，难于融合或整合至其它的数据系统或网络应用系统中。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种网格数据传输系统，使其支持网格环境中大规模海量数据的安全可靠的传输，提供多种协议的跨平台机制，可同时支持多个服务器站点的传输，具有智能恢复、检查错误和纠错功能，使用者通过友好的图形客户端界面，在世界各地远程处理数据和文件的传输，浏览和查询数据传输状态，促进了网格计算和数据传输的应用和发展。

本发明是通过以下技术方案实现的，本发明包括：数据服务器，处理服务器，数据存储器，显示终端。数据服务器之间通过处理服务器相连，处理服务器获取数据服务器中数据，存储至数据存储器，然后处理服务器将数据传送至另一个数据服务器中。同时处理服务器的输出端连接到显示终端，用户可以在显示终端浏览和查看处理服务器执行的数据传输状态。当用户进行数据传输操作时，显示终端的输出端连接到处理服务器，处理服务器的输出端连接到数据服务器和数据存储器。处理服务器根据显示终端的用户要求，对数据服务器执行数据传输任务。

处理服务器包括：任务单元，数据处理单元，存储单元。根据用户的输入或要求，任务单元创建一个可靠传输服务实例，用于控制数据服务器间的数据传输，然后数据处理单元执行数据服务器间的数据传输，提供数据恢复、检错、纠错能力，存储单元将处理状态和传输状态存储至数据存储器中，以便于用户浏览和查询处理信息。

显示终端包括：管理单元和显示单元。用户在图形界面下，访问该系统，将所需数据下载到本地或从一台数据服务器传输至另台数据服务器。管理单元将这些要求和操作传送给处理服务器的任务单元，任务单元创建实例并启动数据处理单元，对用户指定的数据服务器执行传输操作。同时，任务单元从存储单元中获得处理状态和传输状态，并传递给管理单元，管理单元以文字和图标的方式显示在显示终端，供用户在个人计算机，服务器和终端机上浏览。

本发明既能实现网格环境中站点和数据服务器间的海量数据传输，并提供网格环境下的并行传输、带状传输、部分传输及第三方传输，又具有用户界面直观可视化的特点，用户可以在浏览器中执行、浏览和查询处理及传输状态，且具有兼容性好，可扩展性强，维护开销小的特点。本系统实现了网格环境中海量数据及突发数据量的传输，且支持跨平台和多种协议的传输。当网格环境中数据服务器间的数据传输出现故障时，本发明系统能够提供智能传输恢复机制，且能够对未来的数据传输任务执行自动检查错误和纠错功能。用户可以远程使用和管理系统，且系统安全性好，保证数据安全可靠的传输。用户操作简单，通过IE浏览器和身份签证后即可进入系统，执行节点间的数据传输，且浏览和查询数据传输状态。

本发明系统提出了一个面向网格环境的数据传输系统，采用分布式架构及面向对象和面向服务模式，基于简单对象访问协议和扩展的标识语言等国际标准，根据用户请求任务创建一个实例。本发明系统具有远程管理和处理功能，数据服务器，处理服务器，数据存储器，显示终端可以位于一台计算机中，也可以是分布在网格环境中的多个节点和多台设备中，易于以即插即用的方式集成和融合至其它网格应用或数据传输系统中，能够集成现有基础设施，减少了搭建网格计算应用环境的开销，并适应未来增长需要。

本发明的特点和效果：1)多传输性，本发明能同时支持多个数据服务器间的数据传输，并提供支持多种协议的跨平台特性。2)智能性，当某个服务器或数据传输出现故障，系统可以智能恢复中止时的数据传输，并能对未来的数据传输任务执行自动检查错误和纠错。3)高可靠性，系统能够处理网格计算中突发数据量和大规模数据量的传输。4)功能性强，系统提供网格计算中的并行传输、带状传输、部分传输及第三方数据传输。5)使用及管理方便，用户通过显示终端可以跨平台和地域使用和管理系统，同时人机交互界面友好，操作简单，用户可以在浏览器中执行数据传输，浏览和查询处理及传输状态。6)安全性高，管理单元提供可靠的安全认证，加密通信，提供单点登陆，数据传输加密。7)适用面广，本发明可以以即插即用的方式与其它网格计算系统或功能部件集成和融合，适应网格计算发展的需要。

附图说明

图1为本发明系统结构框图；

图2为本发明处理服务器的结构框图；

图3为本发明工作流程图；

图4为本发明系统功能示意图；

具体实施方式

本发明系统以计算机为设备平台，能够对网格环境中的数据服务器执行数据传输，并可以浏览和查询数据传输状态，且支持多个数据服务器或节点间的数据传输。

如图1所示，本发明包括：数据服务器1，处理服务器2，数据存储器3，显示终端4。当用户在显示终端4执行数据传输任务时，显示终端4的输出端连接到处理服务器2，处理服务器2的输出端连接到数据服务器1和数据存储器3，根据用户要求对指定的数据服务器1执行数据传输，并将传输状态存储至数据存储器3，执行数据传输任务时，数据服务器1与处理服务器2相连，在数据服务器1间传输数据和文件，数据存储器3与处理服务器2相连，存储数据传输的状态信息，处理服务器2的输出端连接到显示终端4，经过数据服务器2的一系列处理，最终以文字和图标的形式将数据传输的状态显示在显示终端4，以供用户查看和浏览。

如图2所示，处理服务器2包括：任务单元5，数据处理单元6，存储单元7。任务单元5根据显示终端4传输来的用户输入或要求，创建一个可靠的传输服务实例，由数据处理单元6对数据服务器1执行数据传输，同时还对各个数据服务器1间的传输执行检错、纠错、恢复处理，数据处理单元6将数据传输的信息传送至存储单元7，存储单元7的输出端连接到任务单元5，取得数据存储器3中的传输信息和传输状态，任务单元5将这些信息传送给显示终端4。

显示终端4包括：管理单元8和显示单元9。用户通过显示单元9进入系统，在所需站点和数据服务器间执行传输任务，管理单元8将传输任务提交给任务单元5，处理完成后，处理服务器2将本次数据传输或所请求的历史数据传输状态信息传送给管理单元8，最后通过显示单元9显示在各个用户终端。

如图3所示，用户在显示终端4通过显示单元9进入系统。管理单元8对用户身份验证后即可进入系统，在各个数据节点或数据服务器1间直接执行数据传输任务，或将某个数据服务器1中的数据下载到本地。管理单元8将用户传输请求提交给任务单元5，其创建传输实例，然后数据处理单元6在指定的数据服务器1间进行数据传输，同时还对传输执行检错、纠错、恢复处理。数据处理单元6将传输的信息传送至存储单元7，存储单元7再将这些数据放入数据存储器3。处理服务器2的任务单元5从存储单元7获得数据存储器3中的传输状态信息。管理单元8从任务单元5取得这些状态信息，经过处理，显示单元9以文字和图标的方式将这些信息呈现给用户。

任务单元5是处理服务器2和显示终端间的桥梁。数据处理单元6是处理服务器2和数据服务器1间的桥梁。存储单元7是处理服务器2和数据存储器3之间的桥梁。显示终端4、数据存储器3、处理服务器2、数据服务器1可以位于一台计算机中，也可以是分布在网格环境中的多个节点和多台设备中。

如图4所示，在显示终端4，通过浏览器可以进行站点管理，文件传输，浏览传输信息，日志管理，站点地图以及门户演示和管理。站点管理用于管理协议类型和将要访问的站点，包括添加、修改和删除站点，这些站点是数据服务器或网格环境中的节点。当用户指定传输任务后，需要执行文件传输，其中包括连接和浏览站点，文件下载，文件上传和第三方文件传输操作。通过浏览功能创建目录，查看本次数据传输及历次数据传输的状态信息。对每次的数据传输任务进行日志管理，以备出现问题时查看文件可以恢复且继续执行数据传输。站点地图提供了可视化的数据传输信息显示方式，监控和显示数据传输的状态和信息，在地图上动态展示站点间传输状态。门户主要用于提交远程文件传输，及查询传输的状态。

Claims

1.一种网格数据传输系统，包括：数据服务器(1)、处理服务器(2)、数据存储器(3)、显示终端(4)，其特征在于，当用户在显示终端(4)执行数据传输任务时，显示终端(4)的输出端连接到处理服务器(2)，处理服务器(2)的输出端连接到数据服务器(1)和数据存储器(3)，根据用户要求对指定的数据服务器(1)执行数据传输，并将传输状态存储至数据存储器(3)；执行数据传输任务时，数据服务器(1)与处理服务器(2)相连，在数据服务器(1)间传输数据和文件，数据存储器(3)与处理服务器(2)相连，存储数据传输的状态信息，处理服务器(2)的输出端连接到显示终端(4)，经过数据服务器(2)的一系列处理，最终以文字和图标的形式将数据传输的状态显示在显示终端(4)，以供用户查看和浏览。

2.根据权利要求1所述的网格数据传输系统，其特征是，处理服务器(2)包括：任务单元(5)、数据处理单元(6)、存储单元(7)，任务单元(5)根据显示终端(4)传输来的用户输入或要求，创建一个可靠的传输服务实例，由数据处理单元(6)对数据服务器(1)执行数据传输，同时还对各个数据服务器(1)间的传输执行检错、纠错、恢复处理，数据处理单元(6)将数据传输的信息传送至存储单元(7)，存储单元(7)的输出端连接到任务单元(5)，取得数据存储器(3)中的传输信息和传输状态，任务单元(5)将这些信息传送给显示终端(4)。

3.根据权利要求1所述的网格数据传输系统，其特征是，显示终端(4)包括：管理单元(8)和显示单元(9)，用户通过显示单元(9)进入系统，在所需站点和数据服务器间执行传输任务，管理单元(8)将传输任务提交给任务单元(5)，处理完成后，处理服务器(2)将本次数据传输或所请求的历史数据传输状态信息传送给管理单元(8)，最后通过显示单元(9)显示在各个用户终端。

4.根据权利要求1或者3所述的网格数据传输系统，其特征是，在显示终端(4)，通过浏览器进行站点管理，文件传输，浏览传输信息，日志管理，站点地图以及门户演示和管理，站点管理用于管理协议类型和将要访问的站点，包括添加、修改和删除站点，这些站点是数据服务器或网格环境中的节点，当用户指定传输任务后，需要执行文件传输，其中包括连接和浏览站点，文件下载，文件上传和第三方文件传输操作；通过浏览功能创建目录，查看本次数据传输及历次数据传输的状态信息；对每次的数据传输任务进行日志管理，以备出现问题时查看文件能恢复且继续执行数据传输；站点地图提供了可视化的数据传输信息显示方式，监控和显示数据传输的状态和信息，在地图上动态展示站点间传输状态；门户主要用于提交远程文件传输，及查询传输的状态。

5.根据权利要求1或者2或者3所述的网格数据传输系统，其特征是，显示终端(4)、数据存储器(3)、处理服务器(2)、数据服务器(1)位于一台计算机中，或者分布在网格环境中的多个节点和多台设备中。