CN1997013A - 基于多副本的具有质量保证的网格数据传输系统 - Google Patents
基于多副本的具有质量保证的网格数据传输系统 Download PDFInfo
- Publication number
- CN1997013A CN1997013A CN 200610125570 CN200610125570A CN1997013A CN 1997013 A CN1997013 A CN 1997013A CN 200610125570 CN200610125570 CN 200610125570 CN 200610125570 A CN200610125570 A CN 200610125570A CN 1997013 A CN1997013 A CN 1997013A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- file
- module
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多副本的具有质量保证的网格数据传输系统，该系统包括数据传输客户端组、索引服务器组、存储服务器组和认证服务器组。索引服务器组对存储服务器组的系统信息和服务质量保证合同进行注册和监控；存储服务器组根据客户端组生成的数据发布方案产生发布表项并控制数据传输，生成物理复本；认证服务器组验证客户端和存储服务器组的身份，进行证书签发认证。本发明均遵循OGSA标准，以网格服务的方式对外发布，获得网格服务的特点，具有高可用性、可伸缩性和高性价比。各个服务松散耦合，提高平台的总体可靠性。本系统采用PKI/CA安全机制，提供了一种广域范围内可扩展的安全认证机制，将数据安全扩展到数据传输层。
Description
技术领域
本发明属于网络计算中服务和数据网格技术领域，具体涉及一种基于多副本的具有质量保证的网格数据传输系统。
背景技术
在现代科学研究和应用领域中，大量的数据是重要的资源，在全球气候模拟、高能物理、生物计算、战场仿真、核模拟、数字地球、大规模的信息和决策支持系统等应用领域，其数据量将达到几十TeraByte至PetaByte的级别。地理上广泛分布的该领域的科研工作者或用户都希望能够访问和分析这些庞大的数据，但其分析方法往往是计算复杂、计算量大，许多数据分析处理要求千亿次或万亿次规模的计算能力。现有的数据管理体系结构、方法和技术已经不能满足人们对高性能、大容量分布存储和分布处理能力的要求。因此，在计算网格的基础上人们提出了数据网格(Data Grid)的构想，以解决上述应用所面临的问题。
目前的网格环境中，对数据文件传输主要把精力集中于文件的可获取性及可控制共享性，并没有提供关于服务质量(QoS)控制的内容。
网格的数据处理是与网格相伴而生的概念，随着网格的处理数据的爆炸性增加，对数据的处理要求也就越来越高。作为数据处理的一个重要环节，数据传输的要求也就逐渐提到了日程上来。其中对数据传输质量的要求则是数据传输要求的重中之重，目前的网格范围的数据访问工具和结构都把注意力集中在数据的可访问性和访问速度的无上限追求上，但事实上很多情况下对数据的访问要求并不需要尽量的快，而是有一个最低可接受的范围，这也就为提供质量保障的数据服务提供了舞台。对数据的服务质量约束还可以使有限的资源更合理的利用和分配，使得尽可能多的请求在质量可以接受的情况下得到满足。
发明内容
本发明的目的在于提供一种基于多副本的具有质量保证的网格数据传输系统，该系统弥补了现有数据网格平台实时服务质量保证的不足，对现有数据网格组件改造和高层封装，在广域网范围内可以跨平台使用。
本发明提供的基于多副本的具有质量保证的网格数据传输系统，其特征在于：该系统包括数据传输客户端组、索引服务器组、存储服务器组和认证服务器组；
数据传输客户端组在上载数据到系统时，申请数据发布部署方案并请求索引服务器组执行此方案；在平台下载数据时，实时获取所需数据；向索引服务服务组提出实时数据请求描述，包括数据文件逻辑描述，传输服务质量要求；接收索引服务服务组提供的数据传输方案，组织要获取的数据从多点并行获取；并对数据传输的实时服务质量进行监控和报告错误；进行数据传输重组；
索引服务器组用于对存储服务器组的系统信息和服务质量保证合同进行注册和监控；
存储服务器组根据数据传输客户端组生成的数据发布方案产生发布表项并控制数据传输，生成多个物理复本；
认证服务器组用于验证数据传输客户端和存储服务器组的身份，进行证书的签发和认证。
本发明所有的服务均遵循OGSA标准，所有服务均以网格服务(gridservice)的方式对外发布，因此本平台获得了网格服务的特点。所有服务继承了网格服务的一切优良特性，包括高可用性、可伸缩性和高性价比。各个服务松散耦合，提高平台的总体可靠性。各服务之间遵从OGSA标准便于各个服务独立升级。多数据复本机制保证了多点数据并行传输，提高带宽利用率；同时多复本的冗余机制保证了系统容错特性。本系统采用PKI/CA安全机制，提供了一种广域范围内可扩展的安全认证机制，将数据安全扩展到数据传输层。具体而言，本发明具有以下优点及效果：
(1)在广域范围内共享具有实时服务质量保证的数据文件资源。
通过一次数据发布将带有实时容错服务质量的某一数据，发布和部署到此平台上。通过共享此数据及其复本，将使得此具有实时容错特性的数据作为服务为其他用户共享并实时(即并行)获取。
(2)良好的容错性。
容错性关系到平台的可用性和用户对平台的信赖程度。多复本机制使得GridFTP(网格文件传输协议)传输服务模块(3.2)具有良好的容错性。每一数据复本节点机只负责向用户传输部分文件分片。任一台服务器(即节点机)的突然失效不会造整个实时数据传输失效，根据文件获取方案中携带的容错处理信息，数据传输客户端(图4)可以迅速调整重组文件传输任务(1.3、1.7、1.6)(参见图7)以尽量减低传输时间，或者将失效的文件分片从冗余的GridFTP(网格文件传输协议)传输服务模块(3.2)上获取。
(3)系统服务，客户端由java实现利于跨平台使用。
基于Java的系统服务的实现适用于Internet上大部分存储和计算资源的整合；Java客户端便于各种操作系统用户使用本平台。
(4)数据传输的自组织、自适应，服务质量监控由系统自动完成，对用户透明。
用户只需将数据将发布请求和发布描述提交给此平台，此平台就可以按用户的要求自动构建实时数据服务，而不用专门建立自己的网络计算平台和搜集志愿者。这样可以将应用科学家从网络计算平台的实现细节中解放出来，集中精力进行自己领域的科学研究。
(5)在广域范围内共享数据存储资源实现多点实时并行传输。
大规模数据文件服务的瓶颈主要出现在服务器端的I/O。通过单点服务器是无法完成实时数据请求的。实时协同的网格数据平台通过在多个服务器上数据文件复本，进行多文件分片并行传输避免了单一I/O瓶颈。实现了广域网上的实时数据传输请求。
(6)数据传输处理平台所有的服务均遵循OGSA标准。
所有服务继承了网格服务的一切优良特性，包括：
可伸缩性：所有的服务作为网格服务，采用服务工厂的方式可以被动态的创建和管理。当数据发布和获取请求数目越来越多，使某一服务的服务器系统负载过重而不能满足实时响应时，本平台可在新的服务器系统上动态扩展创建各个系统服务以满足需求，而且不降低服务质量。
高可用性：各个服务松散耦合，即使服务器系统的部分硬件和软件发生故障，整个系统的服务必须是每天24小时每星期7天可用的。
高性价比：与超级巨型I/O计算机相比，实时协同数据网格服务平台具有更高的实时数据处理和传输能力，而且整个系统基于多个普通服务器构成的实现是经济的、易支付的。
(7)本系统采用GridFTP(网格文件传输协议)和PKI/CA安全认证机制，同普通FTP服务相比不仅仅保证用户的安全登陆，还保证数据传输安全。
附图说明
图1为本发明网格数据传输系统的结构示意图；
图2为网格数据传输子系统的结构示意图；
图3为数据传输客户端组的结构示意图；
图4为索引服务组的结构示意图；
图5为存储节点结构示意图；
图6为实时数据传输协议层次框架图；
图7为发布实时数据流程图；
图8为获取实时数据流程图；
图9为实时数据获取时的容错和传输服务质量控制交互图；
图10为数据传输容错处理流程图；
图11为传输出错处理图。
具体实施方式
下面结合附图和实例对本发明作进一步详细的说明。
本发明遵循世界开放式网格服务体系结构(OGSA)标准，在广域网范围内本发明系统在多个网域间进行数据传输和管理。如图1所示，本发明系统由分布在不同网域中的N个相同的网格数据传输子系统组成，N≥1，各子系统之间可以进行相互的数据发布与获取，协同的完成多个网域间的任务。
上述网格数据传输子系统包括数据传输客户端组1、索引服务器组2、存储服务器组3和认证服务器组4。
数据传输客户端组1用于在上载数据到系统时，申请数据发布部署方案并请求索引服务器组2执行此方案；在平台下载数据时，实时获取所需数据。向索引服务服务组2提出实时数据请求描述，包括数据文件逻辑描述，传输服务质量要求；接收索引服务服务组2提供的数据传输方案，组织要获取的数据从多点并行获取；并对数据传输的实时服务质量进行监控和报告错误；进行数据传输重组。
索引服务器组2用于对存储服务器组3的系统信息和服务等级协议(Service Level Agreement，SLA)进行注册和监控的功能。
存储服务器组3根据数据传输客户端组1生成的数据发布方案产生发布表项并控制数据传输，最终生成多个物理复本。
认证服务器组4用于验证数据传输客户端1和存储服务器组3的身份，进行证书的签发和认证，以确保安全的传输数据。证书用来验证客户端和GridFTP(网格文件传输协议)服务器的身份以确保安全的传输数据。
如图2所示，数据传输客户端组1由i个相同的客户端组成，索引服务器组2由k个相同的索引服务器组成，存储服务器组3由m个存储服务器组成，认证服务器组4由w个认证服务器组成，它们均可以并行处理多个用户请求，其中，i，k，m和w均大于等于1。
如图3所示，客户端A包括用户传输接口模块1.1、传输项目组织模块1.2、反馈汇报和控制模块1.3、GridFTP(网格文件传输协议)资源池模块1.4、GridFTP(网格文件传输协议)客户端实例工厂模块1.5、传输检测控制模块1.6、重传支持模块1.7、客户端传输代理模块1.8：
其中，用户传输接口模块1.1接收到外界数据，并传数据到传输项目组织模块1.2，传输项目组织模块1.2组织传输项目来处理数据传输和进行数据传输任务分块。传输项目组织模块1.2将已分好的数据传输任务块传到GridFTP资源池模块1.4，GridFTP资源池模块1.4为数据传输提供物理文件服务资源池，在服务资源池上通过GridFTP客户端实例工厂模块1.5产生的客户端实例，这个过程由GSI(网格安全)认证客户端模块3.3进行认证，最后由客户端传输代理模块1.8调用其内的索引服务并获取传输任务需要的各种SLA信息和可用资源信息，执行传输任务。传输项目组织模块1.2同时调用实时服务质量SLA反馈汇报和控制模块1.3接收与分析传输的反馈信息向索引服务器组2中的物理节点信息管理服务模块2.5汇报对SLA的执行情况，当有传输错误发生时，将错误类别传给重传支持模块1.7，其通过错误类别组织数据重传，在重传过程中传输检测控制模块1.6对重传支持模块1.7进行检测与控制。
如图4所示，索引服务器B包括数据文件获取服务模块(QoSDGather)2.1、数据文件发布注册服务模块(QoSDispatcher)2.2、数据文件描述服务和发布服务模块(QLrci)2.3、物理文件映射服务模块(Qrli)2.4、物理节点信息管理服务模块(Msla)2.5：
在发布数据文件时，用来发布数据的数据传输客户端1向数据文件发布服务模块2.2提出数据发布和部署请求。数据文件发布服务模块2.2向逻辑文件描述和发布服务模块2.3查询注册信息，逻辑文件描述和发布服务模块2.3完成数据文件描述的注册和数据发布的申请。同时数据文件发布服务模块2.2通过调用物理节点信息管理服务模块2.5，为请求分配副本存储资源形成发布方案，物理文件映射服务模块2.4完成物理文件同逻辑发布(部署)映射绑定，最后执行发布方案。注册信息、发布信息以及副本部署信息均注册到数据库中。
在获取数据文件时，用来获取数据的数据传输客户端1通过代理向数据文件获取服务模块2.1提出数据获取请求，请求包括数据文件的逻辑描述、实时服务质量要求、安全性等级。文件获取服务模块2.1调用数据文件描述服务模块2.3查找描述信息并获取描述返回给文件获取服务模块2.1，文件获取服务模块2.1将文件的描述信息传给物理文件映射服务模块2.4，它通过文件描述信息查找文件发布信息返回文件获取服务模块2.1。
数据文件获取服务模块2.1搜索到所有存有此数据文件(或数据文件的复本)的物理服务器(即结点机)和其服务质量描述后，调用物理结点信息管理服务模块2.5。物理结点信息管理服务模块2.5根据各个物理带宽性能SLA将数据传输任务按照实时要求(如文件发布，网络带宽等信息)创建多个传输工人(多个子任务：每个传输工人负责一个子任务)，并将其组织为数据获取方案后返回给用来获取数据的数据传输客户端1。用来获取数据的数据传输客户端1根据获取方案，执行多源数据并行下载数据。实时服务质量SLA反馈汇报和控制模块1.3向物理节点信息管理服务模块(2.5)报告服务执行情况和SLA服务质量执行情况，记入数据库。
如图5所示，存储服务器C采用GridFTP(网格文件传输协议)服务，包括节点代理服务模块(NodeAgent)3.1、GridFTP(网格文件传输协议)传输服务模块3.2、GSI(网格安全服务接口)认证客户端模块3.3：
其中，节点代理服务模块(NodeAgent)3.1代理在数据发布时使用的用来获取数据的数据传输客户端、本地网络和存储资源的获取接口，包括系统状态注册，数据文件注册；GSI(网格安全服务接口)认证客户端模块3.3完成同外部访问点的安全交互认证和加密传输数据将加密的数据传给GridFTP(网格文件传输协议)传输服务模块3.2；GridFTP(网格文件传输协议)传输服务模块3.2将接收的数据进行传输服务。
认证服务器D包括GSI(网格安全服务接口)客户端安全组件。
图6为实时数据传输协议层次框架图。图中，索引服务器1.2负责总的管理和调度。用户身份GSI认证和主机身份GSI认证即GSI(网格安全)认证客户端模块3.4，此为身份确认层。数据传输客户端(1.2-1.8)和GridFTP(网格文件传输协议)服务器1.3是GridFTP(网格文件传输协议)层，负责总的传输任务。其内分别部署的传输项目组织模块1.2和数据文件存储I/O执行传输任务。
图7为通常一次数据发布的步骤，具体地一次数据发布过程如下：
1)、发布发起方向索引服务提交发布请求；
2)、索引服务通过对物理节点信息管理服务2.5(Msla)信息进行查询和整合，获得可以接收该文件的服器及其性能列表；
3)、索引服务根据发布质量要求，产生相应的发布方案；
4)、索引服务将发布方案依次通知被选择载有副本的服务器主机，通过对节点代理服务的调用实现对物理文件的发放命令；
5)、被选中的服务器主动向发布发起方请求传输文件，传输结束后，则索引服务更新发布状态数据，发布完成。
图8为一次数据获取的步骤，具体地一次数据获取过程如下：
1)、客户向索引服务提交获取请求，并附带有质量控制参数；
2)、索引服务通过对物理节点信息管理服务2.5(Msla)信息进行查询和整合，获得该文件所在的宿主服器及其性能列表；
3)、索引服务根据获取的服务质量要求，产生相应的获取方案；
4)、客户端通过方案ID获取该获取方案；
5)、客户根据相应的获取方案，根据相应的QoS信息连接对应的服务器，取得文件的一部分，在本地重组完毕后，获取完成。
图9为实时数据获取时的容错和传输服务质量控制交互图。数据获取时，在GridFTP(网格文件传输协议)用户传输接口的数据获取客户端1.1内部有个实时传输服务质量监控(1.3、1.7、1.6)，它可以在数据传输的时候实现图10所示的容错机制，而其内部的客户端传输代理实现文件的传输。
图10数据传输中的容错处理由所示。当传输文件出错会进行相应的错误事件汇报，错误被汇报到传输任任务管理层。任务管理层则根据当时记录的出错现场记录对错误进行处理，一般而言，错误有物理文件错、传输过程错、传输延时等三种，其处理流程(图11)是有相似之处的。
实施例：
本发明的一个实施例系统使用4个服务器节点和一个客户端节点共4个物理节点，其物理部署见图3，系统软硬件配置见表1。其中，一台linux节点部署索引服务和GirdFTP服务，配置IP＝192.168.1.210；其他linux节点均部署GirdFTP服务，配置IP＝192.168.1.205和192.168.1.204；剩下一个windows节点部署数据发布部署和获取客户端，配置IP＝192.168.1.166。
对整个系统的实现说明如下：
(1)索引服务通过数据库管理所有的物理资源，维护SLA服务质量保障机制，管理数据逻辑名称到物理复本的映射，管理所有数据文件的复本部署。所有对Mysql数据库操作，均对外发布为网格服务。各个数据表的描述和解释如表2-4。在系统中，称一次文件的Dispatch为一次发布，它须要一个已经成功申请的逻辑描述ID(descriptionID)和一个已经成功创建的复本ID。前者表示该发布的实际意义，后者表示该发布的信息源，一般而言它也应该是最可靠的数据源。
本系统设计一个逻辑描述，如果要能正常工作，必须为之创建一个唯一的文件发布注册服务2.3。一个没有文件发布注册服务2.3的逻辑描述2.3既不能提供有用的文件服务，也不能提供任何获得该文件的信息，只有在发布中才有该文件的更近一步描述信息。文件发布和逻辑描述之间的绑定可以灵活指定，但通常不建议随意进行绑定。
考虑到在实际应用过程中，可能对文件进行更新发布以及不同发布索引服务器组的同名发布，本系统引入了名域控制发布和版本控制发布。不同名域之间可以有重名的逻辑描述，对于同名的逻辑描述在选取的时候选择最新的版本作为其传输。
一次文件发布，通常要创建与其发布重要程度相对应的多个物理拷贝，该映射完成从发布到物理复本定位的过程。
(2)数据文件GridFTP(网格文件传输协议)服务器提供数据的安全存储服务，在部署数据时提供数据下载客户端服务，管理本地物理节点信息管理服务。其资源管理表见表5。
节点代理服务(Node Agent Service)一般部署在GridFTP(网格文件传输协议)服务器里，主要由文件管理代理、磁盘空间管理、带宽统计、带宽管理及合理带宽预测几个组成。(也就是说，数据文件获取服务模块2.1中的计算带宽的方案实际是由节点机上的节点代理服务完成的)文件管理代理实现对文件的查询、创建、QoS传输和删除。带宽统计主要完成对目前使用带宽的统计。带宽管理完成对带宽申请的处理、带宽的分配和回收。合理带宽预测根据系统目前的状况，动态对节点机所能提供带宽阈值进行评估，以更接近真实的带宽评估答复下一次带宽申请。一般而言，节点代理服务器与GridFTP(网格文件传输协议)传输服务模块3.2应当同处一台节点机上，但对此本系统不做强行的限制。目前对该服务的实现主要集中于文件查询代理、文件传输执行代理、带宽管理、磁盘空间管理几个组成，对应NodeAgent服务的节点资源部分。
存储服务器组有两种工作模式：数据发布模式和数据获取模式。数据发布模式是用于用户将具有实时服务质量(这个“实时”是指支持多复本并行获取的意思)的数据文件存储于数据平台上的过程，以便于实时获取(即多复本并行获取)。数据获取是用户向存储服务器组提出实时获取数据文件的要求并获得以软实时要求数据传输(基于多复本的并行传输)的过程。
所有加入存储服务器组的数据存储服务器(即节点机)通过系统状态注册向存储服务器组的信息和服务质量保证合同(Service Level Agreement)进行注册(即写机器贡献表)；注册内容包括节点机的存储空间、网络带宽以及对文件传输服务的质量描述信息(静态SLA)。
本发明的高层服务封装设计符合网格服务(grid service)和web服务(webservice)规范，保证了平台的实现细节对应用的透明性和易用性；广域网范围内的多数据复本并行传输机制实现了软实时的服务质量的保障；客户端智能代理透明的完成数据传输时间服务质量监控，进行并行调度；灵活的数据管理策略将数据文件描述、物理数据复本和物理机器独立管理。
GridFTP(网格文件传输协议)传输服务模块3.2(GridFTP(网格文件传输协议)Server)是整个系统的信息宿主，它由标准GridFTP(网格文件传输协议)服务器、数据文件、共享用户和共享目录组成。其中GridFTP(网格文件传输协议)负责提供文件传输服务以及客户的身份认证信息。数据文件是传输过程的操作源数据。共享用户是指开放GridFTP(网格文件传输协议)的主机宿主用户，它把文件请求映射成自身的用户文件请求。共享目录是指共享用户为该平台开放的用于存放数据文件的目录。在目前的结构中，它是由标准的GridFTP(网格文件传输协议)服务器组成，虽然可以适应没有GridFTP(网格文件传输协议)扩展的普通FTP服务器，这样应该而且肯定适应面更广，但由于其认证过程则不受Globus CA系统的约束且不能遵照GridFTP(网格文件传输协议)的认证授权体系进行文件访问授权，故此没有采用。一般而言，为一个GridFTP(网格文件传输协议)传输服务模块(3.2)列出一个用户以提供GridFTP(网格文件传输协议)服务，并把其$HOME目录或是“/tmp/username”目录做为其共享文件的根目录，以后来的叙述中称这个目录为共享目录“$FtpRoot”。具体的配置可以参照wu-ftpd的相关配置，这里不多赘述数据文件存放到“$FtpRoot/$NameSpaceIP/$VersionNo/$LogicalName”，这样比较有利于文件的组织。
通过对本发明进行了性能评测，可以得出，其数据传输质量控制模块可以正确、有效地控制文件传输带宽以及整个传输过程。在分片传输过程中，多个服务器相以相互协作，共同实现文件传输。随着被传输文件的增大，文件的实际传输时间与理论传输时间也越来越接近，可以认为并行分片传输达到了良好的传输效果。
同时本发明也具有良好的容错性能，本系统可以在传输过程多次出错的情况下仍可以将传输正常执行结束，且其负载是一个可以预料的值，因而本系统实现的文件可容错输可以正常工作，达到了预期的性能。
表1 各节点的硬件及网络配置
| 节点 | Sgrid4 | sgrid5 | sgrid10 | Client |
| IP | 192.168.1.204 | 192.168.1.205 | 192.168.1.210 | 192.168.1.166 |
| CPU | PIII 1G | PIII 1G | PIII 1G | PIII 1G |
| 内存 | 256M | 256M | 256M | 256M |
| 硬盘 | 30G | 30G | 30G | 30G |
| OS | Linux 9.0 | Linux 9.0 | Linux 9.0 | windows |
| GirdPlatform | GT3(GLOBUSTOOLKIT V3.0) | GT3 (GLOBUSTOOLKIT V3.0) | GT3 (GLOBUSTOOLKIT V3.0) | Cog |
| CA中心设置(globus用户) | CA中心标识：O＝Grid，OU＝GlobusTest，OU＝simpleCA-sgrid4.iccc，CN＝Globus SimpleCA密码：wind | |||
| GSI客户端 | 33fd9671 | 33fd9671 | 33fd9671 | |
| 主机证书 | 标识：/O＝Grid/OU＝GlobusTest/OU＝simpleCA-sgrid4.iccc/CN＝host/192.168.1.204 | 标识：/O＝Grid/OU＝GlobusTest/OU＝simpleCA-sgrid4.iccc/CN＝host/192.168.1.205 | 标识：/O＝Grid/OU＝GlobusTest/OU＝simpleCA-sgrid4.iccc/CN＝host/192.168.1.210 | |
| 用户证书 | 标识：/O＝Grid/OU＝GlobusTest/OU＝simpleCA-sgrid4.iccc/OU＝iccc/CN＝maofeng代理密码：maofeng | 标识：/O＝Grid/OU＝GlobusTest/OU＝simpleCA-sgrid4.iccc/OU＝iccc/CN＝maofeng5代理密码：maofeng | 标识：/O＝Grid/OU＝GlobusTest/OU＝simpleCA-sgrid4.iccc/OU＝iccc.org/CN＝mao feng1代理密码：maofeng | 标识：/O＝Grid/OU＝GlobusTest/OU＝simpleCA-sgrid4.iccc/OU＝iccc/CN＝maofeng代理密码：maofeng |
| 服务 | NodAgent端口8080 | NodAgent端口8080 | NodAgent Index端口8080 | |
| GridFTP(网格文件传输协议)服务 | 后台运行：端口2811 | 后台运行：端口2811 | 后台运行：端口2811 | |
| SLA和资源信息数据库 | Postgres | Postgres | Mysql(库qosft)Postgres |
表2 节点机系统资源(机器贡献表)
| 数据表名：machine_contribution | ||
| 属性 | 功能 | 说明 |
| Id | 逻辑描述ID | 从1开始步增 |
| name | 文件服务器名 | 对应于/etc/hosts文件条目 |
| domain | 服务器所在域 | 用于跨域的节点服务器标识 |
| addr | 服务器IP地址 | 描述文件版本信息 |
| Port | 服务器端口号 | 指GridFTP(网格文件传输协议)服务侦听端口号 |
| band_width | 带宽指数 | 单位千字节每秒(KB/S) |
| disc_space | 共享空间大小 | 单位兆(M) |
| Physical_path | 贡献子目录 | 表示共享的文件存放的主目录，该目录和filephysical_copy.physical_filepath拼结可得真正目录 |
| availability_exp | 可靠性指数 | 表示节点服务器的可用性指数，通常指数越小表示可靠性越高 |
| require_accumulate | 引用累计次数 | 这四项用于节点服务器的性能的统计维护和管理 |
| success_accumulate | 成功传输次数 | |
| degrade_accumulate | 降级传输次数 | |
| failure_accumulate | 失败传输次数 | |
| memo | 文件备注 | |
表3 数据文件描述表
| 数据表名：file_description | ||
| 属性 | 功能 | 说明 |
| id | 逻辑描述ID | 从1开始步增 |
| logical_name | 文件逻辑名 | 文件根据逻辑名搜索的关键键值 |
| name_space | 逻辑描述名域 | 命名方法：http://主机名/namespace/版本号/servicegrid/qosft/filepublish |
| major_version_no | 主版本号 | 描述文件版本信息 |
| sub_version_no | 次版本号 | |
| minor_version_no | 次次版本号 | |
| weightiness_exp | 文件重要性指数 | 这个值用于决定文件的物理副本创建策略，该值越小则文件副本要求越多 |
| require_accumulate | 引用累计次数 | 这四个选项用于统计并调整文件的发布重要性指数 |
| success_accumulate | 成功传输次数 | |
| degrade_accumulate | 降级传输次数 | |
| failure_accumulate | 失败传输次数 | |
| delete_sign | 删除标志 | 如果该标志为T，则说明文件标为被删除 |
| memo | 文件备注 | |
表4 数据文件发布部署管理表
| 数据表名：file_distribution | ||
| 属性 | 功能 | 说明 |
| id | 发布ID | 从1开始步增 |
| file_size | 发布文件大小 | 该值是标识该文件的必要条件 |
| source_host_machine_id | 发布日期 | 命名方法：http://主机名/namespace/版本号/servicegrid/qosft/filepublish |
| major_version_no | 主版本号 | 描述文件版本信息 |
| sub_version_no | 次版本号 | |
| minor_version_no | 次次版本号 | |
| weightiness_exp | 文件重要性指数 | 这个值用于决定文件的物理复本创建策略，该值越小则文件复本要求越多 |
| require_accumulate | 引用累计次数 | 这四个选项用于统计并调整文件的发布重要性指数 |
| success_accumulate | 成功传输次数 | |
| degrade_accumulate | 降级传输次数 | |
| failure_accumulate | 失败传输次数 | |
| delete_sign | 删除标志 | 如果该标志为T，则说明文件标为被删除 |
| memo | 文件备注 | |
表5 本地资源管理表
| 数据表名：machine_state | ||
| 属性 | 功能 | 说明 |
| id | 服务器ID编号 | 从1开始步增 |
| disc_space_ori | 初始空间磁盘空间 | 需要手动赋初始值 |
| disc_space_now | 当前空闲磁盘空间 | 随着动态的磁盘空间分配、回收而改变 |
| 数据表名：nics | ||
| id | 网卡ID编号 | 从1开始步增 |
| addr | 网卡IP地址 | 点划十进制地址 |
| bandwidth | 共享空间大小 | 单位兆(M) |
表6 物理文件副本管理表
| 数据表名：machine_state | ||
| 属性 | 功能 | 说明 |
| id | 文件副本编号 | 从1开始步增 |
| URL | 文件应用位置 | 赋初始值为源 |
| Bye | 文件大小 | 注册时计算 |
Claims (5)
1、一种基于多副本的具有质量保证的网格数据传输系统，其特征在于：该系统包括数据传输客户端组(1)、索引服务器组(2)、存储服务器组(3)和认证服务器组(4)；
数据传输客户端组(1)在上载数据到系统时，申请数据发布部署方案并请求索引服务器组(2)执行此方案；在平台下载数据时，实时获取所需数据；向索引服务服务组(2)提出实时数据请求描述，包括数据文件逻辑描述，传输服务质量要求；接收索引服务服务组(2)提供的数据传输方案，组织要获取的数据从多点并行获取；并对数据传输的实时服务质量进行监控和报告错误；进行数据传输重组；
索引服务器组(2)用于对存储服务器组的系统信息和服务质量保证合同进行注册和监控；
存储服务器组(3)根据数据传输客户端组(1)生成的数据发布方案产生发布表项并控制数据传输，生成多个物理复本；
认证服务器组(4)用于验证数据传输客户端(1)和存储服务器组(3)的身份，进行证书的签发和认证。
2、根据权利要求1所述的网格数据传输系统，其特征在于：数据传输客户端组(1)由i个用于并行处理多个用户请求的客户端(A)组成，i≥1；客户端(A)包括用户传输接口模块(1.1)、传输项目组织模块(1.2)、反馈汇报和控制模块(1.3)、网格文件传输协议资源池模块(1.4)、网格文件传输协议客户端实例工厂模块(1.5)、传输检测控制模块(1.6)、重传支持模块(1.7)和客户端传输代理模块(1.8)；其中，
其中，用户传输接口模块(1.1)用于接收到外界数据，并传数据到传输项目组织模块(1.2)，
传输项目组织模块(1.2)组织传输项目处理数据传输和进行数据传输任务分块，将已分好的数据传输任务块传到GridFTP资源池模块(1.4)；
GridFTP资源池模块(1.4)为数据传输提供物理文件服务资源池，在服务资源池上通过GridFTP客户端实例工厂模块(1.5)产生的客户端实例，这个过程由GSI认证客户端模块3.3进行认证，由客户端传输代理模块(1.8)调用其内的索引服务并获取传输任务需要的各种服务等级协议信息和可用资源信息，执行传输任务；
传输项目组织模块(1.2)调用实时服务等级协议反馈汇报和控制模块(1.3)接收与分析传输的反馈信息，向索引服务器组(2)中的物理节点信息管理服务模块(2.5)汇报对服务等级协议的执行情况，当有传输错误发生时，将错误类别传给重传支持模块(1.7)，其通过错误类别组织数据重传，在重传过程中传输检测控制模块(1.6)对重传支持模块(1.7)进行检测与控制。
3、根据权利要求1或2所述的网格数据传输系统，其特征在于：索引服务器组(2)由k个用于并行处理多个用户请求的索引服务器(B)组成，其中，k≥1；
索引服务器(B)包括数据文件获取服务模块(2.1)、数据文件发布注册服务模块(2.2)、数据文件描述服务和发布服务模块(2.3)、物理文件映射服务模块(2.4)和物理节点信息管理服务模块(2.5)；其中，
文件获取服务模块(2.1)用于接收数据获取请求，并调用数据文件描述服务模块(2.3)查找描述信息，并获取描述返回给文件获取服务模块(2.1)，文件获取服务模块(2.1)将文件的描述信息传给物理文件映射服务模块(2.4)，通过文件描述信息查找文件发布信息返回文件获取服务模块(2.1)；
数据文件发布服务模块(2.2)用于接收数据发布和部署请求，并向逻辑文件描述和发布服务模块(2.3)查询注册信息，逻辑文件描述和发布服务模块(2.3)完成数据文件描述的注册和数据发布的申请；同时数据文件发布服务模块(2.2)通过调用物理节点信息管理服务模块(2.5)，为请求分配副本存储资源形成发布方案，物理文件映射服务模块(2.4)完成物理文件同逻辑发布映射绑定，执行发布方案。
4、根据权利要求3所述的网格数据传输系统，其特征在于：存储服务器组(3)由m个用于并行处理多个用户请求的存储服务器(C)组成，其中，m≥1；
存储服务器(C)采用网格文件传输协议服务，包括节点代理服务模块(3.1)、网格文件传输协议传输服务模块(3.2)、网格安全服务接口认证客户端模块(3.3)，
节点代理服务模块(3.1)代理在数据发布时使用的用来获取数据的数据传输客户端、本地网络和存储资源的获取接口，网格安全服务接口认证客户端模块(3.3)完成同外部访问点的安全交互认证和加密传输数据，将加密的数据传给网格文件传输协议传输服务模块(3.2)；网格文件传输协议传输服务模块(3.2)用于接收的数据进行传输服务。
5、根据权利要求4所述的网格数据传输系统，其特征在于：认证服务器组(4)由w个用于并行处理多个用户请求的认证服务器(D)组成，其中，w≥1；
认证服务器D包括网格安全服务接口客户端安全组件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101255709A CN1997013B (zh) | 2006-12-22 | 2006-12-22 | 基于多副本的具有质量保证的网格数据传输系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101255709A CN1997013B (zh) | 2006-12-22 | 2006-12-22 | 基于多副本的具有质量保证的网格数据传输系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1997013A true CN1997013A (zh) | 2007-07-11 |
| CN1997013B CN1997013B (zh) | 2010-09-08 |
Family
ID=38251941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006101255709A Expired - Fee Related CN1997013B (zh) | 2006-12-22 | 2006-12-22 | 基于多副本的具有质量保证的网格数据传输系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1997013B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101247309B (zh) * | 2007-11-28 | 2010-06-02 | 华中科技大学 | 一种通用访问多网格平台的系统 |
| CN101860479A (zh) * | 2010-05-11 | 2010-10-13 | 杭州电子科技大学 | 一种改进网格环境中数据传输效率的方法 |
| CN103297493A (zh) * | 2012-02-15 | 2013-09-11 | 国际商业机器公司 | 有分区意识服务质量特征 |
| WO2018133032A1 (en) * | 2017-01-20 | 2018-07-26 | Nokia Technologies Oy | Method and apparatus for data transmission and reception in a wireless communication system |
| CN112217798A (zh) * | 2020-09-09 | 2021-01-12 | 苏州工业园区凌志软件股份有限公司 | 一种行情流处理系统和方法 |
| CN114257422A (zh) * | 2021-12-01 | 2022-03-29 | 广东财经大学 | 一种加强内网逻辑边界的数据传输方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1794250A (zh) * | 2005-12-29 | 2006-06-28 | 中山大学 | 医学图像网格存储管理系统和方法 |
| CN100386986C (zh) * | 2006-03-10 | 2008-05-07 | 清华大学 | 数据网格系统中数据副本的混合定位方法 |
-
2006
- 2006-12-22 CN CN2006101255709A patent/CN1997013B/zh not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101247309B (zh) * | 2007-11-28 | 2010-06-02 | 华中科技大学 | 一种通用访问多网格平台的系统 |
| CN101860479A (zh) * | 2010-05-11 | 2010-10-13 | 杭州电子科技大学 | 一种改进网格环境中数据传输效率的方法 |
| CN101860479B (zh) * | 2010-05-11 | 2012-07-25 | 杭州电子科技大学 | 一种改进网格环境中数据传输效率的方法 |
| CN103297493A (zh) * | 2012-02-15 | 2013-09-11 | 国际商业机器公司 | 有分区意识服务质量特征 |
| WO2018133032A1 (en) * | 2017-01-20 | 2018-07-26 | Nokia Technologies Oy | Method and apparatus for data transmission and reception in a wireless communication system |
| CN112217798A (zh) * | 2020-09-09 | 2021-01-12 | 苏州工业园区凌志软件股份有限公司 | 一种行情流处理系统和方法 |
| CN114257422A (zh) * | 2021-12-01 | 2022-03-29 | 广东财经大学 | 一种加强内网逻辑边界的数据传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1997013B (zh) | 2010-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11055703B2 (en) | Smart contract lifecycle management | |
| White et al. | LegionFS: A secure and scalable file system supporting cross-domain high-performance applications | |
| US8972366B2 (en) | Cloud-based directory system based on hashed values of parent and child storage locations | |
| González et al. | SkyCDS: A resilient content delivery service based on diversified cloud storage | |
| US20030187866A1 (en) | Hashing objects into multiple directories for better concurrency and manageability | |
| US20050108394A1 (en) | Grid-based computing to search a network | |
| CN114363352B (zh) | 基于区块链的物联网系统跨链交互方法 | |
| CN102651775A (zh) | 基于云计算的多租户共享对象管理的方法、设备及系统 | |
| CN1997013A (zh) | 基于多副本的具有质量保证的网格数据传输系统 | |
| CN105959416A (zh) | 一种基于容器化技术的私有云存储系统 | |
| US20170041391A1 (en) | Data sharing in a cloud | |
| Wang et al. | Exploring the design tradeoffs for extreme-scale high-performance computing system software | |
| CN110457307B (zh) | 元数据管理系统、用户集群创建方法、装置、设备和介质 | |
| CN107276914B (zh) | 基于cmdb的自助资源分配调度的方法 | |
| Albrecht et al. | Making work queue cluster-friendly for data intensive scientific applications | |
| Alonso‐Monsalve et al. | A new volunteer computing model for data‐intensive applications | |
| CN115485677A (zh) | 在分布式数据存储环境中的安全数据复制 | |
| CN113450111A (zh) | 数据共享方法、装置、设备及介质 | |
| Rambabu et al. | Survey on data replication in cloud systems. | |
| TW200919340A (en) | Authority management system applied for several information systems with single sign-on environment | |
| Lakhe et al. | Introducing Hadoop | |
| CN108337225A (zh) | 一种hadoop平台安全接口的实现方法 | |
| Basu et al. | Optimizing Performance for Managing Large Number of Files in Distributed Systems | |
| Huang et al. | Grid Architecture and implementation for ALICE experiment | |
| Shuai et al. | Latency comparison of replication and coding for data access under random scheduling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100908 Termination date: 20121222 |