CN201274500Y

CN201274500Y - 基于mpi的并行文件传输服务器群系统

Info

Publication number: CN201274500Y
Application number: CNU2008200651375U
Authority: CN
Inventors: 王鹏; 陈高云; 谢千河; 安俊秀; 丁睿
Original assignee: Individual
Current assignee: Individual
Priority date: 2008-09-16
Filing date: 2008-09-16
Publication date: 2009-07-15
Anticipated expiration: 2018-09-16

Abstract

本实用新型涉及网络数据传送系统，具体为基于MPI的并行文件传输服务器群系统。基于MPI的并行文件传输服务器群系统，该系统包括调度节点服务器1与子结点服务器2、监控节点服务器3，子结点服务器2之间并联，调度节点服务器1、子结点服务器2、监控节点服务器3之间通过MPI多点接口通讯保密协议进行连接，调度节点服务器1、监控节点服务器3在系统中数量唯一。本实用新型流量负载均衡、文件传输速率高。

Description

基于MPI的并行文件传输服务器群系统

技术领域

本实用新型涉及网络数据传送系统，具体为基于MPI的并行文件传输服务器群系统。

背景技术

自第一台计算机问世半个世纪以来，计算机技术已发生了五次飞跃。其主要标志有两个：一个是计算机元器件，另一个是系统体系结构。从第一代到第五代计算机，计算机元器件发生了根本的变化：从电子管、晶体管发展到集成电路，而集成电路又从小规模、中规模、大规模发展到超大规模。系统体系结构的不断改进，许多重要的概念不断提出并得到实现，这推动了计算机技术向更高的层次发展。从早期的变址寄存器、通用寄存器、程序中断和I/O通道等概念，到虚拟存储器、Cache存储器、微程序设计、系列机、基于总线的多CPU系统、向量处理机等概念，再发展到64位RISC处理器、基于MPP、NUMA、集群等体系结构的可伸缩并行处理系统，计算机技术得到了突飞猛进的发展。

在科学计算领域中，人们开始通过使甩由普通PC机或工作站构建的集群系统来代替昂贵的超级计算机。比较成功的例子是高性能集群系统Beowulf，它最初是由NASA的Goddard Flight Center进行开发的，主要目的是支持大规模的科学计算问题，如地球和太空科学面临的一些计算问题。

集群cluster就是一组计算机，它们作为一个整体向用户提供计算服务。这些单个的计算机称为集群的节点node。一个理想的集群是：用户从来不会意识到集群系统底层的节点，在用户看来，集群是一个系统，而非多个独立的计算机。集群系统的管理员可以随意增加和删改集群系统的节点。集群系统采用的操作系统主要有VMS、UNIX、WindowsNT和Linux等。

随着Linux系统健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，推动了基于Linux的集群系统的快速发展。

与单一主机相比，集群的主要优点是：

可扩展性：集群系统不局限于单一的主机节点，新的节点可以动态地加入到集群，从而增强集群的性能。

高可用性：集群中的一个节点失效，它的任务可以传递给其他节点，从而能有效防止单点失效。

高性能：一些计算密集型应用，如：天气预报，核试验模拟等，需要计算机有很强的运算处理能力。但是，现有的技术使得大型机也很难胜任这些计算任务。这时，一般使用计算机集群技术，集中几十台甚至上百台计算机的运算能力来满足要求。提高计算能力一直是集群技术研究的一个重要目标之一。

高性价比：可以采用廉价的符合工业标准的硬件构造高性能的系统。在达到同等性能的条件下，采用计算机集群比采用同等运算能力的大型计算机具有更高的性价比。

为了具有可扩展性和高可用性的特点，集群必须具备以下两大能力：第一是负载均衡，能把任务比较均衡地分布到集群环境下的计算和网络资源中去。第二是健壮性，执行任务的某一节点出现故障后，集群中的另一节点能继续完成任务。

负载均衡和健壮性都要求各节点中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的环境必须是一样的。

实现集群系统必须具有的两大技术是集群地址和内部通信。集群由多个节点组成，集群客户端通过访问集群地址获取集群系统所提供的服务。具有单一集群地址是集群的基本特征之一。为了能协同工作、实现负载均衡和错误恢复，集群各节点间需要进行通信。例如，负载均衡器对节点进行心跳测试，节点间交换作业执行状态等。

具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各节点的内部地址，并能将客户要求的计算作业提交到各节点上。内部通信是集群能正常运转的基础，它使得集群具有负载均衡和错误恢复的能力。

1977年，DEC公司推出了以VAX为结点机的松散耦合的集群系统，并成功地将VMS操作系统移植到该系统上。20世纪90年代以来，随着RISC技术的发展和高性能网络产品的出现，集群系统在性能价格比(Performance/Cost)、可扩展性(Scalability)、可用性(Availability)等方面都显示出了很强的竞争力，尤其是它在对现有单机上的软硬件产品的继承和对商用软硬件最新研究成果的快速运用方面表现出了传统大规模并行处理机MPP无法比拟的优势。

目前，集群系统已在许多领域获得应用。可以预见，随着对称多处理机SMP(Symmetric Multiprocessor)产品的大量使用和高性能网络产品的完善以及各种软硬件支持的增多和系统软件、应用软件的丰富，新一代高性能集群系统必将成为未来高性能计算领域的主流平台之一。具有代表性的集群系统有IBM的SP2、SGI的POWER CHALLENGE array、Microsoft的Wolfpack，DEC的TruClusters、SUN的SPARC clusters 1000/2000PDB以及Berkeley NOW等。我国国家智能计算机研究开发中心的曙光-2000I和曙光-2000II也都属于集群系统的并行计算机。

简单地说，并行计算机就是用若干几到几千个处理器并行执行一个作业，以提高计算效率。并行计算机的结构、规模、性能可以有甚大的差异，其价格也就可以从人民币数以万元到数以亿元。以较低的投资，用若干台性能较高的PC机组装成集群并行计算机，采用Linux操作系统以及目前在各类并行机上通用的消息传递接口MPI并行环境，以此为起步发展并行计算和研究，这是一个合适的选择。

目前，大规模并行计算机已经被用在国防、航天和科学研究等各个领域。除了用于数学计算以外，在复杂的事务处理、逻辑推理和符号处理中也得到了广泛的应用。而且，后面几种应用比单纯的数学计算还要广泛。大规模并行计算机的具体应用有地震数据处理、数值天气预报、CAD图像处理等。

在研究上述的并行和分布计算系统的过程中，研究人员逐渐认识到，系统的规模可伸缩性(Scalability)和可编程性(Programmability)已成为促使这两者进一步发展的关键问题。系统规模只有在具有可伸缩性的前提下，并行计算机系统才可能以尽可能低的成本向用户提供尽可能高的性能。虽然专用的MPP系统一般都是基于市场上的微处理器，但支持通信和同步的机制却是高性能超级计算机专用的部件，这使得MPP性能非常卓越但价格也十分昂贵。另外，由于高性能工作站和高性能网络设施的出现，为工作站机群的发展提供了新的契机。并行工作站机群已经进入并行计算和分布式计算技术发展的主流。

随着网络技术的发展和普及，人们对FTP传输的速度与稳定性要求越来越高，传统的FTP系统越来越不能适应当今用户的需求。传统的FTP属于客户/服务器结构，是一种简单的多对一结构，它的数据传输过程是：客户端FTPClient使用PASV元命令向服务器端FTPServer发出传输请求q1；服务器端作出载有传输进程地址及端口的应答a1，客户端根据a1应答中的内容，建立数据传输链L1；数据传输完成后，传输进程断开连接，服务器端向客户端返回传输结束应答，一个传输过程结束。这种集中式的系统存在以下一些缺点：

受限于服务器性能。包括服务器存储空间的限制和服务器性能的限制。

负载不均衡。某些FTP Server的负担过重，而大量的FTP服务器很多时候处于闲置状态。

随着并行FTP用户的增加，服务器的网络传输效率会显著下降，表现为：数据传输速度不稳定，服务器对请求响应迟缓，甚至拒绝应答。

传统的分布式调度策略和负载均衡算法所采用的最小调度单位为文件甚至为本次连接，很难实现理想中的负载均衡。

发明内容

本实用新型的目的在于针对以上技术问题提供一种流量负载均衡、文件传输速率高的新型基于MPI的并行文件传输服务器群系统。

本实用新型的具体技术方案如下：

基于MPI的并行文件传输服务器群系统，该系统包括调度节点服务器1与子结点服务器2、监控节点服务器3，子结点服务器2之间并联，调度节点服务器1、子结点服务器2、监控节点服务器3之间通过MPI多点接口通讯保密协议进行连接，调度节点服务器1、监控节点服务器3在系统中数量唯一。

所述的调度节点服务器1与子结点服务器2呈层叠状树形结构排列。

所述的监控节点服务器3在系统中数量唯一。

本实用新型的积极效果为：

节点服务器呈层叠状树形结构排列，有利于系统调度和快速自适应。

实现了文件的智能切分和重组。

实现了流量负载均衡。

在客户端综合采用断点续传和多线程技术实现组件间互相通信。

本系统成功实现了文件的并行传输，提高了文件的传输速率，在实际运用中取得了理想的效果。

服务器节点呈层叠结构排列，分为调度节点与子结点。调度结点只有一个，调度服务器可能在下层搜寻负载最轻的子节点和进行并行I/O操作。子结点有多个，结点数可扩展，增加层内节点数目即可提升系统处理大批量请求的能力。当然，服务树具体的规模应以实际需求和单个服务器性能而定。监控结点只有一个，独立于服务器群。

本系统可以达到很高的性价比，实现了低成本、高性能服务器部署方法。只需合理设定各调度节点计量标尺值、调整并行粒度大小和控制系统规模，即可适应高强度的数据服务，实现了大数据量文件传输服务器问题上的速度与并发处理等问题。并行计算具有很大的发展空间与商业价值，随着科学技术的不断进步与发展，人们迫切需要一种高性能的，即运算速度达到万亿次、百万亿次甚至于更高的超级计算机，以此解决诸如气象模拟、流体湍流分析、污染分析、人类染色体、半导体模拟、视学科学、认知科学、燃烧系统、海洋环境以及核试验模拟等一类的问题。

该系统在低成本下实现了高性能，该系统能够为对计算性能要求高、处理的对象大如大型文件下载服务或在线用户多等诸多网络系统提供便捷，具体的系统设计可以根据实际需求而定而并非局限于本PFTP系统。

附图说明

图1为实用新型的结构示意图。

其中，1——调度节点服务器、2——与子结点服务器、3——监控节点服务器。

具体实施方式

下面结合具体实施方式对本实用新型作进一步说明。

调度节点服务器1与子结点服务器2呈层叠状树形结构排列。

监控节点服务器3在系统中数量唯一。

系统中服务器所维护的文件索引列表面向缓存，当解析到用户发出信息为列表目录时，立即在该索引表中应列表信息并返回用户；对应解析为下载信号时则根据用户所创线程数和子服务器实时负载对任务分解、动态调度，并由子服务器多台并行提供数据服务，调度算法遵循在并行粒度范围内按最轻网络流量负载节点优先调度的法则，使得各子服务器在任意时刻其负载量均趋于一致，整体负载更加均衡。

本系统采用目前最简单的并行模式，将文件按其最佳并行粒度进行划分，实现文件的并行下载。划分时以用户所创线程为参考，对文件进行分割；分割后文件块归哪台节点来服务是以当前节点的实际负载情况为基准，将按节点负载由轻至重的排列后的节点顺序即为各文件块的去向。

Claims

1、基于MPI的并行文件传输服务器群系统，其特征在于：该系统包括调度节点服务器(1)与子结点服务器(2)、监控节点服务器(3)，子结点服务器(2)之间并联，调度节点服务器(1)、子结点服务器(2)、监控节点服务器(3)之间通过MPI多点接口通讯保密协议进行连接，调度节点服务器(1)、监控节点服务器(3)在系统中数量唯一。

2、根据权利要求1所述的基于MPI的并行文件传输服务器群系统，其特征在于：所述的调度节点服务器(1)与子结点服务器(2)呈层叠状树形结构排列。

3、根据权利要求1所述的基于MPI的并行文件传输服务器群系统，其特征在于：所述的监控节点服务器(3)在系统中数量唯一。