CN101022397A - 分布式交通信息存储文件系统 - Google Patents

分布式交通信息存储文件系统 Download PDF

Info

Publication number
CN101022397A
CN101022397A CNA200710038073XA CN200710038073A CN101022397A CN 101022397 A CN101022397 A CN 101022397A CN A200710038073X A CNA200710038073X A CN A200710038073XA CN 200710038073 A CN200710038073 A CN 200710038073A CN 101022397 A CN101022397 A CN 101022397A
Authority
CN
China
Prior art keywords
server
data storage
file
terminal
management server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200710038073XA
Other languages
English (en)
Other versions
CN100518132C (zh
Inventor
黄林鹏
杨欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CNB200710038073XA priority Critical patent/CN100518132C/zh
Publication of CN101022397A publication Critical patent/CN101022397A/zh
Application granted granted Critical
Publication of CN100518132C publication Critical patent/CN100518132C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种电子信息技术领域的分布式交通信息存储文件系统。本发明中,存储资源管理服务器管理数据存储服务器,收集数据存储服务器的各项指标,元数据管理服务器在获取文件时,用于维护可靠的端到端的传输,传输管理服务器用于数据存储服务器之间的传输,副本管理服务器包括与元数据服务器通信的单元、与历史分析及策略扩展服务器通信的单元以及调用传输管理服务器的单元,信息监控服务器求得传输速率的计算得到需要的信息,历史分析及策略扩展服务器对有用数据进行分析,虚拟文件视图终端是系统的主要入口端,与数据存储资源管理服务器交互的单元以及与副本管理服务器交互的单元。本发明能更合理分配数据网格资源,通用、稳定、高效、灵活。

Description

分布式交通信息存储文件系统
技术领域
本发明涉及的是一种电子信息技术领域数据网格的系统,具体地说是一种分布式交通信息存储文件系统。
背景技术
随着网格应用的日益增多,不局限于初始的应用背景----科学计算,网格技术将其触角伸向各行各业,把网格计算放在网络服务的层面上来使用,将现有的社会公共服务资源整合起来成为发展趋势。交通信息网格即是网格技术与公共服务相结合的产物。使用网络服务大大提高了网格的通用性使之能够更加契合交通信息服务的需求。数据模块从原先网格技术的底层支持模块逐渐被独立出来。数据网格作为一种融合异构资源将其变为同一的资源并提供通用接口的技术渐渐从整个网格体系中独立开来。数据网格的发展趋势为既可以支持别的网格组件又可以自己独立运行提供功能的系统。
为了契合网格计算向网络服务靠拢的趋势,数据网格需要一种不同于传统的紧耦合的分布式文件系统,可以通过网络服务进行远程调用的松耦合的分布式文件系统。这样对于用户使用数据网格或者访问这一分布式文件系统的要求就降低了,用户可以通过任意终端访问系统。
经对现有技术文献的检索发现,中国专利申请号:02120971.5,发明名称:基于分布式文件系统的文件存储系统及其文件访问方法,公开号:CN1464453。该专利的文件系统基于分布式文件系统,为使用存储空间的用户提供高效、快捷的访问界面,使用户能随时随地访问所有的共享资源。该文件系统的不足:(1)系统没有基于一种统一的框架构建,使得系统内部不同型号的服务器的通信不具备统一性和通用性。(2)系统没有对文件进行分片存储,使得在存储大文件时,存储零头较高,存储空间浪费较多。(3)系统没有对文件进行复制,当数据节点发生故障时,文件系统不可用,降低了系统的可用性。(4)系统没有提供对文件带状传输和并行传输的支持,使用该文件系统的性能较低。
发明内容
本发明针对现有技术的不足与缺陷,提供一种分布式交通信息存储文件系统,使其在不同的服务器之间协作以及系统外对本系统的访问都是基于同一规则,并且能够使存储系统的稳健度与效率增高,更加符合交通信息存储传输的需求,兼顾了通用性和运营能力(数据存储量,传输速度),为网格服务提供可靠的数据支持,推动了数据网格作为独立模块的发展。
本发明是通过以下技术方案实现的,本发明包括:数据存储服务器、存储资源管理服务器、元数据管理服务器、传输管理服务器、副本管理服务器、信息监控服务器、历史分析及策略扩展服务器、虚拟文件视图终端、可靠传输维持终端。虚拟文件视图终端和元数据管理服务器、副本管理服务器、存储资源管理服务器及可靠传输维持终端相连,副本管理服务器和历史分析及策略扩展服务器、存储资源管理服务器、传输管理服务器相连,传输管理服务器及可靠传输维持终端均和信息监控服务器、数据存储服务器相连,信息监控服务器和历史分析及策略扩展服务器相连,存储资源管理服务器和数据存储服务器相连。虚拟文件视图终端接受来自用户或系统外部应用程序的访问请求,并根据不同的请求同元数据管理服务器、副本管理服务器、存储资源管理服务器或可靠传输维持终端交互以处理请求;可靠文件传输终端在接受到虚拟文件视图终端的请求并做出响应,连接到数据存储服务器和用户所在的终端客户机,发起数据存储服务器和终端客户机之间的数据传输;数据传输的性能被信息监控服务器捕获,之后被发送到历史分析及策略扩展服务器;副本管理服务器在接受到虚拟文件视图终端的请求并做出响应,即连接到历史分析及策略扩展服务器获取副本维护策略,连接到存储资源管理服务器获取数据存储信息,连接到传输管理服务器发起系统内部数据存储服务器之间的数据传输;存储资源管理服务器周期性的和数据存储服务器交互,向数据存储服务器收集各项指标,以及下达数据存储服务器的合法文件信息;数据存储服务器除了上述和存储资源管理服务器的通信外,还根据传输管理服务器和可靠传输维持终端发送来的数据传输请求,启动数据存储服务器与用户所在客户机之间的或者数据存储服务器与数据存储服务器之间的数据传输。
所述的数据存储服务器包括:文件传输服务器单元、存储资源管理客户端单元。文件传输服务器单元和可靠传输维持终端连接,各个数据存储服务器中的文件传输服务器单元相互连接。文件传输服务器单元实现了特定的文件传输协议(如FTP协议、GridFTP协议)和文件传输服务器端代码,用作文件传输中的传输服务器。存储资源管理客户端单元和存储资源管理服务器连接,它周期性地启动一个线程,用于和存储资源管理服务器通信,向存储资源管理服务器汇报本机各项指标,从存储资源管理服务器获取本机的合法文件信息。
所述的存储资源管理服务器,连接到一个或多个数据存储服务器,管理与其连接的数据存储服务器的生命周期,监控所有这些数据存储服务器的基本指标以及在现阶段的访问可达性。一个存储资源管理服务器及其管理的所有数据存储服务器构成一个独立的域。
所述的元数据管理服务器包括:逻辑文件映射单元以及分片地址映射单元两部分。逻辑文件映射单元在用户创建逻辑文件(同时也会将这个文件的实际内容存入数据存储服务器),划分分片时分配分片ID,在获取文件时通过对用户空间逻辑文件的查阅获得文件在系统中被划分成的分片的ID,分片地址映射单元在用户创建逻辑文件时根据最后传输的结果确定分片的物理地址,在副本扩散时增加分片可以链接到的副本地址。
所述的传输管理服务器和可靠传输维持终端,它们包含一个共同的传输控制子包,子包里含有传输线程调度单元、失败任务恢复单元、动态任务更新单元。传输线程调度单元用于启动、终止、暂停数据传输线程。失败任务恢复单元用于重新启动已经失败的数据传输任务,并保证新启动的数据传输从上次传输任务失败处启动。动态任务更新单元根据任务完成的实时情况,动态更新数据传输任务,调整数据传输任务的起止位置。传输管理服务器和数据存储服务器相连,它使用此子包完成系统内部各个数据存储服务器之间的可靠文件传输。可靠传输维持终端和数据存储服务器、使用本系统的终端客户机相连,它使用此子包完成系统内部数据存储服务器和使用本系统的终端客户机之间的可靠文件传输。
所述副本管理服务器,主要用于副本的扩散,即当需要建立副本的时候副本管理服务器根据历史分析及策略扩展服务器返回的策略定制副本扩散计划,本单元通过调用传输管理服务器完成这一任务,并通过元数据管理服务器对分片的地址进行更新。
所述信息监控服务器包括:信息监控单元、历史信息计算单元。信息监控单元和存储资源管理服务器相连,将各个时刻由各个数据存储服务器发送给存储资源管理服务器的本机信息收集起来。历史信息计算单元和信息监控单元、历史分析及策略扩展服务器相连,不但要将历史时刻每个数据存储服务器的基本信息进行统计,还需要根据之前的传输情况,对各个数据存储服务器的性能作出统计。具体当有一个数据节点虽然在当前具有很高的速率但是由于它在过去的十个小时中的平均传输速率很低,并且经常出错,这样的数据节点在下面要提到的历史分析及策略扩展服务器相连中的评价并不一定会比当前速率低于它但拥有一个稳定的历史传输速率的数据节点高。
所述的历史分析及策略扩展服务器,对信息监控服务器收集计算得到的有用数据进行分析。分析过程中使用的策略是用户定制的,具体由当前传输速率最佳的数据存储服务器进行传输或者历史传输速率最佳的数据存储服务器进行传输,抑或是将当前速率和历史速率综合起来考虑分别给予两个速率一定的权值,计算它们的加权和作为最后的评定。历史分析及策略扩展服务器就是一个打分系统,通过用户增加策略库中的策略,修改配置所使用的策略,策略的修改就变得非常灵活。另外使用自适应策略,根据信息监控模块得到的数据对策略的使用进行选择,系统会随着网络节点数、网络拥塞度等指标的变化调整所使用的策略。这样系统实际使用效率将逼近理想值。
所述的虚拟文件视图终端是系统的主要入口端,是与用户交互的窗口。用户在这个终端所见的如同一个本地系统一样,它可以发出各种对虚拟文件系统的指令。根据这些指令,虚拟文件视图终端调用不同的管理服务器。虚拟文件视图终端自身维护这些任务的执行流程。
本发明基于当前WSRF(网络服务资源框架)技术及XML(可扩展标签语言)技术相结合,以使得在不同型号的服务器之间能够使用一种唯一的标准进行通信。本发明基于分片的系统构成方式,文件不再以整个文件的形式存在于数据存储服务器上,而是以文件分片的形式存在使得存储当量可能等于甚至超过某一个数据存储服务器的总存储量。将大文件按照一定的阈值切片不但可以使那些无法容纳大文件的资源得到利用,也可以减少存储零头,整合更多的存储资源,增大了数据域的存储能力也减少了负载压力。另外以分片为单位存储数据,在相同的存储容量使用情况下,增加带状传输中传输带的数量。所谓带状传输即同一客户端与多个服务器进行传输,每一组服务器-客户端即为一条传输带。同一带上的多个传输进程称为并行传输。带状传输提高了客户端带宽的使用效率。本发明的三层结构模型,即终端(客户端)-管理服务器-资源,通过使用三层结构模型,将终端和资源彻底从管理模块中分离出,并让终端和资源通过网络服务与管理模块交互,管理模块可以很灵活的进行扩展,而不会影响终端的访问和资源的资格。管理服务器也能扩展出更为复杂的功能。这种模型减少了模块间的耦合度。
本发明对于现有技术的特点在于:
1)通用性:由于使用了WSRF协议来作为远程调用的方法,使得终端与管理服务器、管理服务器与资源之间的耦合度降到最低。终端容易访问,资源容易加入到资源集。
2)稳定性:由于每次传输都具有出错控制,系统可以轻易捕捉到没有成功的传输任务并将它恢复过来;另一方面存储资源管理服务器并不是主动去寻找资源,而是建立一个框架让资源加入到某个资源集合中,这个集合中的节点一般都是可用的,再通过选择策略选择最为健壮的数据存储服务器进行传输,进一步提高了可用性。
3)高效性:由于使用了历史信息分析和动态策略自适应的方法,系统变得更加智能,它总是倾向于选择最稳定的节点存储数据、最快的节点下载数据,这样使得系统在提高通用性的同时也兼顾了效率。
4)灵活性:策略扩展模块在设计时就作为嵌入模块加入系统,一方面每个调用历史分析及策略扩展服务器的模块都具有与具体策略无关的接口,另一方面每个策略也需要符合一定的模版来描述自身,这样用户可以灵活的定制更新策略使系统变得更为智能。
附图说明
图1本发明系统框图
图2本发明管理服务器通讯示意图
图3本发明存储文件系统时序图
图4本发明获取文件系统时序图
图5本发明文件副本扩散时序图
具体实施方式
下面对本发明的一实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本实施例包括:数据存储服务器、存储资源管理服务器、元数据管理服务器、传输管理服务器、副本管理服务器、信息监控服务器、历史分析及策略扩展服务器、虚拟文件视图终端、可靠传输维持终端。虚拟文件视图终端和元数据管理服务器、副本管理服务器、存储资源管理服务器及可靠传输维持终端相连,副本管理服务器和历史分析及策略扩展服务器、存储资源管理服务器、传输管理服务器相连,传输管理服务器及可靠传输维持终端均和信息监控服务器、数据存储服务器相连,信息监控服务器和历史分析及策略扩展服务器相连,存储资源管理服务器和数据存储服务器相连。虚拟文件视图终端接受来自用户或系统外部应用程序的访问请求,并根据不同的请求同元数据管理服务器、副本管理服务器、存储资源管理服务器或可靠传输维持终端交互以处理请求;可靠文件传输终端在接受到虚拟文件视图终端的请求并做出相应时,连接到数据存储服务器和用户所在的终端客户机,发起数据存储服务器和终端客户机之间的数据传输;数据传输的性能被信息监控服务器捕获,之后被发送到历史分析及策略扩展服务器;副本管理服务器在接受到虚拟文件视图终端的请求并做出相应时,连接到历史分析及策略扩展服务器获取副本维护策略,连接到存储资源管理服务器获取数据存储信息,连接到传输管理服务器发起系统内部数据存储服务器之间的数据传输;存储资源管理服务器周期性的和数据存储服务器交互,向数据存储服务器收集各项指标,以及下达数据存储服务器的合法文件信息;数据存储服务器除了上述和存储资源管理服务器的通信外,还根据传输管理服务器和可靠传输维持终端发送来的数据传输请求,启动数据存储服务器与用户所在客户机之间的或者数据存储服务器与数据存储服务器之间的数据传输。
所述的数据存储服务器包括:文件传输服务器单元、存储资源管理客户端单元。文件传输服务器单元和可靠传输维持终端连接,各个数据存储服务器中的文件传输服务器单元相互连接。文件传输服务器单元实现了特定的文件传输协议(如FTP协议、GridFTP协议)和文件传输服务器端代码,用作文件传输中的传输服务器。存储资源管理客户端单元和存储资源管理服务器连接,它周期性地启动一个线程,用于和存储资源管理服务器通信,向存储资源管理服务器汇报本机各项指标,从存储资源管理服务器获取本机的合法文件信息。
所述的元数据管理服务器包括逻辑文件映射单元以及分片地址映射单元,逻辑文件映射单元在用户创建逻辑文件,同时也会将这个文件的实际内容存入数据存储服务器,划分分片时分配分片ID,在获取文件时通过对用户空间逻辑文件的查阅获得文件在系统中被划分成的分片的ID,分片地址映射单元在用户创建逻辑文件时根据最后传输的结果确定分片的物理地址,在副本扩散时增加分片链接到的副本地址。
所述的传输管理服务器和可靠传输维持终端,它们包含一个共同的传输控制子包,子包里含有传输线程调度单元、失败任务恢复单元、动态任务更新单元。传输线程调度单元用于启动、终止、暂停数据传输线程。失败任务恢复单元用于重新启动已经失败的数据传输任务,并保证新启动的数据传输从上次传输任务失败处启动。动态任务更新单元根据任务完成的实时情况,动态更新数据传输任务,调整数据传输任务的起止位置。传输管理服务器和数据存储服务器相连,它使用此子包完成系统内部各个数据存储服务器之间的可靠文件传输。可靠传输维持终端和数据存储服务器、使用本系统的终端客户机相连,它使用此子包完成系统内部数据存储服务器和使用本系统的终端客户机之间的可靠文件传输。
所述副本管理服务器,用于副本的扩散:当需要建立副本的时候副本管理服务器根据历史分析及策略扩展服务器返回的策略定制副本扩散计划,通过调用传输管理服务器完成这一任务,并通过元数据管理服务器对分片的地址进行更新。
所述信息监控服务器包括:当前信息监控单元、历史信息计算单元,当前信息监控单元将现在时刻由各个数据存储服务器发送给数据存储资源管理服务器的本机信息收集起来,历史信息计算单元不但要将历史时刻每个数据存储服务器的基本信息进行统计,还需要根据之前的传输情况,对各个数据存储服务器的性能作出统计。
所述的历史分析及策略扩展服务器对信息监控服务器收集计算得到的有用数据进行分析,分析过程中使用的策略是用户定制的,具体当前传输速率最佳的数据存储服务器进行传输或者历史传输速率最佳的数据存储服务器进行传输,抑或是将当前速率和历史速率综合起来考虑分别给予两个速率一定的权值,计算它们的加权和作为最后的评定。
所述的虚拟文件视图终端是系统的主要入口端,是与用户交互的窗口,用户在这个终端发出各种对虚拟文件系统的指令,根据这些指令,终端调用不同的管理服务器。
如图2所示,所述的存储资源管理服务器,连接到一个或多个数据存储服务器,管理与其连接的数据存储服务器的生命周期,监控所有这些数据存储服务器的基本指标以及在现阶段的访问可达性。
如图3所示,将用户的文件存储至虚拟的文件系统具体过程包括:
(1)虚拟文件视图终端向元数据管理服务器的逻辑文件映射单元发送创建文件的请求,逻辑文件映射单元接受请求,创建这一文件及其相应的目录关系,并将这一文件的状态标注为“传输中”,之后逻辑文件映射单元向虚拟文件视图终端返回确认信息;
(2)虚拟文件视图终端得到来自元数据管理服务器的确认信息后,向存储资源管理服务器发送返回资源的请求,存储资源管理服务器根据所请求的文件大小的信息,在可用资源集中选择可用资源,并为每个文件分片分配与之配对的存储资源。之后,存储资源管理服务器将分配结果返回虚拟文件视图终端;
(3)虚拟文件视图终端根据返回的分配结果构造传输计划文件,并将传输计划文件发送至可靠传输维持终端的传输线程调度单元,传输线程调度单元据此启动数据传输线程,以根据传输计划将分片传输并存储至数据存储服务器上。在传输过程中,如有故障发生,则由传输线程调度单元调用失败任务恢复单元,以从故障中恢复。传输完毕后,可靠传输维持终端的传输线程调度单元将实际传输结果返回给虚拟文件视图终端。
(4)虚拟文件视图终端接受到可靠传输维持终端的传输线程调度单元发送的实际传输结果后,向元数据管理服务器的逻辑文件映射单元发送消息,逻辑文件映射单元改变文件状态为“可用”,并调用元数据管理服务器的分片地址映射单元以添加分片地址映射信息。
如图4所示,从虚拟文件系统获取用户的文件具体过程包括:
(1)虚拟文件视图终端向元数据管理服务器的逻辑文件映射单元发送请求,逻辑文件映射单元接受请求,查询获得文件的分片信息,再将文件的分片信息发送至分片地址映射单元,以获取文件的所有分片的位置信息。之后,逻辑文件映射单元将所获得的位置信息返回给虚拟文件视图终端。
(2)虚拟文件视图终端接受到元数据管理服务器发送来的文件分片位置信息后,根据位置信息信息生成传输计划文件,并将传输计划文件发送至可靠传输维持终端的传输线程调度单元,传输线程调度单元据此启动数据传输线程,以根据传输计划将文件的所有分片传输至用户所在的客户机上。在传输过程中,如有故障发生,则由传输线程调度单元调用失败任务恢复单元,以从故障中恢复。传输完毕后,可靠传输维持终端的传输线程调度单元发送确认消息到虚拟文件视图终端。
如图5所示,在系统中进行副本扩散具体过程包括:
(1)虚拟文件视图终端向副本管理服务器发送副本扩散请求;
(2)副本管理服务器向历史分析及策略扩展服务器发出请求,历史分析及策略扩展服务器向副本管理服务器返回需要扩散的分片列表;
(3)副本管理服务器接受到历史分析及策略扩展服务器返回的扩散分片列表后,据此生成传输计划文件,并将传输计划文件发送至传输管理服务器的传输线程调度单元,传输线程调度单元据此启动数据传输线程,并根据传输计划执行数据传输。在传输过程中,如有故障发生,则由传输线程调度单元调用失败任务恢复单元,以从故障中恢复。传输完毕后,传输管理服务器的传输线程调度单元返回实际传输结果到副本管理服务器。
(4)副本管理服务器接受到传输管理服务器返回的实际传输结果后,将实际传输结果发送给虚拟文件视图终端。
(5)虚拟文件视图终端接受到副本管理系统返回的实际传输结果后,发送请求至元数据管理服务器的逻辑文件映射单元,逻辑文件映射单元更新文件分片映射关系,调用分片地址映射单元添加分片地址映射关系,最后逻辑文件映射单元返回确认消息至虚拟文件视图终端。

Claims (10)

1、一种分布式交通信息存储文件系统,包括:数据存储服务器、存储资源管理服务器、元数据管理服务器、传输管理服务器、副本管理服务器、信息监控服务器、历史分析及策略扩展服务器、虚拟文件视图终端和可靠传输维持终端,其特征在于,虚拟文件视图终端和元数据管理服务器、副本管理服务器、存储资源管理服务器及可靠传输维持终端相连,副本管理服务器和历史分析及策略扩展服务器、存储资源管理服务器、传输管理服务器相连,传输管理服务器及可靠传输维持终端均和信息监控服务器、数据存储服务器相连,信息监控服务器和历史分析及策略扩展服务器相连,存储资源管理服务器和数据存储服务器相连;虚拟文件视图终端接受来自用户或系统外部应用程序的访问请求,并根据不同的请求同元数据管理服务器、副本管理服务器、存储资源管理服务器或可靠传输维持终端交互以处理请求;可靠文件传输终端在接受到虚拟文件视图终端的请求并做出响应时,连接到数据存储服务器和用户所在的终端客户机,发起数据存储服务器和终端客户机之间的数据传输,数据传输的性能被信息监控服务器捕获,之后被发送到历史分析及策略扩展服务器;副本管理服务器在接受到虚拟文件视图终端的请求并做出响应,即连接到历史分析及策略扩展服务器获取副本维护策略,连接到存储资源管理服务器获取数据存储信息,连接到传输管理服务器发起系统内部数据存储服务器之间的数据传输;存储资源管理服务器周期性的和数据存储服务器交互,向数据存储服务器收集各项指标,以及下达数据存储服务器的合法文件信息;数据存储服务器除了上述和存储资源管理服务器的通信外,还根据传输管理服务器和可靠传输维持终端发送来的数据传输请求,启动数据存储服务器与用户所在客户机之间的或者数据存储服务器与数据存储服务器之间的数据传输。
2、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述的数据存储服务器包括:文件传输服务器单元、存储资源管理客户端单元,其中:文件传输服务器单元和可靠传输维持终端连接,各个数据存储服务器中的文件传输服务器单元相互连接,文件传输服务器单元实现了文件传输协议和文件传输服务器端代码,用作文件传输中的传输服务器;存储资源管理客户端单元和存储资源管理服务器连接,它周期性地启动一个线程,用于和存储资源管理服务器通信,向存储资源管理服务器汇报本机各项指标,从存储资源管理服务器获取本机的合法文件信息。
3、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述的存储资源管理服务器,连接到一个或多个数据存储服务器,管理与其连接的数据存储服务器的生命周期,监控所有这些数据存储服务器的基本指标以及在现阶段的访问可达性。
4、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述的元数据管理服务器包括逻辑文件映射单元以及分片地址映射单元,逻辑文件映射单元在用户创建逻辑文件,同时也会将这个文件的实际内容存入数据存储服务器,划分分片时分配分片ID,在获取文件时通过对用户空间逻辑文件的查阅获得文件在系统中被划分成的分片的ID,分片地址映射单元在用户创建逻辑文件时根据最后传输的结果确定分片的物理地址,在副本扩散时增加分片链接到的副本地址。
5、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述的传输管理服务器和可靠传输维持终端,它们包含一个共同的传输控制子包,传输管理服务器和数据存储服务器相连,它使用此子包完成系统内部各个数据存储服务器之间的可靠文件传输;可靠传输维持终端和数据存储服务器、使用本系统的终端客户机相连,它使用此子包完成系统内部数据存储服务器和使用本系统的终端客户机之间的可靠文件传输。
6、根据权利要求5所述的分布式交通信息存储文件系统,其特征是,所述的传输控制子包里含有传输线程调度单元、失败任务恢复单元、动态任务更新单元,其中:传输线程调度单元用于启动、终止、暂停数据传输线程;失败任务恢复单元用于重新启动已经失败的数据传输任务,并保证新启动的数据传输从上次传输任务失败处启动;动态任务更新单元根据任务完成的实时情况,动态更新数据传输任务,调整数据传输任务的起止位置。
7、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述副本管理服务器,用于副本的扩散:当需要建立副本的时候副本管理服务器根据历史分析及策略扩展服务器返回的策略定制副本扩散计划,通过调用传输管理服务器完成这一任务,并通过元数据管理服务器对分片的地址进行更新。
8、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述信息监控服务器包括:当前信息监控单元、历史信息计算单元,当前信息监控单元将现在时刻由各个数据存储服务器发送给数据存储资源管理服务器的本机信息收集起来,历史信息计算单元不但将历史时刻每个数据存储服务器的基本信息进行统计,还根据之前的传输情况,对各个数据存储服务器的性能作出统计。
9、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述的历史分析及策略扩展服务器,对信息监控服务器收集计算得到的有用数据进行分析,分析过程中使用的策略是用户定制的,具体由当前传输速率最佳的数据存储服务器进行传输或者历史传输速率最佳的数据存储服务器进行传输,抑或是将当前速率和历史速率综合起来考虑分别给予两个速率一定的权值,计算它们的加权和作为最后的评定。
10、根据权利要求1所述的分布式交通信息存储文件系统,其特征是,所述的虚拟文件视图终端是系统的主要入口端,是与用户交互的窗口,用户在这个终端发出各种对虚拟文件系统的指令,根据这些指令,终端调用不同的管理服务器。
CNB200710038073XA 2007-03-15 2007-03-15 分布式交通信息存储文件系统 Expired - Fee Related CN100518132C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB200710038073XA CN100518132C (zh) 2007-03-15 2007-03-15 分布式交通信息存储文件系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB200710038073XA CN100518132C (zh) 2007-03-15 2007-03-15 分布式交通信息存储文件系统

Publications (2)

Publication Number Publication Date
CN101022397A true CN101022397A (zh) 2007-08-22
CN100518132C CN100518132C (zh) 2009-07-22

Family

ID=38710053

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200710038073XA Expired - Fee Related CN100518132C (zh) 2007-03-15 2007-03-15 分布式交通信息存储文件系统

Country Status (1)

Country Link
CN (1) CN100518132C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873576A (zh) * 2009-04-24 2010-10-27 大唐移动通信设备有限公司 中继接入节点能力上报的方法、系统及装置
CN102314480A (zh) * 2011-07-05 2012-01-11 万达信息股份有限公司 一种针对海量数据的分布式数据存储方法
CN101729582B (zh) * 2008-10-27 2012-08-08 华为技术有限公司 分布式存储的管理方法、装置及系统
CN102801690A (zh) * 2011-05-25 2012-11-28 华为技术有限公司 流媒体的处理方法、分发服务器、客户端及系统
CN102855239A (zh) * 2011-06-28 2013-01-02 清华大学 一种分布式地理文件系统
CN105072201A (zh) * 2015-08-28 2015-11-18 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
CN106341474A (zh) * 2016-09-06 2017-01-18 上海海事大学 一种基于icn与sdn网络的资料管控中心及其内容管理方法
WO2020024588A1 (en) * 2018-08-02 2020-02-06 Memverge, Inc. A distributed memory object architecture

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729582B (zh) * 2008-10-27 2012-08-08 华为技术有限公司 分布式存储的管理方法、装置及系统
CN101873576A (zh) * 2009-04-24 2010-10-27 大唐移动通信设备有限公司 中继接入节点能力上报的方法、系统及装置
CN101873576B (zh) * 2009-04-24 2014-04-16 电信科学技术研究院 中继接入节点能力上报的方法、系统及装置
CN102801690A (zh) * 2011-05-25 2012-11-28 华为技术有限公司 流媒体的处理方法、分发服务器、客户端及系统
US9432436B2 (en) 2011-05-25 2016-08-30 Huawei Technologies Co., Ltd. Processing method, distribution server, client, and system for streaming media
CN102855239A (zh) * 2011-06-28 2013-01-02 清华大学 一种分布式地理文件系统
CN102855239B (zh) * 2011-06-28 2016-04-20 清华大学 一种分布式地理文件系统
CN102314480B (zh) * 2011-07-05 2013-04-10 万达信息股份有限公司 一种针对海量数据的分布式数据存储方法
CN102314480A (zh) * 2011-07-05 2012-01-11 万达信息股份有限公司 一种针对海量数据的分布式数据存储方法
CN105072201A (zh) * 2015-08-28 2015-11-18 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
CN105072201B (zh) * 2015-08-28 2018-04-13 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
CN106341474A (zh) * 2016-09-06 2017-01-18 上海海事大学 一种基于icn与sdn网络的资料管控中心及其内容管理方法
CN106341474B (zh) * 2016-09-06 2019-11-05 上海海事大学 一种基于icn与sdn网络的资料管控中心及其内容管理方法
WO2020024588A1 (en) * 2018-08-02 2020-02-06 Memverge, Inc. A distributed memory object architecture

Also Published As

Publication number Publication date
CN100518132C (zh) 2009-07-22

Similar Documents

Publication Publication Date Title
CN100518132C (zh) 分布式交通信息存储文件系统
CN102130938B (zh) 一种面向Web应用宿主平台的资源供给方法
CN100407152C (zh) 多策略资源调度的方法和系统
CN102546256B (zh) 用于对云计算服务进行监控的系统及方法
CN101667034B (zh) 一种易扩展的、支持异构集群的监控系统
US11609697B2 (en) System and method for providing a committed throughput level in a data store
CN100394726C (zh) 一种提高基于构件软件系统可靠性的方法
CN106936899B (zh) 分布式统计分析系统的配置方法及分布式统计分析系统
US6907406B2 (en) On-demand service expanding system and method for providing services
CN102882909B (zh) 云计算服务监控系统及方法
CN107787490A (zh) 分布式数据库网格中的直接连接功能
CN104699736B (zh) 一种分布式的基于可移动设备的大规模数据采集系统及方法
JP4970939B2 (ja) マルチノードシステムにおけるリソースの動的な割当の階層的管理
CN111460031B (zh) 一种数据同步的方法、装置、设备和介质
CN101252588A (zh) 一种流媒体内容分发方法、系统及装置
CN106407011A (zh) 一种基于路由表的搜索系统集群服务管理的方法及系统
CN110087250A (zh) 一种基于多目标联合优化模型的网络切片编排方案及其方法
CN101562804A (zh) 一种基于移动p2p的区域管理服务器系统及其调度方法
CN112416969B (zh) 分布式数据库中的并行任务调度系统
CN110287266A (zh) 一种分布式系统及数据处理方法
CN109739640A (zh) 一种基于申威架构的容器资源管理系统
CN105138691A (zh) 分析用户业务量的方法和系统
CN111464612A (zh) 一种恶劣环境下提供稳定计算服务的方法
CN1326035C (zh) 在移动应用程序环境中使用的产品
CN1625109A (zh) 虚拟化网络资源的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090722

Termination date: 20120315