CN102855239B - 一种分布式地理文件系统 - Google Patents
一种分布式地理文件系统 Download PDFInfo
- Publication number
- CN102855239B CN102855239B CN201110177570.4A CN201110177570A CN102855239B CN 102855239 B CN102855239 B CN 102855239B CN 201110177570 A CN201110177570 A CN 201110177570A CN 102855239 B CN102855239 B CN 102855239B
- Authority
- CN
- China
- Prior art keywords
- data
- server node
- file
- node
- small documents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008520 organization Effects 0.000 claims abstract description 11
- 238000000151 deposition Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013467 fragmentation Methods 0.000 claims description 5
- 238000006062 fragmentation reaction Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000005314 correlation function Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 7
- 230000007474 system interaction Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 58
- 238000000034 method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种分布式地理文件系统,包括:包含管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点的分布式文件系统架构,大文件访问策略在文件创建时采用staging缓存策略,在副本生成时采用流水线方式;小文件访问策略,其在数据服务器节点增加了块内索引,通过对小文件的二次索引,减少管理服务器节点的元数据存储压力;地理空间数字对象模型,所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述;分布式文件系统交互设计其用管理服务器节点管理所有的文件系统元数据,实现服务器之间,服务器与客户端的通信管理。
Description
技术领域
本发明涉及地理信息和数据存储技术领域,特别是涉及一种分布式地理文件系统。
背景技术
随着数字化的进程不断加速和地理信息的获取手段不断丰富,地理信息正以级数形式增长,地理数据的种类更加多样,包括影像视频等超过64MB的大数据文件和大量图片、文本等小文件,数据结构更为复杂,这给地理信息的管理和共享带来了很大的难度和复杂性。
在地理信息领域,地理空间数字对象是指存储于计算机系统中的地理信息。数字对象通过数据流(Datastream)将与该地理目标相关的文本、图像、视频、元数据以及其它形式的多媒体数据和对这些数据的操作封装起来,它包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息、文件描述等。
在数据存储领域,分布式文件系统已经成为网络信息云存储平台的主要技术。Google于2003年发表的GFS文件系统一文确立了其在云存储领域的核心地位,它用于大型、分布式、对大量数据进行访问的应用,运行于廉价的普通硬件上,提供良好的容错功能,系统设计对大文件处理有较好的效果。HDFS是Hadoop(开源组织)遵循GFS的系统架构的开源文件系统,具有高可扩展、高性能,是面向互联网服务的分布式文件系统,其设计目标是支持海量的非结构化数据,对大文件的处理有优势,最近也出现了针对小文件处理的优化技术。HDFS采用Master/Slave架构,一个HDFS集群是由一个管理服务器节点(NameNode)和一定数目的数据服务器节点(DataNodes)组成。
另外,近几年来,随着云计算的概念蓬勃发展,云存储技术的需求越来越迫切。云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。其核心理念就是通过不断提高“云”的处理能力,减少用户终端的处理负担,最终使用户终端简化成一个单纯的输入输出设备,并能按需享受“云”的强大计算处理能力。
但是,通用的分布式文件系统架构主要解决大文件存储的问题,不能够满足地理信息的Web服务对大小文件高效存储和高并发访问的需求,根据web服务对地理数据文件的存储访问的需求发明了一种专用的分布式地理数据文件架构,以克服现有技术存在的缺陷,高效的实现直驱风电机组最大风能跟踪。
发明内容
本发明所要解决的技术问题是提供一种分布式地理文件系统,用以有效提高地理信息管理系统的IO性能,满足多用户的高并发信息访问需求。
为了解决上述问题,本发明公开了一种分布式地理文件系统,所述系统包括:
分布式文件系统架构,具体包括管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点;
大文件访问策略,其在文件创建时采用staging缓存策略,在副本生成时采用流水线方式;
小文件访问策略,其在数据服务器节点增加了块内索引,通过对小文件的二次索引,减少管理服务器节点的元数据存储压力;
地理空间数字对象模型,所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述;
分布式文件系统交互设计,其用管理服务器节点管理所有的文件系统元数据,实现服务器之间,服务器与客户端的通信管理。
优选的,文件系统采用Master/Slave结构,将管理元数据和相关功能放在管理服务器节点上。
优选的,将数据块放在数据服务器节点上。
优选的,在服务器节点上增加了数据对象服务器。
优选的,为基于地理空间数据对象的文件组织、资源的优化配置以及复杂的空间检索机制等功能的实现提供支持。
优选的,在管理服务器节点扩展元数据表,增加空间索引支持,实现对大文件的高效存储与索引。
优选的,根据小文件在数据块中的分布特性,对存小文件的数据块在头部增加文件索引,保证了文件访问性能并避免存储碎片。
与现有技术相比,本发明具有以下优点:
本发明提供的采用上述文件系统架构,能够实现地理数据大小文件的统一存储,并基于空间索引结构和大小文件的访问策略,实现多类数据文件的高效访问,实现web服务对地理信息文件的存储与访问需求。
附图说明
图1是本发明具体实施方式中所述的分布式地理数据文件系统架构组成示意图;
图2是本发明具体实施方式中所述的大文件访问策略示意图;
图3是本发明具体实施方式中所述的小文件访问策略及空间索引示意图;
图4是本发明具体实施方式中所述的地理空间数字对象模型示意图;
图5是本发明具体实施方式中所述的分布式文件系统交互设计示意图;
图6是本发明具体实施方式中所述的分布式地理数据文件系统功能结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
一种分布式地理文件系统,包括:分布式文件系统架构,具体包括管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点;大文件访问策略,其在文件创建时采用staging缓存策略,在副本生成时采用流水线方式;小文件访问策略,其在数据服务器节点增加了块内索引,通过对小文件的二次索引,减少管理服务器节点的元数据存储压力;地理空间数字对象模型,所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述;分布式文件系统交互设计,其用管理服务器节点管理所有的文件系统元数据,实现服务器之间,服务器与客户端的通信管理。
进一步的,文件系统采用Master/Slave结构,将管理元数据和相关功能放在管理服务器节点上,将数据块放在数据服务器节点上,在服务器节点上增加了数据对象服务器,为基于地理空间数据对象的文件组织、资源的优化配置以及复杂的空间检索机制等功能的实现提供支持。
在管理服务器节点扩展元数据表,增加空间索引支持,实现对大文件的高效存储与索引。根据小文件在数据块中的分布特性,对存小文件的数据块在头部增加文件索引,保证了文件访问性能并避免存储碎片。
一种分布式地理文件系统,如图1所示,系统设计考虑到在保证大文件与小文件的存储访问性能和空间存储利用率的同时满足系统可扩展性需求。文件系统采用Master/Slave结构,将管理元数据和相关功能放在管理服务器节点上,将数据块放在数据服务器节点上。数据块为可配置的大小,例如64MB或其整数倍。对于超过一个数据块容量的大文件,文件由一组数据块组成。对于小于一个数据块容量的小文件,若干个小文件组合成一个数据块。为了保证系统的稳定可靠,除了数据服务器节点上的数据块会有至少3个副本,数据服务器节点和数字对象节点将分别配备各自的影子服务器、操作日志服务器、快照服务器以在主服务器中断服务时接替工作并妥善恢复。
为了更方便的支持海量地理空间数据的访问和使用,我们在HDFS系统架构的基础上进行扩充;(1)、在管理服务器节点的元数据表中增加了文件数据块的空间索引扩展位和文件属性扩展标识,空间索引扩展主要是为了地理空间数据的快速定位提供支持,文件属性扩展标识是为了区分大小文件,便于用户对不同文件属性的数据块采用相应的访问策略;(2)、对小文件数据块的头部增加了块内索引,主要是为小文件数据块内的小文件快速定位和检索提供支持;(3)、在服务器节点上增加了数据对象服务器,为基于地理空间数据对象的文件组织、资源的优化配置以及复杂的空间检索机制等功能的实现提供支持,同时增加了系统的数据访问方式。
2、大文件访问策略,在管理服务器节点扩展元数据表,增加空间索引支持,实现对大文件的高效存储与索引,如图2所示;
在大文件存储与访问方面,我们采取的基本方法为,数据块为可配置的大小,例如64MB或其整数倍,文件由一组数据块组成。在文件创建时采用staging缓存策略,在副本生成时采用流水线方式。在管理服务器节点的元数据表中增加文件属性标志位、数据块的空间索引,辅助实现数据块的快速定位和空间数据的检索;在访问的时候客户端和管理服务器节点的通信只获取元数据,所有的数据操作都是由客户端直接和数据服务器进行交互的。具体而言:客户端创建文件的请求其实并没有立即发送给管理服务器节点,事实上,在刚开始阶段客户端会先将文件数据缓存到本地的一个临时文件,应用程序的写操作被透明地重定向到这个临时文件,当这个临时文件累积的数据量超过一个数据块的大小,客户端才会联系管理服务器节点;管理服务器节点将文件名插入文件系统的层次结构中,并且分配一个数据块给它,然后返回数据服务器节点的标识符和目标数据块给客户端,接着客户端将这块数据从本地临时文件上传到指定的数据服务器节点上;当文件关闭时,在临时文件中剩余的没有上传的数据也会传输到指定的数据服务器节点上,然后客户端告诉管理服务器节点文件已经关闭,此时管理服务器节点才将文件创建操作提交到日志里进行存储。如果管理服务器在文件关闭前宕机了,则该文件将丢失。
生成副本时,文件的副本系数设置为3,当本地临时文件累积到一个数据块的大小时,客户端会从管理服务器节点获取一个数据服务器节点列表用于存放副本;然后客户端开始向第一个数据服务器节点传输数据,第一个数据服务器节点一小部分一小部分(如4KB)地接收数据,将每一部分写入本地仓库,并同时传输该部分到列表中第二个数据服务器节点;第二个数据服务器节点也是这样,一小部分一小部分地接收数据,写入本地仓库,并同时传给第三个数据服务器节点;最后,第三个数据服务器节点接收数据并存储在本地。因此,数据服务器节点能流水线式地从前一个节点接收数据,并在同时转发给下一个节点,数据以流水线的方式从前一个数据服务器节点复制到下一个。
3、小文件访问策略,在数据服务器节点增加块内索引,通过对小文件的二次索引,减少了管理服务器节点的元数据存储压力,实现大量小文件的高效访问,如图3所示;
在小文件存储与访问方面,采用与大文件类似的文件读写方式,在文件创建时采用staging缓存策略,在副本生成时采用流水线方式。只是根据小文件在数据块中的分布特性,对存小文件的数据块在头部增加文件索引,要保证文件访问性能并避免存储碎片。具体而言和大文件的存储与访问又有下列区别:文件创建时,文件的大小并不会超过数据块的大小,因此在本地生成的临时文件大小等于要写入的小文件大小时,即完成了staging缓存;在数据服务器上写入的时候,需要更新数据块头部的索引信息,访问小文件的时候,定位到数据块后还要通过块内的索引来第二次定位到小文件的块内偏移量。
采用小文件专用的处理技术,由于增加空间索引信息可以有效支持地理空间数据相关应用的查询和定位,块内索引所引起的数据量和计算量开销得到了补偿。在兼顾大文件与小文件的存储和访问的同时,保证了文件访问的性能,多个小文件组合成一个数据块,可以尽可能的利用块内空间,减少存储碎片。
4、地理空间数字对象模型,包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息、文件描述等,如图4所示;
为了更方便的支持海量地理空间数据的使用,专设数字对象管理服务器,负责逻辑对象到文件的映射,以及对象管理的一系列功能。地理空间数字对象来源于数字图书馆领域的数字资源对象概念,在文件系统中对应于地理空间对象的一种集成表示方式,管理主要包括地理空间数字对象标识、地理空间数字对象元数据、空间数据版本、以及空间关系的处理等基本内容,同时针对空间数据文件的多源特性,提供多种相关资源文件的统一标识。基于地理空间数字对象模型,可支持多源信息融合服务对相关空间数据的统一检索和资源定位,同时对复杂应用环境下资源的优化组织提供手段和对基于空间关系的运算检索提供支持。
5、交互设计方面,为保证地理信息的高效访问和系统的可靠,对系统架构的各节点之间的数据交互方式设计,如图5所示。
在各个部件之间的最优交互方式方面,在上述分布式地理文件系统的组成结构基础上,用管理服务器节点管理所有的文件系统元数据,实现服务器之间,服务器与客户端的通信管理。这些元数据包括文件和数据块的命名空间、文件和数据块的对应关系、每个数据库副本的存放地点、数据块的相关空间索引信息等。管理服务器节点使用心跳信息周期地和每个数据服务器节点通信,发送指令到各个数据服务器节点并接收数据服务器节点的状态信息。管理服务器节点还管理着系统范围内的活动,比如,数据块租用管理、回收、以及数据块在数据块服务器节点之间的迁移。DGFS客户端代码以库的形式被链接到客户程序里,客户端代码实现了DGFS文件系统的API接口函数、应用程序与管理服务器节点/对象管理服务器节点和数据服务器节点通信、以及对数据进行读写操作。客户端和管理服务器节点的通信只获取元数据,所有的数据操作都是由客户端直接和数据服务器节点进行交互的。
采用上述文件系统架构,能够实现地理数据大小文件的统一存储,并基于空间索引结构和大小文件的访问策略,实现多类数据文件的高效访问,实现web服务对地理信息文件的存储与访问需求。
整个分布式文件系统的功能架构见图6:最底层是网络基础架构层,这一层提供了基本的硬件平台、操作系统、通信协议。在网络基础架构层之上的是系统功能服务层,这一层包括传输服务层、基础保障层、核心功能层、服务接口层。传输服务层包括硬件抽象、协议抽象、操作系统抽象,基础服务层则包括数据多副本管理、节点故障容错、网络检测管理、存储管理、通信故障容错等,核心功能层包括管理服务器节点控制、缓存管理、节点通信控制、二级索引管理等,服务接口层包括数字对象管理访问接口、空间数据引擎接口等。核心功能层是实现系统架构的主要功能,是数据访问方法实现的核心,由传输服务层和基础保障层提供支持,通过服务接口层为应用层提供支持,实现地理信息的高效访问。
系统架构采用分布式网络存储的硬件平台和相应的数据存储策略机制来实现,具体来说:
1、建立系统架构,包括1台主服务器(4核2.8G的CPU,2GB内存,500GBSATA硬盘),3个数据存储服务器(500G硬盘,1GB内存,2核2.8GCPU),1个对象存储服务器(500G硬盘,1GB内存,2核2.8GCPU),2个客户端微机(2核2.8G的CPU,1GB内存,160GBSATA硬盘)。服务器之间才用1000M的网关互联,客户端与服务器之间采用局域网互联。
2、配置服务器及客户端软件环境,服务器操作系统采用RedHatAS4.4,Java版本是1.6.0,还有Hadoop版本是0.20,客户端操作系统是windowsXP,FireFox3.6浏览器。
3、安装对象服务器节点,在对象服务器节点安装地理对象存储模型,同时存储各类复杂空间关系的存储结构及相应的计算模型,建立管理服务器与对象服务器的数据通信方式。
4、扩展管理节点的元数据表,添加文件属性标识位、空间范围标识位两个属性项。
5、基于该分布式地理数据文件系统架构,完成地理数据文件的存储、读取及更新操作。下面按照地理数据文件存储、读取、更新的过程对架构的应用实施做简要描述。
(1)、文件存储对大小文件采用不同的策略,小文件存储的几本步骤为:S0、从地理数据文件中选择有空间范围索引的小文件2万个以上,每一个文件对应的元数据记录中包含该文件所表达地理对象的地理范围;S1、计算单个数据块内可存储小文件的个数n=(块大小-索引文件大小)/(3*单个小文件大小),浏览该批数据的元数据表,读取该批小文件的地理范围;S2、按照四叉树结构建立该数据覆盖范围的所有文件四叉树层次结构,计算每一数据块的地理范围及顺序号;S3、顺序读取该批数据文件及相应的元数据表,达到一个块的存储容量时,创建数据块及块内索引文件,将小文件一次写入一个数据节点的数据块内,同时在数据块的头部索引文件填写每一个小文件在块内的索引;S4、在管理节点增加一条元数据记录,该元数据记录该数据块的物理位置、小文件的地理范围及数据块的文件属性标识;S5、管理服务器实施副本生成策略,发送消息给另外两台服务器,按照流水线的方式在另外两台服务器上生成副本;S6、重复上述S3、S4、S5步,直到该批文件全部存储完毕。大文件存储采用与小文件一致的存储过程,由于大文件是存储在一组数据块中,所以在数据块内不需要建立块内索引文件,在管理服务器节点的元数据表中记录文件属性为大文件。
(2)、文件读取访问,S0、由客户端发出读取文件请求,包括文件名称,文件属性及空间范围索引。S1、主服务器接收请求,如果是基于文件名的数据访问,从管理节点的元数据表中查找相应的数据块位置及文件属性,返回给客户端数据块的位置及文件属性;如果是基于空间关系的检索,则管理服务器将数据请求转给对象服务器,对象服务器进行相应的空间运算,返回给管理服务器相应的空间范围,再有管理服务器检索相应数据块的位置返回给客户端。S2、客户端根据返回文件属性及数据块位置,进行数据访问,如果为小文件,则读取数据块的索引文件,进一步定位到数据文件来读取;如果是大文件,则直接读取数据块内文件内容。
(3)、文件的增加、删除操作同通用分布式文件系统文件操作一致,都是基于“一次写多次读”的情况。所以增加文件采用追加的方式在数据块存储文件,同时更新管理节点的元数据表,对小文件还有更新块内索引文件;删除操作则只需在该文件的元数据表的文件使用标志位更新为旧文件即可。
以上对本发明所提供的一种分布式地理文件系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种分布式地理文件系统,其特征在于,所述系统包括:
分布式文件系统架构,具体包括管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点;
数据服务器节点,用于大文件访问策略,其在文件创建时采用staging缓存策略,在副本生成时采用流水线方式,其中,所述staging缓存策略包括将文件数据缓存到本地的临时文件,当所述临时文件累积的数据量超过一个数据块的大小,管理服务器节点将文件名插入文件系统的层次结构中,并且分配数据块,客户端节点将所述分配数据块从本地临时文件上传到指定的数据服务器节点上,所述副本生成时采用流水线方式包括:客户端节点从管理服务器节点获取一个数据服务器节点列表用于存放副本,客户端节点向第一个数据服务器节点传输数据,第一个数据服务器节点一小部分一小部分地接收数据,将接收数据写入本地仓库;
数据服务器节点,还用于小文件访问策略,其在数据服务器节点增加了块内索引,在访问小文件时,定位到数据块后,在通过块内索引来定位到小文件的块内偏移量,通过对小文件的二次索引,减少管理服务器节点的元数据存储压力,其中,文件创建时,文件小于数据块称为小文件访问策略;
地理空间数字对象模型,所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述;
分布式文件系统架构,用于管理服务器节点中的所有的文件系统元数据,实现服务器节点之间,服务器节点与客户端节点的通信管理。
2.如权利要求1所述的系统,其特征在于:
文件系统采用Master/Slave结构,将管理元数据和相关功能放在管理服务器节点上。
3.如权利要求2所述的系统,其特征在于:
将数据块放在数据服务器节点上。
4.如权利要求2所述的系统,其特征在于:
在服务器节点上增加了数据对象服务器。
5.如权利要求4所述的系统,其特征在于:
数字对象服务器为基于地理空间数据对象的文件组织、资源的优化配置以及复杂的空间检索机制等功能的实现提供支持。
6.如权利要求1所述的系统,其特征在于:
在管理服务器节点扩展元数据表,增加空间索引支持,实现对大文件的高效存储与索引。
7.如权利要求1所述的系统,其特征在于:
根据小文件在数据块中的分布特性,对存小文件的数据块在头部增加文件索引,保证了文件访问性能并避免存储碎片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110177570.4A CN102855239B (zh) | 2011-06-28 | 2011-06-28 | 一种分布式地理文件系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110177570.4A CN102855239B (zh) | 2011-06-28 | 2011-06-28 | 一种分布式地理文件系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102855239A CN102855239A (zh) | 2013-01-02 |
CN102855239B true CN102855239B (zh) | 2016-04-20 |
Family
ID=47401832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110177570.4A Active CN102855239B (zh) | 2011-06-28 | 2011-06-28 | 一种分布式地理文件系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102855239B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079600B (zh) * | 2013-03-27 | 2018-10-12 | 中兴通讯股份有限公司 | 文件存储方法、装置、访问客户端及元数据服务器系统 |
CN103677759B (zh) * | 2013-11-08 | 2017-01-11 | 国家电网公司 | 一种用于信息系统性能提升的对象化并行计算方法及系统 |
CN103595797B (zh) * | 2013-11-18 | 2017-01-18 | 上海爱数信息技术股份有限公司 | 一种分布式存储系统中的缓存方法 |
CN104331428B (zh) * | 2014-10-20 | 2017-07-04 | 暨南大学 | 一种小文件和大文件的存储及访问方法 |
CN106557509A (zh) * | 2015-09-29 | 2017-04-05 | 镇江雅迅软件有限责任公司 | 一种分布式文件系统 |
CN105426117B (zh) * | 2015-10-27 | 2018-11-16 | 浪潮(北京)电子信息产业有限公司 | 一种系统性能优化方法及装置 |
CN105516240A (zh) * | 2015-11-23 | 2016-04-20 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统的读写性能动态优化框架及方法 |
CN105630919A (zh) * | 2015-12-22 | 2016-06-01 | 曙光信息产业(北京)有限公司 | 存储方法及系统 |
CN106446126B (zh) * | 2016-09-19 | 2021-04-20 | 哈尔滨航天恒星数据系统科技有限公司 | 一种海量空间信息数据存储管理方法及存储管理系统 |
CN107844491B (zh) * | 2016-09-19 | 2021-11-16 | 阿里巴巴集团控股有限公司 | 一种在分布式系统中实现强一致性读操作的方法与设备 |
CN106709048B (zh) * | 2017-01-05 | 2019-11-15 | 无锡江南计算技术研究所 | 一种面向高性能计算的分布式数据组织方法 |
CN107065800B (zh) * | 2017-04-27 | 2019-04-09 | 合肥城市云数据中心股份有限公司 | 基于定长数据块的工业信号数据访问方法 |
CN107122140A (zh) * | 2017-05-02 | 2017-09-01 | 郑州云海信息技术有限公司 | 一种基于元数据信息的文件智能存储方法 |
CN108959313B (zh) * | 2017-05-23 | 2021-03-05 | 中国移动通信集团重庆有限公司 | 面向海量小文件的并发处理方法、装置和存储介质 |
CN107426221A (zh) * | 2017-07-28 | 2017-12-01 | 安徽华博胜讯信息科技股份有限公司 | 基于超融合架构的文化创意虚拟现实系统 |
CN108806773B (zh) * | 2018-05-21 | 2021-07-27 | 上海熙业信息科技有限公司 | 医学影像云存储平台设计方法 |
CN109800208B (zh) * | 2019-01-18 | 2019-09-27 | 湖南友道信息技术有限公司 | 网络溯源系统及其数据处理方法、计算机存储介质 |
CN110083306A (zh) * | 2019-03-14 | 2019-08-02 | 南京时沃信息科技有限公司 | 一种分布式对象存储系统及存储方法 |
CN110765077B (zh) * | 2019-11-07 | 2022-06-28 | 中电福富信息科技有限公司 | 基于分布式文件系统统一管理ai模型的方法及系统 |
CN111176574B (zh) * | 2019-12-27 | 2022-03-22 | 浪潮电子信息产业股份有限公司 | 一种小文件存储方法、装置、设备及介质 |
CN111782743B (zh) * | 2020-06-08 | 2024-03-22 | 上海飞未信息技术有限公司 | 一种云计算环境下空间数据管理方法 |
CN114462384B (zh) * | 2022-04-12 | 2022-07-12 | 北京大学 | 一种面向数字对象建模的元数据自动生成装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101022397A (zh) * | 2007-03-15 | 2007-08-22 | 上海交通大学 | 分布式交通信息存储文件系统 |
CN101808012A (zh) * | 2010-03-31 | 2010-08-18 | 重庆索伦互联网信息服务有限公司 | 一种云环境下的数据备份方法 |
-
2011
- 2011-06-28 CN CN201110177570.4A patent/CN102855239B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101022397A (zh) * | 2007-03-15 | 2007-08-22 | 上海交通大学 | 分布式交通信息存储文件系统 |
CN101808012A (zh) * | 2010-03-31 | 2010-08-18 | 重庆索伦互联网信息服务有限公司 | 一种云环境下的数据备份方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102855239A (zh) | 2013-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102855239B (zh) | 一种分布式地理文件系统 | |
CN103312791B (zh) | 物联网异构数据存储方法及系统 | |
US10764045B2 (en) | Encrypting object index in a distributed storage environment | |
US10387673B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
EP3596619B1 (en) | Methods, devices and systems for maintaining consistency of metadata and data across data centers | |
US9710535B2 (en) | Object storage system with local transaction logs, a distributed namespace, and optimized support for user directories | |
US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
EP2411918B1 (en) | Virtualized data storage system architecture | |
JP5411250B2 (ja) | 冗長データ記憶システムへの指示に従ってのデータ配置 | |
US7840618B2 (en) | Wide area networked file system | |
CN102523285B (zh) | 一种基于对象分布式文件系统的存储缓存方法 | |
CN104133882A (zh) | 一种基于hdfs的小文件处理方法 | |
CN103067461B (zh) | 一种文件的元数据管理系统以及元数据管理方法 | |
CN104902009B (zh) | 一种基于可擦除编码和链式备份的分布式存储系统 | |
CN103647797A (zh) | 一种分布式文件系统及其数据访问方法 | |
CN101022396A (zh) | 网格数据副本管理系统 | |
WO2011108695A1 (ja) | 並列データ処理システム、並列データ処理方法及びプログラム | |
CN104935648A (zh) | 一种高性价比的cdn系统及文件预推、分片缓存的方法 | |
AU2009223346A1 (en) | Web-based multiuser collaboration | |
CN103631820B (zh) | 分布式文件系统的元数据管理方法及设备 | |
CN102937964B (zh) | 基于分布式系统的智能数据服务方法 | |
CN102999584A (zh) | 电力gis跨平台空间数据服务方法及系统 | |
CN105354250A (zh) | 一种面向云存储的数据存储方法及装置 | |
US11818012B2 (en) | Online restore to different topologies with custom data distribution | |
CN103166991A (zh) | 一种基于p2p和云存储实现跨节点存储的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |