CN1547137A - 基于数据库的海量文件管理系统与方法 - Google Patents

基于数据库的海量文件管理系统与方法 Download PDF

Info

Publication number
CN1547137A
CN1547137A CNA2003101168919A CN200310116891A CN1547137A CN 1547137 A CN1547137 A CN 1547137A CN A2003101168919 A CNA2003101168919 A CN A2003101168919A CN 200310116891 A CN200310116891 A CN 200310116891A CN 1547137 A CN1547137 A CN 1547137A
Authority
CN
China
Prior art keywords
file
database
metadata
management
mass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003101168919A
Other languages
English (en)
Other versions
CN100498766C (zh
Inventor
武林平
刘淘英
孟丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Co Ltd
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CNB2003101168919A priority Critical patent/CN100498766C/zh
Publication of CN1547137A publication Critical patent/CN1547137A/zh
Application granted granted Critical
Publication of CN100498766C publication Critical patent/CN100498766C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及机群系统的基于数据库的海量文件管理系统和方法，该系统包括：机群文件元数据收集装置、文件元数据存储和管理装置、客户端。方法涉及到下列内容：使用一种独立于机群节点文件系统的文件元数据管理办法；在文件元数据的管理中引入数据库技术，用户能够在海量文件中快速查找和定位所需要的文件；在数据库里存储文件的位置信息，使用户只通过数据库就可以访问文件本身；针对于目前的树型结构文件系统，实现一种将文件全路径分成两部分存储的方法来减少冗余；实现一种独立于物理文件的文件逻辑视图管理方法。

Description

基于数据库的海量文件管理系统与方法
技术领域
本发明涉及计算机系统技术领域，特别是分布式环境中机群系统内基于数据库的海量文件管理系统和方法。
背景技术
随着机群计算能力的迅速增长，机群的规模越来越大，并且机群内的文件也迅速增多，本发明就是解决了诸如机群这样的分布式系统中海量文件的管理方法。
随着计算机硬件技术和网络技术的发展，通过高速网络将多台计算节点互相连接起来共同协作完成计算任务的方式已经变为一个主流计算模式，机群系统就是该计算模式的一个例子。机群系统以其可扩展性好、高可用性、高性价比等等特点引起各大公司和研究机构的重视，已经成为现在高性能计算的主流模式。虽然机群系统是可扩展的，随着机群规模的扩大，对机群的管理也越来越复杂，特别是目前证券，石油，生物计算等等数据密集型应用，不仅对机群的计算能力，还对机群的海量文件管理能力都有很高的要求。因此，实现对海量文件的高效管理具有很大意义。
目前，出现了一些基于文件共享的分布式文件系统，比如传统的网络文件系统NFS和面向机群的机群文件系统。这些文件系统也是通过对文件数据和文件元数据的集中管理来达到共享的目的，都是采用客户/服务器模式：系统提供一个存储文件数据和文件元数据的文件服务器，文件服务器响应客户端的读写文件请求，然后将数据送给客户端，实际进行文件操作的是文件服务器本身；系统内其他节点作为客户端，将文件操作请求发送给文件服务器。分布式文件系统的目的是文件的共享访问，所以关键在于提高文件的I/O性能，针对不同的应用特点有不同的需求，所以实现起来特别复杂。见附图1分布式文件系统基本结构。
发明内容
本发明的目的在于提供一种基于数据库的海量文件管理系统与方法。
基于数据库的海量文件管理方法，使用数据库技术对机群系统内大量文件的元数据进行集中管理，针对机群系统的海量文件，使用一种平台无关的集中式文件元数据管理方法；使用数据库技术来管理海量文件元数据；使用数据库存储文件全路径，通过将文件全路径分解成两部分存储从而大大较少了信息冗余；通过建立海量文件数据库和物理文件之间的映射，用户对海量文件的访问和操作具有位置透明性。
使用一种平台无关的文件元数据管理方法。目前，面对不同的应用需求和不同的商业操作系统，出现各种不同类型的文件系统。这样就造成分布式系统内各类文件系统之间文件元数据管理方法的差异，这种差异导致了各种文件系统之间元数据的格式和访问方法的不统一。我们提供一种平台无关的文件元数据管理机制，屏蔽了各个平台文件元数据之间的差别。我们使用一个文件元数据的收集装置，该装置可以针对不同的文件系统采用不同的收集办法，并且在收集过程中将各种类型文件系统的文件元数据转化为一种统一的格式。这样就可以直接对这种统一格式的文件元数据进行管理，从而屏蔽了个平台之间的区别。将收集到的各个平台的文件元数据集中存储和管理，实现对文件元数据的集中式管理。并使用关系数据库技术存储和管理海量文件元数据。
在树型结构的文件系统中，将文件全路径分成目录和文件名两部分存储在数据库里。
使用数据库来组织文件元数据，给用户提供一个文件的逻辑视图管理。
使用数据库存储用户对文件元数据的分类和管理信息，支持用户可以脱离文件原有在目录树中的位置关系来管理文件。
将文件元数据和位置信息用数据库进行管理，建立文件元数据和文件位置信息的映射，用户可根据文件元数据信息直接对物理文件进行操作而无须知道文件具体位置。
该系统包括三部分：文件元数据的收集装置，文件元数据的存储和管理装置，基于数据库的文件管理。具体实现如下：
a：文件元数据的收集
文件元数据中包括文件描述信息，例如文件名字、文件在目录树中的位置、文件大小等等。我们提供一个文件元数据收集装置，该装置针对不同结构文件系统提供不同的收集方法。现代文件系统目录结构大多都是树型结构，整个文件系统组成一个目录树，例如NTFS、FAT32、EXT2等等。特别是在Linux系统下更是提供了一个VFS，屏蔽了各种文件系统的区别，用户可以使用统一的API来访问挂接到系统上的各种文件系统。
以Linux系统为例说明文件元数据的收集过程。Linux系统的文件元数据存储在一个结构里面：struct stat{
dev_t         st_dev；    /*device*/
ino_t         st_ino；    /*inode*/
mode_t        st_mode；   /*protection*/
nlink_t       st_nlink；  /*number of hard links*/
uid_t         st_uid；    /*user ID of owner*/
gid_t         st_gid；    /*group ID of owner*/
dev_t         st_rdev；   /*device type(if inode device)*/
off_t         st_size ；  /*total size，in bytes*/
unsigned long st_blksize；/*blocksize for filesystem I/O*/
unsigned long st_blocks ；/*number of blocks allocated*/
time_t        st_atime；  /*time of last access*/
time_t        st_mtime；  /*time of last modification*/}；
我们使用Linux的FTW(File Tree Walk)遍历整个文件系统，遍历过程中针对遇到的每一个文件使用lstat系统调用获得该文件的stat结构，根据该结构记录文件的元数据信息。该装置在系统中的作用见附图2系统的整体结构。
b：文件元数据的存储
在步骤a里我们完成了文件元数据的收集，我们将这些元数据按照一定的格式存储在一个数据库里面集中管理。在树型结构的文件系统里，是按照文件的全路径来访问文件的，我们使用文件的全路径来表示文件在目录树中的位置。但是直接将文件的全路径存储在数据里会浪费存储资源，如下列文件：
/usr/include/apache/ap_alloc.h
/usr/include/apache/ap_compat.h
/usr/include/apache/ap_config_auto.h
......
如果直接将这些文件的全路径作为关键字存储，则它们共同的父目录/usr/include/apache/则被存储多次，引起大量没必要的冗余。为了避免冗余，我们的发明引入一种存储文件全路径的方法。以Linux操作系统为例，方法如下：在Linux操作系统内，是通过二元组<device，inode>来唯一的标识一个文件，我们将一个文件的全路径分为两部分存储(以/usr/include/apache/ap_compat.h为例)，一部分是父目录(/usr/include/apache/，如表1所示)，另外一部分是文件名字(ap_compat.h如表2所示)。这样上述文件的存储方法如下：
表1：
目录文件的全路径 目录文件的device 目录文件的inode
 /usr/include/apache/ 777 370451
表2：
 文件名     文件父目录的device 文件父目录的inode     ......
 ap_alloc.h     777 370451
 ap_compat.h     777 370451
 ap_config_auto.h     777 370451
 ......
其中<目录文件的device，目录文件的inode>作为表1的主码唯一地标识一条记录，并通过该二元组建立表1和表2的连接。该方法使得系统内每一个目录的全路径只需要存储一次，从而避免了冗余。
c：基于数据库的文件管理
使用关系数据库存储机群系统的文件元数据(称为机群文件信息数据库Cluster File System Data Base，CFSDB)，可以基于CFSDB实现对机群文件的管理。首先，利用数据库的高效查询能力，用户可以从CFSDB里快速定位一个文件。除此以外，提供文件逻辑视图管理和文件访问位置透明的功能；除了文件系统提供的有限个文件属性外，提供“用户自定义属性”功能。
在机群内部，文件的组织比较复杂，包括节点局部的文件系统和全局文件系统，用户和系统的文件分散在各个地方，文件虽然以目录树结构进行维护和管理，但是各种分类之间的逻辑关系却不能完全用目录树的结构表达出来，因此需要一种更加靠近用户的逻辑视图帮助用户对数据进行维护。“文件逻辑视图”是相对于普通的树型文件系统而言的，实际的文件系统是树型结构，文件属性的类型和文件位置在整个文件系统内是固定的，但是随着数据密集型应用的增加，仅仅依靠文件系统本身提供的文件属性已不能满足用户的需求，用户需要能从用户的角度来管理和组织文件，而不是仅仅一个目录树，基于数据库的文件元数据管理满足了用户的这种需求，我们称为“文件逻辑视图”。“文件逻辑视图”是将分散于机群内部各个节点的文件组织成一个逻辑上统一的逻辑视图提供给用户，用户可以对该“文件逻辑视图”进行文件操作，而不需要知道视图内文件在机群内的具体位置。基于CFSDB我们可以提供用户文件的逻辑视图管理。首先，我们打破文件原来的位置关系，根据用户需求将文件按照文件属性进行组织(称为文件逻辑视图FView)，比如，用户可以按照时间来组织文件，将每天修改过的文件作为一个文件逻辑视图存储起来，然后用户可以针对这个文件逻辑视图进行操作(如打包、拷贝)，而无须知道文件在机群中的具体位置。见图3基于数据库的文件逻辑视图操作流程。
除了文件系统本身提供的文件属性，我们提供基于数据库的用户自定义文件属性管理，用户可以定义自己的文件属性，并可以给某文件在该属性上赋值，用户可以根据这些属性对文件灵活管理。例如：在商业计算环境下，用户管理文件的时候对文件的内容很关心，比如用户在月底希望根据文件的内容进行分类，但是在机群环境下，文件众多并且分散，这时用户可以定义一个“File_Content”的属性，对涉及到的文件赋与不同的属性值，例如web、FTP、Document等等。然后用户就可以根据这些值对文件进行查询和归类。
基于数据库的文件管理，除了对文件信息进行管理外，还提供对文件本身的管理。上面所述的文件逻辑视图管理和用户自定义属性等等，用户可以不关心文件具体的物理位置就直接对文件进行操作，然后我们根据CFSDB里的文件位置信息和文件全路径直接将文件的操作命令发送到文件所在的节点。通过CFSDB建立的文件元数据和物理文件的映射，用户可以根据CFSDB的文件信息直接对物理文件进行操作。见图3基于数据库的文件逻辑视图操作流程。
附图说明
图1是传统的分布式文件系统结构示意图；
图2是本发明的基于数据库的海量文件管理系统的整体结构图；
图3是基于数据库的文件逻辑视图操作流程图。
图1中，客户端/服务端的结构，包括客户端(1、2......N)、文件元数据服务器、文件数据服务器(1、2......N)三个部分。客户端(系统可以有多个客户端)通过互连网络将所有的创建、删除、读写文件的请求都发送到服务器(文件元数据与数据分别由不同的服务结点管理)进行处理。实际文件操作是由文件元数据服务器和文件数据服务器来完成的。
图2的整体结构图中，系统整体结构由三部分组成：机群文件元数据收集装置1、文件元数据存储和管理装置2、客户端3三部分。其中“机群文件元数据收集装置1”用于将机群内节点的文件元数据(包括节点的本地文件系统和盘阵4、磁带机5上的文件)收集起来并存储到CFSDB(Cluster File System DataBase机群文件信息数据库)；“文件元数据存储和管理装置2”用于管理文件元数据的数据库CFSDB，并响应客户端的文件操作请求(包括文件查询请求、文件逻辑视图管理请求、文件物理操作请求)。
机群文件元数据收集装置1，用于收集机群内节点的文件元数据并存储到机群文件信息数据库；文件元数据管理装置2，用于管理文件元数据的数据库并响应客户端的文件操作请求；客户端3给用户提供一个图形界面，将用户的文件操作请求发送到文件元数据管理装置，其特征在于，机群文件元数据收集装置连接于文件元数据存储和管理装置，文件元数据存储和管理装置与客户端互相连接。
图3是基于数据库的文件逻辑视图操作流程图。该图说明了针对“文件逻辑视图”内的文件进行物理操作的流程：“文件逻辑视图”存储在图2里的“文件元数据存储和管理装置”，“文件元数据存储和管理装置”接收来自客户端的针对“文件逻辑视图”的操作指令，然后从CFSDB查询得到该“文件逻辑视图”所有文件的位置信息(包括节点号和全路径)，根据这些位置信息将文件操作指令发送到文件所在节点并由这些节点完成文件操作指令。
基于数据库的海量文件管理方法，其具体步骤如下：
第一步：建立文件逻辑视图；
第二步：根据逻辑视图内文件的属性信息，在CFSDB内找到该文件的位置信息；
第三步：根据CFSDB里所描述的文件位置信息，将物理操作指令发送到文件所在节点执行；
第四步：每个节点接收并执行本节点上的文件操作指令。

Claims (11)

1、基于数据库的海量文件管理方法，其特征在于：针对机群系统的海量文件管理，使用一种平台无关的集中式文件元数据管理方法；使用数据库技术来管理海量文件元数据；使用数据库管理文件全路径，通过将文件全路径分解成两部分存储从而大大较少了信息冗余；通过建立海量文件数据库和物理文件之间的映射，用户对海量文件的访问和操作具有位置透明性。
2.根据权利要求1所述的基于数据库的海量文件管理方法，其特征在于：使用一种平台无关的文件元数据管理方法。
3.根据权利要求1所述的基于数据库的海量文件管理方法，其特征在于：对文件元数据的管理使用集中式管理。
4.根据权利要求1所述的基于数据库的海量文件管理方法，其特征在于：使用关系数据库技术管理海量文件元数据。
5.根据权利要求1所述的基于数据库的海量文件管理方法，其特征在于：在树型结构的文件系统中，将文件全路径分成目录和文件名两部分存储在数据库里。
6.根据权利要求1所述的基于数据库的海量文件管理方法，其特征在于：使用数据库来组织文件元数据，给用户提供一个文件的逻辑视图管理。
7.根据权利要求1所述的基于数据库的海量文件管理方法，其特征在于：使用数据库存储用户对文件元数据的分类和管理信息，支持用户可以脱离文件原有在目录树中的位置关系来管理文件。
8.根据权利要求1所述的基于数据库的海量文件管理方法，其特征在于：将文件元数据和位置信息用数据库进行管理，建立文件元数据和文件位置信息的映射，用户可根据文件元数据信息直接对物理文件进行操作而无须知道文件具体位置。
9.一种基于数据库的海量文件管理系统，该系统包括：机群文件元数据收集装置、文件元数据存储和管理装置、客户端，机群文件元数据收集装置，用于收集机群内节点的文件元数据并存储到机群文件信息数据库；文件元数据管理装置，用于管理文件元数据的数据库并响应客户端的文件操作请求；客户端给用户提供一个图形界面，将用户的文件操作请求发送到文件元数据管理装置，其特征在于，机群文件元数据收集装置连接于文件元数据存储和管理装置，文件元数据存储和管理装置与客户端互相连接。
10.根据权利要求9的基于数据库的海量文件管理系统，其特征在于，机群文件元数据收集装置收集的机群内节点的文件元数据包括：节点的本地文件系统和盘阵、磁带机上的文件。
11.根据权利要求1的基于数据库的海量文件管理方法，其具体步骤如下：
第一步：建立文件逻辑视图；
第二步：根据逻辑视图内文件的属性信息，在CFSDB内找到该文件的位置信息；
第三步：根据CFSDB里所描述的文件位置信息，将物理操作指令发送到文件所在节点执行；
第四步：每个节点接收并执行本节点上的文件操作指令。
CNB2003101168919A 2003-12-02 2003-12-02 基于数据库的海量文件管理系统与方法 Expired - Lifetime CN100498766C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2003101168919A CN100498766C (zh) 2003-12-02 2003-12-02 基于数据库的海量文件管理系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2003101168919A CN100498766C (zh) 2003-12-02 2003-12-02 基于数据库的海量文件管理系统与方法

Publications (2)

Publication Number Publication Date
CN1547137A true CN1547137A (zh) 2004-11-17
CN100498766C CN100498766C (zh) 2009-06-10

Family

ID=34337655

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003101168919A Expired - Lifetime CN100498766C (zh) 2003-12-02 2003-12-02 基于数据库的海量文件管理系统与方法

Country Status (1)

Country Link
CN (1) CN100498766C (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100375093C (zh) * 2005-03-18 2008-03-12 联想(北京)有限公司 多线程元数据的处理方法
CN100444166C (zh) * 2005-12-16 2008-12-17 北京中星微电子有限公司 Fat文件系统中基于位置的接口访问方法及其装置
CN101789027A (zh) * 2010-03-15 2010-07-28 江苏大学 一种基于dbms的元数据管理方法和元数据服务器
CN101405729B (zh) * 2006-03-23 2011-04-20 微软公司 具有增量式视图维护的映射体系结构
CN1805349B (zh) * 2005-01-14 2011-07-27 株式会社日立制作所 传感器网络系统及传感器数据的检索方法
CN102281312A (zh) * 2010-06-12 2011-12-14 深圳市腾讯计算机系统有限公司 一种数据加载方法、系统和数据处理方法、系统
CN102483762A (zh) * 2009-07-01 2012-05-30 汤姆森特许公司 根据元数据访问文件系统的文件的方法和实现该方法的装置
CN102663076A (zh) * 2012-03-31 2012-09-12 福建榕基软件股份有限公司 文件数据处理方法
CN102722487A (zh) * 2011-03-30 2012-10-10 腾讯科技（深圳）有限公司 文件管理方法和装置
CN104182418A (zh) * 2013-05-27 2014-12-03 阿里巴巴集团控股有限公司 节点元数据获取方法与装置
CN1828642B (zh) * 2005-03-03 2015-02-18 株式会社日立制作所 传感器网络系统
CN104702634A (zh) * 2013-12-04 2015-06-10 腾讯科技（深圳）有限公司 数据操作请求处理方法、装置及系统
CN107844546A (zh) * 2017-10-27 2018-03-27 郑州云海信息技术有限公司 一种文件系统元数据管理系统及方法
CN108319645A (zh) * 2017-12-25 2018-07-24 中国科学院信息工程研究所 一种异构存储环境下多版本文件视图管理方法和装置
CN111045994A (zh) * 2019-12-25 2020-04-21 山东方寸微电子科技有限公司 一种基于kv数据库的文件分类检索方法及系统
CN111054082A (zh) * 2019-11-29 2020-04-24 珠海金山网络游戏科技有限公司 Unity资源数据集编码的方法
CN112445768A (zh) * 2019-08-27 2021-03-05 无锡江南计算技术研究所 面向超大规模系统的多文件系统元数据统一缓存管理方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1805349B (zh) * 2005-01-14 2011-07-27 株式会社日立制作所 传感器网络系统及传感器数据的检索方法
US8671136B2 (en) 2005-01-14 2014-03-11 Hitachi, Ltd. Sensor network system and data retrieval method for sensing data
CN101241510B (zh) * 2005-01-14 2012-05-02 株式会社日立制作所 传感器数据的检索方法
CN1828642B (zh) * 2005-03-03 2015-02-18 株式会社日立制作所 传感器网络系统
CN100375093C (zh) * 2005-03-18 2008-03-12 联想(北京)有限公司 多线程元数据的处理方法
CN100444166C (zh) * 2005-12-16 2008-12-17 北京中星微电子有限公司 Fat文件系统中基于位置的接口访问方法及其装置
CN101405729B (zh) * 2006-03-23 2011-04-20 微软公司 具有增量式视图维护的映射体系结构
CN102483762A (zh) * 2009-07-01 2012-05-30 汤姆森特许公司 根据元数据访问文件系统的文件的方法和实现该方法的装置
CN102483762B (zh) * 2009-07-01 2015-06-03 汤姆森特许公司 根据元数据访问文件系统的文件的方法和实现该方法的装置
CN101789027A (zh) * 2010-03-15 2010-07-28 江苏大学 一种基于dbms的元数据管理方法和元数据服务器
CN102281312A (zh) * 2010-06-12 2011-12-14 深圳市腾讯计算机系统有限公司 一种数据加载方法、系统和数据处理方法、系统
CN102281312B (zh) * 2010-06-12 2015-05-20 深圳市腾讯计算机系统有限公司 一种数据加载方法、系统和数据处理方法、系统
CN102722487A (zh) * 2011-03-30 2012-10-10 腾讯科技（深圳）有限公司 文件管理方法和装置
CN102722487B (zh) * 2011-03-30 2016-08-24 腾讯科技（深圳）有限公司 文件管理方法和装置
CN102663076A (zh) * 2012-03-31 2012-09-12 福建榕基软件股份有限公司 文件数据处理方法
CN102663076B (zh) * 2012-03-31 2014-08-06 福建榕基软件股份有限公司 文件数据处理方法
CN104182418A (zh) * 2013-05-27 2014-12-03 阿里巴巴集团控股有限公司 节点元数据获取方法与装置
CN104182418B (zh) * 2013-05-27 2018-11-16 阿里巴巴集团控股有限公司 节点元数据获取方法与装置
CN104702634A (zh) * 2013-12-04 2015-06-10 腾讯科技（深圳）有限公司 数据操作请求处理方法、装置及系统
CN107844546A (zh) * 2017-10-27 2018-03-27 郑州云海信息技术有限公司 一种文件系统元数据管理系统及方法
CN108319645A (zh) * 2017-12-25 2018-07-24 中国科学院信息工程研究所 一种异构存储环境下多版本文件视图管理方法和装置
CN108319645B (zh) * 2017-12-25 2022-09-16 中国科学院信息工程研究所 一种异构存储环境下多版本文件视图管理方法和装置
CN112445768A (zh) * 2019-08-27 2021-03-05 无锡江南计算技术研究所 面向超大规模系统的多文件系统元数据统一缓存管理方法
CN111054082A (zh) * 2019-11-29 2020-04-24 珠海金山网络游戏科技有限公司 Unity资源数据集编码的方法
CN111054082B (zh) * 2019-11-29 2023-10-13 珠海金山数字网络科技有限公司 Unity资源数据集编码的方法
CN111045994A (zh) * 2019-12-25 2020-04-21 山东方寸微电子科技有限公司 一种基于kv数据库的文件分类检索方法及系统
CN111045994B (zh) * 2019-12-25 2023-08-22 山东方寸微电子科技有限公司 一种基于kv数据库的文件分类检索方法及系统

Also Published As

Publication number Publication date
CN100498766C (zh) 2009-06-10

Similar Documents

Publication Publication Date Title
US10095709B2 (en) Filesystem capacity and performance metrics and visualizations
Hirai et al. WebBase: A repository of web pages
US9710535B2 (en) Object storage system with local transaction logs, a distributed namespace, and optimized support for user directories
CN106874383B (zh) 一种分布式文件系统元数据的解耦合分布方法
US9104675B1 (en) Inode to pathname support with a hard link database
CN100498766C (zh) 基于数据库的海量文件管理系统与方法
US8650168B2 (en) Methods of processing files in a multiple quality of service system
US11132336B2 (en) Filesystem hierarchical capacity quantity and aggregate metrics
US8595237B1 (en) Method and system for managing metadata in a storage environment
US9367569B1 (en) Recovery of directory information
US20050033748A1 (en) Mechanism for handling file level and block level remote file accesses using the same server
US11625306B2 (en) Data connector component for implementing data requests
KR101078287B1 (ko) 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법
US20230046216A1 (en) Data management system and method of controlling
CN111209259B (zh) Nas分布式文件系统及数据处理方法
JP2007509431A (ja) タイプ・パス索引付け
US20020184252A1 (en) File tree comparator
US10242011B1 (en) Managing truncation of files of file systems
CN1845093A (zh) 一种属性可扩展的对象文件系统
CN1717686A (zh) 自动数据合并
US9727588B1 (en) Applying XAM processes
CN1255748C (zh) 一种存储虚拟化系统的元数据层次管理方法及其系统
CN1472660A (zh) 用于映射文件句柄的方法和装置
US11200198B2 (en) Excluding directory trees from data service operations
van Staereling et al. Efficient, modular metadata management with loris

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TIANJIN SHUGUANG COMPUTER INDUSTRY CO., LTD.

Free format text: FORMER OWNER: INST. OF COMPUTING TECHN. ACADEMIA SINICA

Effective date: 20060616

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20060616

Address after: The 300384 Tianjin City Huayuan Industrial Zone Development Road six No. 6 Haitai green industry base building L building 1-3

Applicant after: Tianjin Shuguang Computer Industry Co.,Ltd.

Address before: 100080 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing

Applicant before: Institute of Computing Technology, Chinese Academy of Sciences

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: SUGON INFORMATION INDUSTRY CO., LTD.

Free format text: FORMER NAME: TIANJIN SHUGUANG COMPUTER INDUSTRY CO., LTD.

CP03 Change of name, title or address

Address after: 300384 Tianjin Xiqing District Huayuan Industrial Zone (outer ring) Haitai Huake Street No. 15 1-3

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: The 300384 Tianjin City Huayuan Industrial Zone Development Road six No. 6 Haitai green industry base building L building 1-3

Patentee before: Tianjin Shuguang Computer Industry Co.,Ltd.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20090610