CN106547834A - 归档映射系统 - Google Patents

归档映射系统 Download PDF

Info

Publication number
CN106547834A
CN106547834A CN201610887665.8A CN201610887665A CN106547834A CN 106547834 A CN106547834 A CN 106547834A CN 201610887665 A CN201610887665 A CN 201610887665A CN 106547834 A CN106547834 A CN 106547834A
Authority
CN
China
Prior art keywords
file
filing
catalogue
information
archive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610887665.8A
Other languages
English (en)
Inventor
龚超
王灯殿
张新凤
王慧
罗广骏
李国君
石静
张记华
宋频轶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201610887665.8A priority Critical patent/CN106547834A/zh
Publication of CN106547834A publication Critical patent/CN106547834A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种归档映射系统，该归档映射系统包括：接口模块，用于获取归档策略并根据归档策略生成任务文件；以及处理模块，用于根据任务文件执行归档任务；其中，归档任务包括生成目录树、以及根据归档对象生成对应的归档信息；以及目录树的结构与源端的目录结构相同。本发明通过构造与源端的目录结构相同的目录树结构，实现了在记录映射关系的同时能够直观地展示目录结构，满足了目录级浏览目录结构的需求。

Description

归档映射系统
技术领域
本发明涉及计算机技术领域，具体来说，涉及一种归档映射系统。
背景技术
文件系统的归档功能，需要定期将某在线存储系统(源端)上的部分数据归档并迁移至某离线存储系统(目标端)，由于在线系统和离线系统命名空间不一致，所以需要记录在线系统与离线系统的映射关系，需要能够根据在线系统命名空间在离线系统找到对应的文件；同时，还需要提供目录结构浏览功能以方便用户查询、回迁等。这些映射关系及目录层次关系就需要归档映射系统来维护。
现有技术中，上述记录映射关系的方式可以采用数据库来实现。
但是，因为归档功能的实现不仅需要记录在线离线存储系统的映射关系，还需要提供目录结构浏览个功能，而此功能用数据库是不能实现的。因此，采用数据库来实现记录映射关系的方式不能直观地展示目录结构。
针对相关技术中采用数据库来实现记录映射关系不能直观地展示目录结构的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中采用数据库来实现记录映射关系不能直观地展示目录结构的问题，本发明提出一种归档映射系统，能够实现在归档过程中记录映射关系，同时能够直观地展示目录结构，满足了目录级浏览的需求。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种归档映射系统，包括：接口模块，用于获取归档策略并根据归档策略生成任务文件；以及处理模块，用于根据任务文件执行归档任务；其中，归档任务包括生成目录树、以及根据归档对象生成对应的归档信息；以及目录树的结构与源端的目录结构相同。
在一个实施例中，在归档对象包括归档文件的情况下，目录树包括：文件索引信息文件。
在一个实施例中，根据归档对象生成对应的归档信息，包括：在文件索引信息文件中增加与归档文件对应的文件归档信息。
在一个实施例中，在归档对象包括归档目录的情况下，目录树包括：目录索引信息文件。
在一个实施例中，根据归档对象生成对应的归档信息，包括：在目录索引信息文件包括与归档目录对应的目录归档信息的情况下，更新目录归档信息的归档版本号；在目录索引信息文件不包括与归档目录对应的目录归档信息的情况下，在目录索引信息文件中增加与归档目录对应的目录归档信息。
在一个实施例中，还包括：扩展模块，用于管理文件归档信息；在归档对象是归档文件的情况下，处理模块调用扩展模块以增加文件归档信息。
在一个实施例中，扩展模块采用哈希方式管理文件归档信息。
在一个实施例中，目录树还包括映射系统私有目录；映射系统私有目录包括：记录归档对象的扩展属性信息的扩展属性文件、和临时任务文件。
在一个实施例中，还包括：扩展属性模块，用于管理扩展属性文件。
在一个实施例中，目录树设置于映射系统目录下；以及映射系统目录还包括任务生成目录，任务生成目录包括任务文件。
本发明通过构造与源端的目录结构相同的目录树结构，实现了在记录映射关系的同时能够直观地展示目录结构，满足了目录级浏览目录结构的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明具体实施例的归档映射系统的框图；
图2是根据本具体发明实施例的归档映射系统的目录树的结构示意图；
图3是根据本发明具体实施例的归档映射系统的文件索引信息文件的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的具体实施例，提供了一种归档映射系统，该归档映射系统包括：
接口模块，用于获取归档策略并根据归档策略生成任务文件；以及
处理模块，用于根据任务文件执行归档任务；
其中，归档任务包括生成目录树、以及根据归档对象生成对应的归档信息；以及
目录树的结构与源端的目录结构相同。
通过本发明上述技术方案，实现了在文件系统归档时为源端和目标端提供映射关系，并通过构造与源端的目录结构相同的目录树结构，实现了在记录映射关系的同时能够直观地展示目录结构，满足了目录级浏览目录结构的需求。
在一个实施例中，目录树设置于映射系统目录下；以及映射系统目录还包括任务生成目录，任务生成目录包括任务文件。
在一个实施例中，在归档对象包括归档文件的情况下，目录树包括：文件索引信息文件。
进一步地，根据归档对象生成对应的归档信息，包括：在文件索引信息文件中增加与归档文件对应的文件归档信息。其中，文件归档信息包括归档文件的所有归档信息，例如归档文件的归档版本号、归档文件路径、文件归档时间、归档文件MD5(Message-DigestAlgorithm 5)值等。
进一步地，本发明的归档映射系统还包括：扩展模块，用于管理文件归档信息；在归档对象是归档文件的情况下，处理模块调用扩展模块以增加文件归档信息。
其中，扩展模块采用哈希方式管理文件归档信息。
在一个实施例中，在归档对象包括归档目录的情况下，目录树包括：目录索引信息文件。
进一步地，根据归档对象生成对应的归档信息，包括：在目录索引信息文件包括与归档目录对应的目录归档信息的情况下，更新目录归档信息的归档版本号；在目录索引信息文件不包括与归档目录对应的目录归档信息的情况下，在目录索引信息文件中增加与归档目录对应的目录归档信息。其中，目录归档信息包括归档目录的所有归档信息，例如归档目录的归档版本号、归档目录路径、目录归档时间、归档目录MD5值等。
在一个实施例中，目录树还包括映射系统私有目录；该映射系统私有目录包括：记录归档对象的扩展属性信息的扩展属性文件、和临时任务文件。
进一步地，本发明的归档映射系统还包括：扩展属性模块，用于管理扩展属性文件。
下面结合图1、图2和图3对本发明的具体实施例进行说明。
如图1所示，本发明的归档映射系统包括均设置于文件系统15中的：接口模块11、后端处理模块12(即上述处理模块)、扩展hash模块13(即上述扩展模块)、以及扩展属性模块14。
结合图1和图2，在归档映射系统挂载点下生成归档映射系统(即上述映射系统目录)目录am_dir，对应于源端中的各个文件系统均保持相同的目录结构，通过各种文件来记录映射关系。具体地，归档映射系统目录am_dir包括索引任务生成目录(即上述任务生成目录)、和与各个文件系统对应的文件系统标识目录(文件系统标识目录1，…，文件系统标识目录n2)。文件系统标识目录包括与文件系统相对应的映射系统私有目录、目录索引信息文件(dirdesc)、多个文件索引信息文件(filedesc_0，…，filedesc_n3)、和多个第一子目录(第一子目录1，…，第一子目录n4)。其中，n2、n3、和n4均为正整数。如图2所示，多个第一子目录下均可以根据需要进一步对目录结构进行拓展。例如，第一子目录1下可以包括：目录索引信息文件(dirdesc)、多个文件索引信息文件(filedesc_0，…，filedesc_n6)、和多个第二子目录(第二子目录1，…，第二子目录n7)。其中，n6和n7均为正整数。需要进一步说明的，第一子目录1下的目录索引信息文件与文件系统标识目录下的目录索引信息文件的结构相同；第一子目录1下的文件索引信息文件与文件系统标识目录下的文件索引信息文件的结构相同。
索引任务生成目录中的任务文件(任务文件1，…，任务文件n1)主要用于记录本次归档的版本号、相应的文件系统名称、归档任务类型等基本信息，其中，n1为正整数；目录索引信息文件(dirdesc)记录相应归档目录的目录归档信息，每条目录归档信息都包括起始版本号和结束版本号，且每个目录下只包括一个dirdesc；文件索引信息文件(filedesc_0，…，filedesc_n3)，用于记录相应目录下的所有归档文件的文件归档信息，每个目录下该文件索引信息文件的数量可以是多个。
映射系统私有目录为隐藏目录，用于记录归档过程中的临时文件。映射系统私有目录包括扩展属性文件和设置于临时归档目录下的多个临时任务文件(临时任务文件1，…，临时任务文件n5)，其中，n5为正整数。扩展属性文件用于记录各个归档文件或归档目录的扩展属性信息，由于扩展属性信息的重复度高，因此对扩展属性信息进行单独记录。临时任务文件，用于记录相应的归档策略。
具体地，接口模块11负责启动归档映射系统中的其它模块，从上层系统接收归档策略，并生成临时任务文件、及扩展属性文件；待归档策略添加完成后，生成任务文件。其中，临时任务文件设置于映射系统私有目录下，每个临时任务文件中记录着相应的归档策略，每条策略长度不固定，因此在文件头部预留固定长度记录当前文件记录的长度。在上层系统添加记录时，定时调用接口模块11提供的sync(同步)接口，将归档策略信息和记录总长度固化。当出现异常时，通过此种方式能够使之前已添加的策略不需要再次重复添加。
后端处理模块12周期性地扫描索引任务生成目录。如图2所示，索引任务生成目录中的任务文件主要记录对应的归档的版本号、文件系统名称、归档任务类型等基本信息。根据索引任务生成目录中记录的任务文件，在临时归档目录下找到相对应的临时任务文件，并执行相应的归档任务。上述归档任务包括生成目录树、以及记录归档文件对应的文件归档信息和(或)归档目录对应的目录归档信息。上述技术方案，对归档文件和归档目录采用了不同的记录方式，即对归档文件采用hash方式以增加相应的文件归档信息；对归档目录采用追加版本号的方式来记录目录归档信息，提高了归档效率。
具体地，当待归档的归档对象是归档文件时，调用扩展hash模块13提供的接口，增加一条文件归档信息；当待归档的归档对象是归档目录时，则需要在对应目录的目录索引信息文件dirdesc中查找是否已存在该归档信息，若存在，则只修改已存在的目录归档信息的结束版本号为当前归档版本号；若不存在，则新增加一条相应的目录归档信息。为了维护文件系统归档的一致性，在所有对文件进行操作的过程中，可先操作备份文件，待单次归档任务完成、并同步所有备份文件后，再将备份文件重命名为原文件的名称。
此外，后端处理模块12还可用于负责无用文件的删除、索引信息文件的回收等功能。
扩展hash模块13，用于对文件归档信息进行增加、删除、修改、查询等操作。采用扩展hash(哈希)机制，通过维护hash桶的分裂和追加来记录文件归档信息，能够提高文件归档操作的效率。如图3所示，每个文件索引信息文件(filedesc_0，…，filedesc_n3)的文件大小均是固定的，其中的filedesc_0负责记录文件归档信息的索引信息和hash桶信息，除此之外，还要记录上述文件归档信息。每个文件索引信息文件(filedesc_0，…，filedesc_n3)中还包括多个文件信息块，文件信息块的大小也是固定的，但是每条文件归档信息(文件归档信息1，…，文件归档信息m)的长度是不固定的，其中，m为正整数。因此每个文件信息块中存放的文件归档信息的数量也是不固定的。
具体地，每条文件归档信息中均可包括：文件名称(fname)、文件归档版本号(version)、扩展属性块号(xattr_blksn)、源端信息和(或)目标端信息、以及扩展hash辅助信息等。
因为每个归档文件的文件归档信息都会记录在文件索引信息文件中，因此当filedesc_0写满后，则顺次生成新的文件索引信息文件，但是上述索引信息只记录在filedesc_0内。
扩展属性模块14用于进行扩展属性信息的插入和查找，同样采用hash方式进行组织管理并只负责缓存管理。
综上所述，借助于本发明的上述技术方案，通过构造与源端的目录结构相同的目录树结构，实现了在记录映射关系的同时能够直观地展示目录结构，满足了目录级浏览目录结构的需求；通过对归档文件和归档目录采用不同的记录方式，即对归档文件采用hash方式增加相应的文件归档信息、对归档目录采用追加版本号的方式来记录目录归档信息，提高了归档效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种归档映射系统，其特征在于，包括：
接口模块，用于获取归档策略并根据所述归档策略生成任务文件；以及
处理模块，用于根据所述任务文件执行归档任务；
其中，所述归档任务包括生成目录树、以及根据归档对象生成对应的归档信息；以及
目录树的结构与源端的目录结构相同。
2.根据权利要求1所述的归档映射系统，其特征在于，在归档对象包括归档文件的情况下，
所述归档信息包括：文件归档信息；以及
所述目录树包括：文件索引信息文件。
3.根据权利要求2所述的归档映射系统，其特征在于，根据归档对象生成对应的归档信息，包括：
在所述文件索引信息文件中增加与所述归档文件对应的文件归档信息。
4.根据权利要求1所述的归档映射系统，其特征在于，在归档对象包括归档目录的情况下，
所述归档信息包括：目录归档信息；以及
所述目录树包括：目录索引信息文件。
5.根据权利要求4所述的归档映射系统，其特征在于，根据归档对象生成对应的归档信息，包括：
在所述目录索引信息文件包括与所述归档目录对应的目录归档信息的情况下，更新目录归档信息的归档版本号；以及
在所述目录索引信息文件不包括与所述归档目录对应的目录归档信息的情况下，在所述目录索引信息文件中增加与所述归档目录对应的目录归档信息。
6.根据权利要求3所述的归档映射系统，其特征在于，还包括：
扩展模块，用于管理所述文件归档信息；
在归档对象是归档文件的情况下，所述处理模块调用所述扩展模块以增加所述文件归档信息。
7.根据权利要求6所述的归档映射系统，其特征在于，
所述扩展模块采用哈希方式管理所述文件归档信息。
8.根据权利要求1所述的归档映射系统，其特征在于，所述目录树还包括：映射系统私有目录；
所述映射系统私有目录包括：记录所述归档对象的扩展属性信息的扩展属性文件、和临时任务文件。
9.根据权利要求8所述的归档映射系统，其特征在于，还包括：
扩展属性模块，用于管理所述扩展属性文件。
10.根据权利要求1-9任一项所述的归档映射系统，其特征在于，
所述目录树设置于映射系统目录下；以及
所述映射系统目录还包括任务生成目录，所述任务生成目录包括所述任务文件。
CN201610887665.8A 2016-10-11 2016-10-11 归档映射系统 Pending CN106547834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610887665.8A CN106547834A (zh) 2016-10-11 2016-10-11 归档映射系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610887665.8A CN106547834A (zh) 2016-10-11 2016-10-11 归档映射系统

Publications (1)

Publication Number Publication Date
CN106547834A true CN106547834A (zh) 2017-03-29

Family

ID=58368448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610887665.8A Pending CN106547834A (zh) 2016-10-11 2016-10-11 归档映射系统

Country Status (1)

Country Link
CN (1) CN106547834A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342740A (zh) * 2021-07-01 2021-09-03 胜宏科技（惠州）股份有限公司 一种实时监控pcb工程文件归档的方法
CN117112497A (zh) * 2023-10-17 2023-11-24 湖南云档信息科技有限公司 一种档案数据存储方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102882923A (zh) * 2012-07-25 2013-01-16 北京亿赛通科技发展有限责任公司 移动终端安全存储系统及方法
CN103425551A (zh) * 2013-07-31 2013-12-04 清华大学 数据库集中备份方法
CN103761169A (zh) * 2014-01-27 2014-04-30 中国石油天然气股份有限公司 石油地质软件数据库的热备份方法及装置
CN105677858A (zh) * 2016-01-06 2016-06-15 北京国电通网络技术有限公司 一种基于大数据技术框架的数据采集方法及装置
CN205354023U (zh) * 2015-12-21 2016-06-29 苏州设计研究院股份有限公司 一种基于电子图档组织结构的收集管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102882923A (zh) * 2012-07-25 2013-01-16 北京亿赛通科技发展有限责任公司 移动终端安全存储系统及方法
CN103425551A (zh) * 2013-07-31 2013-12-04 清华大学 数据库集中备份方法
CN103761169A (zh) * 2014-01-27 2014-04-30 中国石油天然气股份有限公司 石油地质软件数据库的热备份方法及装置
CN205354023U (zh) * 2015-12-21 2016-06-29 苏州设计研究院股份有限公司 一种基于电子图档组织结构的收集管理系统
CN105677858A (zh) * 2016-01-06 2016-06-15 北京国电通网络技术有限公司 一种基于大数据技术框架的数据采集方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周耀林，叶鹏，黄川川: "《公文管理教程》", 30 April 2013, 辽宁大学出版社 *
毛光喜: "《信息系统分析与设计》", 30 November 2015 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342740A (zh) * 2021-07-01 2021-09-03 胜宏科技（惠州）股份有限公司 一种实时监控pcb工程文件归档的方法
CN117112497A (zh) * 2023-10-17 2023-11-24 湖南云档信息科技有限公司 一种档案数据存储方法、系统及存储介质
CN117112497B (zh) * 2023-10-17 2024-01-12 湖南云档信息科技有限公司 一种档案数据存储方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110704453B (zh) 一种数据查询方法、装置、存储介质及电子设备
US10999373B2 (en) Information management of data associated with multiple cloud services
US9959333B2 (en) Unified access to personal data
Liu et al. Implementing WebGIS on Hadoop: A case study of improving small file I/O performance on HDFS
CN103282899B (zh) 文件系统中数据的存储方法、访问方法及装置
CN103002027B (zh) 基于键值对系统实现树形目录结构的数据存储系统及方法
CN106663056A (zh) 文件系统中的元数据索引搜索
CN102790760B (zh) 安全网盘系统中一种基于目录树的数据同步方法
US20220327117A1 (en) Servicing queries of a hybrid event index
JP2012098934A (ja) 文書管理システム、文書管理システムの制御方法、プログラム
Patil et al. GIGA+ scalable directories for shared file systems
CN103455631A (zh) 一种数据处理方法、装置及系统
CN105978981B (zh) 基于公有云存储账户的数据备份的线性扩容方法及系统
CN108319645A (zh) 一种异构存储环境下多版本文件视图管理方法和装置
CN104519078A (zh) 实现云存储的方法与装置
CN107273368A (zh) 海量数据存储管理方法、装置及数据存储系统
CN106547834A (zh) 归档映射系统
CN102646133B (zh) 基于元数据存储的二维表组织方法
Chen et al. An early functional and performance experiment of the marfs hybrid storage ecosystem
CN114363358B (zh) 文档分发方法、装置、电子设备及存储介质
JP2013077233A (ja) ファイル検索システム
Tchaye-Kondi et al. Hadoop Perfect File: A fast access container for small files with direct in disc metadata access
Prabavathy et al. Multi-index technique for metadata management in private cloud storage
CN111782150A (zh) 一种基于对象存储的多桶存储系统及方法
Bitzes et al. EOS architectural evolution and strategic development directions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170329

RJ01 Rejection of invention patent application after publication