CN117270793A - 一种数据归档的方法和装置 - Google Patents
一种数据归档的方法和装置 Download PDFInfo
- Publication number
- CN117270793A CN117270793A CN202311550130.8A CN202311550130A CN117270793A CN 117270793 A CN117270793 A CN 117270793A CN 202311550130 A CN202311550130 A CN 202311550130A CN 117270793 A CN117270793 A CN 117270793A
- Authority
- CN
- China
- Prior art keywords
- archiving
- archived
- data
- data file
- metadata information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013508 migration Methods 0.000 claims abstract description 49
- 230000005012 migration Effects 0.000 claims abstract description 48
- 230000004048 modification Effects 0.000 claims description 22
- 238000012986 modification Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013523 data management Methods 0.000 abstract description 12
- 230000003287 optical effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000007726 management method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- RBZXVDSILZXPDM-UHFFFAOYSA-N 1-(2,5-dimethoxy-3,4-dimethylphenyl)propan-2-amine Chemical compound COC1=CC(CC(C)N)=C(OC)C(C)=C1C RBZXVDSILZXPDM-UHFFFAOYSA-N 0.000 description 4
- 241001362551 Samba Species 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据归档的方法和装置,所述方法包括:向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作;实现了直接在网络附加存储系统中进行数据归档的操作,提高了数据管理的便利性,降低了归档软件和硬件的成本。
Description
技术领域
本发明涉及数据归档技术领域,特别是涉及一种数据归档的方法和装置。
背景技术
随着云计算,大数据,人工智能技术的发展,数据呈现爆发式的增长,存储非结构化数据的NAS(Network Attached Storage,网络附加存储)系统得到快速发展,为了实现数据的安全和存储成本的降低,NAS系统根据用户的需要将数据备份归档到成本低廉且存储寿命长的介质中如:磁带库,光盘库等,以此来节约NAS系统的存储空间,进而降低用户使用成本,提高数据的安全性。
传统的归档备份方式都是在NAS系统之外,由第三方厂商提供单独的归档备份软件部署到独立的服务器上,在服务器上挂载NFS(Network File System,网络文件系统)或者CIFS(Common Internet File System,通用网络文件协议)的客户端,归档备份软件通过客户端读取存储数据,然后写入到光盘库或者磁盘库中,写入成功后会将数据从NAS系统中删除,达到节省存储空间的目的。
然而,传统的归档备份方式存在着如下缺点及不足:1,增加用户使用成本,由于归档系统部署在NAS系统之外,需要购买归档软件并且需要单独部署到服务器中,会大大增加软件和硬件成本。2,归档系统归档完数据后,通常会删除NAS存储中的数据,此时用户在NAS系统无法查看该数据的基本信息,会造成数据管理的不便;而当用户需要使用NAS系统中已归档的数据时,需要在归档系统中操作进行数据的恢复,将光盘库或者磁带库数据读取写入到NAS系统的NFS或CIFS客户端中,在恢复过程中NAS系统上层应用不能发现该数据,会造成数据使用的不便。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据归档的方法和装置,包括:
一种数据归档的方法,所述方法包括:
向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;
按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;
更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;
当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作。
可选的,所述记录所述待归档数据文件的元数据信息的步骤包括:
记录所述待归档数据文件的元数据信息,并在所述元数据信息中添加归档标记;其中,所述归档标记用于识别所述待归档数据文件是否已归档。
可选的,所述更新所述元数据信息的步骤包括:
更新所述元数据信息中的归档标记。
可选的,所述记录所述待归档数据文件的元数据信息的步骤还包括:
在所述元数据信息中添加最新归档时间标记;其中,所述最新归档时间标记用于记录所述待归档数据文件的最新归档时间。
可选的,所述更新所述元数据信息的步骤还包括:
更新所述元数据信息中的最新归档时间标记。
可选的,所述用户预先配置的归档策略至少包括以下策略中的任一项或多项:
循环策略、实时策略;其中,所述循环策略用于周期性对所述待归档数据文件进行归档操作,所述实时策略用于实时选择某一系统触发归档操作。
可选的,所述将所述待归档数据文件归档至归档设备中的步骤包括:
调用所述归档设备中的应用程序编程接口,将所述待归档数据文件归档至归档设备中。
可选的,所述数据回迁操作包括以下步骤:
将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中。
可选的,所述将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中之后,还包括:
更新所述数据文件的元数据信息。
可选的,所述方法应用于所述网络附加存储系统中的网络文件系统或通用网络文件协议层,所述向网络附加存储系统中写入待归档数据文件的步骤包括:
通过网络文件系统或通用网络文件协议向所述网络附加存储系统中写入所述待归档数据文件。
可选的,所述记录所述待归档数据文件的元数据信息的步骤还包括:
在所述元数据信息中添加修改标记;其中,所述修改标记用于记录所述待归档数据文件是否经过修改。
可选的,所述元数据信息通过数据库保存。
一种数据归档的装置,所述装置包括:
数据文件写入模块,用于向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;
数据文件归档模块,用于按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;
元数据信息更新模块,用于更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;
数据回迁模块,用于当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作。
一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据归档的方法。
一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的数据归档的方法。
本发明实施例具有以下优点:
在本发明实施例中,通过提出一种数据归档方法,向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;将所述待归档数据文件归档至归档设备中,并在所述元数据信息中添加已归档标记;其中,所述已归档标记用于在用户访问网络附加存储系统中的数据文件时,若所述数据文件的元数据信息中携带所述已归档标记,则触发数据回迁操作,实现了直接在网络附加存储系统中进行数据归档的操作,提高了数据管理的便利性和数据的连续性,大大降低了归档软件和硬件的成本,减少了传统归档方式中数据恢复的不便,提升了数据的存储空间利用率和数据的安全性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的相关技术中部署在NAS系统之外的传统归档备份方式示意图;
图2是本发明一实施例提供的一种数据归档的方法的步骤流程图;
图3是本发明提供的本发明技术方案实现原理图;
图4是本发明提供的本发明所记录的元数据信息类型示意图;
图5是本发明提供的本发明的归档流程示意图;
图6是本发明一实施例提供的另一种数据归档的方法的步骤流程图;
图7是本发明一实施例提供的另一种数据归档的方法的步骤流程图;
图8是本发明提供的本发明的数据回迁流程示意图;
图9是本发明一实施例提供的一种数据归档的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着云计算,大数据,人工智能技术的发展,数据呈现爆发式的增长,存储非结构化数据的NAS系统得到快速发展,为了实现数据的安全和存储成本的降低,NAS系统根据用户的需要将数据备份归档到成本低廉且存储寿命长的介质中如:磁带库,光盘库等,以此来节约NAS系统的存储空间,进而降低用户使用成本,提高数据的安全性。
如图1所示为相关技术中部署在NAS系统之外的传统归档备份方式示意图,由第三方厂商提供单独的归档备份软件部署到独立的服务器上,在服务器上挂载NFS或者CIFS的客户端,归档备份软件通过客户端读取存储数据,然后写入到光盘库或者磁盘库中,写入成功后会将数据从NAS系统中删除,从而达到节省存储空间的目的。
然而,传统的归档备份方式存在着如下缺点及不足:1,增加用户使用成本,由于归档系统部署在NAS系统之外,需要购买归档软件并且需要单独部署到服务器中,会大大增加软件和硬件成本。2,归档系统归档完数据后,通常会删除NAS存储中的数据,此时用户在NAS系统无法查看该数据的基本信息,会造成数据管理的不便;而当用户需要使用NAS系统中已归档的数据时,需要在归档系统中操作进行数据的恢复,将光盘库或者磁带库数据读取写入到NAS系统的NFS或CIFS客户端中,在恢复过程中NAS系统上层应用不能发现该数据,会造成数据使用的不便。
为了解决上述问题,本发明基于网络附加存储系统以及待归档数据文件的元数据信息对相关技术中数据归档的方法进行了改进,以下将结合附图对本发明进行详细地说明:
参照图2,示出了本发明一实施例提供的一种数据归档的方法的步骤流程图,具体可以包括如下步骤:
步骤201,向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;
由于相关技术中归档系统都部署在NAS系统之外,需要购买归档软件并且单独部署到服务器中,软件和硬件成本较高,而在归档系统归档完数据后通常会删除NAS存储中的数据,此时用户在NAS系统无法查看该数据的基本信息,会造成数据管理的不便。
因此,在具体实现中,如图3所示,可以在网络附加存储系统中的网络文件系统或通用网络文件协议层实现归档功能,具体可以在Samba(一种开源项目)的VFS(VirtualFile System,虚拟文件系统)和Ganesha(一种开源项目)的FSAL(File SystemAbstraction Layer,文件系统抽象层)注册归档模块,数据访问时需要经过归档模块来访问文件系统,所述归档模块可以分别包括元数据管理模块,数据归档模块和数据回迁模块,在此基础上,用户可以根据元数据管理模块通过NFS或CIFS协议向NAS系统中写入待归档数据文件,具体的,如图4所示,本发明中所有元数据信息均可以通过Rockdb(一种嵌入式键值对数据库)来保存,其Key(标识)为文件的绝对路径;Value值是待归档数据文件相关的元数据信息;Meta(元数据)为待归档数据文件的基本元数据信息,可以包括Inode(Index Node,索引节点)号、uid/gid(User Identifier/Group Identifier,用户标识符/群组标识符)、ACL(Access Control List,访问控制列表)、xattr(Extended Attributes,扩展属性)等Posix(Portable Operating System Interface,可移植操作系统接口)所规定的信息;在此基础上,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive(归档)标记(例如可以用1表示已归档,0表示未归档)、用于标记文件是否更改的Modify(修改)标记(例如可以用1表示修改,0表示未修改)以及用于确认文件最新归档时间的Lasttime(上次归档时间)标记,例如可以将modify置为1,archive置为0,lasttime置为0,随后将待归档数据文件写入网络附加存储系统中;以便后续其他步骤的正常进行并提升数据归档和存储的效率,同时确保了各元数据信息能够被充分利用,提升了系统的灵活性和透明度。
此外,上述内容中的元数据管理模块,数据归档模块和数据回迁模块可以分别具有以下功能:
元数据管理模块:记录NFS/CIFS共享中所有文件的元数据信息,重点标记出该文件是否已经进行归档,上次归档时间,是否做过修改等信息,这些信息将用于文件的透明回迁(用户对此无感知),定时归档备份(若用户设置了仅备份功能,则该功能不需要删除本地数据)等操作。
数据归档模块:根据用户设定的策略信息,将本地数据传输到光盘库等归档设备中,完成后在该文件的元数据信息中设置已归档标记。
数据回迁模块:当用户访问NAS系统中文件时,读取所述文件的元数据信息,如果所述文件已经归档则触发数据回迁,该模块还可以负责将归档设备的时间写入到NAS系统中,完成后修改相应的元数据标记信息。
在本发明一实施例中,所述方法应用于所述网络附加存储系统中的网络文件系统或通用网络文件协议层,所述向网络附加存储系统中写入待归档数据文件的步骤包括:
通过网络文件系统或通用网络文件协议向所述网络附加存储系统中写入所述待归档数据文件。
在具体实现中,所述方法可以应用于所述网络附加存储系统中的网络文件系统或通用网络文件协议层,具体可以在Samba的VFS层和Ganesha的FSAL层注册归档模块,数据访问时需要经过归档模块来访问文件系统,所述归档模块可以分别包括元数据管理模块,数据归档模块和数据回迁模块,在此基础上,用户可以根据元数据管理模块通过NFS或CIFS协议向NAS系统中写入待归档数据文件,提升了数据文件的管理效率,改善了数据文件的存储及检索效率,增强了系统的兼容性和扩展性。
在本发明一实施例中,所述记录所述待归档数据文件的元数据信息的步骤包括:
记录所述待归档数据文件的元数据信息,并在所述元数据信息中添加归档标记;其中,所述归档标记用于识别所述待归档数据文件是否已归档。
在实际应用中,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于识别所述待归档数据文件是否已归档的Archive(归档)标记,使得用户可以直接通过读取元数据信息了解到待归档数据文件是否已被归档,不但可以提高用户操作的效率,还可以用于避免出现重复归档的情况,同时也有助于提升后续根据用户需求进行的数据回迁操作的效率。
在本发明一实施例中,所述元数据信息通过数据库保存。
在实际应用中,元数据信息均可以通过Rockdb来保存,其Key为文件的绝对路径;Value值是待归档数据文件相关的元数据信息;Meta为待归档数据文件的基本元数据信息,可以包括Inode号、uid/gid、ACL、xattr等Posix所规定的信息,以提升数据保存的安全性和完整性。
步骤202,按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;
在具体实现中,用户可以通过相应配置模块预先配置好归档策略,所述归档策略可以包括循环策略,实时策略等,其中,所述循环策略可以用于周期性对所述待归档数据文件进行归档操作,所述实时策略可以用于实时选择某一系统触发归档操作,在实际归档时按照相应策略进行归档,例如可以在归档策略中设置在系统调用close时进行归档,那么此时VFS/FSAL接口层便可以通知归档模块进行文件归档,归档模块可以根据元数据信息读取底层文件系统数据后调用光盘库等归档设备的API接口,将数据写入到归档设备中,增强了用户选择的灵活性,提升了数据管理的效率,提高了数据归档的完整性和准确性。
在本发明一实施例中,所述将所述待归档数据文件归档至归档设备中的步骤包括:
调用所述归档设备中的应用程序编程接口,将所述待归档数据文件归档至归档设备中。
在实际应用中,可以在归档策略中设置在系统调用close时进行归档,那么此时VFS/FSAL接口层便可以通知归档模块进行文件归档,归档模块可以根据元数据信息读取底层文件系统数据后调用光盘库等归档设备的API接口,将数据写入到归档设备中,提高了数据归档的完整性和准确性。
在本发明一实施例中,所述用户预先配置的归档策略至少包括以下策略中的任一项或多项:
循环策略、实时策略;其中,所述循环策略用于周期性对所述待归档数据文件进行归档操作,所述实时策略用于实时选择某一系统触发归档操作。
在具体实现中,用户可以通过相应配置模块预先配置好归档策略,所述归档策略可以包括循环策略,实时策略等,其中,所述循环策略可以用于周期性对所述待归档数据文件进行归档操作,所述实时策略可以用于实时选择某一系统触发归档操作,在实际归档时按照相应策略进行归档,例如可以在归档策略中设置在系统调用close时进行归档,那么此时VFS/FSAL接口层便可以通知归档模块进行文件归档,归档模块可以根据元数据信息读取底层文件系统数据后调用光盘库等归档设备的API接口,将数据写入到归档设备中,增强了用户选择的灵活性,提升了数据管理的效率,提高了数据归档的完整性和准确性。
步骤203,更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;
在具体实现中,在归档操作完成后,可以更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件,具体的,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,并在归档操作完成后按照实际情况对Rockdb中的元数据信息进行更新,例如可以将archive置为1,lasttime置为当前时间,并在更新完毕后在所述网络附加存储系统中删除所述待归档数据文件,在节约存储空间的同时使得用户可以直接通过读取元数据信息了解到待归档数据文件是否已被归档,不但可以提高用户操作的效率,还可以用于避免出现重复归档的情况,同时也有助于提升后续根据用户需求进行的数据回迁操作的效率。
在本发明一实施例中,所述更新所述元数据信息的步骤包括:
更新所述元数据信息中的归档标记。
在实际应用中,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,并在归档操作完成后按照实际情况对Rockdb中的元数据信息进行更新,例如可以将archive置为1,以标记出该文件已归档,以便于提升后续根据用户需求进行的数据回迁操作的效率。
在本发明一实施例中,所述记录所述待归档数据文件的元数据信息的步骤还包括:
在所述元数据信息中添加最新归档时间标记;其中,所述最新归档时间标记用于记录所述待归档数据文件的最新归档时间。
在实际应用中,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,并在归档操作完成后按照实际情况对Rockdb中的元数据信息进行更新,例如可以将archive置为1,lasttime置为当前时间,从而增强了数据处理的实时性,提升了数据的可追溯性及数据追踪的精确性,提高了数据操作的透明度。
在本发明一实施例中,所述更新所述元数据信息的步骤还包括:
更新所述元数据信息中的最新归档时间标记。
在具体实现中,在归档操作完成后可以按照实际情况对Rockdb中的元数据信息进行更新,例如可以将archive置为1,lasttime置为当前时间,增强了数据处理的实时性,提升了数据的可追溯性及数据追踪的精确性,提高了数据操作的透明度。
在本发明一实施例中,所述记录所述待归档数据文件的元数据信息的步骤还包括:
在所述元数据信息中添加修改标记;其中,所述修改标记用于记录所述待归档数据文件是否经过修改。
在实际应用中,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,例如可以将modify置为1,archive置为0,lasttime置为0,随后将待归档数据文件写入网络附加存储系统中,增强了数据管理的精确性,提高了数据安全性和完整性,提升了系统的灵活性和透明度。
步骤204,当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作。
在实际应用中,用户访问所述网络附加存储系统中的数据文件可以是用户在读取NAS系统中的数据时,或者在手动设置哪些文件回迁到NAS存储中时,例如当用户在读取数据时,用户可以首先发起读取请求给NFS/CIFS服务,NFS/CIFS服务随后调用VFS/FSAL层注册的归档接口,读取Rockdb中文件的元数据信息,若发现archive标记位为1,则说明所述数据文件已归档,随后可以阻塞前端请求,并发送消息给负责数据回迁的模块,调用归档设备提供的API接口,读取相应文件,并根据rockdb记录的文件位置信息,将数据写入到文件系统中,实现数据回迁操作,同时可以更新rockdb中的元数据信息,并通知VFS/FSAL模块注册的函数接口,VFS/FSAL层可以从文件系统中读取数据,将数据返回给NFS/CIFS层,进而返回给用户;而在用户手动设置哪些文件回迁到NAS存储中时,回迁模块可以读取用户配置的策略,将数据从光盘库等归档设备中读取后写入到文件系统中并更新rockdb中archive值为0,以表示数据已重新回到了未归档的状态。
此外,当用户在发起读取数据相关的请求时,还可以进行数据遍历流程,数据遍历即是查看文件系统中所有的文件信息,本发明中的NFS/CIFS在接收到查询请求后,可以直接调用VFS/FSAL中注册的模块,该模块可以读取rockdb中的元数据信息直接返回给用户;而由于rockdb中存放的是全量数据,不会出现传统归档方案中仅有未归档数据情况,提升了用户的操作体验,提高了用户操作的简便性和操作效率。
在本发明一实施例中,所述数据回迁操作包括以下步骤:
将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中。
在具体实现中,可以阻塞前端请求,并发送消息给负责数据回迁的模块,调用归档设备提供的API接口,读取相应文件,并根据rockdb记录的文件位置信息,将数据写入到文件系统中,以实现数据回迁操作。
在本发明一实施例中,所述将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中之后,还包括:
更新所述数据文件的元数据信息。
在实际应用中,用户在读取NAS系统中的数据时,可以在数据回迁操作完成之后,更新rockdb中的元数据信息,并通知VFS/FSAL模块注册的函数接口,VFS/FSAL层可以从文件系统中读取数据,将数据返回给NFS/CIFS层,进而返回给用户;而在用户手动设置哪些文件回迁到NAS存储中时,回迁模块可以读取用户配置的策略,将数据从光盘库等归档设备中读取后写入到文件系统中并更新rockdb中archive值为0,以表示数据已重新回到了未归档的状态。
在上述内容的基础上,为了便于理解以及更详细地说明本发明的技术方案,参照图5,示出了本发明提供的归档流程示意图,所述归档流程可以总结为以下步骤:
A,用户根据元数据管理模块通过NFS或CIFS协议向NAS系统中写入待归档数据文件。
B,NFS/CIFS协议处理完成后调用VFS/FSAL接口层,更新rockdb中该文件或者目录的元数据信息将modify置为1,archive置为0,lasttime置为0,将文件写入底层文件系统中,并返回成功信息。
C,如果客户设置的归档策略中设置了在系统调用close时进行归档,那么此时VFS/FSAL接口层便通知归档模块进行文件归档。
D,归档模块根据元数据信息读取底层文件系统数据后调用光盘库等归档设置的API接口,将数据文件写入到归档设备中。
E,文件归档完成后,更新rockdb中元数据信息,将archive置为1,lasttime置为当前时间。
F,将该已归档的数据从文件系统中删除。
G,如果没有设置系统调用的相应归档策略,则归档模块按照用户在配置模块中设置好的归档策略执行步骤D-F。
参照图6,示出了本发明一实施例提供的另一种数据归档的方法的步骤流程图,具体可以包括如下步骤:
步骤601,向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;在所述元数据信息中添加归档标记;其中,所述归档标记用于识别所述待归档数据文件是否已归档;
由于相关技术中归档系统都部署在NAS系统之外,需要购买归档软件并且单独部署到服务器中,软件和硬件成本较高,而在归档系统归档完数据后通常会删除NAS存储中的数据,此时用户在NAS系统无法查看该数据的基本信息,会造成数据管理的不便。
因此,在具体实现中,可以在网络附加存储系统中的网络文件系统或通用网络文件协议层实现归档功能,具体可以在Samba的VFS和Ganesha的FSAL注册归档模块,数据访问时需要经过归档模块来访问文件系统,所述归档模块可以分别包括元数据管理模块,数据归档模块和数据回迁模块,在此基础上,用户可以根据元数据管理模块通过NFS或CIFS协议向NAS系统中写入待归档数据文件,具体的,本发明中所有元数据信息均可以通过Rockdb来保存,其Key为文件的绝对路径;Value值是待归档数据文件相关的元数据信息;Meta为待归档数据文件的基本元数据信息,可以包括Inode号、uid/gid、ACL、xattr等Posix所规定的信息;在此基础上,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,例如可以将modify置为1,archive置为0,lasttime置为0;使得用户可以直接通过读取元数据信息了解到待归档数据文件是否已被归档,不但可以提高用户操作的效率,还可以用于避免出现重复归档的情况,同时也有助于提升后续根据用户需求进行的数据回迁操作的效率。
步骤602,按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,调用归档设备中的应用程序编程接口并将所述待归档数据文件归档至归档设备中;
在具体实现中,用户可以通过相应配置模块预先配置好归档策略,所述归档策略可以包括循环策略,实时策略等,其中,所述循环策略可以用于周期性对所述待归档数据文件进行归档操作,所述实时策略可以用于实时选择某一系统触发归档操作,在实际归档时按照相应策略进行归档,例如可以在归档策略中设置在系统调用close时进行归档,那么此时VFS/FSAL接口层便可以通知归档模块进行文件归档,归档模块可以根据元数据信息读取底层文件系统数据后调用光盘库等归档设备的API接口,将数据写入到归档设备中,增强了用户选择的灵活性,提升了数据管理的效率,提高了数据归档的完整性和准确性。
步骤603,更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;其中,所述更新所述元数据信息的步骤包括:更新所述元数据信息中的归档标记;
在具体实现中,在归档操作完成后,可以更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件,具体的,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,并在归档操作完成后按照实际情况对Rockdb中的元数据信息进行更新,例如可以将archive置为1,lasttime置为当前时间,并在更新完毕后在所述网络附加存储系统中删除所述待归档数据文件,在节约存储空间的同时使得用户可以直接通过读取元数据信息了解到待归档数据文件是否已被归档,不但可以提高用户操作的效率,还可以用于避免出现重复归档的情况,同时也有助于提升后续根据用户需求进行的数据回迁操作的效率。
步骤604,当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作。
在实际应用中,用户访问所述网络附加存储系统中的数据文件可以是用户在读取NAS系统中的数据时,或者在手动设置哪些文件回迁到NAS存储中时,例如当用户在读取数据时,用户可以首先发起读取请求给NFS/CIFS服务,NFS/CIFS服务随后调用VFS/FSAL层注册的归档接口,读取Rockdb中文件的元数据信息,若发现archive标记位为1,则说明所述数据文件已归档,随后可以阻塞前端请求,并发送消息给负责数据回迁的模块,调用归档设备提供的API接口,读取相应文件,并根据rockdb记录的文件位置信息,将数据写入到文件系统中,实现数据回迁操作,同时可以更新rockdb中的元数据信息,并通知VFS/FSAL模块注册的函数接口,VFS/FSAL层可以从文件系统中读取数据,将数据返回给NFS/CIFS层,进而返回给用户;而在用户手动设置哪些文件回迁到NAS存储中时,回迁模块可以读取用户配置的策略,将数据从光盘库等归档设备中读取后写入到文件系统中并更新rockdb中archive值为0,以表示数据已重新回到了未归档的状态。
此外,当用户在发起读取数据相关的请求时,还可以进行数据遍历流程,数据遍历即是查看文件系统中所有的文件信息,本发明中的NFS/CIFS在接收到查询请求后,可以直接调用VFS/FSAL中注册的模块,该模块可以读取rockdb中的元数据信息直接返回给用户;而由于rockdb中存放的是全量数据,不会出现传统归档方案中仅有未归档数据情况,提升了用户的操作体验,提高了用户操作的简便性和操作效率。
参照图7,示出了本发明一实施例提供的另一种数据归档的方法的步骤流程图,具体可以包括如下步骤:
步骤701,向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;
由于相关技术中归档系统都部署在NAS系统之外,需要购买归档软件并且单独部署到服务器中,软件和硬件成本较高,而在归档系统归档完数据后通常会删除NAS存储中的数据,此时用户在NAS系统无法查看该数据的基本信息,会造成数据管理的不便。
因此,在具体实现中,可以在网络附加存储系统中的网络文件系统或通用网络文件协议层实现归档功能,具体可以在Samba的VFS和Ganesha的FSAL注册归档模块,数据访问时需要经过归档模块来访问文件系统,所述归档模块可以分别包括元数据管理模块,数据归档模块和数据回迁模块,在此基础上,用户可以根据元数据管理模块通过NFS或CIFS协议向NAS系统中写入待归档数据文件,具体的,本发明中所有元数据信息均可以通过Rockdb来保存,其Key为文件的绝对路径;Value值是待归档数据文件相关的元数据信息;Meta为待归档数据文件的基本元数据信息,可以包括Inode号、uid/gid、ACL、xattr等Posix所规定的信息;在此基础上,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,例如可以将modify置为1,archive置为0,lasttime置为0;使得用户可以直接通过读取元数据信息了解到待归档数据文件是否已被归档,不但可以提高用户操作的效率,还可以用于避免出现重复归档的情况,同时也有助于提升后续根据用户需求进行的数据回迁操作的效率。
步骤702,按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;
在具体实现中,用户可以通过相应配置模块预先配置好归档策略,所述归档策略可以包括循环策略,实时策略等,其中,所述循环策略可以用于周期性对所述待归档数据文件进行归档操作,所述实时策略可以用于实时选择某一系统触发归档操作,在实际归档时按照相应策略进行归档,例如可以在归档策略中设置在系统调用close时进行归档,那么此时VFS/FSAL接口层便可以通知归档模块进行文件归档,归档模块可以根据元数据信息读取底层文件系统数据后调用光盘库等归档设备的API接口,将数据写入到归档设备中,增强了用户选择的灵活性,提升了数据管理的效率,提高了数据归档的完整性和准确性。
步骤703,更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;
在具体实现中,在归档操作完成后,可以更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件,具体的,可以在NFS或CIFS协议处理完毕后调用VFS/FSAL接口层,记录Rockdb中待归档数据文件或者目录的元数据信息,并可以向上述元数据信息中添加并更新用于标记文件是否已经归档的Archive标记、用于标记文件是否更改的Modify标记以及用于确认文件最新归档时间的Lasttime标记,并在归档操作完成后按照实际情况对Rockdb中的元数据信息进行更新,例如可以将archive置为1,lasttime置为当前时间,并在更新完毕后在所述网络附加存储系统中删除所述待归档数据文件,在节约存储空间的同时使得用户可以直接通过读取元数据信息了解到待归档数据文件是否已被归档,不但可以提高用户操作的效率,还可以用于避免出现重复归档的情况,同时也有助于提升后续根据用户需求进行的数据回迁操作的效率。
步骤704,当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作;其中,所述数据回迁操作包括以下步骤:将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中。
在实际应用中,用户访问所述网络附加存储系统中的数据文件可以是用户在读取NAS系统中的数据时,或者在手动设置哪些文件回迁到NAS存储中时,例如当用户在读取数据时,用户可以首先发起读取请求给NFS/CIFS服务,NFS/CIFS服务随后调用VFS/FSAL层注册的归档接口,读取Rockdb中文件的元数据信息,若发现archive标记位为1,则说明所述数据文件已归档,随后可以阻塞前端请求,并发送消息给负责数据回迁的模块,调用归档设备提供的API接口,读取相应文件,并根据rockdb记录的文件位置信息,将数据写入到文件系统中,实现数据回迁操作,同时可以更新rockdb中的元数据信息,并通知VFS/FSAL模块注册的函数接口,VFS/FSAL层可以从文件系统中读取数据,将数据返回给NFS/CIFS层,进而返回给用户;而在用户手动设置哪些文件回迁到NAS存储中时,回迁模块可以读取用户配置的策略,将数据从光盘库等归档设备中读取后写入到文件系统中并更新rockdb中archive值为0,以表示数据已重新回到了未归档的状态。
此外,当用户在发起读取数据相关的请求时,还可以进行数据遍历流程,数据遍历即是查看文件系统中所有的文件信息,本发明中的NFS/CIFS在接收到查询请求后,可以直接调用VFS/FSAL中注册的模块,该模块可以读取rockdb中的元数据信息直接返回给用户;而由于rockdb中存放的是全量数据,不会出现传统归档方案中仅有未归档数据情况,提升了用户的操作体验,提高了用户操作的简便性和操作效率。
在上述内容的基础上,为了便于理解以及更详细地说明本发明的技术方案,参照图8,示出了本发明提供的数据回迁流程示意图,数据回迁操作主要是在用户在读取数据时,或者手动设置哪些文件回迁到NAS存储中时进行,所述数据回迁流程可以总结为以下步骤:
A,用户向NFS/CIFS服务发起读取请求;
B,NFS/CIFS调用在VFS/FSAL层注册的归档接口;
C,读取rockdb中文件的元数据信息,若发现archive的标记位为1,则阻塞前端请求,发送消息给回迁模块;
D,回迁模块调用归档设备提供的API接口,读取数据文件,根据rockdb中记录的文件位置信息,将数据写入到文件系统中,更新rockdb中的元数据信息,并通知VFS/FSAL模块注册的函数接口;
E,VFS/FSAL层从文件系统中读取数据文件,将数据文件返回给NFS/CIFS层,进而返回给用户。
F,在用户手动设置数据回迁操作时,回迁模块会读取用户预先配置的策略,将数据从光盘库等归档设备读取后写入到文件系统中并更新rockdb中archive值为0。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图9,示出了本发明一实施例提供的一种数据归档的装置的结构示意图,具体可以包括如下模块:
数据文件写入模块901,用于向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;
数据文件归档模块902,用于按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;
元数据信息更新模块903,用于更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;
数据回迁模块904,用于当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作。
在本发明另一实施例中,所述数据文件写入模块901包括:
归档标记添加子模块,用于记录所述待归档数据文件的元数据信息,并在所述元数据信息中添加归档标记;其中,所述归档标记用于识别所述待归档数据文件是否已归档。
在本发明另一实施例中,所述元数据信息更新模块903包括:
归档标记更新子模块,用于更新所述元数据信息中的归档标记。
在本发明另一实施例中,所述数据文件写入模块901还包括:
最新归档时间标记添加模块,用于在所述元数据信息中添加最新归档时间标记;其中,所述最新归档时间标记用于记录所述待归档数据文件的最新归档时间。
在本发明另一实施例中,所述元数据信息更新模块903还包括:
最新归档时间标记更新子模块,用于更新所述元数据信息中的最新归档时间标记。
在本发明另一实施例中,所述数据文件归档模块902包括:
数据文件归档子模块,用于调用所述归档设备中的应用程序编程接口,将所述待归档数据文件归档至归档设备中。
在本发明另一实施例中,所述数据回迁模块904包括:
数据回迁子模块,用于将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中。
在本发明另一实施例中,所述数据回迁模块904还包括:
元数据信息更新子模块,用于在所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中之后,更新所述数据文件的元数据信息。
在本发明另一实施例中,所述装置应用于所述网络附加存储系统中的网络文件系统或通用网络文件协议层,所述数据文件写入模块901包括:
数据文件写入子模块,用于通过网络文件系统或通用网络文件协议向所述网络附加存储系统中写入所述待归档数据文件。
在本发明另一实施例中,所述数据文件写入模块901还包括:
修改标记添加子模块,用于在所述元数据信息中添加修改标记;其中,所述修改标记用于记录所述待归档数据文件是否经过修改。
本发明一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上数据归档的方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上数据归档的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据归档的方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种数据归档的方法,其特征在于,所述方法包括:
向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;
按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;
更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;
当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作。
2.根据权利要求1所述的方法,其特征在于,所述记录所述待归档数据文件的元数据信息的步骤包括:
记录所述待归档数据文件的元数据信息,并在所述元数据信息中添加归档标记;其中,所述归档标记用于识别所述待归档数据文件是否已归档。
3.根据权利要求2所述的方法,其特征在于,所述更新所述元数据信息的步骤包括:
更新所述元数据信息中的归档标记。
4.根据权利要求3所述的方法,其特征在于,所述记录所述待归档数据文件的元数据信息的步骤还包括:
在所述元数据信息中添加最新归档时间标记;其中,所述最新归档时间标记用于记录所述待归档数据文件的最新归档时间。
5.根据权利要求4所述的方法,其特征在于,所述更新所述元数据信息的步骤还包括:
更新所述元数据信息中的最新归档时间标记。
6.根据权利要求1所述的方法,其特征在于,所述用户预先配置的归档策略至少包括以下策略中的任一项或多项:
循环策略、实时策略;其中,所述循环策略用于周期性对所述待归档数据文件进行归档操作,所述实时策略用于实时选择某一系统触发归档操作。
7.根据权利要求1所述的方法,其特征在于,所述将所述待归档数据文件归档至归档设备中的步骤包括:
调用所述归档设备中的应用程序编程接口,将所述待归档数据文件归档至归档设备中。
8.根据权利要求1所述的方法,其特征在于,所述数据回迁操作包括以下步骤:
将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中。
9.根据权利要求8所述的方法,其特征在于,所述将所述已归档的数据文件从所述归档设备中迁回至所述网络附加存储系统中之后,还包括:
更新所述数据文件的元数据信息。
10.根据权利要求1所述的方法,其特征在于,所述方法应用于所述网络附加存储系统中的网络文件系统或通用网络文件协议层,所述向网络附加存储系统中写入待归档数据文件的步骤包括:
通过网络文件系统或通用网络文件协议向所述网络附加存储系统中写入所述待归档数据文件。
11.根据权利要求4所述的方法,其特征在于,所述记录所述待归档数据文件的元数据信息的步骤还包括:
在所述元数据信息中添加修改标记;其中,所述修改标记用于记录所述待归档数据文件是否经过修改。
12.根据权利要求1所述的方法,其特征在于,所述元数据信息通过数据库保存。
13.一种数据归档的装置,其特征在于,所述装置包括:
数据文件写入模块,用于向网络附加存储系统中写入待归档数据文件,并记录所述待归档数据文件的元数据信息;
数据文件归档模块,用于按照用户预先配置的归档策略,根据所述元数据信息读取所述待归档数据文件,并将所述待归档数据文件归档至归档设备中;
元数据信息更新模块,用于更新所述元数据信息,并在所述网络附加存储系统中删除所述待归档数据文件;
数据回迁模块,用于当检测到用户访问所述网络附加存储系统中的数据文件的请求时,读取所述数据文件的元数据信息并根据所述元数据信息判断所述数据文件是否已归档,若所述数据文件已归档,则触发数据回迁操作。
14.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至12中任一项所述的数据归档的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的数据归档的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550130.8A CN117270793A (zh) | 2023-11-20 | 2023-11-20 | 一种数据归档的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550130.8A CN117270793A (zh) | 2023-11-20 | 2023-11-20 | 一种数据归档的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117270793A true CN117270793A (zh) | 2023-12-22 |
Family
ID=89212796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311550130.8A Pending CN117270793A (zh) | 2023-11-20 | 2023-11-20 | 一种数据归档的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117270793A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230344805A1 (en) * | 2022-04-22 | 2023-10-26 | EMC IP Holding Company, LLC | Multi-Protocol Migration System and Method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112540733A (zh) * | 2020-12-23 | 2021-03-23 | 华录光存储研究院(大连)有限公司 | 一种数据管理方法、装置、电子设备及存储介质 |
-
2023
- 2023-11-20 CN CN202311550130.8A patent/CN117270793A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112540733A (zh) * | 2020-12-23 | 2021-03-23 | 华录光存储研究院(大连)有限公司 | 一种数据管理方法、装置、电子设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230344805A1 (en) * | 2022-04-22 | 2023-10-26 | EMC IP Holding Company, LLC | Multi-Protocol Migration System and Method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11494332B2 (en) | Search filtered file system using secondary storage, including multi-dimensional indexing and searching of archived files | |
EP3532934B1 (en) | Reducing stable data eviction with synthetic baseline snapshot and eviction state refresh | |
JP4160933B2 (ja) | 超大規模ファイル・システムでのファイル・システム使用のすばやい復元 | |
US7685177B1 (en) | Detecting and managing orphan files between primary and secondary data stores | |
US8756199B2 (en) | File level hierarchical storage management system, method, and apparatus | |
CA2837984C (en) | Systems and methods for classifying and transferring information in a storage network | |
EP3862883B1 (en) | Data backup method and apparatus, and system | |
US10116764B1 (en) | Method for state based snapshot difference with restart capability | |
US9430331B1 (en) | Rapid incremental backup of changed files in a file system | |
US8874517B2 (en) | Summarizing file system operations with a file system journal | |
US9292387B2 (en) | Medium, control method, and information processing apparatus | |
WO2018121454A1 (zh) | 文件访问控制列表管理方法和相关装置和系统 | |
CN106649467B (zh) | 一种蓝光光盘库归档管理方法及系统 | |
US20090254585A1 (en) | Method for Associating Administrative Policies with User-Definable Groups of Files | |
US10565159B2 (en) | Archiving data sets in a volume in a primary storage in a volume image copy of the volume in a secondary storage | |
CN117270793A (zh) | 一种数据归档的方法和装置 | |
GB2520361A (en) | Method and system for a safe archiving of data | |
US11822806B2 (en) | Using a secondary storage system to implement a hierarchical storage management plan | |
CN111475102A (zh) | 一种基于蓝光的对象存储系统及其存储方法 | |
CN113342741B (zh) | 快照实现方法及装置、电子设备及计算机可读存储介质 | |
CN117632890A (zh) | 数据处理方法、装置、存储节点、系统及存储介质 | |
CN109241011B (zh) | 一种虚拟机文件处理方法及装置 | |
JP2008544397A (ja) | ファイルシステム内へのコンテンツの格納を管理する方法および装置 | |
CN117951094A (zh) | 存储空间的回收方法、文件系统、介质和计算设备 | |
JP5276391B2 (ja) | インテリジェント・コンテンツのインデックス付け実行技術 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |