CN110086836A - 获取元数据的方法和装置 - Google Patents

获取元数据的方法和装置 Download PDF

Info

Publication number
CN110086836A
CN110086836A CN201810073482.1A CN201810073482A CN110086836A CN 110086836 A CN110086836 A CN 110086836A CN 201810073482 A CN201810073482 A CN 201810073482A CN 110086836 A CN110086836 A CN 110086836A
Authority
CN
China
Prior art keywords
file
style
metadata
nas device
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810073482.1A
Other languages
English (en)
Other versions
CN110086836B (zh
Inventor
马草飞
李学锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810073482.1A priority Critical patent/CN110086836B/zh
Priority to CN202011371170.2A priority patent/CN112511627B/zh
Publication of CN110086836A publication Critical patent/CN110086836A/zh
Application granted granted Critical
Publication of CN110086836B publication Critical patent/CN110086836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827Management specifically adapted to NAS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本申请提供了一种获取元数据的方法和装置,本申请实施例的目标NAS设备可以分别通过目标NAS设备中设置的第一客户端和第二客户端,从源NAS设备中获取第一元数据和第二元数据,也就是说,基于两种不同的网络共享协议从源NAS设备中获取第一元数据和第二元数据,避免了现有技术中,在从源NAS设备中迁移元数据的过程中过于依赖于源NAS设备,有利于降低在迁移元数据的过程对源NAS设备的依赖性,扩大适用本申请实施例的文件迁移的场景。

Description

获取元数据的方法和装置
技术领域
本申请涉及存储领域,并且更具体地,涉及获取元数据的方法和装置。
背景技术
网络附属存储(Network Attached Storage,NAS)可以理解为连接到计算机网络的计算机数据存储。NAS设备通常能够支持多种网络共享协议,例如,服务器信息块(ServerMessage Block,SMB)协议或网络文件系统(Network File System,NFS)协议,具体而言,操作系统为Windows的应用服务器可以通过SMB协议访问NAS设备,操作系统为Unix的应用服务器可以通过NFS协议访问该NAS设备。也就是说,NAS设备中通常存储有基于不同操作系统的应用服务器存储的文件,由于不同操作系统在用户管理和文件管理等方面存在差异,导致基于不同操作系统的生成的文件有不同文件风格,例如,Windows的操作系统中的文件的文件风格为Windows文件风格,Unix的操作系统中的文件的文件风格为Unix文件风格,而不同文件风格的文件中元数据的格式或语义存在一定差异。
在将待迁移的文件从源NAS设备迁移至目标NAS设备的过程中,为了保证不同文件风格的文件中的元数据被正确识别,现有技术引入了网络数据管理协议(Network DataManagement Protocol,NDMP)协议,也就是说,通过NDMP协议,将源NAS设备中不同文件风格的文件中的元数据迁移至目标NAS设备中。
上述这种基于NDMP协议迁移文件的方法,需要源NAS设备和目标NAS设备同时支持基于NDMP协议进行数据迁移,无法适用于源NAS设备或目标NAS设备不支持NDMP协议的情况。然而,数据迁移通常发生在源NAS设备使用时间较久的情况下,而早期的源NAS设备可能并不支持基于NDMP协议进行数据迁移,因此,这种基于NDMP协议迁移文件的方法对源NAS设备的要求较高。
发明内容
本申请提供一种存储元数据的方法和装置,在保证不同文件风格的文件中的元数据被正确识别的情况下,适用于大多数文件迁移的场景。
为了便于区分,下文中将第一文件风格的文件的元数据用“第一元数据”表示,将第二文件风格的元数据用“第二元数据”表示,即第一元数据可以支持通过第一网络共享协议进行传输,第二元数据可以支持通过第二网络共享协议进行传输。也就是说,“第一元数据”和“第二元数据”可以理解为源NAS设备中存储的两类元数据。
第一方面,提供了一种获取元数据的方法,所述方法应用于目标网络附属存储NAS设备,所述目标NAS设备设置有第一客户端和第二客户端,所述第一客户端支持所述目标NAS设备通过第一网络文件共享协议传输数据,所述第二客户端支持所述目标NAS设备通过第二网络文件共享协议传输数据,所述方法包括:所述目标NAS设备通过所述第一客户端从源NAS设备中获取第一元数据,并将所述第一元数据存储至所述目标NAS设备中,或者说将第一元数据存储至目标NAS设备的存储介质中,所述第一元数据支持通过所述第一网络文件共享协议传输;所述目标NAS设备通过所述第二客户端从所述源NAS设备中获取第二元数据,并将所述第二元数据存储至所述目标NAS设备中,或者说,将第二元数据存储至目标NAS设备的存储介质中,所述第二元数据支持通过所述第二网络文件共享协议传输。
在本申请实施例中,目标NAS设备可以分别通过目标NAS设备中设置的第一客户端和第二客户端,从源NAS设备中获取第一元数据和第二元数据,也就是说,基于两种不同的网络共享协议从源NAS设备中获取第一元数据和第二元数据,避免了现有技术中,在从源NAS设备中迁移元数据的过程中过于依赖于源NAS设备,有利于降低在迁移元数据的过程对源NAS设备的依赖性,扩大适用本申请实施例的文件迁移的场景。
可选地,上述第一客户端为NFSv4客户端时,第一网络共享协议为NFS协议,第一元数据为Unix文件风格或Linux文件风格的文件的元数据。上述第二客户端为SMB客户端时,第二网络共享协议为SMB协议,第二元数据为Windows文件风格的文件的元数据。上述第二客户端还可以是CIFS客户端,第二网络共享协议为CIFS协议,第二元数据为Windows文件风格的文件的元数据。
结合第一方面,在一种可能的实现方式中,所述目标NAS设备通过所述第一客户端从所述源NAS设备中获取第一元数据,并将所述第一元数据存储至所述目标NAS设备中,包括:所述目标NAS设备通过所述第一客户端从所述源NAS设备中获取元数据集合,并将所述元数据集合存储至所述目标NAS设备中,所述元数据集合包括所述第一元数据和所述第二元数据;在所述目标NAS设备通过所述第二客户端从所述源NAS设备中获取第二元数据之前,所述方法还包括:所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格;所述目标NAS设备根据所述目标文件的文件风格,确定所述目标文件的元数据为所述第一元数据或所述第二元数据,其中,所述文件风格包括第一文件风格和第二文件风格,属于所述第一文件风格的文件的元数据属于所述第一元数据,属于所述第二文件风格的文件的元数据属于所述第二元数据。
换句话说,所述目标NAS设备通过所述第一客户端从所述源NAS设备中获取元数据集合,并将所述元数据集合存储至所述目标NAS设备的存储介质中,所述元数据集合包括支持通过所述第一网络文件共享协议传输的第一元数据,和支持通过所述第二网络文件共享协议传输的第二元数据;所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格,所述文件风格包括第一文件风格和第二文件风格,所述第一文件风格的文件的元数据为所述第一元数据,所述第二文件风格的文件的元数据为所述第二元数据;若所述目标文件的文件风格为所述第二文件风格,则所述目标文件的元数据属于所述第二元数据,所述目标NAS设备通过所述第二客户端从所述源NAS设备中重新获取所述目标文件的元数据,并将所述目标文件的元数据存储至所述目标NAS设备的存储介质中。
需要说明的是,上述实施例中仅仅介绍了目标NAS设备从源NAS设备中获取元数据的方法,在目标NAS设备从源NAS设备迁移数据的过程中,除了迁移源NAS设备中存储的文件的元数据之外,还需要从源NAS设备中迁移文件,由于文件本身可以同时支持两种网络共享协议进行传输,也就是说,可以使用上述两种网络共享协议中的任一种网络共享协议迁移文件本身,因此,在本申请实施例中目标NAS设备可以使用第一客户端将文件与元数据集合一起从源NAS设备中迁移出来。
在本申请实施例中,通过第一客户端迁移源NAS设备中的全部的文件及文件的元数据,有利于提高迁移文件及文件的元数据的效率,例如,由于源NAS设备中的全部的文件及文件的元数据都通过第一客户端进行迁移,此时无需判断文件的文件风格,可以通过批量IO请求,迁移大量的文件及文件的元数据,有利于减少迁移文件以及文件的元数据的过程中的读写请求数量。
结合第一方面,在一种可能的实现方式中,在所述目标NAS设备通过所述第一客户端从所述源NAS设备中获取第一元数据之前,所述方法包括:所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格;所述目标NAS设备根据所述目标文件的文件风格,确定所述目标文件的元数据为所述第一元数据或所述第二元数据,其中,所述文件风格包括第一文件风格和第二文件风格,属于所述第一文件风格的文件的元数据属于所述第一元数据,属于所述第二文件风格的文件的元数据属于所述第二元数据。
需要说明的是,上述实施例中仅仅介绍了目标NAS设备从源NAS设备中获取元数据的方法,在目标NAS设备从源NAS设备迁移数据的过程中,除了迁移源NAS设备中存储的文件的元数据之外,还需要从源NAS设备中迁移文件,由于文件本身可以同时支持两种网络共享协议进行传输,也就是说,可以使用上述两种网络共享协议中的任一种网络共享协议迁移文件本身,因此,在本申请实施例中目标NAS设备可以使用第一客户端或者第二客户端迁移文件。
还应理解,在本申请实施例中,迁移文件的过程可以和上述迁移文件的元数据的方法同时进行,也就是说,目标NAS设备可以逐个判断待迁移的文件的文件风格,逐个迁移文件以及文件的元数据。目标NAS设备还可以在执行上述迁移元数据的方法之前,执行迁移文件的过程,也就是说,先将文件通过第一客户端和第二客户端中的任意一个客户端,从源NAS设备中迁移至目标NAS设备中,再逐个文件判断文件的文件风格,并对文件的元数据进行迁移。目标NAS设备还可以在执行上述迁移元数据的方法之后,执行迁移文件的过程,也就是说,先逐个文件判断文件的文件风格,并对文件的元数据进行迁移,再将文件通过第一客户端和第二客户端中的任意一个客户端,从源NAS设备中迁移至目标NAS设备中。
在本申请实施例中,先对目标文件的文件风格进行判断,以确定迁移目标元数据使用的客户端,相对于上述先通过第一客户端或第二客户端迁移全部文件的方法而言,避免了由于第一次迁移的部分元数据目标NAS设备无法识别,进行二次迁移的过程,有利于减少迁移文件及文件的元数据过程中产生的额外的数据量。
结合第一方面,在一种可能的实现方式中,上述第一文件风格可以为Unix文件风格,第二文件风格可以为Windows文件风格,或者,上述第二文件风格可以为Unix文件风格,第一文件风格可以为Windows文件风格。
结合第一方面,在一种可能的实现方式中,满足第一预设条件中的任一条的目标文件的文件风格为所述第一文件风格,所述第一预设条件包括下列条件中的任一条:所述目标文件的第一访问控制列表ACL中包含的访问控制权限的类型为第一类型,所述第一ACL为支持通过所述第一网络共享协议传输,所述第一类型的访问控制权限为所述第一文件风格的文件;所述目标文件没有第二ACL,所述第二ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第一用户类型,所述第一用户类型的所有者通过所述第一网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第一用户类型。
具体地,上述第一文件风格为Unix文件风格,或Linux文件风格时,上述第一ACL可以是NFSv4ACL,上述第二文件风格为Windows文件风格时,上述第二ACL可以是MicrosoftWindows新技术(New Technology,NT)ACL。
需要说明的是,目标NAS设备在基于上述第一预设条件判断第一文件风格的文件,可以将不符合上述第一预设条件的文件的文件风格判断为第二文件风格。
结合第一方面,在一种可能的实现方式中,满足第二预设条件中至少一条的目标文件的文件风格为所述第二文件风格,所述第二预设条件包括下列条件中的至少一条:所述目标文件的所述第一ACL中包含的访问控制权限的类型为第二类型,所述第二类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第二ACL;所述目标文件的所有者的类型为第二用户类型,所述第二用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第二用户类型。
在本申请实施例中,目标NAS设备在基于第一预设条件确定目标文件的文件风格不为第一文件风格时,目标NAS设备还可以基于第二预设条件再次确定目标文件的文件风格是否为第二文件风格,有利于提高目标NAS设备判断目标文件的文件风格的准确性。
需要说明的是,本申请实施例对于上述目标NAS设备基于第一预设条件和第二预设条件确定文件的文件风格,在时间上不做限定,即目标NAS设备可以先基于第一预设条件确定文件的文件风格,再基于第二预设条件确定文件的文件风格;或者目标NAS设备可以先基于第二预设条件确定文件的文件风格,再基于第一预设条件确定文件的文件风格;又或者目标NAS设备同时基于第一预设条件和第二预设条件确定文件的文件风格。
结合第一方面,在一种可能的实现方式中,所述第二文件风格为Windows文件风格,满足第三预设条件中至少一条的目标文件的文件风格为所述第二文件风格,所述第三预设条件包括下列条件中的至少一条:所述目标文件的第三ACL中包含的访问控制权限的类型为第三类型,所述第三ACL为支持通过所述第一网络共享协议传输,所述第三类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第四ACL,所述第四ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第三用户类型,所述第三用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第三ACL中用户的用户类型为所述第三用户类型。
具体地,上述第一文件风格为Unix文件风格,或Linux文件风格时,上述第一ACL可以是NFS支持的ACL,例如,NFSv4ACL,上述第二文件风格为Windows文件风格时,上述第二ACL可以是Microsoft Windows(New Technology,NT)ACL。
需要说明的是,目标NAS设备在基于上述第三预设条件判断文件的文件风格是否属于第二文件风格时,可以将不符合上述第三预设条件的文件的文件风格判断为第一文件风格。
结合第一方面,在一种可能的实现方式中,所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格,包括:所述目标NAS设备获取所述目标文件的文件后缀名;所述目标NAS设备根据所述目标文件的文件后缀名,以及文件后缀名与文件风格的映射关系,确定所述目标文件的文件风格。
在本申请实施例中,可以通过目标文件的后缀名直接确定目标文件的文件类型,有利于提高确定文件类型的效率。
结合第一方面,在一种可能的实现方式中,所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格,包括:所述目标NAS设备通过应用程序编程接口API从所述源NAS设备中获取所述目标文件的文件风格。
在本申请实施例中,可以通过应用程序编程接口API从所述源NAS设备中获取所述目标文件的文件风格,有利于简化确定文件类型的流程。
结合第一方面,在一种可能的实现方式中,若所述目标文件的文件风格为所述第一文件风格,所述方法还包括:所述目标NAS设备确定所述源NAS设备中除所述目标文件之外的其他文件的所述文件风格。
第二方面,提供了一种获取元数据的装置,所述装置包括用于执行上述方法的各个模块。
第三方面,提供了一种获取元数据的装置,所述装置具有实现上述方法的功能。这些功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。
第四方面,提供了一种NAS设备,包括输入输出接口、处理器、第一存储器和第二存储器。该处理器用于控制输入输出接口收发信号,该第一存储器用于存储计算机程序,该处理器用于从存储器中调用并运行该计算机程序,使得该装置执行上述第一方面的方法。该输入输出接口可以用于接收所述第一元数据和所述第二元数据。该第二存储器可以用于存储前述的第一元数据和第二元数据。
第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述各方面中的方法。
第六方面,提供了一种计算机可读介质,所述计算机可读介质存储有程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述各方面中的方法。
第七方面,提供了一种芯片系统,该芯片系统包括处理器,用于终端设备实现上述方面中所涉及的功能,例如,生成,接收,发送,或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存迁移元数据的装置中必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1是本申请实施例的适用的迁移文件的场景的示意性框图。
图2是本申请实施例的目标NAS设备的内部结构的示意性框图。
图3是本申请实施例的获取元数据的方法的示意性流程图。
图4是本申请实施例的获取元数据的装置的示意性框图。
图5是本申请另一实施例的目标NAS设备的示意性框图。
具体实施方式
传统的文件迁移的方法中,为了可以正确识别源NAS设备中存储的不同文件风格的文件的元数据,引入了NDMP协议,通过NDMP协议,将源NAS设备中不同文件风格的文件以及文件的元数据迁移至目标NAS设备中。这种迁移文件的方法需要源NAS设备和目标NAS设备同时支持基于NDMP协议传输文件。其中,NAS设备包括控制部分和存储介质部分。NAS设备的形态例如可以是计算机、服务器,或者NAS控制器和存储介质的组合。
然而,数据迁移通常发生在源NAS使用时间较久的情况下,早期的NAS设备可能并不支持基于NDMP协议进行数据迁移,因此,实现基于NDMP协议迁移文件的方法,需要依赖于源NAS设备支持NDMP协议。
为了降低文件迁移的方法对源NAS设备的依赖性,本申请实施例提供了一种获取元数据的方法和装置,通过改进用于存储待迁移的文件以及文件的元数据的目标NAS设备,使得本申请实施例的方法能够在保证不同文件风格的文件的元数据被正确识别的情况下,适用于大多数数据迁移的场景。
下面将结合附图,对本申请中的技术方案进行描述。
图1是本申请实施例的适用的迁移文件的场景的示意性框图。图1所示的场景包括源NAS设备110和目标NAS设备120。
源NAS设备110,用于存储第一应用服务器通过第一网络共享协议存储至目标NAS设备中的第一文件以及第一文件的元数据,还用于存储第二应用服务器通过第二网络共享协议存储至目标NAS设备中的第二文件以及第二文件的元数据。
具体地,上述第一网络共享协议与第二网络共享协议不同,上述第一网络共享协议可以是NFS协议,上述第二网络共享协议可以是通用网络文件系统(Common InternetFile System,CIFS)协议或SMB协议。
由于运行的Unix操作系统或者Linux操作系统的应用服务器,可以通过NFS协议将第一文件存储至源NAS设备,第一文件的文件风格为Unix文件风格或Linux文件风格。运行Windows操作系统的应用服务器,可以通过CIFS或SMB协议将第二文件存储至源NAS设备中,第二文件的文件风格为Windows风格。
其中,第一文件风格的文件的元数据和第二文件风格的文件的元数据中部分元数据具有不同的格式或语义。例如,文件的元数据为文件的操作权限时,Windows文件风格的文件可以具有只读、归档、隐藏、系统、临时等访问控制权限;Unix文件风格的文件可以具有只读、写、执行等访问控制权限。文件的元数据为描述文件的属性信息时,Windows文件风格的文件具有供选数据流(alternate data stream,ADS)信息等;Unix文件风格的文件可以具有文件系统扩展属性xattr属性。文件的元数据为文件的访问控制权限时,Windows文件风格的文件的用户、用户组以安全标示符SID的形式描述,例如WinUserA:S-1-5-21-1683771068-12213551888-624655398-1001,并且Windows文件风格的文件的访问控制权限以访问控制列表(Access Control List,ACL)NT ACL的形式描述,例如:allow-everyone-fullcontrol-inherit-file/folder;Unix文件风格的文件,用户、用户组分别以用户ID(User ID,UID)、用户组标识(Group ID,GID)的形式描述,例如LinuxUserA:uid:10;gid:10,Unix文件风格的文件的访问控制权限以(User,Group,Other,UGO)权限、Posix ACL、NFSv4ACL的形式描述。
目标NAS设备120,用于存储从源NAS设备中迁移的文件,以及文件的元数据。
具体地,在本申请实施例中,目标NAS设备上可以设置有两个客户端,第一客户端和第二客户端,其中第一客户端可以支持目标NAS设备通过第一网络共享协议与源NAS设备进行数据传输,第二客户端可以支持目标NAS设备通过第二网络共享协议与源NAS设备进行数据传输。例如,第一客户端可以是NFS客户端,支持目标NAS设备通过NFS协议传输数据;第二客户端可以是SMB客户端,支持目标NAS设备通过SMB协议传输数据;第二客户端还可以是CIFS客户端,支持目标NAS设备通过CIFS协议传输数据。
需要说明的是,上述第一客户端和第二客户端具体可以是为目标NAS设备提供本地服务的程序或者硬件接口,需要与源NAS设备中可以基于第一网络共享协议和第二网络共享协议进行数据传输的程序或硬件接口配合,实现目标NAS设备与源NAS设备之间基于第一网络共享协议和第二网络共享协议进行数据传输。
下文结合图2详细说明本申请实施例的目标NAS设备的内部结构。图2以第一客户端为NFSv4客户端,且第一文件风格为Unix文件风格,第二客户端为SMB客户端,第二文件风格为Windows文件风格为例进行说明。图2是本申请实施例的目标NAS设备的内部结构的示意性框图。图2所示的目标NAS设备200包括文件迁移控制模块210,文件风格判决模块220,处理模块230,NFSv4客户端240和SMB客户端250。
文件迁移控制模块210:用于在从源NAS设备到目标NAS设备的文件迁移过程中控制目标NAS设备200中的模块。例如,控制文件风格判决模块220和处理模块230等模块协同作用以完成文件迁移过程,指定迁移文件和元数据使用的客户端等。
文件风格判决模块220:用于根据源NAS设备中的文件的文件风格,确定迁移该文件的元数据使用的客户端。
例如,源NAS设备中的文件的文件风格为Unix文件风格,则可以通过NFSv4客户端迁移该文件的元数据;源NAS设备中的文件的文件风格为Window文件风格,则可以通过SMB客户端迁移该文件的元数据。
处理模块230:用于在迁移过程中,执行某些特定的命令,以满足特殊场景的诉求,比如在迁移文件时,可以执行SID映射(SID map)功能,将源NAS设备上的本地windows用户转换为目标NAS设备上的本地windows用户,从而确保用户访问控制权限在源NAS设备和目标NAS设备上的一致性。
NFSv4客户端240和SMB客户端250:用于迁移不同文件风格的文件的元数据。
需要说明的是,NAS设备中通常使用的通用接口Posix接口,为使得SMB客户端可以基于Posix接口Windows文件风格的文件的元数据,可以对SMB客户端进行改造,增加私有接口,以支持获取Windows文件风格的文件的元数据,例如NT ACL等。
下面基于图1和图2所示的本申请实施例的适用的场景和目标NAS设备的内部结构,详细说明本申请实施例的迁移元数据的方法。图3是本申请实施例的迁移元数据的方法的示意性流程图。图3所示的方法应用于目标网络附属存储NAS设备,所述目标NAS设备设置有第一客户端和第二客户端,所述第一客户端支持所述目标NAS设备通过第一网络文件共享协议传输数据,所述第二客户端支持所述目标NAS设备通过第二网络文件共享协议传输数据,具体包括步骤310和320。
310,所述目标NAS设备通过所述第一客户端从源NAS设备中获取第一元数据,并将所述第一元数据存储至所述目标NAS设备中,所述第一元数据支持通过所述第一网络文件共享协议传输。
也就是说,目标NAS设备通过第一客户端从源NAS设备中迁移第一元数据至目标NAS设备。
320,所述目标NAS设备通过所述第二客户端从所述源NAS设备中获取第二元数据,并将所述第二元数据存储至所述目标NAS设备中,所述第二元数据支持通过所述第二网络文件共享协议传输。
也就是说,目标NAS设备通过第二客户端从源NAS设备中迁移第二元数据至目标NAS设备。
应理解,上述第一网络共享协议与第二网络共享协议不同。
可选地,上述第一客户端为NFSv4客户端时,第一网络共享协议为NFS协议,第一元数据为Unix文件风格的文件的元数据。上述第二客户端为SMB客户端时,第二网络共享协议为SMB协议,第二元数据为Windows文件风格的文件的元数据。
可选地,图3所示的方法可以应用于两种不同的迁移文件的方法流程中,下文结合两种不同的迁移文件的方法流程对本申请实施例的迁移元数据的方法进行描述。
迁移文件的方法流程一:通过第一客户端将源NAS设备中待迁移的文件以及文件的元数据迁移至目标NAS设备中,由于源NAS设备中存储有第二元数据,而通过第一客户端迁移第二元数据的过程中,会丢失部分第二元数据指示的信息,造成信息失真,因此,需要再通过第二客户端将源NAS设备中的第二元数据迁移至源NAS设备中,以覆盖目标NAS设备中可能失真的第二元数据。
具体地,步骤310,包括:所述目标NAS设备通过所述第一客户端从所述源NAS设备中获取元数据集合,并将所述元数据集合存储至所述目标NAS设备中,所述元数据集合包括所述第一元数据和所述第二元数据;在所述目标NAS设备通过所述第二客户端从所述源NAS设备中获取第二元数据之前,所述方法还包括:所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格;所述目标NAS设备根据所述目标文件的文件风格,确定所述目标文件的元数据为所述第一元数据或所述第二元数据,其中,所述文件风格包括第一文件风格和第二文件风格,属于所述第一文件风格的文件包含的元数据为所述第一元数据,属于所述第二文件风格的文件包含的元数据为所述第二元数据。
应理解,上述第一文件风格可以为Unix文件风格,第二文件风格可以为Windows文件风格,或者,上述第二文件风格可以为Unix文件风格,第一文件风格可以为Windows文件风格。
在本申请实施例中,通过第一客户端迁移源NAS设备中的全部的文件及文件的元数据,有利于提高迁移文件及文件的元数据的效率,例如,由于源NAS设备中的全部的文件及文件的元数据都通过第一客户端进行迁移,此时无需判断文件的文件风格,可以通过批量IO请求,迁移大量的文件及文件的元数据,有利于减少迁移文件以及文件的元数据的过程中的读写请求数量。
迁移文件的方法流程二:先根据待迁移的目标元数据所属的目标文件的文件风格,确定迁移目标元数据的客户端。
具体地,在所述目标NAS设备通过所述第一客户端从所述源NAS设备中获取第一元数据之前,所述方法包括:所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格;所述目标NAS设备根据所述目标文件的文件风格,确定所述目标文件的元数据为所述第一元数据或所述第二元数据,其中,所述文件风格包括第一文件风格和第二文件风格,属于所述第一文件风格的文件包含的元数据为所述第一元数据,属于所述第二文件风格的文件包含的元数据为所述第二元数据。
应理解,上述第一文件风格可以为Unix文件风格,第二文件风格可以为Windows文件风格,或者,上述第二文件风格可以为Unix文件风格,第一文件风格可以为Windows文件风格。
具体地,上述第一文件风格为Unix文件风格时,第一文件风格的元数据为第一元数据,则第一元数据可以通过NFS客户端进行迁移;上述第二文件风格为Windows文件风格时,第二文件风格的元数据为第二元数据,则第二元数据可以通过NFS客户端进行迁移。
需要说明的是,方法流程二中仅仅描述了迁移文件的元数据的过程,至于迁移文件的方法可以基于传统的迁移文件的方法进行迁移。
还应理解,上述迁移文件的方法可以发生在迁移上述文件的元数据的方法之前,还可以发生在迁移上述文件的元数据的方法之后,还可以与迁移上述文件的元数据的方法同时执行,本申请实施例对此不做限定。
在本申请实施例中,先对目标文件的文件风格进行判断,以确定迁移目标元数据使用的客户端,相对于上述迁移文件的方法流程一而言,避免了迁移目标NAS设备无法识别的元数据的过程,有利于减少迁移文件及文件的元数据过程中的数据量。
上文重点介绍了从源NAS设备中迁移元数据的方法,下文基于上文介绍的方法重点介绍如何获取目标元数据所属的目标文件的文件风格。
获取目标文件的文件风格的方式一:根据目标文件的后缀名确定目标文件的文件风格。
具体地,所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格,包括:所述目标NAS设备获取所述目标文件的文件后缀名;所述目标NAS设备根据所述目标文件的文件后缀名,以及文件后缀名与文件风格的映射关系,确定所述目标文件的文件风格。例如,文件的后缀名为docx、pptx以及excl的文件的文件风格为Windows文件风格。
需要说明的是,若上述目标文件已经迁移至目标NAS设备,则上述目标文件的后缀名可以直接从目标NAS设备中获取,若上述目标文件未迁移至目标NAS设备,则上述目标文件的后缀名可以从源NAS设备中获取。
获取目标文件的文件风格的方式二:通过应用程序编程接口(ApplicationProgramming Interface,API)接口直接访问源NAS设备,获取目标文件的文件风格。
也就是说,所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格,包括:所述目标NAS设备通过应用程序编程接口API从所述源NAS设备中获取所述目标文件的文件风格。
具体地,源NAS设备如果提供了获取文件内部属性信息的API接口,则可以通过该API接口直接获取文件的文件类型。
获取目标文件的文件风格的方式三:根据ACL中记录的文件的访问控制类型确定目标文件的文件类型。
也就是说,所述目标NAS设备通过所述第一客户端查询所述目标文件的第一访问控制列表ACL,确定所述第一ACL中包含的访问控制权限的类型,所述第一ACL为所述第一网络文件共享协议定义的ACL;所述目标NAS设备根据所述第一ACL中包含的访问控制权限的类型,确定所述目标文件的风格,所述访问控制权限的类型包括第一类型和第二类型,所述第一类型的访问控制权限用于指示所述目标文件的文件风格为所述第一文件风格,所述第一类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格。
具体地,不同文件风格的文件中的访问控制列表中记录的访问控制权限的种类可能不同,因此可以通过文件中的访问控制列表中记录的访问控制权限的种类,确定文件的文件风格。例如,文件的元数据为文件的操作权限时,Windows文件风格的文件可以具有只读、归档、隐藏、系统、临时等访问控制权限;Unix文件风格的文件可以具有只读、只写、执行等访问控制权限。
需要说明的是,从上述Windows文件风格的文件支持的访问控制权限的种类,和Unix文件风格的文件支持的访问控制权限的种类可以看出,如果文件的访问控制类型为Windows文件风格的文件支持的访问控制权限的种类和Unix文件风格的文件支持的访问控制权限的种类的交集时,例如,文件的访问控制权限为只读,可能没办法判断文件的文件风格,因此,在这种情况下可以通过其他方式获取目标文件的文件风格。
应理解,上述第一ACL可以是NFS网络共享协议中定义的访问控制列表,例如NFSv4ACL。
获取目标文件的文件风格的方式四:通过目标文件的所有者的用户类型确定目标文件的文件风格。
具体地,所述目标NAS设备确定待迁移的元数据所属的目标文件的文件风格,包括:所述目标NAS设备通过所述第二客户端查询所述目标文件的所有者的类型;所述目标NAS设备根据所述目标文件的所有者的类型,确定所述目标文件的风格,所述目标文件的所有者的类型包括第一用户类型和第二用户类型,所述第一用户类型的所有者用于指示所述目标文件的文件风格为所述第一文件风格,所述第二用户类型的所有者用于指示所述目标文件的文件风格为所述第二文件风格。
需要说明的是,上述用户类型可以包括Windows用户和Unix用户,文件的所有者为Unix用户时,可以确定文件的文件风格为Unix风格,文件的所有者为Windows用户时,可以确定文件的文件风格为Windows风格。
还应理解,上述文件的所有者可以指创建文件的用户。
还应理解,文件的所有者为Windows用户时,可以确定文件的文件风格为Windows风格的判断方式并不准确,因为在本次迁移文件之前的迁移文件的历史过程中,当文件从运行Unix操作系统的设备迁移至运行Windows操作系统的设备时,为了Windows的设备辨认Windows用户,源NAS设备可以通过跨协议用户映射配置将该文件的所有者从Unix用户映射为Windows用户,因此,上述判断文件风格的方式可以作为粗略判断文件的文件风格的方式。
获取目标文件的文件风格的方式五:根据能够通过第二客户端查询到第二ACL确定文件的文件类型。
具体地,所述目标NAS设备确定待迁移的元数据所属的目标文件的文件风格,包括:所述目标NAS设备通过所述第二客户端查询所述目标文件的第二访问控制列表ACL,确定所述第二ACL中包含的用户的类型,若所述目标文件有第二ACL,可以确定目标文件的文件风格可能为第二文件风格,若所述目标文件没有第二ACL,可以确定目标文件的文件风格为第一文件风格。
例如,第二客户端为SMB客户端,第二ACL为NT ACL,目标NAS设备通过SMB客户端查询目标文件的NT ACL,若目标文件有NT ACL,则目标文件的文件风格可能为Windows文件风格,若目标文件没有NT ACL,则目标文件的文件风格为Unix文件风格。
需要说明的是,通常为了使得文件可以支持跨协议访问,会为Unix文件风格的文件配置NT ACL,因此上述若目标文件有NT ACL,则目标文件的文件风格可能为Windows文件风格的判断条件并不准确。
获取目标文件的文件风格的方式六:通过第二ACL中记录的文件的用户的用户类型确定文件的文件类型。
具体地,所述目标NAS设备确定待迁移的元数据所属的目标文件的文件风格,包括:所述目标NAS设备通过所述第二客户端查询所述目标文件的第二访问控制列表ACL,确定所述第二ACL中包含的用户的类型,所述第二ACL为所述第二网络文件共享协议定义的ACL;所述目标NAS设备根据所述第二ACL中包含的用户的类型,确定所述目标文件的风格,所述用户的类型包括第一用户类型和第二用户类型,所述第二ACL中包含所述第一用户类型的用户用于指示所述目标文件的文件风格为所述第一文件风格,所述第二ACL中包含所述第一类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格。
具体地,上述第二访问控制权限可以为NT ACL。
应理解,上述文件的用户可以指第二ACL中记录的能够访问文件的全部用户。
需要说明的是,上述用户类型可以包括Windows用户和Unix用户,第二ACL中记录的文件的用户为Unix用户时,可以确定文件的文件风格为Unix风格,第二ACL中记录的文件的所有者为Windows用户时,可以确定文件的文件风格为Windows风格。
还应理解,文件的用户为Windows用户时,可以确定文件的文件风格为Windows风格的判断方式并不准确,因为在本次迁移文件之前的迁移文件的历史过程中,当文件从运行Unix操作系统的设备迁移至运行Windows操作系统的设备时,为了运行Windows的设备辨认Windows用户,可能会将该文件的用户从Unix用户映射为Windows用户,因此,上述判断文件风格的方式可以作为粗略判断文件的文件风格的方式。
由于上述获取目标文件的文件风格的方式三至获取目标文件的文件风格的方式六中的部分判断条件,在特定情况下,判断目标文件的文件风格不太准确,因此,我们可以结合上述获取目标文件的文件风格的方式三至获取目标文件的文件风格的方式六综合判断目标文件的文件风格。
具体地,所述目标NAS设备基于第一预设条件和第二预设条件,确定所述目标文件的文件风格,其中,满足所述第一预设条件的目标文件的文件风格为所述第一文件风格,满足所述第二预设条件的目标文件的文件风格为所述第二文件风格,所述第一预设条件包括下列条件中的任一条:所述目标文件的第一访问控制列表ACL中包含的访问控制权限的类型为第一类型,所述第一ACL为支持通过所述第一网络共享协议传输,所述第一类型的访问控制权限用于指示所述目标文件的文件风格为所述第一文件风格;所述目标文件没有第二ACL,所述第二ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第一用户类型,所述第一用户类型的所有者通过所述第一网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第一用户类型;
所述第二预设条件包括下列条件中的全部条件:所述目标文件的所述第一ACL中包含的访问控制权限的类型为第二类型,所述第二类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第二ACL;所述目标文件的所有者的类型为第二用户类型,所述第二用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第二用户类型。
需要说明的是,本申请实施例对上述第二预设条件包括的全部条件的判断顺序和判断优先级不做具体限定。
上文结合图1至图3详细的介绍了本申请实施例的迁移元数据的方法,下文结合图4和图5介绍本申请实施例的迁移元数据的装置。应理解,图4和图5所示的装置可以实现上述方法中各个步骤,为了简洁,在此不再赘述。
图4是本申请实施例的获取元数据的装置的示意性框图,所述装置400设置在目标网络附属存储NAS设备中,所述目标NAS设备设置有第一客户端和第二客户端,所述第一客户端支持所述目标NAS设备通过第一网络文件共享协议传输数据,所述第二客户端支持所述目标NAS设备通过第二网络文件共享协议传输数据,图4所示的装置400包括处理模块410、输入/输出模块420、第一客户端和第二客户端之间耦合执行图3所示的上述方法。
处理模块410,用于通过所述第一客户端从源NAS设备中获取第一元数据,并将所述第一元数据存储至所述目标NAS设备中,所述第一元数据支持通过所述第一网络文件共享协议传输;
所述处理模块410,用于通过所述第二客户端从所述源NAS设备中获取第二元数据,并将所述第二元数据存储至所述目标NAS设备中,所述第二元数据支持通过所述第二网络文件共享协议传输。
可选地,作为一个实施例,所述处理模块还用于:通过所述第一客户端从所述源NAS设备中获取元数据集合,并将所述元数据集合存储至所述目标NAS设备中,所述元数据集合包括所述第一元数据和所述第二元数据;确定所述源NAS设备中存储的目标文件的文件风格;根据所述目标文件的文件风格,确定所述目标文件的元数据为所述第一元数据或所述第二元数据,其中,所述文件风格包括第一文件风格和第二文件风格,属于所述第一文件风格的文件包含的元数据为所述第一元数据,属于所述第二文件风格的文件包含的元数据为所述第二元数据。
可选地,作为一个实施例,所述处理模块还用于:确定所述源NAS设备中存储的目标文件的文件风格;根据所述目标文件的文件风格,确定所述目标文件的元数据为所述第一元数据或所述第二元数据,其中,所述文件风格包括第一文件风格和第二文件风格,属于所述第一文件风格的文件包含的元数据为所述第一元数据,属于所述第二文件风格的文件包含的元数据为所述第二元数据。
可选地,作为一个实施例,所述处理模块还用于:基于第一预设条件和第二预设条件,确定所述目标文件的文件风格,其中,满足所述第一预设条件的目标文件的文件风格为所述第一文件风格,满足所述第二预设条件的目标文件的文件风格为所述第二文件风格,所述第一预设条件包括下列条件中的任一条:所述目标文件的第一访问控制列表ACL中包含的访问控制权限的类型为第一类型,所述第一ACL为支持通过所述第一网络共享协议传输,所述第一类型的访问控制权限用于指示所述目标文件的文件风格为所述第一文件风格;所述目标文件没有第二ACL,所述第二ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第一用户类型,所述第一用户类型的所有者通过所述第一网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第一用户类型;所述第二预设条件包括下列条件中的至少一条:所述目标文件的所述第一ACL中包含的访问控制权限的类型为第二类型,所述第二类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第二ACL;所述目标文件的所有者的类型为第二用户类型,所述第二用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第二用户类型。
可选地,作为一个实施例,满足第一预设条件中的任一条的目标文件的文件风格为所述第一文件风格,所述第一预设条件包括下列条件中的任一条:所述目标文件的第一访问控制列表ACL中包含的访问控制权限的类型为第一类型,所述第一ACL为支持通过所述第一网络共享协议传输,所述第一类型的访问控制权限为所述第一文件风格的文件;所述目标文件没有第二ACL,所述第二ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第一用户类型,所述第一用户类型的所有者通过所述第一网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第一用户类型。
可选地,作为一个实施例,所述第二文件风格为Windows文件风格,满足第二预设条件中至少一条的目标文件的文件风格为所述第二文件风格,所述第二预设条件包括下列条件中的至少一条:所述目标文件的所述第一ACL中包含的访问控制权限的类型为第二类型,所述第二类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第二ACL;所述目标文件的所有者的类型为第二用户类型,所述第二用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第二用户类型。
可选地,作为一个实施例,所述第二文件风格为Windows文件风格,满足第三预设条件中至少一条的目标文件的文件风格为所述第二文件风格,所述第三预设条件包括下列条件中的至少一条:所述目标文件的第三ACL中包含的访问控制权限的类型为第三类型,所述第三ACL为支持通过所述第一网络共享协议传输,所述第三类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第四ACL,所述第四ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第三用户类型,所述第三用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第三ACL中用户的用户类型为所述第三用户类型。
可选地,作为一个实施例,若所述目标文件的文件风格为所述第一文件风格,所述处理模块还用于,确定所述源NAS设备中除所述目标文件之外的其他文件的所述文件风格。
在可选地实施例中,上述处理模块410的作用可以为目标NAS设备中的处理器510,上述输入输出模块420可以为输入/输出接口530,目标NAS设备500还包括:存储器520、具体如图5所示。
图5是本申请另一实施例的目标NAS设备的示意性框图。图5所示的装置500可以包括:存储器510、处理器520和输入/输出接口530。其中,存储器510、处理器520和输入/输出接口530通过内部连接通路相连,该存储器510用于存储程序指令,该处理器520用于执行该存储器520存储的程序指令,以控制输入/输出接口530接收输入的数据和信息,输出操作结果等数据。
上述装置500具体地可以是NAS设备。存储器510可以包括第一存储器和第二存储器,该第一存储器用于存储计算机程序,第二存储器可以用于存储上述第一元数据和第二元数据。
应理解,在本申请实施例中,该处理器520可以采用通用的中央处理器(CentralProcessing Unit,CPU),微处理器,应用专用集成电路(Application SpecificIntegrated Circuit,ASIC),或者一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
该存储器510可以包括只读存储器和随机存取存储器,并向处理器520提供指令和数据。处理器520的一部分还可以包括非易失性随机存取存储器。例如,处理器520还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器520中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器510,处理器520读取存储器510中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应理解,本申请实施例中,该处理器可以为中央处理单元(central processingunit,CPU),该处理器还可以是其它通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应理解,在本申请实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据NAS设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(Digital Video Disc,DVD))或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种获取元数据的方法,其特征在于,所述方法应用于目标网络附属存储NAS设备,所述目标NAS设备设置有第一客户端和第二客户端,所述第一客户端支持所述目标NAS设备通过第一网络文件共享协议传输数据,所述第二客户端支持所述目标NAS设备通过第二网络文件共享协议传输数据,
所述方法包括:
所述目标NAS设备通过所述第一客户端从所述源NAS设备中获取元数据集合,并将所述元数据集合存储至所述目标NAS设备的存储介质中,所述元数据集合包括支持通过所述第一网络文件共享协议传输的第一元数据,和支持通过所述第二网络文件共享协议传输的第二元数据;
所述目标NAS设备确定所述源NAS设备中存储的目标文件的文件风格,所述文件风格包括第一文件风格和第二文件风格,所述第一文件风格的文件的元数据为所述第一元数据,所述第二文件风格的文件的元数据为所述第二元数据;
若所述目标文件的文件风格为所述第二文件风格,则所述目标文件的元数据属于所述第二元数据,所述目标NAS设备通过所述第二客户端从所述源NAS设备中重新获取所述目标文件的元数据,并将所述目标文件的元数据存储至所述目标NAS设备的存储介质中。
2.如权利要求1所述的方法,其特征在于,所述第一文件风格为Linux文件风格或Unix文件风格,满足第一预设条件中的任一条的目标文件的文件风格为所述第一文件风格,
所述第一预设条件包括下列条件中的任一条:所述目标文件的第一访问控制列表ACL中包含的访问控制权限的类型为第一类型,所述第一ACL为支持通过所述第一网络共享协议传输,所述第一类型的访问控制权限为所述第一文件风格的文件;所述目标文件没有第二ACL,所述第二ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第一用户类型,所述第一用户类型的所有者通过所述第一网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第一用户类型。
3.如权利要求2所述的方法,其特征在于,所述第二文件风格为Windows文件风格,满足第二预设条件中至少一条的目标文件的文件风格为所述第二文件风格,
所述第二预设条件包括下列条件中的至少一条:所述目标文件的所述第一ACL中包含的访问控制权限的类型为第二类型,所述第二类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第二ACL;所述目标文件的所有者的类型为第二用户类型,所述第二用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第二用户类型。
4.如权利要求1所述的方法,其特征在于,所述第二文件风格为Windows文件风格,满足第三预设条件中至少一条的目标文件的文件风格为所述第二文件风格,
所述第三预设条件包括下列条件中的至少一条:所述目标文件的第三ACL中包含的访问控制权限的类型为第三类型,所述第三ACL为支持通过所述第一网络共享协议传输,所述第三类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第四ACL,所述第四ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第三用户类型,所述第三用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第三ACL中用户的用户类型为所述第三用户类型。
5.如权利要求1-4中任一项所述的方法,其特征在于,若所述第一网络共享协议为网络文件系统NFS协议,所述第一文件风格为Unix文件风格或Linux文件风格,若所述第二网络共享协议为服务器信息块SMB协议或通用网络文件系统CIFS协议,所述第二文件风格为Windows文件风格;或者
若所述第一网络共享协议为服务器信息块SMB协议或通用网络文件系统CIFS协议,所述第一文件风格为Windows文件风格,且若所述第二网络共享协议为网络文件系统NFS协议,所述第二文件风格为Unix文件风格或Linux文件风格。
6.一种获取元数据的装置,其特征在于,所述装置应用于目标网络附属存储NAS设备,所述目标NAS设备设置有第一客户端和第二客户端,所述第一客户端支持所述目标NAS设备通过第一网络文件共享协议传输数据,所述第二客户端支持所述目标NAS设备通过第二网络文件共享协议传输数据,
所述装置用于:
通过所述第一客户端从所述源NAS设备中获取元数据集合,并将所述元数据集合存储至所述目标NAS设备的存储介质中,所述元数据集合包括支持通过所述第一网络文件共享协议传输的第一元数据和支持通过所述第二网络文件共享协议传输的第二元数据;
确定所述源NAS设备中存储的目标文件的文件风格,所述文件风格包括第一文件风格和第二文件风格,所述第一文件风格的文件的元数据为所述第一元数据,所述第二文件风格的文件的元数据为所述第二元数据;
若所述目标文件的文件风格为所述第二文件风格,则所述目标文件的元数据属于所述第二元数据,通过所述第二客户端从所述源NAS设备中重新获取所述目标文件的元数据,并将所述目标文件的元数据存储至所述目标NAS设备的存储介质中。
7.如权利要求6所述的装置,其特征在于,满足第一预设条件中的任一条的目标文件的文件风格为所述第一文件风格,
所述第一预设条件包括下列条件中的任一条:所述目标文件的第一访问控制列表ACL中包含的访问控制权限的类型为第一类型,所述第一ACL为支持通过所述第一网络共享协议传输,所述第一类型的访问控制权限为所述第一文件风格的文件;所述目标文件没有第二ACL,所述第二ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第一用户类型,所述第一用户类型的所有者通过所述第一网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第一用户类型。
8.如权利要求7所述的装置,其特征在于,所述第二文件风格为Windows文件风格,满足第二预设条件中至少一条的目标文件的文件风格为所述第二文件风格,
所述第二预设条件包括下列条件中的至少一条:所述目标文件的所述第一ACL中包含的访问控制权限的类型为第二类型,所述第二类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第二ACL;所述目标文件的所有者的类型为第二用户类型,所述第二用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第二ACL中用户的用户类型为所述第二用户类型。
9.如权利要求6所述的装置,其特征在于,所述第二文件风格为Windows文件风格,满足第三预设条件中至少一条的目标文件的文件风格为所述第二文件风格,
所述第三预设条件包括下列条件中的至少一条:所述目标文件的第三ACL中包含的访问控制权限的类型为第三类型,所述第三ACL为支持通过所述第一网络共享协议传输,所述第三类型的访问控制权限用于指示所述目标文件的文件风格为所述第二文件风格;所述目标文件有所述第四ACL,所述第四ACL为支持通过所述第二网络共享协议传输;所述目标文件的所有者的类型为第三用户类型,所述第三用户类型的所有者通过所述第二网络共享协议传输数据;所述目标文件的所述第三ACL中用户的用户类型为所述第三用户类型。
10.如权利要求6-9中任一项所述的装置,其特征在于,若所述第一网络共享协议为网络文件系统NFS协议,所述第一文件风格为Unix文件风格或Linux文件风格,若所述第二网络共享协议为服务器信息块SMB协议或通用网络文件系统CIFS协议,所述第二文件风格为Windows文件风格;或者
若所述第一网络共享协议为服务器信息块SMB协议或通用网络文件系统CIFS协议,所述第一文件风格为Windows文件风格,且若所述第二网络共享协议为网络文件系统NFS协议,所述第二文件风格为Unix文件风格或Linux文件风格。
11.一种网络附属存储NAS设备,其特征在于,所述NAS设备包括输入输出接口、处理器、第一存储器和第二存储器,所述处理器用于控制所述输入输出接口接收第一元数据和第二元数据,所述第一存储器用于存储计算机程序,所述处理器用于从存储器中调用并运行所述计算机程序,使得所述NAS设备执行如权利要求1-5中任一项的方法,所述第二存储器用于存储所述第一元数据和所述第二元数据。
CN201810073482.1A 2018-01-25 2018-01-25 获取元数据的方法和装置 Active CN110086836B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810073482.1A CN110086836B (zh) 2018-01-25 2018-01-25 获取元数据的方法和装置
CN202011371170.2A CN112511627B (zh) 2018-01-25 2018-01-25 迁移元数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810073482.1A CN110086836B (zh) 2018-01-25 2018-01-25 获取元数据的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011371170.2A Division CN112511627B (zh) 2018-01-25 2018-01-25 迁移元数据的方法和装置

Publications (2)

Publication Number Publication Date
CN110086836A true CN110086836A (zh) 2019-08-02
CN110086836B CN110086836B (zh) 2020-12-15

Family

ID=67411989

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011371170.2A Active CN112511627B (zh) 2018-01-25 2018-01-25 迁移元数据的方法和装置
CN201810073482.1A Active CN110086836B (zh) 2018-01-25 2018-01-25 获取元数据的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011371170.2A Active CN112511627B (zh) 2018-01-25 2018-01-25 迁移元数据的方法和装置

Country Status (1)

Country Link
CN (2) CN112511627B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422707A (zh) * 2021-06-18 2021-09-21 新华三技术有限公司 一种带内网络遥测方法及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721976B (zh) * 2021-07-31 2024-02-06 远光软件股份有限公司 基于bi分析软件的数据迁移方法、装置、存储介质及电子设备
CN117951080A (zh) * 2022-10-18 2024-04-30 华为技术有限公司 一种迁移文件系统的方法和相关设备
CN116567001B (zh) * 2023-05-16 2023-12-29 上海凯翔信息科技有限公司 一种基于云端nas的数据迁移系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1955965A (zh) * 2005-10-26 2007-05-02 国际商业机器公司 用于数据迁移的装置、系统和方法
US20080091681A1 (en) * 2006-10-12 2008-04-17 Saket Dwivedi Architecture for unified threat management
CN101388817A (zh) * 2008-10-30 2009-03-18 上海大学 一种百兆以太网额外信息传输方法及其传输实现系统
CN103488755A (zh) * 2013-09-24 2014-01-01 华为技术有限公司 一种文件系统访问方法及设备
CN106357814A (zh) * 2016-10-27 2017-01-25 北京华为数字技术有限公司 一种文件处理方法、代理服务端及客户端
CN106649600A (zh) * 2016-11-25 2017-05-10 华为技术有限公司 一种迁移文件权限的方法、装置以及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070139518A1 (en) * 2005-12-16 2007-06-21 Ming-Chih Chang Image-capturing and data-storing system with data-compressing function and related method to process image data
CN102611745B (zh) * 2011-12-31 2015-02-25 华为数字技术(成都)有限公司 文件在线迁移方法、装置和系统
US9495379B2 (en) * 2012-10-08 2016-11-15 Veritas Technologies Llc Locality aware, two-level fingerprint caching
CN105262800B (zh) * 2015-09-23 2018-09-28 浪潮(北京)电子信息产业有限公司 一种应用于集群nas文件系统的权限控制方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1955965A (zh) * 2005-10-26 2007-05-02 国际商业机器公司 用于数据迁移的装置、系统和方法
US20080091681A1 (en) * 2006-10-12 2008-04-17 Saket Dwivedi Architecture for unified threat management
CN101388817A (zh) * 2008-10-30 2009-03-18 上海大学 一种百兆以太网额外信息传输方法及其传输实现系统
CN103488755A (zh) * 2013-09-24 2014-01-01 华为技术有限公司 一种文件系统访问方法及设备
CN106357814A (zh) * 2016-10-27 2017-01-25 北京华为数字技术有限公司 一种文件处理方法、代理服务端及客户端
CN106649600A (zh) * 2016-11-25 2017-05-10 华为技术有限公司 一种迁移文件权限的方法、装置以及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422707A (zh) * 2021-06-18 2021-09-21 新华三技术有限公司 一种带内网络遥测方法及设备

Also Published As

Publication number Publication date
CN112511627B (zh) 2022-09-23
CN110086836B (zh) 2020-12-15
CN112511627A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112153085B (zh) 一种数据处理方法、节点及区块链系统
JP6461167B2 (ja) アプリケーションサーバ、クラウドまたは他の環境においてマルチテナンシをサポートするためのシステムおよび方法
US9110909B2 (en) File level hierarchical storage management system, method, and apparatus
CN110086836A (zh) 获取元数据的方法和装置
US9870367B2 (en) System and method of using data blocks to optimize file storage
US9727577B2 (en) System and method to store third-party metadata in a cloud storage system
US20130091183A1 (en) Volume Management
US11507403B2 (en) Host computing systems determination to deploy virtual machines based on disk specifications
CN106331075B (zh) 用于存储文件的方法、元数据服务器和管理器
CN104145468A (zh) 一种文件访问权限控制方法及装置
US20210037072A1 (en) Managed distribution of data stream contents
WO2019128984A1 (zh) 容器的安全策略的处理方法和相关装置
US20090254559A1 (en) File system and method for controlling file system
US8380806B2 (en) System and method for absolute path discovery by a storage virtualization system
CN109302448A (zh) 一种数据处理方法及装置
CN104636441B (zh) 网络文件系统实现方法和装置
CN108304142A (zh) 一种数据管理方法和装置
US8239403B2 (en) Enhancing soft file system links
US9223517B1 (en) Scalable index store
CN109413130A (zh) 一种云存储系统
CN108228099A (zh) 一种数据存储的方法及装置
US20190187904A1 (en) Efficient export scheduling using index and schema to determine data distribution
US20180322187A1 (en) Dynamic alternate keys for use in file systems utilizing a keyed index
CN103152377B (zh) 一种面向ftp服务的数据访问方法
Havanki Moving Hadoop to the cloud: Harnessing cloud features and flexibility for Hadoop clusters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant