CN105791370B - 一种数据处理方法及相关服务器 - Google Patents

一种数据处理方法及相关服务器 Download PDF

Info

Publication number
CN105791370B
CN105791370B CN201410830399.6A CN201410830399A CN105791370B CN 105791370 B CN105791370 B CN 105791370B CN 201410830399 A CN201410830399 A CN 201410830399A CN 105791370 B CN105791370 B CN 105791370B
Authority
CN
China
Prior art keywords
file
volume
layout information
information
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410830399.6A
Other languages
English (en)
Other versions
CN105791370A (zh
Inventor
郭岩
吴晶
黄国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410830399.6A priority Critical patent/CN105791370B/zh
Priority to PCT/CN2015/089980 priority patent/WO2016101662A1/zh
Publication of CN105791370A publication Critical patent/CN105791370A/zh
Application granted granted Critical
Publication of CN105791370B publication Critical patent/CN105791370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种数据处理方法及相关服务器,该数据处理方法包括:存储服务器接收客户端发送的数据操作请求;存储服务器向根服务器发送包含描述信息的文件布局信息请求,根服务器解析描述信息中的第一信息获得目标文件的第一属性;所述存储服务器接收根服务器发送的文件布局信息,解析描述信息中的第二信息,获得目标文件的第二文件属性;根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷;存储服务器获取目标卷,并根据数据操作请求对目标卷中的目标文件进行数据操作。采用本发明,可以适应各个文件的文件属性所对应的数据操作性能需求。

Description

一种数据处理方法及相关服务器
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据处理方法及相关服务器。
背景技术
随着大数据时代的到来,用于存储数据的存储系统规模越来越大,整个存储系统为用户提供统一的访问接口和统一的命名空间。存储系统存储文件采用卷进行存储,当需要对某一个目标卷中的目标文件进行数据操作时,只需要将目标卷挂载至存储服务器即可对目标卷中的目标文件进行数据操作。实际上各个卷的存储性能是有差异的,例如,有的卷读写速度快,有些卷读写速度慢。各个文件的文件属性也不同,因此在进行数据操作时的性能需求也不同,例如,有些文件的文件属性决定了该文件有高性能数据操作需求。现有集群文件系统各个卷对每一个文件的存储采用无差别存储方式,即不考虑所存储的文件的文件属性而进行统一存储,这种存储方式不能适应各个文件的文件属性所对应的存储需求,造成数据操作时的性能差。
发明内容
本发明实施例提供一种数据处理方法及相关服务器,可以根据需要进行数据操作的目标文件的文件属性,确定进行数据操作的目标卷,从而适应各个文件的文件属性所对应的数据操作性能需求。
本发明实施例第一方面提供了一种数据处理方法,可包括:
存储服务器接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
所述存储服务器向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一属性;其中,所述第一属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
所述存储服务器接收所述根服务器发送的所述文件布局信息;
所述存储服务器解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
所述存储服务器根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
所述存储服务器获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
基于第一方面,在第一方面的第一种可行的实施方式中,所述存储服务器根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,包括:
若所述第二文件属性为第一类型,则所述存储服务器将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;
若所述第二文件属性为第二类型,则所述存储服务器将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
基于第一方面第一种可行的实施方式,在第一方面的第二种可行的实施方式中,若所述目标卷为所述文件布局信息所定位的所述第一备选卷,所述存储服务器获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作,包括:
所述存储服务器挂载所述第一备选卷;
所述存储服务器根据所述数据操作请求对所述第一备选卷中的所述目标文件进行数据操作。
基于第一方面第一种可行的实施方式,在第一方面的第三种可行的实施方式中,若所述目标卷为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,所述存储服务器获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作,包括:
所述存储服务器挂载所述第一备选卷;
所述存储服务器获取所述第一备选卷中的所述重定向文件布局信息;
所述存储服务器根据所述重定向文件布局信息定位所述第二备选卷,并挂载所述第二备选卷;
所述存储服务器根据所述数据操作请求对所述第二备选卷中的所述目标文件进行数据操作。
基于第一方面或者第一方面第一种可行的实施方式或者第一方面第二种可行的实施方式或者第一方面的第三种可行的实施方式中,在第一方面第四种可行的实施方式中,所述第一备选卷包括格式化为本地文件系统的卷,所述第二备选卷包括基于块接口的裸设备卷。
本发明第二方面提供一种数据处理方法,所述方法包括:
当需要对目标文件进行数据操作时,根服务器接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
所述根服务器解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
所述根服务器根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
所述根服务器向所述存储服务器发送所述文件布局信息。
本发明第三方面提供一种存储服务器,所述存储服务器包括:
第一接收模块,用于接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
发送模块,用于向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一属性;其中,所述第一属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
第二接收模块,用于接收所述根服务器发送的所述文件布局信息;
解析模块,用于解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
确定模块,用于根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
数据操作模块,用于获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
基于第三方面,在第三方面的第一种可行的实施方式中,所述确定模块具体用于若所述第二文件属性为第一类型,则将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;若所述第二文件属性为第二类型,则将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
基于第三方面第一种可行的实施方式,在第三方面的第二种可行的实施方式中,若所述目标卷为所述文件布局信息所定位的所述第一备选卷;所述数据操作模块包括:
第一挂载单元,用于挂载所述第一备选卷;
第一数据操作单元,用于根据所述数据操作请求对所述第一备选卷中的所述目标文件进行数据操作。
基于第三方面第一种可行的实施方式,在第三方面的第三种可行的实施方式中,若所述目标卷为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,所述数据操作模块包括:
第二挂载单元,用于挂载所述第一备选卷;
获取单元,用于获取所述第一备选卷中的所述重定向文件布局信息;
定位挂载单元,用于根据所述重定向文件布局信息定位所述第二备选卷,并挂载所述第二备选卷;
第二数据操作单元,用于根据所述数据操作请求对所述第二备选卷中的所述目标文件进行数据操作。
基于第三方面或者第三方面第一种可行的实施方式或者第三方面第二种可行的实施方式或者第三方面的第三种可行的实施方式中,在第三方面第四种可行的实施方式中,所述第一备选卷包括格式化为本地文件系统的卷,所述第二备选卷包括基于块接口的裸设备卷。
本发明第四方面提供一种根服务器,所述根服务器包括:
接收模块,用于当需要对目标文件进行数据操作时,接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
解析模块,用于解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
生成模块,用于根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
发送模块,用于向所述存储服务器发送所述文件布局信息。
本发明第五方面提供一种存储服务器,包括处理器和存储器,所述处理器和所述存储器通过总线通信,其特征在于,所述处理器执行所述存储器中的计算机指令以执行:
接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
接收所述根服务器发送的所述文件布局信息;
解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
基于第五方面,在第五方面第一种可行的实施方式中,根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,包括:
若所述第二文件属性为第一类型,则所述存储服务器将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;
若所述第二文件属性为第二类型,则所述存储服务器将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
本发明第六方面提供一种根服务器,包括处理器和存储器,所述处理器和所述存储器通过总线通信,其特征在于,所述处理器执行所述存储器中的计算机指令以执行:
当需要对目标文件进行数据操作时,接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
向所述存储服务器发送所述文件布局信息。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的流程示意图;
图2是本发明实施例提供的另一种数据处理方法的流程示意图;
图3是本发明实施例提供的又一种数据处理方法的流程示意图;
图4是本发明实施例提供的一种存储系统网络架构图;
图5是本发明实施例提供的一种存储系统网络架构图中信息交互图;
图6是本发明实施例提供的一种数据操作的序列图;
图7是本发明实施例提供的一种存储服务器的结构示意图;
图8是本发明实施例提供的一种根服务器的结构示意图;
图9是本发明实施例提供的另一种存储服务器的结构示意图;
图10是本发明实施例提供的另一种根服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中数据处理方法可以应用于集群文件系统中,例如可以是网络附属存储(Network Attached Storage,NAS)系统,NAS系统中客户端与存储服务器之间通过网络文件系统(Network File System,NFS)协议进行数据交互。
现有技术中,集群NAS文件系统,后端采用直连方式(Direct Attached Storage,DAS)存储,每个存储服务器直连各自的存储文件系统,然后由集群文件系统统一管理物理分布的存储空间,从而形成一个单一命名空间的文件系统,存储空间可以是物理分布的卷。目前的集群NAS文件系统对所有的文件都是无差异化存储,即是不考虑文件的属性,例如不考虑文件的大小或者冷数据热数据等等,所有文件统一经过NAS的文件系统层,对于大文件或者小文件读写没有进行区别对待,对于热数据或者冷数据读写也没有进行区别对待,不能适应高性能读写需求,例如某一个文件为大文件,且需要读写速度快,若在存储时没有考虑文件的大小属性,统一进行存储,则会造成不能满足读写需求。并且现有的集群NAS文件系统需要实现一个很复杂的专用集群文件系统,来管理目录和文件的索引点inode以及链接dentry等索引信息,需要耗费大量人力物力。
因此,针对于现有技术中的集群NAS文件系统的存储缺陷,本发明在对文件进行存储时,增加根服务器和存储服务器分别对目标文件的文件属性进行识别,并根据文件属性进行差异化存储。当后续需要对某一个目标文件进行数据操作时,即可以根据目标文件的文件属性获取到与目标文件的文件属性对应的目标卷,从而实现对目标卷中目标文件的数据操作。这种存储方式可以满足不同文件属性的文件的数据操作,且不需要开发很复杂的专用文件系统来管理索引信息。
本发明的具体应用场景可以应用的具体应用场景包括但不限于虚拟机,云计算,云存储等等。例如虚拟机应用场景,具体的系统架构图可以如图4所示。可以根据目标文件的文件属性,确定进行数据操作的目标卷。例如虚拟机镜像和交换文件等热数据的大文件可以直接存储在基于块接口的裸设备卷Volume(Block)中;配置文件、日志文件等小文件可以存储在格式化为本地文件系统卷Volume(FS)中。
下面将结合附图1-附图6,对本发明实施例提供的数据处理方法进行介绍和说明。
请参照图1,是本发明实施例提供的一种数据处理方法的流程示意图;本实施例是从存储服务器侧进行的详细说明,如图1所示,所述数据处理方法可以包括:
S100,存储服务器接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
在一个实施例中,存储服务器可以是NFS普通服务器,客户端可以是NFS客户端,在实际的应用场景中,以NFS服务器集群组成NFS Server集群,如图4所示,在NFS Server集群中有两种角色的NFS Server,包括NFS存储服务器和NFS根服务器。NFS存储服务器用于为NFS客户端提供数据访问服务,NFS存储服务器和NFS客户端之间通过NFS协议进行数据交互。
具体的,NFS存储服务器接收NFS客户端发送的数据操作请求,该数据操作请求包括需要进行数据操作的目标文件的描述信息,数据操作可以是对目标文件的读写操作,例如对目标文件进行修改,删除等等。目标文件的描述信息可以是目标文件的存储目录信息,例如目标文件的存储目录信息为根目录下的A目录,A目录下的B目录。目标文件的描述信息还可以是目标文件的格式信息等等。
需要说明的是,NFS存储服务器接收NFS客户端发送的数据操作请求之前,NFS客户端首先向域名解析服务器(Domain Name System,DNS)以及负载均衡服务器请求具体的NFS存储服务器的网络协议(Internet Protocol,IP)地址,DNS服务器以及负载均衡服务器根据负载均衡策略分配NFS Server集群中的某一个NFS存储服务器给NFS客户端进行数据访问,NFS客户端以NFS协议接入分配的NFS存储服务器,并发送数据操作请求。
S101,所述存储服务器向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
在一个实施例中,存储服务器接收到客户端的数据操作请求后,对该数据操作请求进行解析,获取其中目标文件的描述信息,并向根服务器发送包含描述信息的文件布局信息请求。
在集群文件系统中,通常只有存储服务器将相应的目标卷挂载至存储服务器之后,才能实现对目标卷的数据操作。在本发明实施例中,为了对应于各个目标文件的文件属性的数据操作性能要求,对各个文件的存储是采用差异化存储。例如,当目标文件为大文件,则采用与大文件属性对应的目标卷进行存储,与大文件对应的目标卷可以是读写速度快的卷。
在本发明实施例中,将目标文件的各个文件属性进行分层部署,分层解析,即是通过解析目标文件的第一文件属性和第二文件属性后,才能最终确定进行数据操作的目标卷。具体的,确定目标卷的方法可以是,在本发明中设置了根服务器对目标文件的描述信息中的第一信息进行解析,获得目标文件的第一文件属性。若描述信息为目标文件的存储目录信息,则第一信息可以是目标文件的第一层目录信息。
具体应用场景中,存储服务器向根服务器发送包含目标文件描述信息的文件布局信息请求后,根服务器对描述信息中的第一信息进行解析,可以是对描述信息进行第一层粗略地解析,获得目标文件的第一文件属性,并生成与第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。例如,若目标文件的描述信息为目标文件的存储目录信息,则根服务器可以对存储目录信息的第一层目录进行解析,获得目标文件的第一文件属性,具体的解析可以是根据第一层目录初步解析目标文件的第一文件属性为大文件或者为小文件,并生成与第一文件属性对应的文件布局信息,该文件布局信息确定第一备选卷。即是第一备选卷与第一文件属性所属属性类型是对应的,例如,若第一文件属性为大文件,则第一备选卷可以是一个Volume(FS),若第一文件属性为小文件,则第一备选卷可以是另一个Volume(FS)。
可选的,第一文件属性还可以是热数据或者冷数据。第一文件属性的具体存在方式在此不作限定,上述仅为举例。第一备选卷可以是格式化为本地文件系统(如ext4)的卷,可以存储定义为file类型文件。可选的,第一备选卷还可以用于存储跳转文件(重定向文件布局信息),用于定位第二备选卷。最终进行数据操作的目标卷是第一备选卷还是第二备选卷,由存储服务器解析描述信息中的第二信息所获得的目标文件的第二文件属性所决定的。
S102,所述存储服务器接收所述根服务器发送的所述文件布局信息;
在一个实施例中,根服务器将根据目标文件的第一文件属性所确定的文件布局信息下发至存储服务器,存储服务器接收根服务器发送的文件布局信息,该文件布局信息可以定位第一备选卷。
S103,所述存储服务器解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
在一个实施例中,存储服务器需要进一步确定进行数据操作的目标卷,目标卷可以是第一备选卷,也可以是第一备选卷中存储的重定向文件布局信息所定位的第二备选卷。存储服务器具体的确定方式可以是,对目标文件的描述信息中的第二信息进行解析,获得目标文件的第二文件属性。例如,若描述信息为目标文件的存储目录信息,则对存储目录信息的第二层目录进行进一步的解析,根据第二层目录获得目标文件的第二文件属性,第二文件属性由第二层目录所决定,第一文件属性由第一层目录所决定。第二文件属性可以是第二层目录为大文件或者小文件,也可以是热数据或者冷数据,或者为其它的文件属性,在此不作限定。
S104,所述存储服务器根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
在一个实施例中,存储服务器根据从根服务器所获取的文件布局信息和自身所解析出的第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。第二备选卷可以是基于块接口的裸设备卷,用于存储Volume类型的文件。
可选的,当目标文件的描述信息为目标文件的存储目录信息,对存储目录信息中第二层目录解析得到目标文件的第二文件属性为小文件,例如配置文件,日志文件等等,则将第一备选卷确定为进行数据操作的目标卷。对存储目录信息中第二层目录解析目标文件的第二文件属性为大文件,例如在虚拟机场景中的虚拟机镜像文件和交换文件等等,则将第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
当目标卷为第一备选卷中的重定向文件布局信息所定位的第二备选卷,则需要从第二备选卷中获取重定向文件布局信息,并对重定向文件布局信息进行解析获得该重定向文件布局信息所定位的第二备选卷,并将第二备选卷挂载至存储服务器进行数据操作。
需要说明的是,根据文件布局信息和第二文件属性确定目标卷的确定方式需要根据预先设定的存储方式进行决定,例如预先设定的存储方式是,当第二文件属性为大文件时,将目标文件存储至第一备选卷,当第二文件属性为小文件时,将目标文件存储至第二备选卷,则在确定目标卷时,当目标文件的第二文件属性为大文件时,则将文件布局信息所定位的第一备选卷确定为目标卷,当目标文件的第二文件属性为小文件时,则将第二备选卷确定为目标卷。
S105,所述存储服务器获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
在一个实施例中,存储服务器将需要进行数据操作的目标卷挂载至存储服务器后,才可以对目标卷中的目标文件进行数据操作,因此存储服务器获取目标卷,并挂载目标卷,根据数据操作请求对目标卷中的目标文件进行数据操作。数据操作可以包括对目标文件进行读写操作,例如对目标文件进行修改、删除等等。且存储服务器将数据操作结果返回至客户端,操作结果可以包括读写是否成功、读写错误等等。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
请参照图2,是本发明实施例提供的另一种数据处理方法的流程示意图;本实施例是从存储服务器侧进行的详细说明,本实施例所述的一种数据处理方法包括步骤:
S200,存储服务器接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
本发明实施例步骤S200,请参照图1所示的实施例步骤S100,在此不进行赘述。
S201,所述存储服务器向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
本发明实施例步骤S201,请参照图1所示的实施例步骤S101,在此不进行赘述。
S202,所述存储服务器接收所述根服务器发送的所述文件布局信息;
本发明实施例步骤S202,请参照图1所示的实施例步骤S102,在此不进行赘述。
S203,所述存储服务器解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
本发明实施例步骤S203,请参照图1所示的实施例步骤S103,在此不进行赘述。
S204,若所述第二文件属性为第一类型,则所述存储服务器将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;
作为一种可选的实施方式,存储服务器根据描述信息中的第二信息获得目标文件的第二文件属性,进一步对第二文件属性进行分析,并根据第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。可选的,确定目标卷的方法可以是判断第二文件属性的类型,进而确定目标卷。第二文件属性的类型可以是大小文件,例如,第一类型为大文件,第二类型为小文件,当第二文件属性为第一类型时,存储服务器将文件布局信息所定位的第一备选卷确定为进行数据操作的目标卷。
需要说明的是,第二文件属性所属的属性类型与最终目标卷之间的对应关系需要根据存储时所建立的对应关系确定,例如,在存储时,当第二文件属性为小文件类型,即小文件类型为第一类型,则将目标文件存储至第一备选卷。后续在进行数据操作时,解析出第二文件属性为小文件类型,即是第一类型时,则将根服务器返回的文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷。
S205,所述存储服务器挂载所述第一备选卷;
作为一种可选的实施方式,存储服务器只有将相应的目标卷挂载至存储服务器后才能对目标卷进行数据操作,因此当确定目标卷为第一备选卷时,则存储服务器挂载第一备选卷。
S206,所述存储服务器根据所述数据操作请求对所述第一备选卷中的所述目标文件进行数据操作。
作为一种可选的实施方式,当存储服务器将目标卷(第一备选卷)挂载后,即可以根据数据操作请求对第一备选卷中的目标文件进行数据操作。数据操作可以是对目标文件进行读写操作,例如修改、删除等等。
S207,若所述第二文件属性为第二类型,则所述存储服务器将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
作为一种可选的实施方式,当第二文件属性为第二类型时,则存储服务器将第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。第二类型可以是大文件类型,具体类型确定可以根据存储时的存储方式进行确定。例如,在存储时,当第二文件属性为大文件类型,即大文件类型为第二类型,则将目标文件存储至第二备选卷。后续在进行数据操作时,解析出第二文件属性为大文件类型,即是第二类型时,则将第一备选卷中重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
S208,所述存储服务器挂载所述第一备选卷;
作为一种可选的实施方式,当确定目标卷为第一备选卷中重定向文件布局信息所定位的第二备选卷,则存储服务器需要从第一备选卷中读取重定向文件布局信息,因此存储服务器需要挂载第一备选卷,以便于从第一备选卷中读取重定向文件布局信息。
S209,所述存储服务器获取所述第一备选卷中的所述重定向文件布局信息;
作为一种可选的实施方式,存储服务器对第一备选卷进行数据访问,获取第一备选卷中的重定向文件布局信息,该重定向文件布局信息可以定位第二备选卷。
S210,所述存储服务器根据所述重定向文件布局信息定位所述第二备选卷,并挂载所述第二备选卷;
作为一种可选的实施方式,存储服务器根据重定向文件布局信息定位第二备选卷,并将第二备选卷挂载至存储服务器。例如,目标文件的第二文件属性为根据目标文件第二层目录所确定的大文件类型时,则重定向文件布局信息所定位的第二备选卷可以为基于块接口的裸设备卷。
S211,所述存储服务器根据所述数据操作请求对所述第二备选卷中的所述目标文件进行数据操作。
作为一种可选的实施方式,当存储服务器将目标卷(第二备选卷)挂载后,即可以根据数据操作请求对第二备选卷中的目标文件进行数据操作。数据操作可以是对目标文件进行读写操作,例如修改、删除等等。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
请参照图3,是本发明实施例提供的又一种数据处理方法的流程示意图;本实施例是从根服务器侧进行详细说明,本实施例所述的一种数据处理方法包括步骤:
S300,当需要对目标文件进行数据操作时,根服务器接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
在一个实施例中,根服务器可以是NFS根服务器,在实际的应用场景中,以NFS服务器集群组成NFS Server集群,如图4所示,在NFS Server集群中有两种角色的NFS Server,包括NFS存储服务器和NFS根服务器。NFS根服务器负责NFS集群的全局命令存储空间管理,提供统一的命名空间。NFS根服务器根据目标文件的描述信息中的第一信息识别目标文件的第一文件属性。
当需要对目标文件进行数据操作时,即是存储服务器接收到客户端的数据操作请求,需要决定需要挂载的进行数据操作的目标卷时,根服务器接收存储服务器发送的包含目标文件的描述信息的文件布局信息请求。
S301,所述根服务器解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
在一个实施例中,根服务器对存储服务器所发送的文件布局信息请求中的描述信息中第一信息进行解析,并获得目标文件的第一文件属性。在本发明实施例中对各个文件的存储采用的是差异化存储,即是根据各个文件的属性确定与文件属性对应的进行数据操作的目标卷。在对目标卷的确定过程中采用的是对目标文件的文件属性进行层层解析,从而最终确定目标卷。根服务器对目标文件的属性进行第一层解析,即是根据目标文件的描述信息中第一信息,获取目标文件的第一文件属性。例如,若目标文件的描述信息为目标文件的存储目录信息,则根服务器可以对存储目录信息的第一层目录进行解析,获得目标文件的第一文件属性,具体的解析可以是根据第一层目录初步解析目标文件的第一文件属性为大文件或者为小文件,便于生成与第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。
可选的,第一文件属性还可以是热数据或者冷数据。第一文件属性的具体存在方式在此不作限定,上述仅为举例。
S302,所述根服务器根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
在一个实施例中,根服务器根据所获得的目标文件的第一文件属性,生成与目标文件的第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。即是第一备选卷与第一文件属性之间是对应的。第一备选卷可以是格式化为本地文件系统(如ext4)的卷,可以存储定义为file类型文件。可选的,第一备选卷还可以用于存储跳转文件(重定向文件布局信息),用于定位第二备选卷,目标卷是第一备选卷或者第二备选卷的确定由存储服务器解析出的目标文件的第二文件属性决定。第二备选卷可以是基于块接口的裸设备卷,用于存储Volume类型的文件。第一备选卷以及第二备选卷的具体存在形式也不作限定,在此仅为举例。
S303,所述根服务器向所述存储服务器发送所述文件布局信息。
作为一种可选的实施方式,根服务器向存储服务器发送所生成的文件布局信息,存储服务器可以根据文件布局信息定位第一备选卷,如图5所示,根服务器的文件布局信息可以直接定位到相应的Volume(FS)。存储服务器可以对目标文件的描述信息中的第二信息进行进一步解析,获得目标文件的第二文件属性,根据第二文件属性和文件布局信息确定进行数据操作的目标卷为文件布局信息所定位的第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
请参照图4,为本发明实施例提供的一种存储系统网络架构图,如图所示,该网络架构图包括多个客户端,域名解析以及负载均衡服务器,多个存储服务器,根服务器,多个Volume FS、多个Volume Block以及底层存储设备,包括存储区域网络(Storage AreaNetwork SAN)、网络附属存储(Network Attached Storage,DAS)以及磁盘(RedundantArrays of Independent Disks,RAID)阵列等等。
如图4所示,客户端向负载均衡服务器请求集群访问接入点,即是请求分配接入的存储服务器的访问地址,负载均衡服务器向客户端返回接入的存储服务器的访问地址。
客户端根据负载均衡策略访问指定的存储服务器,客户端与存储服务器之间通过NFS协议进行数据交互。
存储服务器与根服务器之间进行文件布局信息交互,确定需要挂载的第一备选卷,根服务器存储了用于定位第一备选卷的文件布局信息。根服务器可以对目标文件的属性进行识别,并根据文件形态策略确定与目标文件第一文件属性对应的第一备选卷。
存储服务器可以根据根服务器的文件布局信息创建并挂载与目标文件的文件属性对应的目标卷,实现对目标卷中的目标文件的数据操作。
进一步,请参照图5,为本发明实施例提供的一种存储网络架构图中各个网络元素之间的信息交互图,以下对各个步骤进行详细说明:
1、客户端向负载均衡服务器请求集群访问接入点的地址,即是请求需要接入的存储服务器的访问地址;
2、负载均衡服务器根据负载均衡策略分配合适的存储服务器,并将所分配的存储服务器的访问地址返回至客户端;
3、客户端以NFS协议接入负载均衡服务器分配的存储服务器,并向存储服务器发送数据操作请求;
可选的,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,例如可以是目标文件的存储目录信息等等。
4、存储服务器向根服务器发送文件布局信息请求;
可选的,文件布局信息请求可以是向根服务器请求与目标文件的第一文件属性对应的第一备选卷的文件布局信息;该文件布局信息请求中包括目标文件的描述信息;
5、根服务器向存储服务器返回文件布局信息;
可选的,根服务器对文件布局信息请求中的描述信息进行解析,获得目标文件的第一文件属性,并获取与第一文件属性对应的文件布局信息,该文件布局信息用于定位与第一文件属性对应的第一备选卷。
6、存储服务器根据文件布局信息挂载对应的Volume FS;
7、如果有高性能IO文件操作需求,则根据重定向文件布局信息挂载指定的VolumeBlock进行数据操作。
可选的,存储服务器对目标文件的描述信息进行进一步分析,获得目标文件的第二文件属性,若第二文件属性表明数据操作为非高性能数据操作,则直接将第一备选卷Volume FS确定为进行数据操作的目标卷,并对目标卷进行数据操作。若第二文件属性表明数据操作为非高性能数据操作,则获取与第二文件属性对应的重定向文件布局信息,重定向文件布局信息用于定位第二备选卷Volume Block。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
请参照图6,为本发明实施例提供的一种数据操作的序列图,进一步对各个网络元素之间信息交互进行详细说明,如图所示,本实施例中第一备选卷为Volume(FS),第二备选卷为Volume(Block):
S1,客户端向负载均衡服务器请求存储服务器地址;
S2,负载均衡服务器根据负载均衡策略向客户端分配一个存储服务器,并将所分配的存储服务器地址返回至客户端;
S3,客户端根据所分配的存储服务器地址,向所分配的存储服务器发送数据操作请求;
可选的,数据操作请求包括需要进行数据操作的目标文件的描述信息,例如可以是目标文件的存储目录信息。
S4,存储服务器向根服务器发送文件布局信息请求;
可选的,存储服务器需要确定需要挂载的进行数据操作的目标卷,向根服务器发送包含目标文件描述信息的文件布局信息请求。
S5,根服务器返回文件布局信息;
可选的,根服务器对文件布局信息请求中目标文件的描述信息进行解析,获取目标文件的第一文件属性,并根据第一文件属性,获取与第一文件属性对应的第一备选卷Volume(FS)的文件布局信息;
S6,存储服务器根据文件布局信息将Volume(FS)挂载至存储服务器;
可选的,存储服务器将Volume(FS)挂载至存储服务器后,即可以对Volume(FS)进行数据操作。存储服务器对目标文件的描述信息进行进一步分析,获取目标文件的第二文件属性,进而确定进行数据操作的目标卷为Volume(FS)或者为Volume(FS)中重定向文件布局信息所定位的Volume(Block);若第二文件属性满足预设条件,则将Volume(FS)确定为进行数据操作的目标卷,并对Volume(FS)进行数据操作。
S7,Volume(FS)向存储服务器返回数据操作结果;
S8,存储服务器将数据操作结果返回至客户端;
S9,根据Volume(FS)中的重定向文件布局信息,挂载Volume(Block);
可选的,若第二文件属性不满足预设条件,则需要获取Volume(FS)中的重定向文件布局信息,并根据重定向文件布局信息定位到相应的Volume(Block),从而对Volume(Block)进行数据操作。
S10,Volume(Block)向存储服务器返回数据操作结果;
S11,存储服务器将数据操作结果返回至客户端。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
下面结合附图7-附图10,阐述本发明实施例提供的存储服务器和根服务器的具体实现。
请参照图7,为本发明实施例提供的一种存储服务器的结构示意图,如图7所示,本实施例所述的一种存储服务器包括:第一接收模块100、发送模块101、第二接收模块102、解析模块103、确定模块104和数据操作模块105;
第一接收模块100,用于接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
在一个实施例中,存储服务器可以是NFS存储服务器,客户端可以是NFS客户端,在实际的应用场景中,以NFS服务器集群组成NFS Server集群,如图4所示,在NFS Server集群中有两种角色的NFS Server,包括NFS存储服务器和NFS根服务器。NFS存储服务器用于为NFS客户端提供数据访问服务,NFS存储服务器和NFS客户端之间通过NFS协议进行数据交互。
具体的,NFS存储服务器第一接收模块100接收NFS客户端发送的数据操作请求,该数据操作请求包括需要进行数据操作的目标文件的描述信息,数据操作可以是对目标文件的读写操作,例如对目标文件进行修改,删除等等。目标文件的描述信息可以是目标文件的存储目录信息,例如目标文件的存储目录信息为根目录下的A目录,A目录下的B目录。目标文件的描述信息还可以是目标文件的格式信息等等。
需要说明的是,NFS存储服务器第一接收模块100接收NFS客户端发送的数据操作请求之前,NFS客户端首先向域名解析服务器(Domain Name System,DNS)以及负载均衡服务器请求具体的NFS存储服务器的网络协议(Internet Protocol,IP)地址,DNS服务器以及负载均衡服务器根据负载均衡策略分配NFS Server集群中的某一个NFS存储服务器给NFS客户端进行数据访问,NFS客户端以NFS协议接入分配的NFS存储服务器,并发送数据操作请求。
发送模块101,用于向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
在一个实施例中,存储服务器接收到客户端的数据操作请求后,对该数据操作请求进行解析,获取其中目标文件的描述信息,发送模块101并向根服务器发送包含描述信息的文件布局信息请求。
在集群文件系统中,通常只有存储服务器将相应的目标卷挂载至存储服务器之后,才能实现对目标卷的数据操作。在本发明实施例中,为了对应于各个目标文件的文件属性的数据操作性能要求,对各个文件的存储是采用差异化存储。例如,当目标文件为大文件,则采用与大文件属性对应的目标卷进行存储,与大文件对应的目标卷可以是读写速度快的卷。
在本发明实施例中,将目标文件的各个文件属性进行分层部署,分层解析,即是通过解析目标文件的第一文件属性和第二文件属性后,才能最终确定进行数据操作的目标卷。具体的,确定目标卷的方法可以是,在本发明中设置了根服务器对目标文件的描述信息中的第一信息进行解析,获得目标文件的第一文件属性。若描述信息为目标文件的存储目录信息,则第一信息可以是目标文件的第一层目录信息。
具体应用场景中,存储服务器向根服务器发送包含目标文件描述信息的文件布局信息请求后,根服务器对描述信息中的第一信息进行解析,可以是对描述信息进行第一层粗略地解析,获得目标文件的第一文件属性,并生成与第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。例如,若目标文件的描述信息为目标文件的存储目录信息,则根服务器可以对存储目录信息的第一层目录进行解析,获得目标文件的第一文件属性,具体的解析可以是根据第一层目录初步解析目标文件的第一文件属性为大文件或者为小文件,并生成与第一文件属性对应的文件布局信息,该文件布局信息确定第一备选卷。即是第一备选卷与第一文件属性所属属性类型是对应的,例如,若第一文件属性为大文件,则第一备选卷可以是一个Volume(FS),若第一文件属性为小文件,则第一备选卷可以是另一个Volume(FS)。
可选的,第一文件属性还可以是热数据或者冷数据。第一文件属性的具体存在方式在此不作限定,上述仅为举例。第一备选卷可以是格式化为本地文件系统(如ext4)的卷,可以存储定义为file类型文件。可选的,第一备选卷还可以用于存储跳转文件(重定向文件布局信息),用于定位第二备选卷。最终进行数据操作的目标卷是第一备选卷还是第二备选卷,由存储服务器解析描述信息中的第二信息所获得的目标文件的第二文件属性所决定的。
第二接收模块102,用于接收所述根服务器发送的所述文件布局信息;
在一个实施例中,根服务器将根据目标文件的第一文件属性所确定的文件布局信息下发至存储服务器,存储服务器第二接收模块102接收根服务器发送的文件布局信息,该文件布局信息可以定位第一备选卷。
解析模块103,用于解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
在一个实施例中,存储服务器需要进一步确定进行数据操作的目标卷,目标卷可以是第一备选卷,也可以是第一备选卷中存储的重定向文件布局信息所定位的第二备选卷。存储服务器解析模块103具体的确定方式可以是,对目标文件的描述信息中的第二信息进行解析,获得目标文件的第二文件属性。例如,若描述信息为目标文件的存储目录信息,则对存储目录信息的第二层目录进行进一步的解析,根据第二层目录获得目标文件的第二文件属性,第二文件属性由第二层目录所决定,第一文件属性由第一层目录所决定。第二文件属性可以是第二层目录为大文件或者小文件,也可以是热数据或者冷数据,或者为其它的文件属性,在此不作限定。
确定模块104,用于根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
在一个实施例中,存储服务器确定模块104根据从根服务器所获取的文件布局信息和自身所解析出的第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。第二备选卷可以是基于块接口的裸设备卷,用于存储Volume类型的文件。
可选的,当目标文件的描述信息为目标文件的存储目录信息,对存储目录信息中第二层目录解析得到目标文件的第二文件属性为小文件,例如配置文件,日志文件等等,则将第一备选卷确定为进行数据操作的目标卷。对存储目录信息中第二层目录解析目标文件的第二文件属性为大文件,例如在虚拟机场景中的虚拟机镜像文件和交换文件等等,则将第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
当目标卷为第一备选卷中的重定向文件布局信息所定位的第二备选卷,则需要从第二备选卷中获取重定向文件布局信息,并对重定向文件布局信息进行解析获得该重定向文件布局信息所定位的第二备选卷,并将第二备选卷挂载至存储服务器进行数据操作。
需要说明的是,确定模块104根据文件布局信息和第二文件属性确定目标卷的确定方式需要根据预先设定的存储方式进行决定,例如预先设定的存储方式是,当第二文件属性为大文件时,将目标文件存储至第一备选卷,当第二文件属性为小文件时,将目标文件存储至第二备选卷,则在确定目标卷时,当目标文件的第二文件属性为大文件时,则将文件布局信息所定位的第一备选卷确定为目标卷,当目标文件的第二文件属性为小文件时,则将第二备选卷确定为目标卷。
可选的,所述确定模块104具体用于若所述第二文件属性为第一类型,则将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;若所述第二文件属性为第二类型,则将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
可选的,存储服务器根据描述信息中的第二信息获得目标文件的第二文件属性,进一步对第二文件属性进行分析,并根据第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。可选的,确定目标卷的方法可以是判断第二文件属性的类型,进而确定目标卷。第二文件属性的类型可以是大小文件,例如,第一类型为大文件,第二类型为小文件,当第二文件属性为第一类型时,存储服务器将文件布局信息所定位的第一备选卷确定为进行数据操作的目标卷。
需要说明的是,第二文件属性所属的属性类型与最终目标卷之间的对应关系需要根据存储时所建立的对应关系确定,例如,在存储时,当第二文件属性为小文件类型,即小文件类型为第一类型,则将目标文件存储至第一备选卷。后续在进行数据操作时,解析出第二文件属性为小文件类型,即是第一类型时,则将根服务器返回的文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷。
可选的,当第二文件属性为第二类型时,则存储服务器将第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。第二类型可以是大文件类型,具体类型确定可以根据存储时的存储方式进行确定。
数据操作模块105,用于获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
在一个实施例中,存储服务器将需要进行数据操作的目标卷挂载至存储服务器后,数据操作模块105才可以对目标卷中的目标文件进行数据操作,因此存储服务器获取目标卷,并挂载目标卷,根据数据操作请求对目标卷中的目标文件进行数据操作。数据操作可以包括对目标文件进行读写操作,例如对目标文件进行修改、删除等等。且存储服务器将数据操作结果返回至客户端,操作结果可以包括读写是否成功、读写错误等等。
可选的,若所述目标卷为所述文件布局信息所定位的所述第一备选卷;所述数据操作模块105包括第一挂载单元和第一数据操作单元:
第一挂载单元,用于挂载所述第一备选卷;
作为一种可选的实施方式,存储服务器只有将相应的目标卷挂载至存储服务器后才能对目标卷进行数据操作,因此当确定目标卷为第一备选卷时,则存储服务器第一挂载单元挂载第一备选卷。
第一数据操作单元,用于根据所述数据操作请求对所述第一备选卷中的所述目标文件进行数据操作。
当存储服务器将目标卷(第一备选卷)挂载后,第一数据操作单元即可以根据数据操作请求对第一备选卷中的目标文件进行数据操作。数据操作可以是对目标文件进行读写操作,例如修改、删除等等。
可选的,若所述目标卷为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,所述数据操作模块包括第二挂载单元、获取单元、定位挂载单元以及第二数据操作单元:
第二挂载单元,用于挂载所述第一备选卷;
当确定目标卷为第一备选卷中重定向文件布局信息所定位的第二备选卷,则存储服务器需要从第一备选卷中读取重定向文件布局信息,因此存储服务器第二挂载单元需要挂载第一备选卷,以便于从第一备选卷中读取重定向文件布局信息。
获取单元,用于获取所述第一备选卷中的所述重定向文件布局信息;
存储服务器对第一备选卷进行数据访问,获取单元获取第一备选卷中的重定向文件布局信息,该重定向文件布局信息可以定位第二备选卷。
定位挂载单元,用于根据所述重定向文件布局信息定位所述第二备选卷,并挂载所述第二备选卷;
作为一种可选的实施方式,存储服务器定位挂载单元根据重定向文件布局信息定位第二备选卷,并将第二备选卷挂载至存储服务器。例如,目标文件的第二文件属性为根据目标文件第二层目录所确定的大文件类型时,则重定向文件布局信息所定位的第二备选卷可以为基于块接口的裸设备卷。
第二数据操作单元,用于根据所述数据操作请求对所述第二备选卷中的所述目标文件进行数据操作。
当存储服务器将目标卷(第二备选卷)挂载后,第二数据操作单元即可以根据数据操作请求对第二备选卷中的目标文件进行数据操作。数据操作可以是对目标文件进行读写操作,例如修改、删除等等。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
请参照图8,为本发明实施例提供的一种根服务器的结构示意图,如图8所示,本实施例的根服务器包括:接收模块200、解析模块201、生成模块202和发送模块203,下面对各个模块进行详细介绍说明:
接收模块200,用于当需要对目标文件进行数据操作时,接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
在一个实施例中,根服务器可以是NFS根服务器,在实际的应用场景中,以NFS服务器集群组成NFS Server集群,如图4所示,在NFS Server集群中有两种角色的NFS Server,包括NFS存储服务器和NFS根服务器。NFS根服务器负责NFS集群的全局命令存储空间管理,提供统一的命名空间。NFS根服务器根据目标文件的描述信息中的第一信息识别目标文件的第一文件属性。
当需要对目标文件进行数据操作时,即是存储服务器接收到客户端的数据操作请求,需要决定需要挂载的进行数据操作的目标卷时,根服务器接收模块200接收存储服务器发送的包含目标文件的描述信息的文件布局信息请求。
解析模块201,用于解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
在一个实施例中,根服务器解析模块201对存储服务器所发送的文件布局信息请求中的描述信息中第一信息进行解析,并获得目标文件的第一文件属性。在本发明实施例中对各个文件的存储采用的是差异化存储,即是根据各个文件的属性确定与文件属性对应的进行数据操作的目标卷。在对目标卷的确定过程中采用的是对目标文件的文件属性进行层层解析,从而最终确定目标卷。根服务器对目标文件的属性进行第一层解析,即是根据目标文件的描述信息中第一信息,获取目标文件的第一文件属性。例如,若目标文件的描述信息为目标文件的存储目录信息,则根服务器可以对存储目录信息的第一层目录进行解析,获得目标文件的第一文件属性,具体的解析可以是根据第一层目录初步解析目标文件的第一文件属性为大文件或者为小文件,便于生成与第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。
可选的,第一文件属性还可以是热数据或者冷数据。第一文件属性的具体存在方式在此不作限定,上述仅为举例。
生成模块202,用于根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
在一个实施例中,根服务器生成模块202根据所获得的目标文件的第一文件属性,生成与目标文件的第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。即是第一备选卷与第一文件属性之间是对应的。第一备选卷可以是格式化为本地文件系统(如ext4)的卷,可以存储定义为file类型文件。可选的,第一备选卷还可以用于存储跳转文件(重定向文件布局信息),用于定位第二备选卷,目标卷是第一备选卷或者第二备选卷的确定由存储服务器解析出的目标文件的第二文件属性决定。第二备选卷可以是基于块接口的裸设备卷,用于存储Volume类型的文件。第一备选卷以及第二备选卷的具体存在形式也不作限定,在此仅为举例。
发送模块203,用于向所述存储服务器发送所述文件布局信息。
作为一种可选的实施方式,根服务器发送模块203向存储服务器发送所生成的文件布局信息,存储服务器可以根据文件布局信息定位第一备选卷,如图5所示,根服务器的文件布局信息可以直接定位到相应的Volume(FS)。存储服务器可以对目标文件的描述信息中的第二信息进行进一步解析,获得目标文件的第二文件属性,根据第二文件属性和文件布局信息确定进行数据操作的目标卷为文件布局信息所定位的第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
请参照图9,为本发明实施例提供的另一种存储服务器的结构示意图,图9的存储服务器可用于实现上述图1和图2的方法实施例中各步骤及方法。图9的实施例中,存储服务器包括处理器300、收发器301、存储器302以及总线303。处理器300、收发器301以及存储器302通过总线303通信,存储器302可以包括只读存储器和随机存取存储器,其中总线303除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。存储器302用于存储计算机指令,处理器300用于执行存储器302中的计算机指令以执行相应的数据操作:
所述收发器301,用于接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
所述收发器301还用于向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
所述收发器301还用于接收所述根服务器发送的所述文件布局信息;
所述处理器300,用于解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
所述处理器300,用于根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
所述处理器300还用于获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
可选的,存储服务器可以是NFS存储服务器,客户端可以是NFS客户端,在实际的应用场景中,以NFS服务器集群组成NFS Server集群,如图4所示,在NFS Server集群中有两种角色的NFS Server,包括NFS存储服务器和NFS根服务器。NFS存储服务器用于为NFS客户端提供数据访问服务,NFS存储服务器和NFS客户端之间通过NFS协议进行数据交互。
具体的,NFS存储服务器接收NFS客户端发送的数据操作请求,该数据操作请求包括需要进行数据操作的目标文件的描述信息,数据操作可以是对目标文件的读写操作,例如对目标文件进行修改,删除等等。目标文件的描述信息可以是目标文件的存储目录信息,例如目标文件的存储目录信息为根目录下的A目录,A目录下的B目录。目标文件的描述信息还可以是目标文件的格式信息等等。
需要说明的是,NFS存储服务器接收NFS客户端发送的数据操作请求之前,NFS客户端首先向域名解析服务器(Domain Name System,DNS)以及负载均衡服务器请求具体的NFS存储服务器的网络协议(Internet Protocol,IP)地址,DNS服务器以及负载均衡服务器根据负载均衡策略分配NFS Server集群中的某一个NFS存储服务器给NFS客户端进行数据访问,NFS客户端以NFS协议接入分配的NFS存储服务器,并发送数据操作请求。
可选的,存储服务器接收到客户端的数据操作请求后,对该数据操作请求进行解析,获取其中目标文件的描述信息,并向根服务器发送包含描述信息的文件布局信息请求。
在集群文件系统中,通常只有存储服务器将相应的目标卷挂载至存储服务器之后,才能实现对目标卷的数据操作。在本发明实施例中,为了对应于各个目标文件的文件属性的数据操作性能要求,对各个文件的存储是采用差异化存储。例如,当目标文件为大文件,则采用与大文件属性对应的目标卷进行存储,与大文件对应的目标卷可以是读写速度快的卷。
在本发明实施例中,将目标文件的各个文件属性进行分层部署,分层解析,即是通过解析目标文件的第一文件属性和第二文件属性后,才能最终确定进行数据操作的目标卷。具体的,确定目标卷的方法可以是,在本发明中设置了根服务器对目标文件的描述信息中的第一信息进行解析,获得目标文件的第一文件属性。若描述信息为目标文件的存储目录信息,则第一信息可以是目标文件的第一层目录信息。
具体应用场景中,存储服务器向根服务器发送包含目标文件描述信息的文件布局信息请求后,根服务器对描述信息中的第一信息进行解析,可以是对描述信息进行第一层粗略地解析,获得目标文件的第一文件属性,并生成与第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。例如,若目标文件的描述信息为目标文件的存储目录信息,则根服务器可以对存储目录信息的第一层目录进行解析,获得目标文件的第一文件属性,具体的解析可以是根据第一层目录初步解析目标文件的第一文件属性为大文件或者为小文件,并生成与第一文件属性对应的文件布局信息,该文件布局信息确定第一备选卷。即是第一备选卷与第一文件属性所属属性类型是对应的,例如,若第一文件属性为大文件,则第一备选卷可以是一个Volume(FS),若第一文件属性为小文件,则第一备选卷可以是另一个Volume(FS)。
可选的,第一文件属性还可以是热数据或者冷数据。第一文件属性的具体存在方式在此不作限定,上述仅为举例。第一备选卷可以是格式化为本地文件系统(如ext4)的卷,可以存储定义为file类型文件。可选的,第一备选卷还可以用于存储跳转文件(重定向文件布局信息),用于定位第二备选卷。最终进行数据操作的目标卷是第一备选卷还是第二备选卷,由存储服务器解析描述信息中的第二信息所获得的目标文件的第二文件属性所决定的。
可选的,根服务器将根据目标文件的第一文件属性所确定的文件布局信息下发至存储服务器,存储服务器接收根服务器发送的文件布局信息,该文件布局信息可以定位第一备选卷。
可选的,存储服务器需要进一步确定进行数据操作的目标卷,目标卷可以是第一备选卷,也可以是第一备选卷中存储的重定向文件布局信息所定位的第二备选卷。存储服务器具体的确定方式可以是,对目标文件的描述信息中的第二信息进行解析,获得目标文件的第二文件属性。例如,若描述信息为目标文件的存储目录信息,则对存储目录信息的第二层目录进行进一步的解析,根据第二层目录获得目标文件的第二文件属性,第二文件属性由第二层目录所决定,第一文件属性由第一层目录所决定。第二文件属性可以是第二层目录为大文件或者小文件,也可以是热数据或者冷数据,或者为其它的文件属性,在此不作限定。
可选的,存储服务器根据从根服务器所获取的文件布局信息和自身所解析出的第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。第二备选卷可以是基于块接口的裸设备卷,用于存储Volume类型的文件。
可选的,当目标文件的描述信息为目标文件的存储目录信息,对存储目录信息中第二层目录解析得到目标文件的第二文件属性为小文件,例如配置文件,日志文件等等,则将第一备选卷确定为进行数据操作的目标卷。对存储目录信息中第二层目录解析目标文件的第二文件属性为大文件,例如在虚拟机场景中的虚拟机镜像文件和交换文件等等,则将第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
当目标卷为第一备选卷中的重定向文件布局信息所定位的第二备选卷,则需要从第二备选卷中获取重定向文件布局信息,并对重定向文件布局信息进行解析获得该重定向文件布局信息所定位的第二备选卷,并将第二备选卷挂载至存储服务器进行数据操作。
需要说明的是,根据文件布局信息和第二文件属性确定目标卷的确定方式需要根据预先设定的存储方式进行决定,例如预先设定的存储方式是,当第二文件属性为大文件时,将目标文件存储至第一备选卷,当第二文件属性为小文件时,将目标文件存储至第二备选卷,则在确定目标卷时,当目标文件的第二文件属性为大文件时,则将文件布局信息所定位的第一备选卷确定为目标卷,当目标文件的第二文件属性为小文件时,则将第二备选卷确定为目标卷。
可选的,存储服务器将需要进行数据操作的目标卷挂载至存储服务器后,才可以对目标卷中的目标文件进行数据操作,因此存储服务器获取目标卷,并挂载目标卷,根据数据操作请求对目标卷中的目标文件进行数据操作。数据操作可以包括对目标文件进行读写操作,例如对目标文件进行修改、删除等等。且存储服务器将数据操作结果返回至客户端,操作结果可以包括读写是否成功、读写错误等等。
所述处理器300还用于若所述第二文件属性为第一类型,则将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;
所述处理器300还用于若所述第二文件属性为第二类型,则将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
可选的,存储服务器根据描述信息中的第二信息获得目标文件的第二文件属性,进一步对第二文件属性进行分析,并根据第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。可选的,确定目标卷的方法可以是判断第二文件属性的类型,进而确定目标卷。第二文件属性的类型可以是大小文件,例如,第一类型为大文件,第二类型为小文件,当第二文件属性为第一类型时,存储服务器将文件布局信息所定位的第一备选卷确定为进行数据操作的目标卷。
需要说明的是,第二文件属性所属的属性类型与最终目标卷之间的对应关系需要根据存储时所建立的对应关系确定,例如,在存储时,当第二文件属性为小文件类型,即小文件类型为第一类型,则将目标文件存储至第一备选卷。后续在进行数据操作时,解析出第二文件属性为小文件类型,即是第一类型时,则将根服务器返回的文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷。
可选的,当第二文件属性为第二类型时,则存储服务器将第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。第二类型可以是大文件类型,具体类型确定可以根据存储时的存储方式进行确定。例如,在存储时,当第二文件属性为大文件类型,即大文件类型为第二类型,则将目标文件存储至第二备选卷。后续在进行数据操作时,解析出第二文件属性为大文件类型,即是第二类型时,则将第一备选卷中重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
若所述目标卷为所述文件布局信息所定位的所述第一备选卷;
所述处理器300还用于挂载所述第一备选卷;
所述处理器300还用于根据所述数据操作请求对所述第一备选卷中的所述目标文件进行数据操作。
可选的,存储服务器只有将相应的目标卷挂载至存储服务器后才能对目标卷进行数据操作,因此当确定目标卷为第一备选卷时,则存储服务器挂载第一备选卷。
可选的,当存储服务器将目标卷(第一备选卷)挂载后,即可以根据数据操作请求对第一备选卷中的目标文件进行数据操作。数据操作可以是对目标文件进行读写操作,例如修改、删除等等。
若所述目标卷为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
所述处理器300还用于挂载所述第一备选卷;
所述处理器300还用于获取所述第一备选卷中的所述重定向文件布局信息;
所述处理器300还用于根据所述重定向文件布局信息定位所述第二备选卷,并挂载所述第二备选卷;
所述处理器300还用于根据所述数据操作请求对所述第二备选卷中的所述目标文件进行数据操作。
可选的,当确定目标卷为第一备选卷中重定向文件布局信息所定位的第二备选卷,则存储服务器需要从第一备选卷中读取重定向文件布局信息,因此存储服务器需要挂载第一备选卷,以便于从第一备选卷中读取重定向文件布局信息。
可选的,存储服务器对第一备选卷进行数据访问,获取第一备选卷中的重定向文件布局信息,该重定向文件布局信息可以定位第二备选卷。
可选的,存储服务器根据重定向文件布局信息定位第二备选卷,并将第二备选卷挂载至存储服务器。例如,目标文件的第二文件属性为根据目标文件第二层目录所确定的大文件类型时,则重定向文件布局信息所定位的第二备选卷可以为基于块接口的裸设备卷。
可选的,当存储服务器将目标卷(第二备选卷)挂载后,即可以根据数据操作请求对第二备选卷中的目标文件进行数据操作。数据操作可以是对目标文件进行读写操作,例如修改、删除等等。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
请参照图10,为本发明实施例提供的另一种根服务器的结构示意图,图10的根服务器可用于实现上述图3方法实施例中各步骤及方法。图10的实施例中,根服务器包括处理器400、收发器401、存储器402以及总线403。处理器400、收发器401以及存储器402通过总线403通信,存储器402可以包括只读存储器和随机存取存储器,其中总线403除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。存储器402用于存储计算机指令,处理器400用于执行存储器302中的计算机指令以执行相应的数据操作:
所述收发器401,用于当需要对目标文件进行数据操作时,接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
所述处理器400,用于解析所述描述信息,获得所述目标文件的第一文件属性;
所述处理器400还用于根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
所述收发器401还用于向所述存储服务器发送所述文件布局信息。
可选的,根服务器可以是NFS根服务器,在实际的应用场景中,以NFS服务器集群组成NFS Server集群,如图4所示,在NFS Server集群中有两种角色的NFS Server,包括NFS存储服务器和NFS根服务器。NFS根服务器负责NFS集群的全局命令存储空间管理,提供统一的命名空间。NFS根服务器根据目标文件的描述信息中的第一信息识别目标文件的第一文件属性。
当需要对目标文件进行数据操作时,即是存储服务器接收到客户端的数据操作请求,需要决定需要挂载的进行数据操作的目标卷时,根服务器接收存储服务器发送的包含目标文件的描述信息的文件布局信息请求。
可选的,根服务器对存储服务器所发送的文件布局信息请求中的描述信息中第一信息进行解析,并获得目标文件的第一文件属性。在本发明实施例中对各个文件的存储采用的是差异化存储,即是根据各个文件的属性确定与文件属性对应的进行数据操作的目标卷。在对目标卷的确定过程中采用的是对目标文件的文件属性进行层层解析,从而最终确定目标卷。根服务器对目标文件的属性进行第一层解析,即是根据目标文件的描述信息中第一信息,获取目标文件的第一文件属性。例如,若目标文件的描述信息为目标文件的存储目录信息,则根服务器可以对存储目录信息的第一层目录进行解析,获得目标文件的第一文件属性,具体的解析可以是根据第一层目录初步解析目标文件的第一文件属性为大文件或者为小文件,便于生成与第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。
可选的,第一文件属性还可以是热数据或者冷数据。第一文件属性的具体存在方式在此不作限定,上述仅为举例。
可选的,根服务器根据所获得的目标文件的第一文件属性,生成与目标文件的第一文件属性对应的文件布局信息,该文件布局信息用于确定第一备选卷。即是第一备选卷与第一文件属性之间是对应的。第一备选卷可以是格式化为本地文件系统(如ext4)的卷,可以存储定义为file类型文件。可选的,第一备选卷还可以用于存储跳转文件(重定向文件布局信息),用于定位第二备选卷,目标卷是第一备选卷或者第二备选卷的确定由存储服务器解析出的目标文件的第二文件属性决定。第二备选卷可以是基于块接口的裸设备卷,用于存储Volume类型的文件。第一备选卷以及第二备选卷的具体存在形式也不作限定,在此仅为举例。
可选的,根服务器向存储服务器发送所生成的文件布局信息,存储服务器可以根据文件布局信息定位第一备选卷,如图5所示,根服务器的文件布局信息可以直接定位到相应的Volume(FS)。存储服务器可以对目标文件的描述信息中的第二信息进行进一步解析,获得目标文件的第二文件属性,根据第二文件属性和文件布局信息确定进行数据操作的目标卷为文件布局信息所定位的第一备选卷或者为第一备选卷中的重定向文件布局信息所定位的第二备选卷。
本发明实施例中,存储服务器接收客户端发送的数据操作请求,该数据操作请求中包括需要进行数据操作的目标文件的描述信息,存储服务器向根服务器发送包含描述信息的文件布局信息请求,以使根服务器解析该描述信息中的第一信息获得目标文件的第一文件属性,根服务器利用该第一文件属性生成文件布局信息,该文件布局信息用于确定第一备选卷。存储服务器解析获得目标文件的第二文件属性,并根据文件布局信息和第二文件属性确定进行数据操作的目标卷为第一备选卷或者为第一备选卷中重定向文件布局信息所定位的第二备选卷。存储服务器获取目标卷,并对目标卷中的目标文件进行数据操作。本发明实施方式中,可通过描述信息逐步解析目标文件的文件属性,进而确定与目标文件的文件属性对应的进行数据操作的目标卷,从而适应与目标文件的文件属性所对应的数据操作性能需求。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例终端中的模块或单元可以根据实际需要进行合并、划分和删减。
本发明实施例的微控制器等部件,可以以通用集成电路(如中央处理器CPU),或以专用集成电路(ASIC)来实现。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (17)

1.一种数据处理方法,其特征在于,包括:
存储服务器接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
所述存储服务器向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
所述存储服务器接收所述根服务器发送的所述文件布局信息;
所述存储服务器解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
所述存储服务器根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
所述存储服务器获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
2.如权利要求1所述的方法,其特征在于,所述存储服务器根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,包括:
若所述第二文件属性为第一类型,则所述存储服务器将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;
若所述第二文件属性为第二类型,则所述存储服务器将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
3.如权利要求2所述的方法,其特征在于,若所述目标卷为所述文件布局信息所定位的所述第一备选卷,所述存储服务器获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作,包括:
所述存储服务器挂载所述第一备选卷;
所述存储服务器根据所述数据操作请求对所述第一备选卷中的所述目标文件进行数据操作。
4.如权利要求2所述的方法,其特征在于,若所述目标卷为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,所述存储服务器获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作,包括:
所述存储服务器挂载所述第一备选卷;
所述存储服务器获取所述第一备选卷中的所述重定向文件布局信息;
所述存储服务器根据所述重定向文件布局信息定位所述第二备选卷,并挂载所述第二备选卷;
所述存储服务器根据所述数据操作请求对所述第二备选卷中的所述目标文件进行数据操作。
5.如权利要求1至4任一项所述的方法,其特征在于,所述第一备选卷包括格式化为本地文件系统的卷,所述第二备选卷包括基于块接口的裸设备卷。
6.一种数据处理方法,其特征在于,包括:
当需要对目标文件进行数据操作时,根服务器接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
所述根服务器解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
所述根服务器根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
所述根服务器向所述存储服务器发送所述文件布局信息,所述文件布局信息用于触发所述存储服务器解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
7.一种存储服务器,其特征在于,包括:
第一接收模块,用于接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
发送模块,用于向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
第二接收模块,用于接收所述根服务器发送的所述文件布局信息;
解析模块,用于解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
确定模块,用于根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
数据操作模块,用于获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
8.如权利要求7所述的存储服务器,其特征在于,
所述确定模块具体用于若所述第二文件属性为第一类型,则将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;若所述第二文件属性为第二类型,则将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
9.如权利要求8所述的存储服务器,其特征在于,若所述目标卷为所述文件布局信息所定位的所述第一备选卷;所述数据操作模块包括:
第一挂载单元,用于挂载所述第一备选卷;
第一数据操作单元,用于根据所述数据操作请求对所述第一备选卷中的所述目标文件进行数据操作。
10.如权利要求8所述的存储服务器,其特征在于,若所述目标卷为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,所述数据操作模块包括:
第二挂载单元,用于挂载所述第一备选卷;
获取单元,用于获取所述第一备选卷中的所述重定向文件布局信息;
定位挂载单元,用于根据所述重定向文件布局信息定位所述第二备选卷,并挂载所述第二备选卷;
第二数据操作单元,用于根据所述数据操作请求对所述第二备选卷中的所述目标文件进行数据操作。
11.如权利要求7至10任一项所述的存储服务器,其特征在于,所述第一备选卷包括格式化为本地文件系统的卷,所述第二备选卷包括基于块接口的裸设备卷。
12.一种根服务器,其特征在于,包括:
接收模块,用于当需要对目标文件进行数据操作时,接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
解析模块,用于解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
生成模块,用于根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
发送模块,用于向所述存储服务器发送所述文件布局信息,所述文件布局信息用于触发所述存储服务器解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
13.一种存储服务器,包括处理器和存储器,所述处理器和所述存储器通过总线通信,其特征在于,所述处理器执行所述存储器中的计算机指令以执行:
接收客户端发送的数据操作请求,所述数据操作请求包括需要进行数据操作的目标文件的描述信息;
向根服务器发送包含所述描述信息的文件布局信息请求,以使所述根服务器解析所述描述信息中的第一信息获得所述目标文件的第一文件属性;其中,所述第一文件属性用于根服务器生成文件布局信息;所述文件布局信息用于确定第一备选卷;
接收所述根服务器发送的所述文件布局信息;
解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;
根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;
获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
14.根据权利要求13所述的存储服务器,其特征在于,根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷,包括:
若所述第二文件属性为第一类型,则所述存储服务器将所述文件布局信息所定位的所述第一备选卷确定为进行数据操作的目标卷;
若所述第二文件属性为第二类型,则所述存储服务器将所述第一备选卷中的重定向文件布局信息所定位的第二备选卷确定为进行数据操作的目标卷。
15.一种根服务器,包括处理器和存储器,所述处理器和所述存储器通过总线通信,其特征在于,所述处理器执行所述存储器中的计算机指令以执行:
当需要对目标文件进行数据操作时,接收存储服务器发送的包含所述目标文件的描述信息的文件布局信息请求;
解析所述描述信息中的第一信息,获得所述目标文件的第一文件属性;
根据所述第一文件属性生成文件布局信息,所述文件布局信息用于确定第一备选卷;
向所述存储服务器发送所述文件布局信息,所述文件布局信息用于触发所述存储服务器解析所述描述信息中的第二信息,获得所述目标文件的第二文件属性;根据所述文件布局信息和所述第二文件属性确定进行数据操作的目标卷为所述第一备选卷或者为所述第一备选卷中的重定向文件布局信息所定位的第二备选卷;获取所述目标卷,并根据所述数据操作请求对所述目标卷中的所述目标文件进行数据操作。
16.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质存储有计算机程序,所述计算机程序用于指令相关硬件,来完成权利要求1至5任意一项所述的方法。
17.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质存储有计算机程序,所述计算机程序用于指令相关硬件,来完成权利要求6所述的方法。
CN201410830399.6A 2014-12-26 2014-12-26 一种数据处理方法及相关服务器 Active CN105791370B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410830399.6A CN105791370B (zh) 2014-12-26 2014-12-26 一种数据处理方法及相关服务器
PCT/CN2015/089980 WO2016101662A1 (zh) 2014-12-26 2015-09-18 一种数据处理方法及相关服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410830399.6A CN105791370B (zh) 2014-12-26 2014-12-26 一种数据处理方法及相关服务器

Publications (2)

Publication Number Publication Date
CN105791370A CN105791370A (zh) 2016-07-20
CN105791370B true CN105791370B (zh) 2019-02-01

Family

ID=56149183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410830399.6A Active CN105791370B (zh) 2014-12-26 2014-12-26 一种数据处理方法及相关服务器

Country Status (2)

Country Link
CN (1) CN105791370B (zh)
WO (1) WO2016101662A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087494B (zh) 2017-09-05 2024-04-09 华为技术有限公司 对请求处理的方法、片上系统和公有云管理组件
CN108881368A (zh) * 2018-04-22 2018-11-23 平安科技(深圳)有限公司 高并发业务请求处理方法、装置、计算机设备和存储介质
CN110032595B (zh) * 2019-04-15 2023-07-14 广东电网有限责任公司 一种数据处理方法、系统、设备及存储介质
CN111121683A (zh) * 2019-12-05 2020-05-08 山西裕鼎精密科技有限公司 数据处理装置、方法及计算机存储介质
CN113656094B (zh) * 2021-08-03 2023-12-12 北京数码大方科技股份有限公司 属性信息的处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952941A (zh) * 2005-10-21 2007-04-25 中国科学院计算技术研究所 一种用于共享存储的资源分配方法和分配系统
CN102622384A (zh) * 2011-06-14 2012-08-01 北京小米科技有限责任公司 一种文件管理的方法
CN102932415A (zh) * 2012-09-26 2013-02-13 东软集团股份有限公司 一种镜像文件存储方法及装置
WO2014183708A1 (zh) * 2013-12-02 2014-11-20 中兴通讯股份有限公司 一种实现分布式文件系统块存储的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408044A (zh) * 2014-10-23 2015-03-11 北京用友政务软件有限公司 一种文件存取方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952941A (zh) * 2005-10-21 2007-04-25 中国科学院计算技术研究所 一种用于共享存储的资源分配方法和分配系统
CN102622384A (zh) * 2011-06-14 2012-08-01 北京小米科技有限责任公司 一种文件管理的方法
CN102932415A (zh) * 2012-09-26 2013-02-13 东软集团股份有限公司 一种镜像文件存储方法及装置
WO2014183708A1 (zh) * 2013-12-02 2014-11-20 中兴通讯股份有限公司 一种实现分布式文件系统块存储的方法及系统

Also Published As

Publication number Publication date
CN105791370A (zh) 2016-07-20
WO2016101662A1 (zh) 2016-06-30

Similar Documents

Publication Publication Date Title
CN105933376B (zh) 一种数据操作方法,服务器及存储系统
CN105791370B (zh) 一种数据处理方法及相关服务器
US9996565B2 (en) Managing an index of a table of a database
CN106487850B (zh) 一种云环境下获取镜像的方法、装置和系统
CN103890729B (zh) 计算机化方法、存储服务器及管理服务器
US20200364608A1 (en) Communicating in a federated learning environment
CN104618482B (zh) 访问云数据的方法、服务器、传统存储设备、系统
CN104539681B (zh) 分布式gis加速系统和gis服务的处理方法
US20130179481A1 (en) Managing objects stored in storage devices having a concurrent retrieval configuration
CN103312624B (zh) 一种消息队列服务系统和方法
US9495402B2 (en) Managing a table of a database
CN108604164A (zh) 用于存储区域网络协议存储的同步复制
CN108509152A (zh) 一种实现容器运行时数据存储的方法及装置
CN103338252A (zh) 一种分布式数据库并发存储虚拟请求机制
CN110474940A (zh) 请求调度方法、装置、电子设备、及介质
CN108347459A (zh) 一种云端数据快速存储方法及装置
CN103297490B (zh) 信息处理装置、分布式处理系统和分布式处理方法
CN106817388A (zh) 虚拟机、宿主机获取数据的方法、装置及访问数据的系统
CN109597903A (zh) 图像文件处理装置和方法、文件存储系统及存储介质
JP2012008854A (ja) ストレージ仮想化装置
JP6059558B2 (ja) 負荷分散判定システム
CN106940712A (zh) 序列生成方法与设备
CN110417741A (zh) 一种过滤安全组的方法和装置
CN107276914B (zh) 基于cmdb的自助资源分配调度的方法
CN105335450B (zh) 数据存储处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant