CN109672714A - 一种分布式存储系统的数据处理方法及分布式存储系统 - Google Patents
一种分布式存储系统的数据处理方法及分布式存储系统 Download PDFInfo
- Publication number
- CN109672714A CN109672714A CN201710997407.XA CN201710997407A CN109672714A CN 109672714 A CN109672714 A CN 109672714A CN 201710997407 A CN201710997407 A CN 201710997407A CN 109672714 A CN109672714 A CN 109672714A
- Authority
- CN
- China
- Prior art keywords
- target
- client
- volume group
- management server
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Abstract
本发明公开了一种分布式存储系统的数据处理方法及分布式存储系统,用于提高分布式存储系统的访问效率。其中,分布式存储系统的数据处理方法包括:客户端向管理服务器发送访问请求消息;其中,所述访问请求消息用于请求访问弹性块存储EBS存储节点包括的块存储单元;所述客户端接收所述管理服务器反馈的映射关系;其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;其中,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元;所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target指定的卷组的任一块存储单元;其中,指定的卷组是所述管理服务器事先给所述客户端指定的卷组。
Description
技术领域
本发明涉及云存储技术领域,特别涉及一种分布式存储系统的数据处理方法及分布式存储系统。
背景技术
分布式存储系统,就是将数据分散存储在多台独立的设备上,集中管理存储服务,例如虚拟磁盘、逻辑卷等的存储系统。通常用户基于小型计算机接口(Internet SmallComputer System Interface,iscsi)协议在分布式块存储系统中进行数据传输。其中,iscsi协议是一种基于TCP/IP的协议,用来建立和管理iscsi服务器(目标器target)和iscsi客户端(启动器initiator)等之间的相互连接,及数据传输。
现有的分布式存储系统中,iscsi服务器创建多个target,将每个target导出给对应的客户端。这样客户端就可以访问target的存储单元。当客户端的数据较多时,iscsi服务器创建的target的数量也较多,而大量的target会严重影响整个存储系统的性能,导致客户端访问iscsi服务器的速度降低,即访问效率降低。为此,有的iscsi服务器将一个target导出给多个客户端,这样多个客户端中的每个客户端都可以访问同一个target下的所有存储单元,也就是有的客户端可以访问其他客户端在存储单元存储的数据,显然数据的安全性较低。
可见,目前的分布式存储系统存在访问效率较低的技术问题。
发明内容
本发明实施例提供一种分布式存储系统的数据处理方法及分布式存储系统,用于提高分布式存储系统的访问效率。
第一方面,本发明实施例提供了一种分布式存储系统的数据处理方法,该数据处理方法,包括:
客户端向管理服务器发送访问请求消息;其中,所述访问请求消息用于请求访问弹性块存储EBS存储节点包括的块存储单元;
所述客户端接收所述管理服务器反馈的映射关系;其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;其中,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元;
所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target指定的卷组的任一块存储单元;其中,指定的卷组是所述管理服务器事先给所述客户端指定的卷组。
可选的,在所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target对应的卷组的任一块存储单元之前,还包括:
所述客户端向所述任一target发送连接请求指令;其中,所述连接请求指令用于请求与所述任一target建立连接;
若成功连接,则所述客户端对所述任一块存储单元进行格式化;
否则,所述客户端重新向所述任一target发送连接请求指令。
可选的,在所述客户端向所述任一target发送连接请求指令之前,还包括:
所述客户端向所述管理服务器发送身份验证请求指令;其中,所述身份验证请求指令用于请求验证所述客户端是否具有访问所述至少一个target的权限;
若验证通过,则所述客户端接收所述管理服务器发送的所述至少一个target;
否则,所述客户端接收所述管理服务器发送的重新进行身份验证的请求。
第二方面,本发明实施例还提供了一种分布式存储系统的数据处理方法,该数据处理方法,包括:
管理服务器接收客户端发送的访问请求消息;其中,所述访问请求消息用于请求访问存储节点包括的块存储单元;
所述管理服务器根据所述访问请求消息向所述客户端发送映射关系,以使得所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中任一target对应的卷组的任一块存储单元;
其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;一个target对应至少一个卷组,一个卷组对应至少一个块存储单元。
可选的,在管理服务器接收客户端发送的访问请求消息之前,还包括:
所述管理服务器接收创建请求指令;其中,所述创建请求指令用于请求创建至少一个target和至少一个卷组;
所述管理服务器根据接收的创建请求指令,创建所述至少一个target和所述至少一个卷组;
所述管理服务器配置所述至少一个target和所述至少一个卷组的映射关系。
可选的,在所述管理服务器根据接收的创建请求指令,创建至少一个target和至少一个卷组之后,还包括:
所述管理服务器向弹性块存储EBS存储节点发送获取请求消息;其中,所述获取请求消息用于请求获取所述EBS存储节点包括的块存储单元;
所述管理服务器接收所述EBS存储节点反馈的块存储单元信息;
所述管理服务配置接收的块存储单元信息指示的块存储单元与所述至少一个卷组的映射关系。
可选的,在所述管理服务配置接收的块存储单元信息指示的块存储单元与所述至少一个卷组的映射关系之后,还包括:
所述管理服务器配置至少一个客户端与所述至少一个卷组的映射关系。
可选的,所述管理服务器配置至少一个客户端与所述至少一个卷组的映射关系,包括:
所述管理服务器根据所述至少一个客户端能够给使用的业务的类型,为所述至少一个客户端配置所述至少一个卷组。
可选的,所述管理服务器根据所述访问请求消息向所述客户端发送映射关系,包括:
所述管理服务器向所述客户端发送事先给所述客户端指定的卷组对应的target列表。
第三方面,本发明实施例提供了一种客户端,该客户端包括:
发送单元,用于向管理服务器发送访问请求消息;其中,所述访问请求消息用于请求访问弹性块存储EBS存储节点包括的块存储单元;
接收单元,用于接收所述管理服务器反馈的映射关系;其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;其中,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元;
访问单元,用于根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target指定的卷组的任一块存储单元;其中,指定的卷组是所述管理服务器事先给所述客户端指定的卷组。
第四方面,本发明实施例提供了一种管理服务器,该管理服务器包括:
接收单元,用于接收客户端发送的访问请求消息;其中,所述访问请求消息用于请求访问存储节点包括的块存储单元;
发送单元,用于根据所述访问请求消息向所述客户端发送映射关系,以使得所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中任一target对应的卷组的任一块存储单元;
其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;一个target对应至少一个卷组,一个卷组对应至少一个块存储单元。
第五方面,本发明实施例提供了一种分布式存储系统,该分布式存储系统包括:客户端、管理服务器和弹性块存储EBS存储节点;其中,
所述EBS存储节点包括至少一个块存储单元,用于提供存储空间;
所述管理服务器用于:存储所述EBS存储节点包括的块存储单元与目标器target的映射关系;其中,所述块存储单元与所述target的映射关系包括所述块存储单元与卷组的映射关系,及所述卷组与所述target的映射关系;其中,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元;
所述客户端用于:向所述管理服务器发送访问请求消息,所述访问请求消息用于请求访问弹性块存储EBS存储节点包括的块存储单元,并接收所述管理服务器反馈的映射关系,根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target指定的卷组的任一块存储单元。
第六方面,本发明实施例提供了一种计算机存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如第一方面和/或第二方面中任一项所述的方法。
本发明实施例中,管理服务器存储的EBS存储节点包括的块存储单元与target的映射关系实质上包括块存储单元与卷组的映射关系,及卷组与target的映射关系。这样多个块存储单元对应一个卷组,多个卷组对应一个target,管理服务器创建的target的数目就较少。这样客户端访问块存储单元时,与target建立的连接就少了,从而可以提高整个分布式存储系统的性能,提高客户端访问块存储单元的效率。
附图说明
图1是现有技术提供的分布式存储系统的一种结构示意图;
图2为本发明实施例提供的分布式存储系统的一种结构示意图;
图3为本发明实施例提供的分布式存储系统的数据处理方法的流程图;
图4为本发明实施例提供的目标器与卷组及卷的映射关系示意图;
图5为本发明实施例提供的目标器与卷组及客户端的映射关系示意图;
图6为本发明实施例提供的客户端的一种结构示意图;
图7为本发明实施例提供的管理服务器的一种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
下面先介绍本发明实施例的技术背景。
分布式存储系统就是将数据分散存储在多台独立的设备上,集中管理存储服务。分布式存储系统包括存储节点,存储节点可以包括多个块存储单元,例如虚拟磁盘、逻辑卷等的存储系统。本发明实施例中,存储节点可以是EBS存储节点,该EBS存储节点可以将存储单元划分为多个块存储单元。分布式存储系统还包括客户端,客户端可以请求访问EBS存储节点包括的多个块存储单元。
通常客户端通过管理服务器请求访问EBS存储节点包括的多个块存储单元。管理服务器可以管理EBS存储节点包括的多个块存储单元。客户端与管理服务器之间可以基于iscsi协议进行数据传输。其中,客户端也可以称为iscsi客户端或启动器initiator,管理服务器也可以称为iscsi服务器或目标器target。
请参见图1,图1是现有技术提供的分布式存储系统的一种结构示意图。现有的分布式存储系统中,iscsi服务器可以创建多个target,每个target可以对应多个EBS存储节点包括的多个块存储单元,例如逻辑卷。当客户端请求iscsi服务器访问存储单元时,iscsi服务器可以将每个target导出给对应的客户端,如图1所示,图1所示的iscsi服务器指示一个target。这样客户端与target建立起连接,就可以访问target对应的存储单元。当客户端的数据较多时,iscsi服务器创建的target的数量也较多,客户端与target建立的连接也较多,对于分布式存储系统这个系统而言,同时连接大量的target,会严重影响整个存储系统的性能,导致客户端访问iscsi服务器的速度降低,即访问效率降低。
为此,现有技术中,有的iscsi服务器将一个target导出给多个客户端,这样多个客户端中的每个客户端都可以访问同一个target下的所有存储单元,也就是有的客户端可以访问其他客户端在存储单元存储的数据,这样显然无法保证数据的安全性,即数据的安全性较低。
鉴于此,本发明实施例提供一种分布式存储系统的数据处理方法及分布式存储系统,在该分布式存储系统中,管理服务器可以为EBS存储节点包括的多个块存储单元映射至多个卷组,将多个卷组映射至多个target。这样多个块存储单元对应一个卷组,多个卷组对应一个target,管理服务器创建的target的数目就较少。这样客户端访问块存储单元时,与target建立的连接就少了,从而可以提高整个分布式存储系统的性能,提高客户端访问块存储单元的效率。
下面结合附图介绍本发明实施例提供的技术方案。
请参见图2,本发明一实施例一种分布式存储系统,该分布式存储系统可以包括:客户端201、管理服务器202和EBS存储节点203。其中,EBS存储节点203可以包括至少一个块存储单元,用于提供存储空间。管理服务器202可以用于存储EBS存储节点203包括的块存储单元与目标器target的映射关系。管理服务器202存储的块存储单元与target的映射关系包括块存储单元与卷组group的映射关系,及group与target的映射关系,其中,一个target对应至少一个group,一个group对应至少一个块存储单元。
客户端201可以用于向管理服务器202发送访问请求消息,该访问请求消息用于请求访问EBS存储节点203包括的块存储单元。当管理服务器202接收客户端201发送的访问请求,可以向客户端201反馈映射关系,以使得客户端201可以根据反馈的映射关系对应的至少一个target,访问至少一个target中与任一target指定的group的任一块存储单元。
其中,管理服务器202可以实现对EBS存储节点203的管理。EBS存储节点203可以将包括块存储单元划分为多个块存储单元,例如将包括的磁盘划分为多个卷,其中每个卷的存储空间是磁盘的一部分。可能的实施方式中,EBS存储节点203可以为包括的多个卷设置相应的逻辑节点号LUN,每个逻辑节点号LUN用于标识对应的卷。
管理服务器202可以管理EBS存储节点203包括的块存储单元,当需要管理EBS存储节点203包括的块存储单元时,管理员可以通过其他设备,例如鼠标等在管理服务器202上进行操作,所进行的操作生成指令发送给管理服务器202。该指令可以是创建请求指令,用于创建至少一个target。每个target可以对应多个块存储单元。当客户端201向管理服务器202请求访问块存储单元使,管理服务器202可以向客户端201导出target,这样客户端201就可以与导出的target建立连接,以访问该target对应的任一块存储单元。
本发明实施例中的管理服务器202还可以创建至少一个group。可能的实施方式中,管理服务器202接收创建请求指令后,可以根据创建请求指令创建至少一个target及至少一个group。或者也可以是接收到创建group的指令后,创建至少一个group。对此,本发明实施例不作限制。管理服务器202创建了至少一个target及至少一个group之后,可以配置至少一个target和至少一个group的映射关系,其中,一个target对应一个或多个group。
进一步地,管理服务器202可以向EBS存储节点203发送获取请求消息,该获取请求消息可以用于请求获取EBS存储节点203包括的块存储单元。EBS存储节点203接收获取请求消息后,可以向管理服务器202反馈EBS存储节点203包括的块存储单元信息。该块存储单元信息可以包括EBS存储节点203事先为包括的多个块存储单元创建对应的逻辑节点号LUN。这样管理服务器202接收EBS存储节点203反馈的块存储单元信息,就可以通过块存储单元信息包括的逻辑节点号LUN来确定有哪些块存储单元。
管理服务器202接收EBS存储节点203反馈的块存储单元信息之后,可以将块存储单元信包括的至少一个LUN映射至所创建的至少一个group。其中,每个group可以对应一个或多个LUN。管理服务器202向客户端201导出target后,客户端201可以根据导出的target,确定对应的group,再从group确定对应的卷,从而达到访问卷的目的。
且在EBS存储节点203创建的卷的数量确定的情况下,通过映射至group再映射至target下,使得target的数量较少。即使当客户端201较多时,同一时间,多个客户端201向管理服务器202请求访问EBS存储节点203创建的卷时,管理服务器202向多个客户端201导出的target的数量也较少。target建立的连接也较少,对于整个分布式存储系统来说,同一时间,管理服务器202下连接的target较少,可以提高整个分布式存储系统的性能,提高客户端201访问块存储单元的效率。
任何客户端201都可以访问与其连接的target对应的group所对应的卷,而一个target可能对应多个group。假设,一个target对应2个group,分别为groupA和groupB,A客户端201在groupA对应的卷存储了一些比较重要的资料,B客户端201在groupB对应的卷存储了需要保密的资料。由于A客户端201和B客户端201都可以访问groupA和groupB,这就导致B客户端201可以访问A客户端201存储在groupA对应的卷的资料,同样地,A客户端201也可以访问B客户端201存储在groupB对应的卷的资料,显然无法保证数据的安全性。
鉴于此,本发明实施例中,管理服务器202可以根据至少一个客户端201能够给使用的业务的类型,为至少一个客户端201配置至少一个group,也就是为至少一个客户端201指定固定的group,这样一个客户端201就只可以访问管理服务器202为其指定的group,而不能访问其他group,以达到group对应的卷的数据的安全性。其中,客户端201使用的业务的类型可以根据客户端201通常使用的业务进行归类,例如,可以将使用相同的业务的客户端201归为一类。管理服务器202可以为一类客户端201配置相同的group,也就是指定相同的group。一类客户端201包括的多个客户端201可以访问相同的group。可能的实施方式中,管理服务器202也可以为不同的客户端201分别指定不同的group,对此,本发明是实施例不作限制。
管理服务器202创建了至少一个target及至少一个group,并配置了至少一个target和至少一个group的映射关系,及至少一个group与EBS存储节点203包括的至少一个LUN的映射关系。并为不同的客户端201指定了group,当客户端201向管理服务器202发送请求访问消息后,管理服务器202可以根据请求访问消息携带的客户端201的信息向客户端201发送映射关系,该映射关系可以是target列表,也就是至少一个target。其中,管理服务器202所导出的至少一个target中的每个target对应的group包括管理服务器202为该客户端201指定的group。客户端201收到管理服务器202导出的至少一个target后,可以从至少一个target中任意选择一个target,并从选择的target对应的group中选择管理服务器202指定的group,从而访问所选择的group对应的任意一个LUN对应的任意一块存储单元。
客户端201在访问至少一个target中与任一target对应的group的任一块存储单元之前,可以向任一target发送连接请求指令,该连接请求指令用于请求与任一target建立连接。如果target与客户端201成功连接,则客户端201可以对target下指定的group的任一块存储单元进行格式化,尽量避免块存储单元原始数据对客户端201要操作的数据的影响。客户端201格式化任一块存储单元后可以对格式化后的块存储单元进行访问。如果target与客户端201没有连接成功,则客户端201可以重新向target发送连接请求指令,请求再次进行连接。
客户端201在与任一target连接之前,也就是向任一target发送连接请求指令之前,还可以向管理服务器202发送身份验证请求指令,其中,身份验证请求指令用于请求验证客户端201是否具有访问至少一个target的权限。如果客户端201具有访问至少一个target的权限,则验证通过,此时,管理服务器202就可以向客户端201反馈至少一个target,否则,管理服务器202向客户端201发送重新进行身份验证的请求消息。如果客户端201不具有访问至少一个target的权限,那么客户端201发现不了任何一个target,也就无法访问任何块存储单元。
下面结合图2,本发明一实施例提供一种分布式存储系统的数据处理方法,该方法通过如前述的分布式系统实现。请参见图3,该方法的流程描述如下:
管理服务器202可以创建至少一个target,并且创建至少一个group,将至少一个group映射至至少一个target,一个target可以对应一个或多个group。管理服务器202可以将EBS存储节点203包括的块存储单元映射至至少一个group,一个group可以对应一个或多个块存储单元。EBS存储节点203可以将包括的块存储单元划分为多个卷,即块存储单元,并为每个卷创建对应的逻辑节点号LUN,一个LUN对应一个卷。管理服务器202将EBS存储节点203包括的块存储单元映射至至少一个group,即可以将EBS存储节点203创建的多个LUN映射至至少一个group,一个group可以对应一个或多个LUN,可以通过如图3所示的EBS-driver实现。如图4所示,图4为target与group及卷的映射关系图,一个target对应一个或多个group,一个group对应一个或多个LUN。图4以一个target对应3个group,一个group对应3个LUN为例进行示意。
管理服务器202在将EBS存储节点203包括的块存储单元映射至至少一个group时,可以向EBS存储节点203发送查找LUN的请求消息,以确定EBS存储节点203是否创建了至少一个LUN,也就是是否存在至少一个LUN,若存在,则EBS存储节点203向管理服务器202反馈包括至少一个LUN的信息,以使得管理服务器202可以根据EBS存储节点203反馈的至少一个LUN的信息将EBS存储节点203包括的块存储单元映射至至少一个group。
进一步地,管理服务器202可以根据客户端201能够使用的业务类型或者通常使用的业务类型创建至少一个group,并且为客户端201指定一个或多个group,每个客户端201只能使用管理服务器202为其指定的group。如图5所示,图5为target与group及客户端201的映射关系图。一个target对应一个或多个group,一个group对应一个或多个客户端201。图5以一个target1对应3个group,其中,group1对应2个客户端201,group2和group3分别对应一个客户端201为例进行示意。本发明实施例中,group也可以是事先创建好的默认的group,如果管理服务器202不为客户端201指定group,则将客户端201映射至默认的group。
管理服务器202创建了target与group及LUN的映射关系。客户端201如果要访问EBS存储节点203包括的块存储单元,可以向管理服务器202发送访问请求消息,以请求访问EBS存储节点203包括的块存储单元。客户端201在发送访问请求消息之前,还需要向服务器发送身份验证请求指令,以请求验证客户端201是否具有访问管理服务器202的权限。如果身份验证通过,客户端201可以接收管理服务器202发送的至少一个target,可能的实施方式中,管理服务器202可以导出target列表。管理服务器202是根据客户端201的信息,例如客户端201名称等,导出与客户端201对应的target列表。当客户端201探测到管理服务器202有对自身导出target时,客户端201可以从接收的target列表包括的至少一个target中选择一个target进行登录。在登录时,客户端201向选择的target发送连接请求指令,以请求与target建立连接,如果成功连接,客户端201可以登录target。此时,target只反馈给客户端201为客户端201指定的group对应的LUN。那么客户端201就可以访问target反馈的卷组对应的任一LUN对应的任一块存储单元。通过此方式,实现在同一个target下对不同客户端201导出的块存储单元不同,实现了不同的客户端201之间的相互隔离,例如,拥有对group1的访问权限的客户端201看不到group2对应的块存储单元,自然也就访问不了group2对应的块存储单元,保证了数据的安全性。另外,客户端201在对任一块存储单元进行访问前,可以对任一块存储单元进行格式化,以避免该块存储单元原始保存数据对客户端201造成影响。
综上,本发明实施例提供的分布式存储系统中,管理服务器202可以为EBS存储节点203包括的多个块存储单元映射至多个卷组,将多个卷组映射至多个target。这样多个块存储单元对应一个卷组,多个卷组对应一个target,管理服务器202创建的target的数目就较少。这样客户端201访问块存储单元时,与target建立的连接就少了,从而可以提高整个分布式存储系统的性能,提高客户端201访问块存储单元的效率。另外,管理服务器202为客户端201指定了卷组,实现了同一个target下对不同客户端201导出的块存储单元不同,不同的客户端201之间的相互隔离,保证了数据的安全性。
下面结合附图介绍本发明实施例提供的设备。
请参见图6,基于同一发明构思,本发明一实施例提供一种客户端201,该客户端201包括发送单元601、接收单元602和访问单元603。
其中,发送单元601可以用于向管理服务器202发送访问请求消息,访问请求消息用于请求访问弹性块存储EBS存储节点203包括的块存储单元。接收单元602可以用于接收管理服务器202反馈的映射关系,其中,映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元。访问单元603可以用于根据映射关系对应的至少一个target,访问至少一个target中与任一target指定的卷组的任一块存储单元,指定的卷组是管理服务器202事先给客户端201指定的卷组。
可选的,发送单元601还用于:
在客户端201根据映射关系对应的至少一个target,访问至少一个target中与任一target对应的卷组的任一块存储单元之前,向任一target发送连接请求指令;其中连接请求指令用于请求与任一target建立连接;
访问单元603还用于:若成功连接,则对任一块存储单元进行格式化,否则,重新向任一target发送连接请求指令。
可选的,发送单元601还用于:
在客户端201向任一target发送连接请求指令之前,向管理服务器202发送身份验证请求指令,其中,身份验证请求指令用于请求验证客户端201是否具有访问至少一个tarfet的权限;
接收单元602还用于:若验证通过,则接收管理服务器202发送的至少一个target,否则,接收管理服务器202发送的重新进行身份验证的请求。
该客户端201可以用于执行图3所示的实施例所提供的方法。因此,对于该客户端201的各功能模块所能够实现的功能等可参考图3所示的实施例的描述,不多赘述。
请参见图7,基于同一发明构思,本发明一实施例提供一种管理服务器202,该管理服务器202包括接收单元701和发送单元702。其中,接收单元701可以用于接收客户端201发送的访问请求消息,其中,访问请求消息用于请求访问存储节点包括的块存储单元。发送单元702可以用于根据访问请求消息向客户端201发送映射关系,以使得客户端201根据映射关系对应的至少一个target,访问至少一个target中任一target对应的卷组的任一块存储单元。
其中,映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元。
可选的,还包括创建单元703;
接收单元701还用于:在管理服务器202接收客户端201发送的访问请求消息之前,接收创建请求指令;其中,创建请求指令用于请求创建至少一个target和至少一个卷组;
创建单元703用于根据接收的创建请求指令,创建至少一个target和至少一个卷组,配置至少一个target和至少一个卷组的映射关系。
可选的,发送单元701还用于:
在管理服务器202根据接收的创建请求指令,创建至少一个target和至少一个卷组之后,向弹性块存储EBS存储节点203发送获取请求消息,其中,获取请求消息用于请求获取EBS存储节点203包括的块存储单元;
接收单元701用于接收EBS存储节点203反馈的块存储单元信息;
创建单元703用于配置接收的块存储单元信息指示的块存储单元与至少一个卷组的映射关系。
可选的,创建单元703还用于:在配置接收的块存储单元信息指示的块存储单元与至少一个卷组的映射关系之后,配置至少一个客户端201与至少一个卷组的映射关系。
可选的,创建单元703具体用于:
根据至少一个客户端201能够给使用的业务的类型,为至少一个客户端201配置至少一个卷组。
可选的,发送单元702具体用于:
向客户端201发送事先给客户端201指定的卷组对应的target列表。
该管理服务器202可以用于执行图3所示的实施例所提供的方法。因此,对于该管理服务器202的各功能模块所能够实现的功能等可参考图3所示的实施例的描述,不多赘述。
基于同一发明构思,本发明实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,当计算机指令在计算机上运行时,使得计算机执行如图3所示的方法。
在具体的实施过程中,计算机可读存储介质包括:通用串行总线闪存盘(Universal Serial Bus flash drive,USB)、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:通用串行总线闪存盘(Universal Serial Bus flash disk)、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (13)
1.一种分布式存储系统的数据处理方法,其特征在于,包括:
客户端向管理服务器发送访问请求消息;其中,所述访问请求消息用于请求访问弹性块存储EBS存储节点包括的块存储单元;
所述客户端接收所述管理服务器反馈的映射关系;其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;其中,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元;
所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target指定的卷组的任一块存储单元;其中,指定的卷组是所述管理服务器事先给所述客户端指定的卷组。
2.如权利要求1所述的方法,其特征在于,在所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target对应的卷组的任一块存储单元之前,还包括:
所述客户端向所述任一target发送连接请求指令;其中,所述连接请求指令用于请求与所述任一target建立连接;
若成功连接,则所述客户端对所述任一块存储单元进行格式化;
否则,所述客户端重新向所述任一target发送连接请求指令。
3.如权利要求2所述的方法,其特征在于,在所述客户端向所述任一target发送连接请求指令之前,还包括:
所述客户端向所述管理服务器发送身份验证请求指令;其中,所述身份验证请求指令用于请求验证所述客户端是否具有访问所述至少一个target的权限;
若验证通过,则所述客户端接收所述管理服务器发送的所述至少一个target;
否则,所述客户端接收所述管理服务器发送的重新进行身份验证的请求。
4.一种分布式存储系统的数据处理方法,其特征在于,包括:
管理服务器接收客户端发送的访问请求消息;其中,所述访问请求消息用于请求访问存储节点包括的块存储单元;
所述管理服务器根据所述访问请求消息向所述客户端发送映射关系,以使得所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中任一target对应的卷组的任一块存储单元;
其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;一个target对应至少一个卷组,一个卷组对应至少一个块存储单元。
5.如权利要求4所述的方法,其特征在于,在管理服务器接收客户端发送的访问请求消息之前,还包括:
所述管理服务器接收创建请求指令;其中,所述创建请求指令用于请求创建至少一个target和至少一个卷组;
所述管理服务器根据接收的创建请求指令,创建所述至少一个target和所述至少一个卷组;
所述管理服务器配置所述至少一个target和所述至少一个卷组的映射关系。
6.如权利要求5所述的方法,其特征在于,在所述管理服务器根据接收的创建请求指令,创建至少一个target和至少一个卷组之后,还包括:
所述管理服务器向弹性块存储EBS存储节点发送获取请求消息;其中,所述获取请求消息用于请求获取所述EBS存储节点包括的块存储单元;
所述管理服务器接收所述EBS存储节点反馈的块存储单元信息;
所述管理服务配置接收的块存储单元信息指示的块存储单元与所述至少一个卷组的映射关系。
7.如权利要求5或6所述的方法,其特征在于,在所述管理服务配置接收的块存储单元信息指示的块存储单元与所述至少一个卷组的映射关系之后,还包括:
所述管理服务器配置至少一个客户端与所述至少一个卷组的映射关系。
8.如权利要求7所述的方法,其特征在于,所述管理服务器配置至少一个客户端与所述至少一个卷组的映射关系,包括:
所述管理服务器根据所述至少一个客户端能够给使用的业务的类型,为所述至少一个客户端配置所述至少一个卷组。
9.如权利要求7所述的方法,其特征在于,所述管理服务器根据所述访问请求消息向所述客户端发送映射关系,包括:
所述管理服务器向所述客户端发送事先给所述客户端指定的卷组对应的target列表。
10.一种客户端,其特征在于,包括:
发送单元,用于向管理服务器发送访问请求消息;其中,所述访问请求消息用于请求访问弹性块存储EBS存储节点包括的块存储单元;
接收单元,用于接收所述管理服务器反馈的映射关系;其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;其中,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元;
访问单元,用于根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target指定的卷组的任一块存储单元;其中,指定的卷组是所述管理服务器事先给所述客户端指定的卷组。
11.一种管理服务器,其特征在于,包括:
接收单元,用于接收客户端发送的访问请求消息;其中,所述访问请求消息用于请求访问存储节点包括的块存储单元;
发送单元,用于根据所述访问请求消息向所述客户端发送映射关系,以使得所述客户端根据所述映射关系对应的至少一个target,访问所述至少一个target中任一target对应的卷组的任一块存储单元;
其中,所述映射关系包括块存储单元与卷组的映射关系,及卷组与target的映射关系;一个target对应至少一个卷组,一个卷组对应至少一个块存储单元。
12.一种分布式存储系统,其特征在于,包括:客户端、管理服务器和弹性块存储EBS存储节点;其中,
所述EBS存储节点包括至少一个块存储单元,用于提供存储空间;
所述管理服务器用于:存储所述EBS存储节点包括的块存储单元与目标器target的映射关系;其中,所述块存储单元与所述target的映射关系包括所述块存储单元与卷组的映射关系,及所述卷组与所述target的映射关系;其中,一个target对应至少一个卷组,一个卷组对应至少一个块存储单元;
所述客户端用于:向所述管理服务器发送访问请求消息,所述访问请求消息用于请求访问弹性块存储EBS存储节点包括的块存储单元,并接收所述管理服务器反馈的映射关系,根据所述映射关系对应的至少一个target,访问所述至少一个target中与任一target指定的卷组的任一块存储单元。
13.一种计算机存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如权利要求1-3和/或4-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710997407.XA CN109672714B (zh) | 2017-10-17 | 2017-10-17 | 一种分布式存储系统的数据处理方法及分布式存储系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710997407.XA CN109672714B (zh) | 2017-10-17 | 2017-10-17 | 一种分布式存储系统的数据处理方法及分布式存储系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109672714A true CN109672714A (zh) | 2019-04-23 |
CN109672714B CN109672714B (zh) | 2022-02-25 |
Family
ID=66142350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710997407.XA Active CN109672714B (zh) | 2017-10-17 | 2017-10-17 | 一种分布式存储系统的数据处理方法及分布式存储系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109672714B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111273869A (zh) * | 2020-01-20 | 2020-06-12 | 苏州浪潮智能科技有限公司 | 分布式存储系统性能优化方法、系统及电子设备和介质 |
CN111444237A (zh) * | 2020-03-24 | 2020-07-24 | 维沃移动通信有限公司 | 服务器系统、数据传输方法及电子设备 |
CN111464622A (zh) * | 2020-03-30 | 2020-07-28 | 星辰天合(北京)数据科技有限公司 | 分布式存储系统中的卷映射处理方法及装置 |
CN112260874A (zh) * | 2020-10-23 | 2021-01-22 | 南京鹏云网络科技有限公司 | 一种基于分布式存储单元管理系统和方法 |
CN112491592A (zh) * | 2020-11-11 | 2021-03-12 | 苏州浪潮智能科技有限公司 | 一种存储资源分组方法、系统、终端及存储介质 |
WO2021109742A1 (zh) * | 2019-12-02 | 2021-06-10 | 中兴通讯股份有限公司 | Lvm数据处理方法、装置、计算机设备和计算机可读介质 |
CN113448893A (zh) * | 2020-03-10 | 2021-09-28 | 联发科技股份有限公司 | 用于控制多个客户端访问单个存储装置的方法及装置 |
CN113568569A (zh) * | 2021-06-21 | 2021-10-29 | 长沙证通云计算有限公司 | 一种基于云平台的san存储对接方法及系统 |
WO2022095638A1 (zh) * | 2020-11-09 | 2022-05-12 | 苏州浪潮智能科技有限公司 | 基于分组的分布式存储scsi目标服务管理方法、系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101808123A (zh) * | 2010-03-09 | 2010-08-18 | 浪潮(北京)电子信息产业有限公司 | 在存储系统中访问存储资源的方法和装置 |
CN102147770A (zh) * | 2011-03-28 | 2011-08-10 | 杭州电子科技大学 | 一种存储资源管理系统及方法 |
CN102594861A (zh) * | 2011-12-15 | 2012-07-18 | 杭州电子科技大学 | 一种多服务器负载均衡的云存储系统 |
CN102929748A (zh) * | 2012-11-08 | 2013-02-13 | 华为技术有限公司 | 数据备份方法及装置 |
CN102972010A (zh) * | 2012-08-17 | 2013-03-13 | 华为技术有限公司 | 一种云环境下虚拟应用双机的切换方法、装置及系统 |
US20140115252A1 (en) * | 2012-01-19 | 2014-04-24 | Huawei Technologies Co., Ltd. | Block storage-based data processing methods, apparatus, and systems |
CN104750427A (zh) * | 2013-12-27 | 2015-07-01 | 伊姆西公司 | 存储设备及其方法 |
US20150227325A1 (en) * | 2006-02-17 | 2015-08-13 | Emulex Corporation | Apparatus for performing storage virtualization |
US20160162438A1 (en) * | 2014-05-02 | 2016-06-09 | Cavium, Inc. | Systems and methods for enabling access to elastic storage over a network as local storage via a logical storage controller |
CN106533767A (zh) * | 2016-11-21 | 2017-03-22 | 天脉聚源(北京)传媒科技有限公司 | 一种共享存储设备的方法及装置 |
CN106598692A (zh) * | 2015-10-20 | 2017-04-26 | 中兴通讯股份有限公司 | 在逻辑卷中创建镜像文件、虚拟机启动方法及服务器 |
-
2017
- 2017-10-17 CN CN201710997407.XA patent/CN109672714B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150227325A1 (en) * | 2006-02-17 | 2015-08-13 | Emulex Corporation | Apparatus for performing storage virtualization |
CN101808123A (zh) * | 2010-03-09 | 2010-08-18 | 浪潮(北京)电子信息产业有限公司 | 在存储系统中访问存储资源的方法和装置 |
CN102147770A (zh) * | 2011-03-28 | 2011-08-10 | 杭州电子科技大学 | 一种存储资源管理系统及方法 |
CN102594861A (zh) * | 2011-12-15 | 2012-07-18 | 杭州电子科技大学 | 一种多服务器负载均衡的云存储系统 |
US20140115252A1 (en) * | 2012-01-19 | 2014-04-24 | Huawei Technologies Co., Ltd. | Block storage-based data processing methods, apparatus, and systems |
CN102972010A (zh) * | 2012-08-17 | 2013-03-13 | 华为技术有限公司 | 一种云环境下虚拟应用双机的切换方法、装置及系统 |
CN102929748A (zh) * | 2012-11-08 | 2013-02-13 | 华为技术有限公司 | 数据备份方法及装置 |
CN104750427A (zh) * | 2013-12-27 | 2015-07-01 | 伊姆西公司 | 存储设备及其方法 |
US20150188839A1 (en) * | 2013-12-27 | 2015-07-02 | Emc Corporation | Virtualization in a storage area network |
US20160162438A1 (en) * | 2014-05-02 | 2016-06-09 | Cavium, Inc. | Systems and methods for enabling access to elastic storage over a network as local storage via a logical storage controller |
CN106598692A (zh) * | 2015-10-20 | 2017-04-26 | 中兴通讯股份有限公司 | 在逻辑卷中创建镜像文件、虚拟机启动方法及服务器 |
CN106533767A (zh) * | 2016-11-21 | 2017-03-22 | 天脉聚源(北京)传媒科技有限公司 | 一种共享存储设备的方法及装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021109742A1 (zh) * | 2019-12-02 | 2021-06-10 | 中兴通讯股份有限公司 | Lvm数据处理方法、装置、计算机设备和计算机可读介质 |
CN111273869A (zh) * | 2020-01-20 | 2020-06-12 | 苏州浪潮智能科技有限公司 | 分布式存储系统性能优化方法、系统及电子设备和介质 |
CN111273869B (zh) * | 2020-01-20 | 2022-07-22 | 苏州浪潮智能科技有限公司 | 分布式存储系统性能优化方法、系统及电子设备和介质 |
CN113448893A (zh) * | 2020-03-10 | 2021-09-28 | 联发科技股份有限公司 | 用于控制多个客户端访问单个存储装置的方法及装置 |
CN111444237A (zh) * | 2020-03-24 | 2020-07-24 | 维沃移动通信有限公司 | 服务器系统、数据传输方法及电子设备 |
CN111464622A (zh) * | 2020-03-30 | 2020-07-28 | 星辰天合(北京)数据科技有限公司 | 分布式存储系统中的卷映射处理方法及装置 |
CN112260874A (zh) * | 2020-10-23 | 2021-01-22 | 南京鹏云网络科技有限公司 | 一种基于分布式存储单元管理系统和方法 |
WO2022095638A1 (zh) * | 2020-11-09 | 2022-05-12 | 苏州浪潮智能科技有限公司 | 基于分组的分布式存储scsi目标服务管理方法、系统 |
CN112491592A (zh) * | 2020-11-11 | 2021-03-12 | 苏州浪潮智能科技有限公司 | 一种存储资源分组方法、系统、终端及存储介质 |
CN112491592B (zh) * | 2020-11-11 | 2022-07-08 | 苏州浪潮智能科技有限公司 | 一种存储资源分组方法、系统、终端及存储介质 |
CN113568569A (zh) * | 2021-06-21 | 2021-10-29 | 长沙证通云计算有限公司 | 一种基于云平台的san存储对接方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109672714B (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109672714A (zh) | 一种分布式存储系统的数据处理方法及分布式存储系统 | |
CN107948203B (zh) | 一种容器登录方法、应用服务器、系统及存储介质 | |
CN106899680B (zh) | 多区块链的分片处理方法和装置 | |
CN111934918B (zh) | 对同一容器集群内的容器实例的网络隔离方法和装置 | |
CN108989430B (zh) | 负载均衡方法、装置及存储介质 | |
US20080022120A1 (en) | System, Method and Computer Program Product for Secure Access Control to a Storage Device | |
CN108769186B (zh) | 业务权限控制方法及装置 | |
CN105357296A (zh) | 一种Docker云平台下弹性缓存系统 | |
KR20140016360A (ko) | 분산 클라우드 컴퓨팅 환경에서 데이터 보안을 달성하기 위한 장치 및 방법 | |
CN107800743B (zh) | 云桌面系统、云管理系统和相关设备 | |
CN105450636A (zh) | 一种云计算管理系统及云计算管理系统的管理方法 | |
CN103384237A (zh) | 一种共享IaaS业务云账号的方法、及共享平台和网络装置 | |
CN106844111B (zh) | 云存储网络文件系统的访问方法 | |
CN104639497B (zh) | 远程访问配置方法、远程访问方法、装置和系统 | |
CN107528865A (zh) | 文件的下载方法和系统 | |
CN112653681B (zh) | 多特征融合的用户登录准入方法、装置和系统 | |
CN109587147A (zh) | 一种单点登录系统、方法、服务器及存储介质 | |
CN106686051B (zh) | 一种基于bim设计的云计算网络拓扑系统及方法 | |
CN109561054B (zh) | 一种数据传输方法、控制器及接入设备 | |
CN103347020A (zh) | 一种跨应用认证访问的系统及方法 | |
CN104009880A (zh) | Web测试方法、代理服务器和Web测试装置 | |
EP2979181A1 (en) | Systems and methods for providing an emulator | |
CN109063077A (zh) | 一种基于弹性搜索的数据访问方法及装置 | |
CN110740121A (zh) | 资源订阅系统及方法 | |
CN107332814B (zh) | 一种请求消息传输方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |