CN104020961A - 分布式数据存储方法、装置及系统 - Google Patents
分布式数据存储方法、装置及系统 Download PDFInfo
- Publication number
- CN104020961A CN104020961A CN201410206810.2A CN201410206810A CN104020961A CN 104020961 A CN104020961 A CN 104020961A CN 201410206810 A CN201410206810 A CN 201410206810A CN 104020961 A CN104020961 A CN 104020961A
- Authority
- CN
- China
- Prior art keywords
- disk
- physical disk
- play amount
- sign
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供了一种分布式数据存储方法，包括：获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点。此外，还提供了一种分布式数据存储装置及系统。上述分布式数据存储方法、装置及系统能够降低分布式存储网络的采购成本。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种分布式数据存储方法、装置及系统。
背景技术
随着SAN(storage area network，存储区域网络)技术的快速发展，服务器跟存储分离的技术已被各企业广泛应用。
在传统技术中，数据存储在存储节点上，服务器群则通过SAN网络与存储节点相连，并到存储节点上读取数据。然而，企业采用SAN技术时需要分别购买服务器、存储设备以及连接设备等，因此成本很高。
发明内容
基于此，有必要提供一种能降低成本的分布式数据存储方法。
一种分布式数据存储方法，所述方法包括：
获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；
查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点。
在其中一个实施例中，所述接收输入的业务I/O请求的步骤之前还包括：
通过iSCSI协议将所述虚拟磁盘与终端建立映射，将所述虚拟磁盘的磁盘标识发送给所述终端；
所述接收输入的业务I/O请求的步骤为：
接收终端发起的通过iSCSI协议封装的业务I/O请求。
在其中一个实施例中，所述创建映射所述物理磁盘的虚拟磁盘的步骤包括：
创建映射物理磁盘上的文件的虚拟磁盘，或者创建通过逻辑块映射物理磁盘的虚拟磁盘，虚拟磁盘包含有一个或一个以上的逻辑块。
在其中一个实施例中，所述获取存储节点的物理磁盘的步骤之后还包括：
创建映射所述物理磁盘的共享文件夹；
所述方法还包括：
接收终端发起的通过CIFS/NFS协议封装的业务I/O请求，获取与所述业务I/O请求对应的文件夹标识；
查找所述文件夹标识对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
执行所述根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令的步骤。
在其中一个实施例中，所述方法还包括：
查找与所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的备份节点、该备份节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的备份节点。
此外，还有必要提供一种能降低成本的分布式数据存储装置。
一种分布式数据存储装置，所述装置包括：
磁盘映射模块，用于获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
请求接收模块，用于接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；
磁盘定位模块，用于查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
I/O处理模块，用于根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点。
在其中一个实施例中，所述装置还包括终端映射模块，用于通过iSCSI协议将所述虚拟磁盘与终端建立映射，将所述虚拟磁盘的磁盘标识发送给所述终端；
所述请求接收模块还用于接收终端发起的通过iSCSI协议封装的业务I/O请求。
在其中一个实施例中，所述磁盘映射模块还用于创建映射物理磁盘上的文件的虚拟磁盘，或者创建通过逻辑块映射物理磁盘的虚拟磁盘，虚拟磁盘包含有一个或一个以上的逻辑块。
在其中一个实施例中，所述装置还包括文件夹映射模块，用于创建映射所述物理磁盘的共享文件夹；
所述请求接收模块还用于接收终端发起的通过CIFS/NFS协议封装的业务I/O请求，获取与所述业务I/O请求对应的文件夹标识；
磁盘定位模块还用于查找所述文件夹标识对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量。
在其中一个实施例中，所述磁盘定位模块还用于查找与所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的备份节点、该备份节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
所述I/O处理模块还用于根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的备份节点。
此外，还有必要提供一种能降低成本的分布式数据存储方法。
一种分布式数据存储方法，包括：
管理节点获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
所述管理节点接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；
所述管理节点查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点；
所述存储节点接收所述I/O指令，提取相应的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述提取的物理磁盘的磁盘标识及相应的物理磁盘偏移量执行所述I/O指令。
此外，还有必要提供一种能降低成本的分布式数据存储系统。
一种分布式数据存储系统，包括管理节点和存储节点，其中：
管理节点用于获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
所述管理节点还用于接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点；
所述存储节点用于接收所述I/O指令，提取相应的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述提取的物理磁盘的磁盘标识及相应的物理磁盘偏移量执行所述I/O指令。
上述分布式数据存储方法、装置及系统利用计算机软件模拟传统SAN中的硬件设备的功能，用户可通过在现有的多个业务服务器上添加物理磁盘将其作为存储节点，并将某个性能较优的业务服务器作为管理节点运行上述方法，使得管理节点可与该多个业务服务器上的物理磁盘产生映射，并对外实现SAN网络的功能。而作为存储节点业务服务器仍具有业务处理的功能。使得用户不需要添置额外的交换设备或存储网络，从而降低了成本。
附图说明
图1为一个实施例中分布式数据存储系统的架构图；
图2为一个实施例中分布式数据存储方法的流程图；
图3为一个实施例中分布式数据存储装置的结构示意图；
图4为另一个实施例中分布式数据存储装置的结构示意图；
图5为一个实施例中分布式数据存储方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在一个实施例中，为解决前述提到的问题，特提出了一种分布式数据存储方法，该方法可基于计算机程序，可运行于基于冯诺依曼体系的计算机系统上。如图1所示，图1示出了一种分布式存储系统，包括管理节点10和存储节点20。该分布式数据存储方法即可运行于该管理节点10上。
在图1中，管理节点10用于管理存储节点20，并为终端30提供数据存储服务。管理节点10中存储有存储节点20的磁盘信息(例如磁盘剩余存储空间大小、是否出现故障、是否正在进行I/O操作等)且实时更新该信息。存储节点20用于存储数据，可以设置多个存储节点(如图1中的21、22、23和24)，且每个存储节点可安装一个或一个以上的物理磁盘(如图1中安装在存储节点24上的物理磁盘24A、24B和24C)。
需要说明的是管理节点10和存储节点20也可设置于于同一硬件实体之上。例如，图2中，管理节点10和存储节点21可设置于同一计算机上。
具体的，在本实施例中，如图2所示，该方法包括：
步骤102，获取存储节点的物理磁盘，创建映射物理磁盘的虚拟磁盘。
虚拟磁盘即逻辑上存在的磁盘，可具有磁盘标识、容量信息等信息，但虚拟磁盘上的存储地址并不存在，而是通过预先创建的地址映射表，将虚拟磁盘上的存储地址映射到实际的物理磁盘上的存储地址。可通过设置虚拟磁盘的磁盘标识、容量信息等参数，并建立地址映射表来创建虚拟磁盘。
在本实施例中，创建映射物理磁盘的虚拟磁盘的步骤可包括：创建映射物理磁盘上的文件的虚拟磁盘，或者创建通过逻辑块映射物理磁盘的虚拟磁盘，虚拟磁盘包含有一个或一个以上的逻辑块。
例如，若创建的虚拟磁盘容量较小，而物理磁盘容量较大，则可多个虚拟磁盘映射同一个物理磁盘，且每个虚拟磁盘对应该物理磁盘上的一个文件，虚拟磁盘上的存储地址即对应该文件的偏移量。
而若创建的虚拟磁盘容量较大，但相应的存储节点上的物理磁盘的容量较小，则可一个虚拟磁盘对应多个物理磁盘，且每个物理磁盘对应该虚拟磁盘中的一个逻辑块，该多个逻辑块即构成了虚拟磁盘。在建立映射时，即可根据逻辑块的中存储地址即对应了相应的物理磁盘上的存储地址。
步骤104，接收输入的业务I/O请求，获取与该业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量。
业务I/O请求即为终端发起的对前述的分布式存储系统进行业务数据的I/O读写操作的请求。在本实施例中，管理节点在创建了虚拟磁盘之后，用户通过终端访问管理节点即可浏览到相应的虚拟磁盘。并通过在终端上的操作发起业务I/O请求。例如，向虚拟磁盘中写入数据或从虚拟磁盘中下载数据。
具体的，可通过iSCSI协议(Internet Small Computer System Interface，小型计算机系统接口，一种基于TCP/IP的协议，用来建立和管理IP存储设备、主机和客户机等之间的相互连接，并用于创建存储区域网络)将虚拟磁盘与终端建立映射，将虚拟磁盘的磁盘标识发送给终端。接收输入的业务I/O请求的步骤则可具体为：接收终端发起的通过iSCSI协议封装的业务I/O请求。
例如，终端可与管理节点建立基于IP网络的连接，用户可通过在终端上使用initiator等软件，输入管理节点的IP地址。管理节点即可根据iSCSI协议与终端建立映射，并将虚拟磁盘的磁盘标识以及容量大小等线管信息发送给终端。用户即可在终端上浏览到该信息。此时，用户通过终端发起的I/O操作的指令即会通过initiator等软件封装为符合iSCSI协议规范的业务I/O请求。
步骤106，查找虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量。
如前所述，在创建虚拟磁盘时，创建有虚拟磁盘与物理磁盘上存储地址的映射表，可根据该映射表查找到业务I/O请求对应的物理磁盘上具体的磁盘位置。
步骤108，根据查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给查找到的存储节点。
若业务I/O请求为写入请求，则提取出需要写入的数据，并根据查找到的物理磁盘的磁盘标识以及该物理磁盘上的偏移量，生成I/O指令。然后查找该物理磁盘的磁盘标识对应的存储节点的IP地址，将生成的I/O指令发送至该IP地址。存储节点接收到该I/O指令之后，即可将数据写入到相应的磁盘位置。
若业务I/O请求为读取请求，则根据查找到的物理磁盘的磁盘标识以及该物理磁盘上的偏移量，生成I/O指令。然后查找该物理磁盘的磁盘标识对应的存储节点的IP地址，将生成的I/O指令发送至该IP地址。存储节点接收到该I/O指令之后，即可将由相应的磁盘位置读取数据然后返回给管理节点，管理节点再将读取的数据通过iSCSI协议封包后返回给终端。
在一个实施例中，获取存储节点的物理磁盘的步骤之后还可创建映射物理磁盘的共享文件夹。
管理节点还可接收终端发起的通过CIFS/NFS协议封装的业务I/O请求，获取与业务I/O请求对应的文件夹标识；查找文件夹标识对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；执行根据查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令的步骤。
CIFS(Common Internet File System，通用Internet文件系统)协议用于在windows主机之间进行网络文件共享，可使程序可以访问远程Internet计算机上的文件并要求此计算机的服务。
NFS(Network File System，网络文件系统)协议用于允许一个系统在网络上与其他计算机共享目录和文件，使得用户和程序可以像访问本地文件一样访问远端系统上的文件。
也就是说，管理节点还可映射多个物理磁盘的共享文件夹，然后将该共享文件夹通过CIFS/NFS协议与终端建立映射。用户即可在终端上的资源管理器中浏览该共享文件夹，并对共享文件夹发送业务I/O请求，从而使得管理节点拥有了NAS(Network Attached Storage，网络附属存储)的功能。管理节点共享文件夹与物理磁盘之间的映射的方式与创建虚拟磁盘与物理磁盘之间的映射的方式可相同，可将共享文件夹映射为物理磁盘上的文件，或将共享文件夹以逻辑块的形式映射到多个物理磁盘上。
在一个实施例中，还可查找与虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的备份节点、该备份节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；根据查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给查找到的备份节点。
也就是说，管理节点在创建虚拟磁盘与物理磁盘的映射表时，可将虚拟磁盘上的存储地址与多个物理磁盘上的存储地址进行映射，且该多个物理磁盘上的存储地址分为主映射地址和备份映射地址。备份映射地址对应的物理磁盘所在的存储节点即为备份节点。
由于管理节点上存储有存储节点上各个物理磁盘的磁盘信息，因此当主映射地址对应的物理磁盘发生损坏时，则可将I/O指令发送给备份节点上的物理磁盘，从而防止发生数据遗失。
在一个实施例中，如图3所示，一种分布式数据存储装置，包括：磁盘映射模块102、请求接收模块104、磁盘定位模块106以及I/O处理模块108，其中：
磁盘映射模块102，用于获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘。
请求接收模块104，用于接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量。
磁盘定位模块106，用于查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量。
I/O处理模块108，用于根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点。
在本实施例中，如图4所示，分布式数据存储装置还包括终端映射模块110，用于通过iSCSI协议将所述虚拟磁盘与终端建立映射，将所述虚拟磁盘的磁盘标识发送给所述终端。
请求接收模块104还用于接收终端发起的通过iSCSI协议封装的业务I/O请求。
在本实施例中，磁盘映射模块102还用于创建映射物理磁盘上的文件的虚拟磁盘，或者创建通过逻辑块映射物理磁盘的虚拟磁盘，虚拟磁盘包含有一个或一个以上的逻辑块。
在本实施例中，如图4所示，分布式数据存储装置还包括文件夹映射模块112，用于创建映射所述物理磁盘的共享文件夹。
请求接收模块104还用于接收终端发起的通过CIFS/NFS协议封装的业务I/O请求，获取与所述业务I/O请求对应的文件夹标识。
磁盘定位模块106还用于查找所述文件夹标识对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量。
在本实施例中，磁盘定位模块106还用于查找与所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的备份节点、该备份节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量。
I/O处理模块108还用于根据查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的备份节点。
在一个实施例中，如图5所示，一种分布式数据存储方法，该方法的实现可依赖计算机程序，可运行于基于冯诺依曼体系的计算机系统上，该方法包括：
步骤S202：管理节点获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘。
步骤S204：管理节点接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量。
步骤S206：管理节点查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点；
步骤S208：存储节点接收所述I/O指令，提取相应的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述提取的物理磁盘的磁盘标识及相应的物理磁盘偏移量执行所述I/O指令。
在一个实施例中，如图1所示，一种分布式数据存储系统，包括管理节点10和存储节点20，其中：
管理节点10用于获取存储节点的物理磁盘，创建映射物理磁盘的虚拟磁盘。
管理节点10还用于接收输入的业务I/O请求，获取与业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；查找虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点。
存储节点20用于接收I/O指令，提取相应的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述提取的物理磁盘的磁盘标识及相应的物理磁盘偏移量执行所述I/O指令。
上述分布式数据存储方法、装置及系统利用计算机软件模拟传统SAN中的硬件设备的功能，用户可通过在现有的多个业务服务器上添加物理磁盘将其作为存储节点，并将某个性能较优的业务服务器作为管理节点运行上述方法，使得管理节点可与该多个业务服务器上的物理磁盘产生映射，并对外实现SAN网络的功能。而作为存储节点业务服务器仍具有业务处理的功能。使得用户不需要添置额外的交换设备或存储网络，从而降低了成本。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种分布式数据存储方法，其特征在于，所述方法包括：
获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；
查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点。
2.根据权利要求1所述的分布式数据存储方法，其特征在于，所述接收输入的业务I/O请求的步骤之前还包括：
通过iSCSI协议将所述虚拟磁盘与终端建立映射，将所述虚拟磁盘的磁盘标识发送给所述终端；
所述接收输入的业务I/O请求的步骤为：
接收终端发起的通过iSCSI协议封装的业务I/O请求。
3.根据权利要求1所述的分布式数据存储方法，其特征在于，所述创建映射所述物理磁盘的虚拟磁盘的步骤包括：
创建映射物理磁盘上的文件的虚拟磁盘，或者创建通过逻辑块映射物理磁盘的虚拟磁盘，虚拟磁盘包含有一个或一个以上的逻辑块。
4.根据权利要求1所述的分布式数据存储方法，其特征在于，所述获取存储节点的物理磁盘的步骤之后还包括：
创建映射所述物理磁盘的共享文件夹；
所述方法还包括：
接收终端发起的通过CIFS/NFS协议封装的业务I/O请求，获取与所述业务I/O请求对应的文件夹标识；
查找所述文件夹标识对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
执行所述根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令的步骤。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
查找与所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的备份节点、该备份节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的备份节点。
6.一种分布式数据存储装置，其特征在于，所述装置包括：
磁盘映射模块，用于获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
请求接收模块，用于接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；
磁盘定位模块，用于查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
I/O处理模块，用于根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点。
7.根据权利要求6所述的分布式数据存储装置，其特征在于，所述装置还包括终端映射模块，用于通过iSCSI协议将所述虚拟磁盘与终端建立映射，将所述虚拟磁盘的磁盘标识发送给所述终端；
所述请求接收模块还用于接收终端发起的通过iSCSI协议封装的业务I/O请求。
8.根据权利要求6所述的分布式数据存储装置，其特征在于，所述磁盘映射模块还用于创建映射物理磁盘上的文件的虚拟磁盘，或者创建通过逻辑块映射物理磁盘的虚拟磁盘，虚拟磁盘包含有一个或一个以上的逻辑块。
9.根据权利要求6所述的分布式数据存储装置，其特征在于，所述装置还包括文件夹映射模块，用于创建映射所述物理磁盘的共享文件夹；
所述请求接收模块还用于接收终端发起的通过CIFS/NFS协议封装的业务I/O请求，获取与所述业务I/O请求对应的文件夹标识；
磁盘定位模块还用于查找所述文件夹标识对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量。
10.根据权利要求6所述的分布式数据存储装置，其特征在于，所述磁盘定位模块还用于查找与所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的备份节点、该备份节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量；
所述I/O处理模块还用于根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的备份节点。
11.一种分布式数据存储方法，包括：
管理节点获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
所述管理节点接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；
所述管理节点查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点；
所述存储节点接收所述I/O指令，提取相应的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述提取的物理磁盘的磁盘标识及相应的物理磁盘偏移量执行所述I/O指令。
12.一种分布式数据存储系统，其特征在于，包括管理节点和存储节点，其中：
管理节点用于获取存储节点的物理磁盘，创建映射所述物理磁盘的虚拟磁盘；
所述管理节点还用于接收输入的业务I/O请求，获取与所述业务I/O请求对应的虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量；查找所述虚拟磁盘的磁盘标识以及相应的虚拟磁盘偏移量对应的存储节点、该存储节点上的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述查找到的物理磁盘的磁盘标识及相应的物理磁盘偏移量生成I/O指令，并将其发送给所述查找到的存储节点；
所述存储节点用于接收所述I/O指令，提取相应的物理磁盘的磁盘标识及相应的物理磁盘偏移量，根据所述提取的物理磁盘的磁盘标识及相应的物理磁盘偏移量执行所述I/O指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410206810.2A CN104020961B (zh) | 2014-05-15 | 2014-05-15 | 分布式数据存储方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410206810.2A CN104020961B (zh) | 2014-05-15 | 2014-05-15 | 分布式数据存储方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104020961A true CN104020961A (zh) | 2014-09-03 |
| CN104020961B CN104020961B (zh) | 2017-07-25 |
Family
ID=51437744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410206810.2A Active CN104020961B (zh) | 2014-05-15 | 2014-05-15 | 分布式数据存储方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104020961B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106453360A (zh) * | 2016-10-26 | 2017-02-22 | 上海爱数信息技术股份有限公司 | 基于iSCSI协议的分布式块存储数据访问方法及系统 |
| CN106559392A (zh) * | 2015-09-28 | 2017-04-05 | 北京神州泰岳软件股份有限公司 | 一种文件共享方法、装置和系统 |
| CN106708428A (zh) * | 2016-11-21 | 2017-05-24 | 平安科技（深圳）有限公司 | 数据虚拟化存储方法和装置 |
| CN106970830A (zh) * | 2017-03-22 | 2017-07-21 | 佛山科学技术学院 | 一种分布式虚拟机的存储控制方法、及虚拟机 |
| CN107145305A (zh) * | 2017-03-22 | 2017-09-08 | 佛山科学技术学院 | 一种分布式物理磁盘的使用方法、及虚拟机 |
| CN107155307A (zh) * | 2014-10-31 | 2017-09-12 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
| CN107168646A (zh) * | 2017-03-22 | 2017-09-15 | 佛山科学技术学院 | 一种分布式数据存储控制方法、及服务器 |
| CN108064374A (zh) * | 2017-08-10 | 2018-05-22 | 华为技术有限公司 | 一种数据访问方法、装置和系统 |
| CN109840247A (zh) * | 2018-12-18 | 2019-06-04 | 深圳先进技术研究院 | 文件系统及数据布局方法 |
| CN110602072A (zh) * | 2019-08-30 | 2019-12-20 | 视联动力信息技术股份有限公司 | 一种虚拟磁盘访问方法及装置 |
| CN112261079A (zh) * | 2020-09-11 | 2021-01-22 | 苏州浪潮智能科技有限公司 | 一种基于iSCSI的分布式块存储服务链接管理的方法及系统 |
| CN113031852A (zh) * | 2019-12-25 | 2021-06-25 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115509824A (zh) * | 2022-11-23 | 2022-12-23 | 深圳市科力锐科技有限公司 | 数据备份方法、装置、设备及存储介质 |
| CN115686363A (zh) * | 2022-10-19 | 2023-02-03 | 百硕同兴科技(北京)有限公司 | 一种基于Ceph分布式存储的IBM大型机的磁带模拟网关系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751233B (zh) * | 2009-12-31 | 2012-07-04 | 成都索贝数码科技股份有限公司 | 存储设备容量的扩展方法及系统 |
| CN102467408B (zh) * | 2010-11-12 | 2014-03-19 | 阿里巴巴集团控股有限公司 | 一种虚拟机数据的访问方法和设备 |
| CN103516755B (zh) * | 2012-06-27 | 2017-07-14 | 华为技术有限公司 | 虚拟存储方法及设备 |
-
2014
- 2014-05-15 CN CN201410206810.2A patent/CN104020961B/zh active Active
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107155307A (zh) * | 2014-10-31 | 2017-09-12 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
| CN107155307B (zh) * | 2014-10-31 | 2020-04-28 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
| CN106559392A (zh) * | 2015-09-28 | 2017-04-05 | 北京神州泰岳软件股份有限公司 | 一种文件共享方法、装置和系统 |
| CN106453360A (zh) * | 2016-10-26 | 2017-02-22 | 上海爱数信息技术股份有限公司 | 基于iSCSI协议的分布式块存储数据访问方法及系统 |
| CN106708428A (zh) * | 2016-11-21 | 2017-05-24 | 平安科技（深圳）有限公司 | 数据虚拟化存储方法和装置 |
| TWI680404B (zh) * | 2016-11-21 | 2019-12-21 | 大陸商平安科技（深圳）有限公司 | 數據虛擬化存儲方法和裝置 |
| CN106708428B (zh) * | 2016-11-21 | 2018-06-29 | 平安科技（深圳）有限公司 | 数据虚拟化存储方法和装置 |
| CN107168646A (zh) * | 2017-03-22 | 2017-09-15 | 佛山科学技术学院 | 一种分布式数据存储控制方法、及服务器 |
| CN107145305A (zh) * | 2017-03-22 | 2017-09-08 | 佛山科学技术学院 | 一种分布式物理磁盘的使用方法、及虚拟机 |
| CN107145305B (zh) * | 2017-03-22 | 2020-07-28 | 佛山科学技术学院 | 一种分布式物理磁盘的使用方法及虚拟机 |
| CN107168646B (zh) * | 2017-03-22 | 2020-07-28 | 佛山科学技术学院 | 一种分布式数据存储控制方法及服务器 |
| CN106970830B (zh) * | 2017-03-22 | 2020-07-28 | 佛山科学技术学院 | 一种分布式虚拟机的存储控制方法及虚拟机 |
| CN106970830A (zh) * | 2017-03-22 | 2017-07-21 | 佛山科学技术学院 | 一种分布式虚拟机的存储控制方法、及虚拟机 |
| CN108064374A (zh) * | 2017-08-10 | 2018-05-22 | 华为技术有限公司 | 一种数据访问方法、装置和系统 |
| CN113485636B (zh) * | 2017-08-10 | 2023-07-18 | 华为技术有限公司 | 一种数据访问方法、装置和系统 |
| WO2019028799A1 (zh) * | 2017-08-10 | 2019-02-14 | 华为技术有限公司 | 一种数据访问方法、装置和系统 |
| US11748037B2 (en) | 2017-08-10 | 2023-09-05 | Huawei Technologies Co., Ltd. | Physical disk and virtual disk mapping in storage systems |
| CN108064374B (zh) * | 2017-08-10 | 2021-04-09 | 华为技术有限公司 | 一种数据访问方法、装置和系统 |
| CN113485636A (zh) * | 2017-08-10 | 2021-10-08 | 华为技术有限公司 | 一种数据访问方法、装置和系统 |
| US11416172B2 (en) | 2017-08-10 | 2022-08-16 | Huawei Technologies Co., Ltd. | Physical disk and virtual disk mapping in storage systems |
| CN109840247A (zh) * | 2018-12-18 | 2019-06-04 | 深圳先进技术研究院 | 文件系统及数据布局方法 |
| CN109840247B (zh) * | 2018-12-18 | 2020-12-18 | 深圳先进技术研究院 | 文件系统及数据布局方法 |
| CN110602072A (zh) * | 2019-08-30 | 2019-12-20 | 视联动力信息技术股份有限公司 | 一种虚拟磁盘访问方法及装置 |
| CN113031852A (zh) * | 2019-12-25 | 2021-06-25 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112261079B (zh) * | 2020-09-11 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于iSCSI的分布式块存储服务链接管理的方法及系统 |
| CN112261079A (zh) * | 2020-09-11 | 2021-01-22 | 苏州浪潮智能科技有限公司 | 一种基于iSCSI的分布式块存储服务链接管理的方法及系统 |
| CN115686363A (zh) * | 2022-10-19 | 2023-02-03 | 百硕同兴科技(北京)有限公司 | 一种基于Ceph分布式存储的IBM大型机的磁带模拟网关系统 |
| CN115686363B (zh) * | 2022-10-19 | 2023-09-26 | 百硕同兴科技(北京)有限公司 | 一种基于Ceph分布式存储的IBM大型机的磁带模拟网关系统 |
| CN115509824B (zh) * | 2022-11-23 | 2023-03-14 | 深圳市科力锐科技有限公司 | 数据备份方法、装置、设备及存储介质 |
| CN115509824A (zh) * | 2022-11-23 | 2022-12-23 | 深圳市科力锐科技有限公司 | 数据备份方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104020961B (zh) | 2017-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104020961A (zh) | 分布式数据存储方法、装置及系统 | |
| US10754562B2 (en) | Key value based block device | |
| US10013317B1 (en) | Restoring a volume in a storage system | |
| US11269520B2 (en) | Methods to configure and access scalable object stores using KV-SSDS and hybrid backend storage tiers of KV-SSDS, NVME-SSDS and other flash devices | |
| US10210191B2 (en) | Accelerated access to objects in an object store implemented utilizing a file storage system | |
| US10922196B2 (en) | Method and device for file backup and recovery | |
| CN107533507B (zh) | 管理存储装置中的数据的方法和系统 | |
| US10509701B2 (en) | Performing data backups using snapshots | |
| US10338852B2 (en) | Systems and methods for list retrieval in a storage device | |
| EP3076307A1 (en) | Method and device for responding to a request, and distributed file system | |
| CN107153644B (zh) | 一种数据同步方法及装置 | |
| US11687595B2 (en) | System and method for searching backups | |
| US8977662B1 (en) | Storing data objects from a flat namespace in a hierarchical directory structured file system | |
| US9020994B1 (en) | Client-based migrating of data from content-addressed storage to file-based storage | |
| WO2017084348A1 (zh) | Ip硬盘的管理方法和装置 | |
| CN107135242B (zh) | Mongodb集群访问方法、装置及系统 | |
| US9122689B1 (en) | Recovering performance of a file system post-migration | |
| CN110489388A (zh) | 一种用于分布式网络存储系统中scsi锁的实现方法及设备 | |
| CN105227672A (zh) | 数据存储及访问的方法和系统 | |
| RU2643642C2 (ru) | Использование кэш-памяти и памяти другого типа в распределённой запоминающей системе | |
| EP3731099A1 (en) | System and method for accelerating application service restoration | |
| CN104601666A (zh) | 日志服务方法及云平台 | |
| CN116848517A (zh) | 使用基于数据指纹的数据地址的高速缓存编索引 | |
| US9648103B2 (en) | Non-uniform file access in a distributed file system | |
| CN105144073A (zh) | 可移除存储设备身份和配置信息 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518000 No. 1001 Nanshan Chi Park building A1 layer Applicant after: SINFOR Polytron Technologies Inc Address before: 518052 room 410-413, science and technology innovation service center, No. 1 Qilin Road, Shenzhen, Guangdong, China Applicant before: Shenxinfu Electronics Science and Technology Co., Ltd., Shenzhen |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |