CN112256201B - 一种分布式块存储系统及其卷信息管理方法 - Google Patents

Abstract

本发明公开了一种分布式块存储系统中的卷信息管理方法，包括以下步骤：S1、对分布式块存储的存储节点进行分片得到切片，并为每个切片配置副本；S2、将所有切片及其副本在各个存储节点上均匀分布，若干切片和副本组成一个卷；S3、将卷数据和卷信息写入卷中，所述卷信息包括卷的版本号、名称、创建时间、容量、类型；S4、卷信息服务器定期向所有存储节点轮询，并汇总轮询结果以得到最新的卷信息。本发明还包括分布式块存储系统，本发明将卷信息和卷数据一起存储在存储节点中，通过建立切片副本的形式确保卷数据和卷信息的可靠性，并通过卷信息服务器定期向所有存储节点轮询，避免分布式存储系统卷信息管理中容错能力不足、数据可靠性不高的问题。

Description

一种分布式块存储系统及其卷信息管理方法

技术领域

本发明属于计算机信息安全领域，更具体地说，涉及一种分布式存储系统及其卷信息管理方法。

背景技术

近年来，分布式存储技术得到了迅速发展，在各类IT基础架构中的实际应用也日益广泛，其主要动力来源于海量数据存储与处理、IT基础架构的资源池化及云化等方面的强烈需求，以及总体成本的显著降低。作为移动互联、万物互联技术应用的最前沿，电信服务运营商行业对上述需求极为敏感，并已经将传统存储的分布式替代列为IT基础建设的工作重点。

卷信息管理是分布式存储系统的核心技术之一。卷信息包括卷名称、大小、卷ID、所属故障域、所属资源池、创建的用户、创建时间及访问权限等。没有这些信息，数据的存储及访问就无法正常进行，即关系到数据的安全性、可靠性。现有的分布式存储系统卷信息管理方法中，比较常见的是集中式卷信息管理模型、以及分布式卷信息管理模型两种。

集中式卷信息管理模型中，如图1所示，该种方法是由数据库来记录保存所有的卷信息。这种方式的数据可靠性低，为了提升这种方式的可靠性，通常的办法是使用双机主备数据库的方式来提高卷信息服务器的可靠性。

分布式卷信息管理模型，如图2所示，该方法实际上是集中式卷信息管理模型的改进，卷信息服务器的角色由一组基于分布式架构进行组织的服务器来承担，使得可靠性级别、以及系统可扩展性等都有明显提升。

以上两种方法，无论是集中管理还是分布式管理，都是将卷信息和卷的数据完全剥离，分开存储在不同的服务器上的。这样的模型在数据可靠性及可用性方面存在较大风险。

首先，卷信息与卷数据完全剥离、分开保存，如果卷信息损坏或丢失，就会导致卷数据无法正常访问，甚至彻底无法找回，即使卷数据实际上并没有受到损坏。

其次，尽管分布式卷信息管理架构的可靠性比集中式卷信息管理的可靠性高，但是因服务器硬件或网络故障而造成分布式系统失效的可能性仍然存在，而且由于卷信息规模远小于用户数据，即使在较大规模的分布式存储系统中参与卷信息管理的节点可能也只有几个，这就导致了容错能力不足、数据可靠性不高。如果硬性投入更多节点，就会抬高建设成本，造成浪费。

此外，虽然在具体实施层面，可以对卷信息进行定期备份来作为后备容错手段。但由于很难做到对卷信息进行实时备份，所以一旦卷信息丢失，用备份的卷信息做恢复也很难做到零数据丢失。

对此，有必要提出一种有效的解决办法。

发明内容

1.要解决的问题

针对现有的分布式存储系统卷信息管理中容错能力不足、数据可靠性不高的问题，本发明提供一种分布式存储系统及其卷信息管理方法。

2.技术方案

为了解决上述问题，本发明所采用的技术方案如下：一种分布式块存储系统中的卷信息管理方法，包括以下步骤：

S1、对分布式块存储的存储节点进行分片得到切片；

S2、在不同存储节点上选择若干切片创建一个卷，并标记卷中的若干切片为主切片，其余切片为上述主切片的副本；

S3、将卷数据和卷信息写入卷中，所述卷信息包括卷的版本号；

S4、卷信息服务器定期向所有存储节点轮询，并汇总轮询结果以得到最新的卷信息。

通过本技术方案，将卷信息和卷数据一起存储在卷的切片中，一个卷的切片分布在不同的存储节点中而且卷的切片包括主切片及其副本，即，卷信息和卷数据一起存储在主切片及其副本中，通过建立切片副本的形式确保卷数据和卷信息的可靠性，并通过卷信息服务器定期向所有存储节点轮询，以确保卷信息的及时更新，从而避免现有技术中分布式存储系统卷信息管理中容错能力不足、数据可靠性不高的问题。

进一步地，所述步骤S2为：在不同存储节点上分别选择一个切片创建一个卷。本技术方案中一个卷中的所有切片都分布在不同的存储节点中，由于切片分为主切片和副本，当个别存储节点出现故障，即便其中的某个切片无法读取，仍然可以基于正常运行的存储节点恢复原先存储的数据，不会影响系统的正常运行。

进一步地，所述步骤S4中的卷信息服务器为多个，且其中一个为主卷信息服务器，同一时间只有主卷信息服务器工作。在同一时间，只有一个主卷信息服务器工作，如果主卷信息服务器失效或出错，系统自动将其他的卷信息服务器选为主卷信息服务器，从而避免因为卷信息服务器的失效造成数据读取出错。

进一步地，所述步骤S4包括：卷信息服务器轮询各存储节点以获取卷的版本号，如果该存储节点上的卷的版本号比卷信息服务器上存储的卷的版本号更高，则从该存储节点获取卷的版本号；如果该存储节点上的卷的版本号与卷信息服务器上存储的卷的版本号相同或低于卷信息服务器上存储的卷的版本号，则卷信息服务器维持该卷的版本号不变。

进一步地，所述卷信息写入在卷的最后一组切片的头部，所述一组切片包括该组的主切片及其副本。本技术方案保证了信息读取的方便。

进一步地，每个切片的副本不少于2个。

进一步地，当切片上的卷信息变更时，切片所属的卷的版本号更新

本发明同时提供一种分布式块存储系统，包括存储节点和若干卷信息服务器，所述存储节点包括若干切片，不同存储节点上的切片组成一个卷，每个卷中有若干切片为主切片，其余切片为上述主切片的副本，卷信息和卷数据均存入卷的主切片及其副本中，所述卷信息服务器用于对卷信息进行管理。本技术方案中，将卷信息和卷数据一起存储在卷的切片中，一个卷的切片分布在不同的存储节点中而且卷的切片包括主切片及其副本，即，卷信息和卷数据一起存储在主切片及其副本中，通过建立切片副本的形式确保卷数据和卷信息的可靠性。

进一步地，所述卷信息服务器包括一个主卷信息服务器，所述主卷信息服务器定期向所有存储节点轮询，并汇总轮询结果以得到最新的卷信息。本技术方案通过主卷信息服务器定期向所有存储节点轮询，以确保卷信息的及时更新，从而避免现有技术中分布式存储系统卷信息管理中容错能力不足、数据可靠性不高的问题。

进一步地，所述主卷信息服务器定期轮询各存储节点以获取卷的版本号，如果该存储节点上的卷的版本号比主卷信息服务器上存储的卷的版本号更高，则从该存储节点获取卷的版本号；如果该存储节点上的卷的版本号与主卷信息服务器上存储的卷的版本号相同或低于主卷信息服务器上存储的卷的版本号，则主卷信息服务器维持该卷的版本号不变。

3.有益效果

相比于现有技术，本发明的有益效果为：

(1)本发明将卷信息随同卷数据即用户数据一起分布存储在存储节点上，并基于副本机制进行容错保护，能够提供更高的数据可靠性及系统可用性；

(2)本发明还提供卷信息重构机制，即便发生卷信息服务器集群整体失效的故障，也能从存储节点中再次重构卷信息，从而迅速恢复服务，避免因卷信息丢失而造成用户数据丢失或业务中断，从而使系统具有更强的鲁棒性和容错性。

附图说明

图1为现有技术中集中式卷信息管理模型示意图；

图2为现有技术中分布式卷信息管理模型示意图；

图3为本发明的系统框架图；

图4为本发明中卷信息的生成流程图；

图5为本发明中卷信息的维护流程图。

具体实施方式

下面结合具体实施例对本发明进一步进行描述。

在分布式存储系统中，一个卷包括卷信息和卷数据，卷数据是卷内存储的用户数据，卷信息用于记录卷的基本信息，包括卷名称、大小、卷ID、创建的用户、创建时间、访问权限、所属故障域、所属资源池、卷的版本号等；用户进行数据的读取是通过卷信息找到卷数据对应的存储位置，然后进行读取，在存储过程中，卷信息和卷数据同样重要，丢失其中的任何一个都会造成用户无法正常读取数据，因此，为了解决现有技术中的分布式存储系统卷信息管理中容错能力不足、数据可靠性不高的问题，本发明提供一种分布式存储系统中的卷信息管理方法，将卷信息和卷数据存储在相同的服务器上。具体实施方式如下：

(－)、总体逻辑架构

本发明的逻辑架构如图3所示：

对分布式块存储的存储节点进行分片得到切片，在不同存储节点上选择若干切片创建一个卷，并标记卷中的若干切片为主切片，其余切片为上述切片的副本。具体地说，一个卷包括若干组切片，一组切片包括一个主切片及其副本，副本的数量可以是一个或多个，具体数量可以由用户在创建卷的时候自行设置，一般来说副本越多，可靠性越好。具体实施时，一个卷包括多少切片和副本取决于一个卷的大小及切片和副本的大小，副本的设计主要是基于容错保护的考虑，即当一个切片或副本丢失时，剩余的副本能够基于原存储的内容恢复整体的数据信息。当切片划分完成创建成卷后，往切片中存入数据，即为卷数据，同时卷信息随同所对应的卷数据一起存储在切片中，一并基于副本机制进行容错保护，即卷信息也有若干信息副本，当一个切片中的卷信息丢失时，系统能够基于其他的副本信息进行恢复，避免因卷信息丢失造成卷数据无法读取的情况发生。

为了进一步提高系统的可靠性，需要确保卷信息服务器的可靠性，本发明中的卷信息服务器由一组基于分布式架构的服务器承担，即卷信息服务器有多个，多个卷信息服务器采用分布式架构，其中一个卷信息服务器为主卷信息服务器，其余的为从卷信息服务器，在同一时刻只存在一个主卷信息服务器，当主卷信息服务器失效后，系统自动从其他的从卷信息服务器中选择一个作为主卷信息服务器，从而保证整个系统的正常运行。

再进一步保证卷信息的可靠性，主卷信息服务器定期向所有存储节点发起卷信息轮询，从中获取最新版本的卷信息，并集中汇总为全局卷信息；如果发生主卷信息服务器失效，造成其管理的卷信息丢失的情况，其他正常工作的从卷信息服务器中的一个会自动切换成为主卷信息服务器，并从存储节点上获取最新的卷信息进行汇总，恢复系统的正常运行。本发明能够充分保证卷信息的完整性、一致性以及可靠性。

(二)、卷信息的产生与存储

存储空间以卷的形式分配给客户端使用，卷信息在卷的创建过程中生成，流程如图4所示。

当系统收到卷创建操作的指令后，系统从不同的存储节点选择若干切片组成一个卷，在本实施例中，优选每一个切片都来源于不同的存储节点，以免当某个存储节点出现故障后影响系统的正常运行，当然也可以设置为一个卷中的大部分切片来自于不同的存储节点，但当存储节点出现故障后可能会影响系统的正常运行。当用户进行数据存储的时候，将卷数据和卷信息一同写入切片，具体实施时，系统会将卷的卷信息写入该卷最后一组切片的头部或者该卷最开始的一组切片的头部，更具体地说，对卷中的多组切片进行编号，比如0、1、2、3……，这个编号也会存入到切片内，卷信息写入该组最后一组切片的头部是指将卷信息写入编号为最后一位的一组切片的头部，包括该组切片的主切片及其副本的头部；卷信息写入该组最开始的一组切片的头部是指将卷信息写入编号最开始的一组切片的头部，包括该组切片的主切片及其副本的头部；因此这些卷信息也会随切片一起受到数据副本机制的保护，以防止卷信息丢失造成存储的数据信息无法读取的情况发生。具体实施时，卷信息可以写入该卷任意一组切片的任意位置，在本实施例中将卷信息写入卷最后一组切片(包括切片及其副本)或最开始一组切片的头部是为了更方便地读写。需要说明的是，在本实施例中，为了便于描述，引入了组的概念，当然，“组”的概念在某些情形下也会用“段”表示，即一个卷包括若干段，每个段包括若干切片；这只是相同概念的不同说法，对此，本领域技术人员应当了解。卷信息服务器定期向所有存储节点发起卷信息轮询，从中获取最新版本的卷信息。卷信息服务器会将收集到的卷信息进行统一汇总，并将这些零散的卷信息构建成全局卷信息。

(三)、卷信息的维护

分布式存储系统内部存在多种情况会导致卷信息的变化，包括存储节点或硬盘的故障、存储节点的重启、新增存储节点或硬盘、以及因为负载不均衡而自动发起的数据迁移等，也包括管理员主动发起的卷的删除、扩容等操作。

所有切片上存储的卷信息都保持一个版本号，每次切片上的卷信息变更都会使版本号更新，具体实施时，可以使版本号加1，卷信息服务器从各存储节点收集卷信息信息，并以最新的版本号为准进行卷信息的维护。更具体地说，即所有切片上存储的卷信息都有一个版本号，切片和对应的副本之间会通讯，以保证切片和副本所存储的卷信息的完整性，当发生副本丢失的情况时，系统会重新为丢失副本的切片创建副本，并更新版本号，即将原来的版本号更新为更高的版本号，防止丢失的副本重新上线后，导致混乱；即由于版本号及时保持更新，即便之前丢失的副本重新上线，由于丢失的副本的版本号低，会被系统忽视并被回收。在本实施例中，新的版本号更高，旧的版本号更低，即版本号在更新的时候可以加1的形式，比如原来版本号是V1.1，更新后可以为V1.2……，依次类推。

(四)、卷信息的重构

如前所述，即便主卷信息服务器出现故障，造成所维护的卷信息丢失或损坏，也不会影响卷信息的完整性和一致性。数据切片和副本之间保持通讯，如果发现数据不完整，则从其他的副本或切片中复制完整的数据来进行保存，即整个系统能够自动从各个存储节点获取最新的卷信息，汇总成为最新的完整的卷信息，恢复服务。

本发明将卷信息，即卷名称、大小、卷ID、所属故障域、所属资源池、创建的用户、创建时间、访问权限及版本号等，和卷数据一同分布存储在各个存储节点上，具体存储位置为所属卷的最后一个切片及其副本的头部，基于副本技术进行容错保护，从而保证了卷信息服务器故障后卷信息能够实现信息重构；本发明中的卷信息服务器还采用一组基于分布式架构的服务器来作为卷信息服务器，当这一组服务器中的主卷信息服务器失效时，其余的从卷信息服务器会立刻被选举为主卷信息服务器，从而确保卷信息服务器的可靠性；另外，当卷信息服务器故障并导致卷信息丢失后，能够通过向各个存储节点发起轮询的方式，重新获取最新版本的卷信息，并在经过汇总后重新构成全局卷信息，从而迅速恢复服务，并避免因卷信息丢失而造成用户数据丢失或业务中断。

Claims (10)

1.一种分布式块存储系统中的卷信息管理方法，其特征在于：包括以下步骤：

S1、对分布式块存储的存储节点进行分片得到切片；

S2、在不同存储节点上选择若干切片创建一个卷，并标记卷中的若干个切片为主切片，其余切片为上述主切片的副本；

S3、将卷数据和卷信息写入卷中，所述卷信息包括卷的版本号；

S4、卷信息服务器定期向所有存储节点轮询，汇总轮询结果以得到最新的卷信息，所述卷信息包括当前版本号信息；

S5、当发生副本丢失的情况时，系统重新为丢失副本的切片创建新的副本、更新版本号，并重复所述步骤S4。

2.根据权利要求1所述的分布式块存储系统中的卷信息管理方法，其特征在于：所述步骤S2为：在不同存储节点上分别选择一个切片创建一个卷。

3.根据权利要求1或2所述的分布式块存储系统中的卷信息管理方法，其特征在于：所述步骤S4中的卷信息服务器为多个，其中一个为主卷信息服务器，在同一时间只有主卷信息服务器工作。

4.根据权利要求3所述的分布式块存储系统中的卷信息管理方法，其特征在于：所述步骤S4包括：主卷信息服务器轮询各存储节点以获取卷的版本号，如果该存储节点上的卷的版本号比主卷信息服务器上存储的卷的版本号更高，则从该存储节点获取卷的版本号；如果该存储节点上的卷的版本号与主卷信息服务器上存储的卷的版本号相同或低于主卷信息服务器上存储的卷的版本号，则主卷信息服务器维持该卷的版本号不变。

5.根据权利要求1或2所述的分布式块存储系统中的卷信息管理方法，其特征在于：所述卷信息写入在卷的最后一组切片的头部，所述一组切片包括该组的主切片及其副本。

6.根据权利要求1或2所述的分布式块存储系统中的卷信息管理方法，其特征在于：每个切片的副本数量不少于2个。

7.根据权利要求1或2所述的分布式块存储系统中的卷信息管理方法，其特征在于：当切片上的卷信息变更时，切片所属的卷的版本号更新。

8.一种实现权利要求1-7中任一权利要求所述的分布式块存储系统中的卷信息管理方法的分布式块存储系统，其特征在于：包括存储节点和若干卷信息服务器，所述存储节点包括若干切片，不同存储节点上的切片组成一个卷，每个卷中有若干切片为主切片，其余切片为上述主切片的副本，卷信息和卷数据均存入卷的切片及其副本中，所述卷信息服务器用于对卷信息进行管理。

9.根据权利要求8所述的分布式块存储系统，其特征在于：所述卷信息服务器包括一个主卷信息服务器，所述主卷信息服务器定期向所有存储节点轮询，并汇总轮询结果以得到最新的卷信息。

10.根据权利要求9所述的分布式块存储系统，其特征在于：所述主卷信息服务器定期轮询各存储节点以获取卷的版本号，如果该存储节点上的卷的版本号比主卷信息服务器上存储的卷的版本号更高，则从该存储节点获取卷的版本号；如果该存储节点上的卷的版本号与主卷信息服务器上存储的卷的版本号相同或低于主卷信息服务器上存储的卷的版本号，则主卷信息服务器维持该卷的版本号不变。