CN112256202B - 一种分布式存储系统和分布式存储系统中卷的删除方法 - Google Patents

Abstract

本发明公开了一种分布式存储系统中卷的删除方法，包括：S1、信息管理中心接收删除卷的请求，标记被要求删除的卷；S2、如果数据节点将被要求删除的卷的段单元上报到信息管理中心，则信息管理中心在返回给数据节点的信息中标记所要删除的段单元，数据节点对被标记的段单元进行删除；S3、如果被要求删除的卷的段单元没有上报到信息管理中心，该卷所在的数据节点存在异常，信息管理中心对该卷的段单元不处理。本发明同时还提供一种分布式存储系统，信息管理中心接收用户发出的删除卷的请求，然后对上报的段单元进行标记，以便对被标记的段单元进行删除，本发明采用上报的方式进行对卷进行删除，当出现数据节点故障时，保证系统正常运行。

Description

一种分布式存储系统和分布式存储系统中卷的删除方法

技术领域

本发明属于计算机存储技术领域，更具体地说，涉及一种分布式存储系统中卷的删除方法。

背景技术

分布式存储系统，是将数据按照一定规则切分并打散存储在多台独立通用存储服务器上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，而分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。存储集群的成千上万台服务器可以将数据充分冗余，从而可以显著提高数据的安全性。

在企业级分布式存储中，存在着成千上万台服务器以及更多的磁盘，系统在运行过程中，可能会出现磁盘故障等问题，而且系统运行的时间越长，磁盘故障的可能性越高。在用户的数据请求中，有很多是数据删除请求。现有技术中，在用户发起删除请求之后，通常是在存储集群中找到数据并进行删除。但如果磁盘出现故障，会导致用户的删除请求无法完成，这样删除的任务会一直进行，从而抢占用户的其它读写请求资源，给系统带来更大的压力。

申请公布日为2019年4月2日，申请公布号为CN109558065A，专利名称为数据删除方法及分布式存储系统的中国专利公开了一种技术方案：当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给存储服务器，以使接收到所述目标时间点的存储服务器按照所述目标时间点删除待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。应用该技术方案提供的数据删除方法，可以提高存储空间释放的效率。

但是该技术方案并未解决分布式存储系统中磁盘出现故障如何在不影响系统运行的情况下继续删除数据的问题。

发明内容

1.要解决的问题

针对现有技术中分布式存储系统中磁盘出现故障的情况下如何在不影响系统运行的情况下继续删除数据的问题，本发明提供一种分布式存储系统和分布式存储系统中卷的删除方法。

2.技术方案

为了解决上述问题，本发明所采用的技术方案如下：一种分布式存储系统中卷的删除方法，包括以下步骤：

S1、信息管理中心接收删除卷的请求，标记被要求删除的卷；

S2、如果数据节点将被要求删除的卷的段单元上报到信息管理中心，则信息管理中心在返回给数据节点的信息中标记所要删除的段单元，数据节点对被标记的段单元进行删除；

S3、如果被要求删除的卷的段单元没有上报到信息管理中心，该卷所在的数据节点存在异常，信息管理中心对该数据节点内的段单元不处理。本技术方案中，信息管理中心接收用户发出的删除卷的请求，对被要求删除的卷进行删除，然后等待数据节点上报段单元信息，并对上报的段单元进行标记，以便数据节点对被标记的段单元进行删除，对于因出现故障导致无法正常上报的段单元不处理，本技术方案采用上报的方式进行对卷进行删除，与现有技术相比，当出现数据节点故障的时候，不影响卷的删除，从而保证系统的正常运行。

进一步地，所述段单元内存储单元数据和单元信息，在段单元向信息管理中心上报时，信息管理中心存储段单元的单元信息。本技术方案中，信息管理中心存储段单元的单元信息，以便出现故障的数据节点重新上线后，信息管理中心能够根据原来存储的单元信息对重新上报的段单元进行处理，使数据节点故障不会影响系统的稳定性。

进一步地，单元信息包括该段单元的状态，信息管理中心通过单元信息统计一个段内所有上报的段单元的状态，如果一个段超过一半数量的上报的段单元已删除，则该段已被删除；当一个卷内任意一个段被删除，则该卷被删除。

进一步地，当步骤S3中出现异常的数据节点重新上线后，信息管理中心根据其存储的单元信息判断该数据节点上报的段单元所在的卷是否已删除，若上报的段单元所在的卷已删除，则信息管理中心在返回给数据节点的信息中对该段单元进行标记，数据节点对该被标记的段单元进行删除；若上报的段单元所在的卷未删除，则信息管理中心正常处理该上报的段单元。当出现故障的数据节点重新上线后，信息管理中心根据存储的单元信息对段单元进行判断和处理，以保证系统运行的稳定性。

进一步地，所述步骤S2还包括：数据节点在每一次上报给信息管理中心时上报段单元的实时状态，信息管理中心根据数据节点上报的信息来更新段单元的状态。本技术方案能够保证信息管理中心存储的段单元信息的准确性，以便对段单元做出准确的处理。

进一步地，当一个段单元被标记后，数据节点开始对该段单元进行删除时，该段单元的状态为删除中，当该段单元全部删除后，其状态变为已删除。

本发明同时提供一种分布式存储系统，包括信息管理中心和数据节点，所述数据节点被划分为若干段单元，不同数据节点上的段单元组成一个段，若干段组成一个卷，段单元向信息管理中心上报，信息管理中心根据用户请求对上报的段单元进行标记，数据节点对被标记的段单元进行删除。本技术方案通过设置信息管理中心，所有的段单元都上报给信息管理中心，信息管理中心根据用户请求对被要求删除的卷中的段单元进行标记，以便数据节点对被标记的段单元进行删除。

进一步地，所述段单元包括主段单元和从段单元，当一个段中超过一半数量上报的段单元被删除，则该段被删除。

3.有益效果

相比于现有技术，本发明的有益效果为：

(1)采用本发明的卷的删除方法，在分布式存储系统中用户请求删除的卷所在的数据节点发生丢失或网络异常等情况后，信息管理中心对发生异常的数据节点上的段单元不进行处理，使出现异常情况的数据节点不会影响整个系统的功能，从而保持系统的稳定性和可靠性；

(2)本发明在发生删除卷的情况后，如果卷所在的丢失的存储节点重新上线，该丢失的存储节点上残留的已被删除的卷的段单元会被继续删除，以免丢失的存储节点重新上线后影响系统的运行，同时能够释放更多的空间。

附图说明

图1为分布式存储系统中卷的组成的结构示意图；

图2为本发明中卷的删除的流程图；

图3为本发明中丢失的数据节点重新上线后的卷的删除的流程图。

具体实施方式

下面结合具体实施例对本发明进一步进行描述。

为了更好地说明，在此定义了一些概念(见表一)。

表一

以下结合附图和实施例详细说明本发明技术方案，一个完整的分布式存储系统的管理包括卷的组成，卷的管理和卷的删除(删除卷中的段单元)，下面结合附图进行一一说明。

一、卷的组成

每个卷volume以段segment为基本组成单位，而每一个段segment包括多个段单元segment unit，段单元segment unit是数据存储的最小单位，分布在数据节点datanode的磁盘上，其中段单元segment unit包括主段单元primary segment unit和从段单元secondary segment unit，主段单元primary segment unit存储了完整数据，任意两个从段单元secondary segment unit中存储的数据可以构成完整数据，一个完整的卷volume的分布组成如图1所示。

二、卷的管理和删除

首先，需要说明的是，段单元segment unit的删除包括以下两种情况：卷volume的删除和段单元segment unit的重构，卷volume的删除表示卷volume内所有的段单元segment unit都被删除，信息管理中心infocenter根据段单元segment unit的删除状态判断卷volume是否被删除；段单元segment unit的重构，是指为了实现数据节点datanode上存储的卷volume的均衡分布，从而对卷volume内的段单元segment unit进行迁移，在完成段单元segment unit从旧的数据节点datanode迁移到新的数据节点datanode后，旧的数据节点datanode会将该已经迁移完毕的段单元segment unit删除，此时，卷volume会根据段单元segment unit的状态，显示卷volume处于迁移状态，更具体地说，所谓重构是指一个卷volume的段单元尽可能地平均分布到数据节点datanode后，当一个卷volume的段单元segment unit在一个数据节点datanode上非常少或者没有，系统会尝试从包含该卷volume多的段单元segment unit的数据节点datanode上移动到包含该卷volume少的数据节点datanode，从而保证卷volume的段单元segment unit在各个数据节点datanode上的平均分布。

本发明是针对第一种情况，即卷volume的删除的方法的改进。

如图1所示，卷volume包括段单元segment unit，删除卷volume其实就是删除卷volume中的段单元segment unit；而段单元segment unit分布在数据节点datanode上。在本发明中，我们引入信息管理中心infocenter的概念，所有的数据节点datanode定时将自己的段单元segment unit信息上报给信息管理中心infocenter，信息管理中心infocenter存储卷中的段单元segment unit信息，删除卷volume就是通过信息管理中心inforcenter来标记要删除的卷volume及该卷中的段单元segment unit，在当段单元segment unit被标记为已删除后，卷volume也就被删除了。具体实施时，可以自行定义标记的具体内容，本实施例中可以对被要求删除的卷volume及其中的段单元segment unit标记为“删除中deleting”。

因为卷volume涉及的段单元segment unit非常多，删除过程长，为了便于描述，我们将删除中的卷volume进行状态标记，根据状态变化来具体显示卷volume的删除进度；对删除的段segment和段单元segment unit也设置相关状态，卷的状态有：deleting删除中、deleted已删除、dead死亡；段segment的状态有：deleting删除中、dead死亡；段单元segment unit的状态有：deleting删除中、deleted已删除。

具体地说，当用户发出删除卷volume的请求命令时，信息管理中心inforcenter接收到该命令，在数据节点datanode上报段单元segment unit时候，将删除的卷volume的段单元segment unit进行标记并反馈给数据节点datanode，数据节点datanode收到信息管理中心inforcenter反馈的删除标记，开始对卷volume中的段单元segment unit进行删除，此时段单元segment unit的状态为删除中deleting，当段单元segment unit删除完毕，该段单元segment unit的状态变为已删除deleted；如果一个段segment中包括主段单元primary segment unit在内的超过一半数量的段单元segment unit的状态为删除中deleting，则该段segment的状态为删除中deleting；如果一个段segment中超过一半数量上报的段单元segment unit的状态为删除deleted，则段segment的状态为死亡dead；相应地，当一个卷volume中所有段segment的状态变为删除中deleting后，卷volume的状态从删除中deleting变为已删除deleted；当一个卷volume中任意一个段segment的状态变为已删除deleted后，卷volume的状态从已删除deleted变为死亡dead。

三、卷删除过程

如图2所示，本发明的具体过程为：

(1)用户发起删除卷volume操作，信息管理中心infocenter收到用户请求命令，对被请求删除的卷volume进行标记，并记录下来，以便下次系统启动的时候，记录该卷volume为删除中状态的信息能够被顺利读取；具体实施时，可以将该卷volume的状态标记为“删除中deleting”，当然，也可以对该标记的状态自行定义；

(2)因为数据节点datanode会定时上报段单元segment unit到信息管理中心infocenter，在卷volume被标记以后，系统需要等待该卷volume的段单元segment unit上报，以便将该卷volume的段单元segment unit删除，如果段单元segment unit上报了，则

a、信息管理中心infocenter按照卷volume的状态处理段单元segment unit，此刻，由于信息管理中心infocenter已将该卷volume的状态标记为“删除中”，则该卷中的段单元segment unit也应该被删除；即，此刻卷volume处于“删除中deleting”状态，表示其包含的段单元segment unit都要被删除，信息管理中心infocenter存储上报的段单元segment unit的卷信息，同时在返回给数据节点datanode的返回值中带入删除中卷volume的删除标记，即信息管理中心infocenter返回给数据节点datanode表示该段单元segmentunit需要被删除；需要说明的是，段单元segment unit同时存储单元数据和单元信息，单元信息包括段单元segment unit的状态、大小等信息，根据单元信息，可以了解该段单元segment unit当前的状态，即该段单元segment unit处于删除中还是已删除，另外还可以了解该段单元segment unit被使用的空间、剩余空间，以及段单元segment unit创建的时间等等，当一个卷volume中的段单元segment unit被删除，该段单元segment unit中存储的单元数据被删除，而单元信息则存储到信息管理中心infocenter，信息管理中心infocenter根据单元信息来判断该段单元segment unit是否已删除；更具体地说，信息管理中心infocenter对其存储的段单元segment unit的单元信息进行统计，通过统计状态显示为“已删除”的段单元segment unit的数量来判断一个段segment是否为“已删除”，具体实施时，当一个段segment中的超过一半上报数量的段单元segment unit标记为已删除，则可以判定该段segment为已删除，当一个卷volume中任意一个段segment被删除，表示该卷volume已被删除。

b、数据节点datanode获取返回值或返回信息，得到某个卷volume的段单元segment unit的删除中的标记，开始对该卷volume的段单元segment unit进行删除，并在每一次上报给信息管理中心infocenter的过程中上报删除的段单元segment unit的实时状态，信息管理中心infocenter根据每次数据节点datanode上报的结果来更新段单元segment unit的删除情况，将删除完成的段单元segment unit从删除中变为已删除，同时更新卷volume的状态；

c、当上报给信息管理中心infocenter的所有段单元segment unit全部为已删除，则卷volume的状态也变成死亡dead，表示用户请求删除的卷volume已被完全删除。

如果系统没有等到该卷volume的段单元segment unit上报，则表示包含被用户请求删除的卷volume的数据节点datanode存在异常，比如该数据节点datanode丢失或者出现网络异常导致该数据节点datanode无法被正常读写，则数据节点datanode不能正常上报给信息管理中心infocenter，所以也接收不到信息管理中心infocenter要求删除段单元segment unit的返回信息或返回值，则该被用户请求删除的卷volume的段单元segmentunit依然存在，但该段单元segment unit不参与卷volume状态的更新，其余段单元segmentunit仍然继续上报段单元segment unit的状态，当其余继续上报的段单元segment unit的状态全部变为已删除，表示卷volume的段单元segment unit全部删除成功，该卷volume的状态变为死亡dead，此时信息管理中心infocenter将卷volume的状态记录并保存起来，该卷volume被删除成功。

在系统的实际运行中，经常会出现一种情况，即丢失的数据节点datanode或者出现异常的网络可能会恢复，针对这种数据节点datanode重新上线的情况，由于在异常情况下该被用户请求删除的卷volume的段单元segment unit的单元信息继续存在，当数据节点datanode重新上线后，可能会导致系统存储的信息混乱，因此，需要对残留的信息即重新上线的数据节点datanode上的卷volume的段单元segment unit的信息进行继续删除，以保证系统的可靠性。

图3示出了一个已经被删除的卷volume所在的数据节点datanode重新上线后的删除过程，具体为：

(1)当丢失的数据节点datanode重新上线或异常的网络变好使数据节点datanode重新上线后，重新上线的数据节点datanode定时上报段单元segment unit，信息管理中心infocenter发现上报的段单元segment unit所在的卷volume已被删除，则通知该卷volume所在的数据节点datanode删除上报的段单元segment unit，即在给段单元segment unit的返回值或返回信息中对该段单元segment unit进行标记表示该段单元segment unit需要被删除，然后数据节点datanode开始删除被标记的段单元segment unit，并将删除完成的段单元segment unit标记为已删除，直至所有的段单元segment unit全部删除；最终丢失节点datanode上对应的残留的段单元segment unit，在重新上线后会被删除；

(2)如果信息管理中心infocenter发现上报的段单元segment unit所在的卷volume没有被删除，则信息管理中心infocenter正常处理该上报的段单元segment unit。

利用本发明的卷的删除方法，在分布式存储系统中存在异常的数据节点后，系统将该异常的节点中的段单元标记为已删除，对丢失的数据节点的段单元不处理，因此卷的删除过程不受丢失的数据节点的影响；另外，在发生删除卷的情况后，如果卷以前所在的丢失的存储节点重新上线，其残留的信息会被继续删除，以免丢失的存储节点重新上线后影响系统的运行。

Claims (8)

1.一种分布式存储系统中卷的删除方法，其特征在于：包括以下步骤：

S1、信息管理中心接收删除卷的请求，标记被要求删除的卷；

S2、如果数据节点将被要求删除的卷的段单元上报到信息管理中心，则信息管理中心在返回给数据节点的信息中标记所要删除的段单元，数据节点对被标记的段单元进行删除；

S3、如果被要求删除的卷的段单元没有上报到信息管理中心，该卷所在的数据节点存在异常，信息管理中心对该数据节点内的段单元不处理；

当步骤S3中出现异常的数据节点重新上线后，信息管理中心根据其存储的单元信息判断该数据节点上报的段单元所在的卷是否已删除，若上报的段单元所在的卷已删除，则信息管理中心在返回给数据节点的信息中对该段单元进行标记，数据节点对该被标记的段单元进行删除；若上报的段单元所在的卷未删除，则信息管理中心正常处理该上报的段单元。

2.根据权利要求1所述的分布式存储系统中卷的删除方法，其特征在于：所述段单元内存储单元数据和单元信息，在段单元向信息管理中心上报时，信息管理中心存储段单元的单元信息。

3.根据权利要求2所述的分布式存储系统中卷的删除方法，其特征在于：单元信息包括该段单元的状态，信息管理中心通过单元信息统计一个段内所有上报的段单元的状态，如果一个段中超过一半数量的上报的段单元已删除，则该段已被删除；当一个卷内任意一个段被删除，则该卷被删除。

4.根据权利要求1-3中任一权利要求所述的分布式存储系统中卷的删除方法，其特征在于：所述步骤S2还包括：数据节点在每一次上报给信息管理中心时上报段单元的实时状态，信息管理中心根据数据节点上报的信息来更新段单元的状态。

5.根据权利要求4所述的分布式存储系统中卷的删除方法，其特征在于：当一个段单元被标记后，数据节点开始对该段单元进行删除时，该段单元的状态为删除中，当该段单元全部删除后，其状态变为已删除。

6.根据权利要求1-3中任一权利要求所述的分布式存储系统中卷的删除方法，其特征在于：当一个段单元被标记后，数据节点开始对该段单元进行删除时，该段单元的状态为删除中，当该段单元全部删除后，其状态变为已删除。

7.一种分布式存储系统，采用如权利要求1-6中任一权利要求所述的方法，其特征在于：包括信息管理中心和数据节点，所述数据节点被划分为若干段单元，不同数据节点上的段单元组成一个段，若干段组成一个卷，段单元向信息管理中心上报，信息管理中心根据用户请求对上报的段单元进行标记，数据节点对被标记的段单元进行删除。

8.根据权利要求7所述的分布式存储系统，其特征在于：所述段单元包括主段单元和从段单元，当一个段中超过一半数量上报的段单元被删除，则该段被删除。