CN109428913B - 一种存储扩容方法及装置 - Google Patents

Abstract

本发明公开了一种存储扩容方法，应用于分布式存储系统中。当分布式存储系统扩容新存储节点后，确定分布式存储系统中原有存储节点的资源使用率，资源使用率为原有存储节点已使用存储容量之和与在原有存储节点上分配的总存储容量的比值，基于资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，监测新存储节点中是否有数据被删除，若是，将新存储节点加入分布式存储系统的原有存储节点之中，若否，重新确定原有存储节点的资源使用率。通过在扩容新存储节点时以满覆盖删除对原有存储节点的数据进行删除，能够在避免进行数据迁移的前提下完成存储节点的扩容，减少了扩容对业务性能的影响。

Description

一种存储扩容方法及装置

技术领域

本发明涉及视频监控技术领域，特别涉及一种存储扩容方法。本发明同时还涉及一种分布式存储系统扩容装置。

背景技术

随着网络技术的蓬勃发展和视频监控数字化、网络化、高清化、智能化的逐渐成熟，视频监控前端摄像机视频采集技术也在飞速发展，从早期的10万像素到今天的200万、500万像素，视频清晰度越来越高，视频画面中的信息量也越来越丰富，对存储容量的要求也越来越高。

举个例子，目前高清最基本的是720P的，每小时录像可压缩至3GB左右，一个月下来大概是17T(17000G)。在监控系统中几百甚至几千路的高清监控，其产生的庞大视频文件涌向存储器，在安防视频清晰度不断提高和安防监控路数不断增加的情况下，安防行业的存储问题愈加凸显。而正是由于道路监控在安防领域中的应用越来越广泛，卡口图片的存储量越来越大，存储的方式也从原来的集中式存储转向了当下流行的分布式存储(又称云存储)。随着监控业务规模不断扩大，例如录像、图片的存储时间延长或是新增卡口、IPC(IPCAMERA，网络摄像机)增加业务接入，这时就需要对现有的云存储资源进行扩容。

如图1所示，为现有技术中CDS(Cloud Direct Storage，云直存储)系统中的CDV(Cloud Direct virtual，云直存虚拟)设备、逻辑资源以及slice关系图，CDV设备上部署了存储节点管理软件，通过该管理软件可以将存储设备上的存储资源均匀的分为N个标准逻辑资源进行管理，每一个资源都具有一个设备级的ID(Identification，身份)号，通过该ID号可以找到对应的Target(目标)等信息。每一个资源又会被存储管理软件格式化为索引区和slice数据区。

目前，云存储系统会对新扩容进来的空闲资源进行均衡，即当一个新的类似于CDV的存储设备加入原有的分布式存储系统的其他存储设备中时，老存储设备上存储的数据会迁移部分到新加入的存储设备之中。而现有的监控业务有两种扩容实现方法，一种是只增加磁盘扩充容量，一种是即增加磁盘又需要增加存储服务器实现接入路数以及容量的双需求。但发明人在实现本发明的过程中发现，无论是采取扩容硬盘还是同时增加存储服务器以及硬盘的方式，当空闲资源加入到云存储的环境中后，云存储系统会将已有存储资源上的历史数据均衡部分到空闲资源上，从而给新加入的存储设备以及原有的存储设备均带来了额外的数据迁移、读取、写入的压力，从而影响业务接入性能。

由此可见，如何减少分布式存储系统在扩容时由于负载均衡所给设备带来的额外负荷，成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种存储扩容方法，应用于分布式存储系统中，用以减少现有的分布式存储系统在扩容时由于负载均衡所带来的额外的设备负担，该方法应用于分布式存储系统中，包括：

当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值；

基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除；

监测所述新存储节点中是否有数据被删除；

若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中；

若否，重新确定所述原有存储节点的资源使用率。

优选地，所述满覆盖删除包含容量满覆盖删除以及留存期满覆盖删除，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：

若所述资源使用率高于预设的容量阈值，将所有存储节点中的数据根据存储时间进行容量满覆盖删除。

优选地，根据存储时间进行满覆盖删除，还包括：确定所述分布式存储系统扩容新存储节点前的留存期，基于所述扩容新存储节点前的留存期将所有存储节点中的数据根据存储时间进行留存期满覆盖删除。

优选地，将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：

将所述所有存储节点中的数据按照已存储时间或相对存储时间从长至短的顺序进行删除，直至所述原有存储节点的可使用存储容量之和大于或等于当前待写入所述存储节点的新数据的大小，所述相对存储时间根据所述数据的已存储时间以及为所述数据分配的存储时限生成。

优选地，将所有存储节点中的数据根据存储时间进行留存期满覆盖删除，具体为：

将所述所有存储节点中存储时间超过第一时间阈值的数据删除。

优选地，在将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中后，还包括：

按照预设的时间间隔对所述分布式存储系统中的所有存储节点进行容量满覆盖删除或留存期满覆盖删除。

优选地，确定所述分布式存储系统中原有存储节点的资源使用率，具体为：

将所述原有存储节点所创建的逻辑资源的置位标记设置为0；

根据所述分布式存储系统中置位标记为0的逻辑资源的分片数据区的空闲容量确定各所述原有存储节点的已使用存储容量；

根据所述分布式存储系统中所述原有存储节点已使用存储容量之和确定所述资源使用率。

优选地，所述新存储节点所创建的逻辑资源的置位标记被设置为1；将所述新存储节点加入所述原有存储节点，具体为：

将所述新存储节点的逻辑资源的置位标记从1修改为0。

相应的，本申请还提出了一种分布式存储系统扩容装置，包括处理器以及存储有若干计算机指令的非易失性存储器，该些计算机指令被处理器执行时实现上述任意一项所述的存储扩容方法。

相应的，本申请还提出了一种计算机可读存储介质，其上存储有计算机指令，该些计算机指令被处理器执行时实现上述任意一项所述的存储扩容方法。

由此可见，通过应用本申请的技术方案，当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，监测所述新存储节点中是否有数据被删除，若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中，若否，重新确定所述原有存储节点的资源使用率。通过在扩容新存储节点时以满覆盖删除对原有存储节点的数据进行删除，能够在避免进行数据迁移的前提下完成存储节点的扩容，减少了扩容对业务性能的影响。

附图说明

图1为现有技术中CDV设备、逻辑资源以及slice关系图；

图2为本申请提出的一种存储扩容方法的流程示意图；

图3为本申请具体实施例对云存储系统进行扩容的示意图；

图4为本申请提出的一种分布式存储系统的扩容装置的结构示意图。

具体实施方式

如背景技术所述，当用户数据需要保存更久的时间，或是需要新增卡口IPC时，作为云存储系统的分布式存储系统需要更大的存储空间，尤其当原云存储环境里的存储节点的资源已经达到了单台存储节点的性能上限

时，新添加的监控业务就需要有新的CDV来承担存储任务。但目前分布式存储系统中的负载均衡策略会使得新存储节点在加入分布式存储系统后被频繁写入，同时原有存储节点也会被频繁读取，从而造成额外的设备负担，导致整体业务性能下降。

有鉴于此，本申请提出了一种存储扩容方法，该方案通过在扩容新存储节点时以满覆盖删除对原有存储节点的数据进行删除，能够在避免进行数据迁移的前提下完成存储节点的扩容，减少了扩容对业务性能的影响。

如图2所示，该方法包括如下步骤：

S201，当所述分布式存储系统扩容新存储节点时，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值。

本申请旨在解决由负载均衡带来的额外的设备读写操作，因此应用于分布式存储系统中，该分布式存储系统可以为任一类型的云存储系统，该分布式存储系统包含多个由存储节点组成的集群。以CDS系统为例，该系统包含多个CDV存储设备，每个CDV存储设备均作为一个存储节点。当在这些存储节点之外额外增加了新的存储节点，即视为针对该分布式存储系统扩容了新存储节点，该新存储节点可以为在物理上新添加的存储设备，或者是之前已布置但未启用的存储设备，这些均在本申请的保护范围之内。

为了达到平稳扩容的目的，本申请的技术方案在分布式存储系统扩容新存储节点时，由扩容的操作临时触发且立即执行“确定该分布式存储系统中原有存储节点的资源使用率”的操作，并非惯例性的或是常规的检查步骤。

以云存储系统为例，在该具体应用场景中，原有的(即扩容前)的云存储系统由多个CDV存储设备组成一个集群，在此基础上可以创建不同用途的用户资源，每个CDV存储设备上被分配的同一用途的用户资源大小相同且均衡。当该云存储系统扩容了新的存储节点(即CDV存储设备)后，由于新的CDV存储设备加入集群，云存储系统会根据该集群下已有资源分配情况在该新增加的CDV存储设备上同样分配出与原有的CDV存储设备上一致的逻辑资源(该逻辑资源是针对于该CDV存储设备上存储资源的分配方式而言，以不同分配方式存在的用户资源称为不同的逻辑资源)，且临时对原有的CDV存储设备的资源使用率进行统计。

在本申请的技术方案中，为了描述当前的分布式存储系统中针对同一用户资源的资源使用情况，采用资源使用率进行衡量，该资源使用率为原有存储节点已使用存储容量之和与在原有存储节点上分配的总存储容量的比值。举例来说，若为用户在该分布式存储系统中的原有存储节点中所分配的总存储容量(在单一用户的情况下该总存储容量一般为存储节点的最大存储规格，多用户资源情况下针对其中的某一个用户资源具体分配)为10T，而用户在这些原有存储节点中所实际使用的总存储容量为6T，那么该用户的资源使用率即为6/10即60％，具体的比值的表现形式并不影响本申请的保护范围。

对于分布式存储系统中的存储节点来说，针对同一用户资源的所被分配的存储容量是固定值，但是用户在不同的存储设备上所实际使用的存储容量都是在不断发生变化，为了准确获取用户资源在分布式存储系统中的资源使用率，本申请的优选实施例在此基础上提出了如下方案确定所述分布式存储系统中原有存储节点的资源使用率，具体包括如下流程：

步骤a)将所述原有存储节点所创建的逻辑资源的置位标记设置为0，相应地，所述新存储节点所创建的逻辑资源的置位标记被设置为1；

步骤b)根据所述分布式存储系统中置位标记为0的逻辑资源的分片数据区的空闲容量确定各所述原有存储节点的已使用存储容量；

步骤c)根据所述分布式存储系统中所述原有存储节点已使用存储容量之和确定所述资源使用率。

以图3所示的具体应用场景为例，当云存储系统中的集群扩容新CDV存储设备作为新的存储节点后，集群中原有的每个CDV存储设备上的存储业务压力基本一致。但原有CDV存储设备上有历史数据，新的CDV存储设备上没有数据。这样会导致当原有集群里的CDV存储设备写满时，新的CDV存储设备还有很大空间。在现有技术中，由于云存储系统中负载均衡的作用，不仅所有的前端设备都会选择这个新加扩容进来的CDV存储设备写入数据，同时还会将其他原有的CDV存储设备中的数据读取出来再写入该新扩容的CDV存储设备中，从而给该CDV存储设备以及原有的CDV存储设备均带来了很大的读写压力。

为了解决以上问题，本申请具体实施例首先区分云存储系统中在新CDV存储设备扩容前所存在的CDV存储设备以及作为新存储节点的CDV存储设备，使用0、1的置位进行标记，原有的CDV存储设备的存储资源创建时默认置位为0，使用扩容动作添加进来的新CDV存储设备的存储资源创建时置位为1。需要说明的是，该置位标记可以放到逻辑资源的索引区记录，具体位置可基于实际应用场景灵活设置，在能够区分记录且重启等操作不会丢失的基础上，其他置位标记的存储位置以及方式均属于本申请的保护范围。

基于上述设置，本申请优选实施例通过扫描配置的云存储资源，获取标记有0置位的原有CDV存储设备的存储逻辑资源上的实际slice数据段的空闲情况来确定原有CDV存储设备的已使用存储容量，进而得到所有原有CDV存储设备的存储资源在线存储实际已使用总资源与分配总容量的比值，并以此确定资源使用率。

结合图3所示的具体应用场景进行说明，该云存储系统中包含3台CDV存储设备作为存储节点，该具体实施例在集群内增加1台CDV存储设备进行扩容。所增加存储节点为CDV4存储设备，该CDV4存储设备在加入云存储系统后，参考其他存储节点将自动划分出10T、8T、……、30T等容量，以此实现在新增CDV存储设备上创建新的需求大小的逻辑资源，原先存在的用户资源将成比例扩大扩容出的新增资源大小。在该过程中，若总的用户资源分配到该CDV存储设备上的资源大小是10T，那么该CDV存储设备上就创建一个10T的逻辑资源，若分配到的是30T资源，那该CDV存储设备将创建一个30T的逻辑资源，该CDV存储设备上的逻辑资源是由很多个小的由索引区跟slice(分片)区组成的逻辑资源组成的大逻辑资源。

在此需要说明的时，尽管以上流程以具体的方式描述了如何确定所述分布式存储系统中原有存储节点的资源使用率，但是本发明并不仅限于此。技术人员能够基于分布式存储系统中不同资源类型表现形式的存储节点设置对应的标记方式，进而得到该分布式存储系统的资源使用率。例如，针对不以逻辑资源描述分片数据的存储节点来说，通过额外设置的资源监视器获取其使用的资源容量及其总的可用容量，据此确定资源使用率。这些都属于本申请的保护范围。

S202，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除。

满覆盖删除是一种针对分布式系统中的所有存储节点中的数据接近存储饱和的情况所提出的一种数据清理方式。满覆盖删除的触发条件存在很多，从数据存储容量的角度来说，可以是存储数据量达到某个数值、存储数据容量占总容量的比例达到某个数值、存储数据容量与可用容量的比例达到某个数值等等；从数据存储时长的角度来说，可以是数据存储的时间达到了某个时间长度或者是数据的存储时间相对其本身的存储时限达到了某个比值。在触发进行清理的过程中，由于满覆盖删除所要达到目的是为新数据腾出存储资源，因此删除数据的多少以及如何进行删除均根据待写入存储节点的新数据的类型以及大小而确定，但无论触发条件以及删除方式如何存在不同，满覆盖删除的依据均是数据的存储时间。在此基础上，不同的满覆盖删除的类型均属于本申请的保护范围。

在本申请的优选实施例中，提出了两种针对存储节点中的数据进行处理的方案以便于新数据的写入，采取某一满覆盖删除的依据为资源使用率与容量阈值的比较结果，该容量阈值由技术人员根据实际情况预先设置。具体的，满覆盖删除包含容量满覆盖删除以及留存期满覆盖删除，优选实施例中所对应的方案如下：

(1)容量满覆盖删除：若所述资源使用率高于预设的容量阈值，将所有存储节点中的数据根据存储时间进行容量满覆盖删除。

容量满覆盖由技术人员针对存储节点配置固定容量的存储空间，能存多长时间的数据就尽量存储，当存储节点的配置容量到达一定的容量阈值(例如90％)就触发清理相对存储时间最长的数据或者是已存储时间最长的数据，清理到一定比例停止清理。因此，在当资源使用率高于预设的容量阈值的情况下，本申请技术方案将所有存储节点中的数据根据存储时间进行容量满覆盖删除，在数据处理过程中，数据清除的多少以及清理到什么样的水平可由技术人员根据实际情况(包括待存储数据的大小及类型)进行设置，这些均属于本申请的保护范围。

进一步的，在本申请的优选实施例中，通过以下方式将容量满覆盖具体应用在针对存储节点的数据处理中：

将所述所有存储节点中的数据按照已存储时间或相对存储时间从长至短的顺序进行删除，直至所述原有存储节点的可使用存储容量之和大于或等于当前待写入所述存储节点的新数据的大小，所述相对存储时间根据所述数据的已存储时间以及为所述数据分配的存储时限生成。

需要指出的是，由于重要数据和非重要数据的留存期限并不相同，因此在基于容量满覆盖对数据进行删除的过程中，删除的依据不限于直接按照数据的已存储时间进行删除，相应的，本发明提出了“相对存储时间”的概念，该相对存储时间能够表征数据当前已存储的时间相对于为该数据分配的存储时限(即最多可在存储节点中留存的期限)的长短。具体的，相对存储时间根据所述数据的已存储时间以及为所述数据分配的存储时限生成，具体的表现形式可由技术人员依据实际使用场景确定，例如当一个数据本身的留存期限为10天，但这个数据已经存储了8天，那么该数据的相对存储时间为0.8。

此外，由于目前大多数的分布式存储系统均是以云存储系统的形式对图片以及视频进行存储，对于图片类型的数据来说，其单个文件所占空间小，但文件数量庞大，对于视频类型的数据来说，其单个文件所占空间很大，但文件数量相对于图片来说很小，因此在对存储节点中的数据进行删除的过程中，本申请的技术方案将删除的比例设置为使得存储节点的可使用存储容量大于当前待写入所述存储节点的新数据的大小，在此基础上，技术人员可以依据存储节点中原有数据的类型调整删除量：对于图片来说，可以将存储节点中的数据删除至一定的百分比以下；对于视频这样的大文件来说，则可直接以删除某个视频文件后存储节点可使用存储量的大小作为判断依据。

(2)留存期满覆盖删除：在资源使用率不高于预设的容量阈值的情况下，可以暂时不对存储节点执行满覆盖删除，或者是仅采取留存期满覆盖删除的方式。相应地，在本申请的优选实施例中，留存期满覆盖删除通过确定所述分布式存储系统扩容新存储节点前的留存期，并基于所述扩容新存储节点前的留存期将所有存储节点中的数据根据存储时间进行留存期满覆盖删除。

在本申请的优选实施例中，留存期满覆盖采用如下方式：

将所述所有存储节点中存储时间超过第一时间阈值的数据删除。

在新增存储节点后，使用系统扩容新存储节点前的留存期进行留存期满覆盖清理，当新扩容的存储节点里的资源也进行删除后，将系统扩容新存储节点前的留存期进行失效处理，使用设置的新留存期进行满覆盖清理。

例如，当留存期为300天时，那么已存储时间超出300天的最老数据将会进行删除，该留存期为技术人员基于实际情况为数据所赋予的一个时间阈值，用于确定是否需要将数据删除。在具体的应用场景中，对于扩容了CDV存储节点的分布式存储系统，需记录该分布式存储系统的历史留存期(现有的时间阈值)，即分布式存储系统扩容新存储节点前的留存期，用户有时会在分布式存储系统扩容之后对现有的时间阈值进行更新(即指定新的留存期)。在新增CDV节点后，假设用户配置的历史留存期例如N天，所指定的新留存期为M，若M大于等于N，则使用历史留存期N进行留存期满覆盖清理，当新扩容的CDV里的资源也进行删除后，将历史留存期N进行失效处理，使用新留存期M，以此实现时间阈值的更新。

以上优选实施例的内容针对于满覆盖删除及其包含的不同处理方式进行了具体的展开，但是本发明并不仅限于此，在基于满覆盖删除基础上所进行的其他方面的改进，均属于本申请的保护范围。

S201以及S202的方案阐述了如何在原有存储节点的资源使用率达到一定条件下触发临时清理所有存储节点中的数据的方式来实现平稳扩容，在此基础上，本申请的优选实施例进一步通过以下方式将新存储节点与原有存储节点进行合并，从而实现无缝扩容，具体流程如下：

S203，监测所述新存储节点中是否有数据被删除，若是，转至S204，若否，转至S205；

S204，将所述新存储节点加入所述分布式存储系统中的所述原有存储节点之中；

S205，重新确定所述原有存储节点的资源使用率。

以上为本发明具体实施例针对于不同资源类型的存储节点所提出的统一处理方式，但在采用逻辑资源以及分片数据区的具体实施例中，当原有存储节点的资源使用率大于容量阈值就触发在云存储系统中所有的原有存储节点中进行容量满覆盖处理。当标记为1的新扩容资源里的数据也进行了删除操作后，触发把所有标记为1的新资源标记修改为0，自此扩容容量均衡完毕统一为一个整体的大资源。

需要说明的是，在采用对逻辑资源进行置位标记的情况下，本申请的优选实施例通过将所述新存储节点的逻辑资源的置位标记从1修改为0，以此实现将新存储节点加入原有存储节点的目的。

在上述内容中，由于提到S201以及S202中针对新扩容CDV存储设备所采取的满覆盖策略是临时策略，当新扩容的CDV存储设备上的数据也进行满覆盖删除后，就切换回原本的满覆盖策略。因此，在本申请的优选实施例中，在将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中后，即可对所述分布式存储系统中的所有存储节点进行容量满覆盖删除或留存期满覆盖删除。通过按照所有在线存储实际已使用总资源/分配总容量以及用户实际配置留存期进行满覆盖，从而实现了临时调整图片满覆盖策略以达到平稳扩容的目的。

为达到以上技术目的，本申请还提出了一种分布式存储系统扩容装置，如图4所示，所述装置包括处理器420以及存储有若干计算机指令的非易失性存储器410，该些计算机指令被处理器420执行时实现上述任意一项所述的存储扩容方法。

相应的，本申请还提出了一种计算机可读存储介质，其上存储有计算机指令，该些计算机指令被处理器执行时实现上述任意一项所述的存储扩容方法。

通过应用本申请的技术方案，当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，监测所述新存储节点中是否有数据被删除，若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中，若否，重新确定所述原有存储节点的资源使用率。通过在扩容新存储节点时以满覆盖删除对原有存储节点的数据进行删除，能够在避免进行数据迁移的前提下完成存储节点的扩容，减少了扩容对业务性能的影响。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (8)

1.一种存储扩容方法，应用于分布式存储系统中，其特征在于，包括：

当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值；基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除；

监测所述新存储节点中是否有数据被删除；

若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中；

若否，重新确定所述原有存储节点的资源使用率；

确定所述分布式存储系统中原有存储节点的资源使用率，具体为：

将所述原有存储节点所创建的逻辑资源的置位标记设置为0；

根据所述分布式存储系统中置位标记为0的逻辑资源的分片数据区的空闲容量确定各所述原有存储节点的已使用存储容量；

根据所述分布式存储系统中所述原有存储节点已使用存储容量之和确定所述资源使用率；

所述新存储节点所创建的逻辑资源的置位标记被设置为1；

将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中，具体为：

将所述新存储节点的逻辑资源的置位标记从1修改为0。

2.如权利要求1所述的方法，其特征在于，所述满覆盖删除包含容量满覆盖删除以及留存期满覆盖删除，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：

若所述资源使用率高于预设的容量阈值，将所有存储节点中的数据根据存储时间进行容量满覆盖删除。

3.如权利要求1所述的方法，其特征在于，根据存储时间进行满覆盖删除，还包括：

确定所述分布式存储系统扩容新存储节点前的留存期，基于所述扩容新存储节点前的留存期将所有存储节点中的数据根据存储时间进行留存期满覆盖删除。

4.如权利要求1所述的方法，其特征在于，将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：

将所述所有存储节点中的数据按照已存储时间或相对存储时间从长至短的顺序进行删除，直至所述原有存储节点的可使用存储容量之和大于或等于当前待写入所述存储节点的新数据的大小，所述相对存储时间根据所述数据的已存储时间以及为所述数据分配的存储时限生成。

5.如权利要求3所述的方法，其特征在于，将所有存储节点中的数据根据存储时间进行留存期满覆盖删除，具体为：

将所述所有存储节点中存储时间超过第一时间阈值的数据删除。

6.如权利要求1所述的方法，其特征在于，在将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中后，还包括：

按照预设的时间间隔对所述分布式存储系统中的所有存储节点进行所述容量满覆盖删除或所述留存期满覆盖删除。

7.一种分布式存储系统扩容装置，包括处理器以及存储有若干计算机指令的非易失性存储器，其特征在于，该些计算机指令被处理器执行时实现权利要求1至权利要求6中任意一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该些计算机指令被处理器执行时实现权利要求1至权利要求6中任意一项所述方法的步骤。

Images