CN114153389A - 一种异常zone自动补齐方法、装置及设备 - Google Patents

一种异常zone自动补齐方法、装置及设备 Download PDF

Info

Publication number
CN114153389A
CN114153389A CN202111387011.6A CN202111387011A CN114153389A CN 114153389 A CN114153389 A CN 114153389A CN 202111387011 A CN202111387011 A CN 202111387011A CN 114153389 A CN114153389 A CN 114153389A
Authority
CN
China
Prior art keywords
completion
zone
task
completion task
storage node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111387011.6A
Other languages
English (en)
Other versions
CN114153389B (zh
Inventor
江文龙
陈松
徐涛
王志豪
罗心
周明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111387011.6A priority Critical patent/CN114153389B/zh
Publication of CN114153389A publication Critical patent/CN114153389A/zh
Application granted granted Critical
Publication of CN114153389B publication Critical patent/CN114153389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种异常zone自动补齐方法、装置及设备，该方法包括到达扫描周期时，对ZG缓存中可用ZG进行扫描；根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成补齐任务；确定全局zone补齐任务队列中不存在补齐任务时，将补齐任务添加到全局zone补齐任务队列，并将补齐任务下发给对应的存储节点；在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将补齐任务对应的ZG加入复用队列，实现异常zone的补齐，解决了因ZG内zone的写指针位置不同导致ZG无法进行复用的问题。

Description

一种异常zone自动补齐方法、装置及设备
技术领域
本申请涉及分布式对象存储技术领域，尤其涉及一种异常zone自动补齐方法、装置及设备。
背景技术
SMR(叠瓦式磁记录)是一种新型磁盘技术，相邻磁道之间按序部分重叠，能提高单位存储介质的存储密度，降低存储成本。正是由于SMR磁盘物理上的特点，导致了它的读行为虽然与普通HDD(Hard Disk Drive，硬盘驱动器)机械硬盘无异，但是它的写行为却有着巨大的变化，它不支持随机写和原地更新写，因为这样会导致相重叠磁道数据被覆盖。因此SMR磁盘仅支持从头到尾的顺序写入。
SMR磁盘将磁道划分为多个带(Band)，即连续磁道所构成的壳连续写入的区域，每个区域成为一个需要顺序写入的基本单元。Band是SMR磁盘物理概念，对应的逻辑概念称为“区域”(zone)，一个zone的大小为256MB。
由于SMR磁盘在价格上有着无法规避的优势，因此分布式对象存储系统必须要支持这种新型磁盘技术。
在接收到数据写入指令，需要将一个文件中的数据以M+N形式划分为多个分片并写入多个zone时，以上述多个zone作为一个ZG(ZoneGroup，一组zone的集合)进行存储和管理，如果需要将对象分片写入ZG中包含已使用的zone，则首先需要对此ZG进行复用，而只有ZG内全部zone的写指针位置一致时该ZG才可以进行复用，然而网络的高频抖动和服务程序的异常等多种情况都可能会导致ZG内各个zone的写指针位置不一致的情况。如果不对上述异常ZG中写指针位置与该异常ZG中长度最长的zone的写指针位置一致的异常zone进行处理，就无法对上述异常的ZG进行复用，从而导致异常ZG内部zone空间浪费，使整个存储系统的垃圾容量占比提升，令用户的真正磁盘空间利用率达不到要求。
发明内容
本申请提供了一种异常zone自动补齐方法，用于解决因ZG内zone的写指针位置不同导致ZG无法进行复用的问题。
第一方面，本申请提供一种异常zone自动补齐方法，应用于管理节点，包括：
到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
在一种可能实现的方式中，确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将补齐任务下发给对应的存储节点，包括：
根据确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列和待下发补齐任务队列；
将所述补齐任务下发给对应的存储节点，并将所述补齐任务从所述待下发补齐任务队列移除，添加到已下发补齐任务队列；
其中，将所述补齐任务从全局zone补齐任务队列移除时，将所述补齐任务从已下发补齐任务队列移除。
在一种可能实现的方式中，该方法还包括：
在设定时间内未收到所述存储节点上报的补齐结果，或在设定时间内收到补齐结果且确定数据补齐失败时，将所述补齐任务从所述已下发补齐任务队列移除，添加待下发补齐任务队列，延迟预设时间后再次下发给对应的存储节点。
在一种可能实现的方式中，将所述补齐任务下发给对应的存储节点，包括：
确定所述补齐任务对应的zone所在的ZG未超出复用周期，将所述补齐任务下发给对应的存储节点；
确定所述补齐任务对应的zone所在的ZG超出复用周期，将所述补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列中移除。
在一种可能实现的方式中，在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，包括：
确定所述补齐任务对应的zone所在的ZG超出复用周期，确定所述全局zone补齐任务队列中是否存在与所述补齐任务对应的ZG相同的其余补齐任务，其中同一文件的对象分片所在的zone属于相同ZG；
确定全局zone补齐任务队列中不存在所述其余补齐任务，延长所述补齐任务对应的zone所在的ZG的复用周期。
在一种可能实现的方式中，该方法还包括：
接收存储节点离线的信息，将与所述存储节点中zone对应的补齐任务添加到延迟清理补齐任务队列；
在预设时间内接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列移除；
在预设时间内未接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列、全局zone补齐任务队列移除。
在一种可能实现的方式中，该方法还包括：
接收存储节点删除的信息，将与所述存储节点中zone对应的补齐任务从全局zone补齐任务队列中移除。
在一种可能实现的方式中，该方法还包括：
对所述待下发补齐任务队列中的补齐任务进行周期性扫描，筛选出超出复用周期的补齐任务，并将所述超出复用周期的补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列移除。
在一种可能实现的方式中，该方法还包括：
将所述补齐任务下发给对应的存储节点时，将所述补齐任务对应的zone的状态更改为未上报状态；
收到存储上报的补齐结果时，将所述补齐任务对应的zone的状态更改为已上报状态。
在一种可能实现的方式中，该方法还包括：
确定所述已下发补齐任务队列中任一存储节点对应的补齐任务数量到达设定阈值时，待所述任一存储节点对应的补齐任务数量小于设定阈值时向所述任一存储节点下发补齐任务。
本申请还提供一种异常zone自动补齐方法，应用于存储节点，包括：
接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
确定所述补齐任务已结束，将补齐结果上报给管理节点。
第二方面，本申请提供一种异常zone自动补齐装置，应用于管理节点，包括：
扫描模块，用于到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
补齐任务生成模块，用于根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
补齐任务下发模块，用于确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
补齐任务移除模块，用于在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
本申请还提供一种异常zone自动补齐装置，应用于存储节点，包括：
补齐任务接收模块，用于接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
补齐结果上报模块，用于确定所述补齐任务已结束，将补齐结果上报给管理节点。
第三方面，本申请提供一种异常zone自动补齐设备，应用于管理节点，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时执行以下步骤：
到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
本申请提供一种异常zone自动补齐设备，应用于存储节点，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时执行以下步骤：
接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
确定所述补齐任务已结束，将补齐结果上报给管理节点。
第四方面，本申请提供一种计算机可读存储介质，应用于管理节点，其上存储有计算机程序指令，该计算机程序指令被处理器执行时执行上述异常zone自动补齐方法对应的步骤。
本申请提供一种计算机可读存储介质，应用于存储节点，其上存储有计算机程序指令，该计算机程序指令被处理器执行时执行上述异常zone自动补齐方法对应的步骤。
基于以上本申请提供的异常zone自动补齐方法，本申请具有以下有益效果：
可以实现异常ZG中的异常zone的快速发现，以及异常zone的精准补齐，解决了由于异常ZG的无法复用导致的资源浪费问题，且基于全局Zone补齐任务队列在添加时对补齐任务进行去重处理，避免多次扫描到的同一个补齐任务重复地添加到补齐队列中，实现补齐任务的准确和高效补齐。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种系统模块框图；
图2为本申请实施例提供的一种ZG结构的示意图；
图3为本申请实施例提供的一种异常zone自动补齐方法的流程图；
图4本申请实施例提供的另一种异常zone自动补齐方法的流程图；
图5为本申请实施例提供的一种异常ZG成功补齐后再复用逻辑流程图；
图6为本申请实施例提供的一种异常zone自动补齐装置的示意图；
图7为本申请实施例提供的另一种异常zone自动补齐装置的示意图；
图8为本申请实施例提供的一种异常zone自动补齐设备的示意图；
图9为本申请实施例提供的另一种异常zone自动补齐设备的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请实施例提供的异常zone自动补齐方法应用于图1所示的分布式存储系统中，当SDK客户端申请空间进行文件数据写入时，通过信令流将获取文件数据写入空间的指令发送给管理节点(主)，管理节点(主)根据该指令从对应的存储节点(DN)获取与指令对应的可容纳文件数据写入的zone的相关信息，并反馈给SDK客户端，以使SDK客户端将文件数据写入对应的zone中。其中，管理节点(主)同时将信息传输给管理节点(备)，以使在管理节点(主)发生异常时，管理节点(备)代替管理节点(主)执行相应的操作。
如图2所示，本申请实施例提供了ZG结构的示意图，在进行文件数据写入时，一个文件数据可以划分为多个对象，一个对象可以划分为M+N个对象分片，在接收到对象数据写入指令，将对应的M+N个对象分片并写入M+N个zone时，以上述M+N个zone作为一个ZG(ZoneGroup，一组zone的集合)进行存储和管理，其中，一个ZG内包含M+N个zone，每个zone分别映射到不同存储节点上的固定SMR盘的某个具体zone区域。一个ZG在写入M+N个对象分片后，如果包含的各zone内剩余空间大于预设值且使用长度一致、该ZG也未超出复用周期，则该ZG满足复用条件，可以被复用，即允许再次写入另一个与该ZG的复用key相同的对象的M+N个对象分片，上述ZG复用key是由bucket、EC类型、和文件类型(大文件/小文件)三个字段组成的。
由于现有技术中存在的因异常ZG内zone的写指针位置不同，即zone使用长度不同导致异常ZG无法进行复用的问题，为解决该问题，本申请实施例提供了一种异常zone自动补齐方法，基于ZoneGroup(ZG：一组Zone的集合)支持SMR磁盘zone空间数据读写和ZG复用的基础上，通过ZG补齐的设计，包括：异常ZG的快速扫描策略、zone补齐队列设计、zone补齐任务状态异常处理、补齐任务下发流量控制、ZG补齐逻辑的设计(包括zone补齐任务封装、下发、补齐任务的处理与补齐结果的上报)，来实现异常ZG的快速发现和精准快速的ZG补齐修复，并将满足复用条件的修复后的ZG插入ZG复用队列。当下次SDK再次申请空间时，可复用异常补齐后的ZG，实现ZG剩余空间的再次利用，最终提升整个存储系统空间利用率。并结合补齐任务下发流量控制，保证异常ZG快速高效补齐修复的同时不会影响实时读写业务。
实施例1
如图3所示，本申请实施例提供一种异常zone自动补齐方法，应用于管理节点，该方法包括以下步骤：
步骤301，到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
管理节点接收存储节点上报的zone已完成对象分片写入信息后，将该zone的状态更改为已上报状态。
上述复用周期为从zone所在的ZG的创建时间开始的，预设的时间内的一段时间，例如，zone所在的ZG创建后的一天之内。
实施中，到达扫描周期后，对管理节点内ZG缓存区域中ZG中的可用zone进行扫描时以ZG为单位进行扫描，为避免补齐任务队列过大占据大量内存空间的问题，进行扫描时扫描到预设个数的异常ZG即停止扫描，或者扫描到全局ZG缓存的末尾未满足指定个数时按照扫描得到的异常ZG的个数进行处理，其中，当出现扫描到指定个数的异常ZG时，下一次扫描从上一次扫描结束位置开始，并且每次扫描的异常ZG的预设个数和ZG扫描周期配置项支持动态调整。
同时，为了提高补齐效率，异常ZG中异常zone的扫描和实际补齐任务的封装、下发及调度为两个独立的过程。
步骤302，根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
当扫描出ZG中多个zone的写指针位置不一致时，确定该ZG为异常ZG，且异常ZG中的与使用空间最多的zone长度不一致的zone为异常zone，并针对每个异常zone生成对应的补齐任务。
上述补齐任务中包含异常zone对应的zone的标识(zoneId)、写指针位置、补齐的目标长度、补齐任务触发时间、和所在的异常ZG的创建时间，其中，zoneId用于在管理节点与存储节点之间进行流转，使存储节点确定补齐任务的位置，即特定SMR磁盘的特定zone上；补齐的目标长度为异常ZG内使用空间最多的zone对应的长度；ZG创建时间用于异常ZG的快速扫描(通过ZG创建时间排除超出复用周期的ZG，加快扫描速度)、异常ZG的判断以及复用周期相关的异常处理机制；补齐任务触发时间用于判断补齐任务是否超时和延时任务的再次下发时机。
步骤303，确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
上述全局zone补齐任务队列的主要功能是记录所有的补齐任务，并基于zoneId进行的补齐任务的去重处理，即根据zoneId确定全局zone补齐任务队列中不存在该补齐任务时，才会将该补齐任务添加到全局zone补齐任务队列中；为方便进行去重，全局zone补齐任务队列以zoneId为存储主键，每个zoneId映射一个补齐任务。
实施中，每次扫描到的异常zone，都会对应生成补齐任务后全部添加到全局Zone补齐任务队列中，且只有该异常zone补齐成功后才会从全局Zone补齐任务队列中删除。
上述补齐任务的下发是通过存储节点和管理节点之间进行心跳协议交互，并且通过流量控制的方法下发指定数量的补齐任务到对应的存储节点进行实际的zone补齐。
步骤304，在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
上述在设定时间内收到存储节点上报的补齐结果是用于判断补齐任务是否超时，实施中，将补齐任务添加到全局zone补齐任务队列的同时将上述补齐任务对应的补齐任务触发时间设置为初始值；将补齐任务下发给存储节点时，更新上述补齐任务对应的补齐任务触发时间为当前系统时间；如果在设定时间对应的系统时间未收到存储节点上报的补齐结果，则可以判定补齐任务已超时，对应执行对应的任务延时下发处理机制。
管理节点基于上报的补齐结果判断当前ZG所有zone都已上报且满足复用条件后，将该ZG添加到复用队列，以便后续进行ZG复用。
通过上述方法，可以异常ZG中的异常zone的快速发现，以及异常zone的精准补齐，解决了由于异常ZG的无法复用导致的资源浪费问题。
本申请实施例中还提出了待下发补齐任务队列和已下发补齐任务队列，为保证各个存储节点的补齐任务能够快速被下发，减少每次协议交互时存储节点dnId对应的补齐任务的查找时间，上述待下发补齐任务队列和已下发补齐任务队列都是以dnId作为队列的存储主键，每个dnId映射一个有序的补齐任务列表，其中，dnId为存储节点(Datanode)在元数据服务器中的唯一标识。
本申请实施例还对上述待下发补齐任务队列进行设置，对于同一次被扫描出来的异常ZG中异常zone对应的补齐任务，优先下发ZG创建时间早的补齐任务，以保证ZG创建时间早的补齐任务先被补齐，减少空间浪费；也可动态配置为优先下发ZG创建时间晚的补齐任务，保证最新创建的ZG优先被补齐，满足不同场景的补齐需求。
实施中，在出现补齐成功、补齐失败或补齐超时中的任一场景时，对应的补齐任务都会从已下发队列移除，并且，当出现补齐失败或补齐超时场景时，还更新对应的补齐任务中任务触发时间为当前时间系统，并将该补齐任务添加到待下发补齐任务队列，延时预设延迟时间后再重新下发。
作为一种可选的实施方式，确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将补齐任务下发给对应的存储节点，包括：
根据确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列和待下发补齐任务队列；
将所述补齐任务下发给对应的存储节点，并将所述补齐任务从所述待下发补齐任务队列移除，添加到已下发补齐任务队列；
其中，将所述补齐任务从全局zone补齐任务队列移除时，将所述补齐任务从已下发补齐任务队列移除。
上述步骤303中，通过流量控制的方法下发指定数量的补齐任务到对应的存储节点进行实际的zone补齐，包括：
每次存储节点和管理节点之间进行心跳协议交互时，只下发指定数量的补齐任务，同时针对已下发任务队列中每个dnId对应的补齐任务列表同时能容纳的最大任务数量设置阈值，当已下发补齐任务队列中某个dnId对应的补齐任务数量到达设定阈值时，停止向该dnId对应的存储节点下发补齐任务，直到该已下发补齐任务队列中该dnId对应的补齐任务数量减少到小于设定阈值时，再进行补齐任务下发给该dnId对应的存储节点，以保证异常Zone快速高效补齐修复的同时不会影响存储节点中实时读写业务，提高整个存储系统容错能力和IO均衡水平，且每次补齐任务的下发数量和已下发任务队列中每个dnId对应的补齐任务列表同时能容纳的最大任务数量的配置支持动态调整。
作为一种可选的实施方式，该方法还包括：
确定所述已下发补齐任务队列中任一存储节点对应的补齐任务数量到达设定阈值时，待所述任一存储节点对应的补齐任务数量小于设定阈值时向所述任一存储节点下发补齐任务。
上述步骤304中，作为一种可选的实施方式，该方法还包括：
将所述补齐任务下发给对应的存储节点时，将所述补齐任务对应的zone的状态更改为未上报状态；
收到存储上报补齐结果时，将所述补齐任务对应的zone的状态更改为已上报状态。
实施中，管理节点将补齐任务下发给对应的存储节点时，同时更新补齐任务对应的zone的状态，并在后续存储节点上报补齐结果时，对应更新补齐任务对应的zone的状态，以便在进行ZG的扫描时，只对处于ZG内全部zone状态为已上报状态的ZG进行扫描，加快扫描速度。
实施中，由于补齐过程中存在很多异常情况，包括：(1)存储节点离线或者删除，(2)zone对应磁盘出现异常(如磁盘损坏)，(3)补齐任务对应的zone所在的ZG超出复用周期；如果出现上述异常情况(1)或(2)，都会导致zone补齐任务失败或补齐任务超时，如果出现异常情况(3)，那么补齐成功后zone所在的ZG也无法进行ZG复用，为解决以上问题，本申请实施例还提出了针对异常情况的异常处理机制。
一、针对上述存储节点离线的异常处理机制
本申请实施例中，当存储节点离线时，会导致该存储节点和管理节点之间无法进行心跳协议交互，进而任务无法正常下发给存储节点，此时需要移除补齐任务队列中该存储节点中zone对应的所有补齐任务，但是为了避免因为网络抖动存储节点频繁上下线，导致补齐任务频繁的从补齐任务队列添加和移除，管理节点引入了延迟清理补齐任务队列。
作为一种可选的实施方式，该方法还包括：
接收存储节点离线的信息，将与所述存储节点中zone对应的补齐任务添加到延迟清理补齐任务队列；
在预设时间内接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列移除；
在预设时间内未接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列、全局zone补齐任务队列移除。
需要注意的是，当存在待下发补齐任务队列和已下发补齐任务队列时，在预设时间内未接收到所述存储节点恢复的信息时，也需要将上述存储节点中zone对应的补齐任务从待下发补齐任务队列和已下发补齐任务队列中移除。
二、针对上述存储节点删除的异常处理机制
当存在存储节点删除时，同样会导致该存储节点和管理节点之间无法进行心跳协议交互。但是存储节点删除与离线存在差别，删除动作不会因网络抖动导致的删除抖动，因此当管理节点接收存储节点删除的信息后，立刻移除补齐任务队列中存储节点中zone对应的补齐任务。
作为一种可选的实施方式，该方法还包括：
接收存储节点删除的信息，将与所述存储节点中zone对应的补齐任务从全局zone补齐任务队列中移除。
需要注意的是，当存在待下发补齐任务队列和已下发补齐任务队列时，也需要将上述存储节点中zone对应的补齐任务从待下发补齐任务队列和已下发补齐任务队列中移除。
三、针对复用周期相关的补齐任务的异常处理机制
为避免ZG超出复用周期导致补齐成功的ZG也无法复用问题，设计以下复用周期相关的补齐任务异常处理机制，以保证补齐任务的高效、准确并提高异常ZG能够再次复用的成功率，同时也避免下发超出复用周期的补齐任务导致系统资源的浪费。
1、补齐任务下发时校验ZG是否超出复用周期
由于补齐任务的下发与异常ZG中异常zone的存在时间差，因此在补齐任务下发时根据补齐任务的ZG创建时间判断补齐任务中zone所在的ZG是否超出复用周期，若超出复用周期，则不再下发该补齐任务，并从该补齐任务从补齐队列中移除，以确保下发的补齐任务中zone所在的ZG均在复用周期内。
作为一种可选的实施方式，将所述补齐任务下发给对应的存储节点，包括：
确定所述补齐任务对应的zone所在的ZG未超出复用周期，将所述补齐任务下发给对应的存储节点；
确定所述补齐任务对应的zone所在的ZG超出复用周期，将所述补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列中移除。
2、周期性扫描清理超过复用周期的任务
周期性对待下发补齐任务队列进行扫描，根据补齐任务的ZG创建时间筛选超出复用周期的补齐任务，同时把超出复用周期的补齐任务从全局zone补齐任务队列和待下发补齐任务队列中移除。
作为一种可选的实施方式，该方法还包括：
对所述待下发补齐任务队列中的补齐任务进行周期性扫描，筛选出超出复用周期的补齐任务，并将所述超出复用周期的补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列移除。
3、调整补齐成功的补齐任务的ZG的复用周期
由于补齐任务的下发和补齐结果的上报也存在一定的时间差，因此存在下发时补齐任务未超出复用周期，而当补齐结果的上报该补齐任务已超出复用周期。此时，当异常ZG内最后一个异常zone结果上报且该异常ZG内全部异常zone均补齐成功时，如果该ZG已经超出复用周期，再该ZG的复用周期延长预设时间，以提高异常ZG补齐成功后能够再次复用的成功率，需要注意的是，延长的预设时间是通过修改ZG的创建时间来实现的，例如，通过将ZG的创建时间延后一小时(比如从昨天7点修改为昨天8点)实现将该ZG的复用周期延长一小时，其中，延长的预设时间支持动态调整。
作为一种可选的实施方式，在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，包括：
确定所述补齐任务对应的zone超出复用周期，确定所述全局zone补齐任务队列中是否存在与所述补齐任务对应的ZG相同的其余补齐任务，其中同一文件的对象分片所在的zone属于相同ZG；
确定全局zone补齐任务队列中不存在所述其余补齐任务，延长所述补齐任务对应的zone所在的ZG的复用周期。
四、针对补齐失败或补齐超时的任务延时下发处理机制
当补齐任务中zone对应存储节点发生异常或zone对应磁盘出现异常(如磁盘损坏)时，会导致补齐失败或补齐超时，针对以上问题，本申请实施例设计了延时任务下发处理机制，避免补齐失败或补齐超时的补齐任务在短时间内重复下发，导致补齐任务多次补齐失败或超时。
当管理节点在设定时间内未收到所述存储节点上报的补齐结果，判定该补齐任务发生补齐超时，或者在设定时间内收到补齐结果且确定补齐失败时，将该补齐任务从已下发补齐任务队列中移除，并更新补齐任务中的任务触发时间为当前时间系统后，再将该补齐任务添加到待下发补齐任务队列，以便与首次下发的补齐任务进行区分；并设置预设延迟时间，令该补齐任务在待下发补齐任务队列中延时预设延迟时间后再继续下发，预设延迟时间的配置支持动态调整；其中，为确保首次补齐任务优先下发，待下发补齐任务队列中的补齐任务是按照任务触发时间、ZG创建时间等排序key进行排序，管理节点会优先下发首次下发的补齐任务，等首次下发的补齐任务全部下发且延时任务(即补齐超时或补齐失败后再次添加到待下发补齐任务队列中的补齐任务)超过预设延迟时间后，再次下发延时任务。
并且，为了避免补齐任务多次失败或超时后，依旧按照原设延迟时间进行延时下发，本申请实施例中还会记录补齐任务对应的下发次数，并根据该下发次数对补齐任务的延迟时间进行调整，或者，删除下发次数超过指定阈值的补齐任务。
作为一种可选的实施方式，该方法还包括：
在设定时间内未收到所述存储节点上报的补齐结果，或在设定时间内收到补齐结果且确定数据补齐失败时，将所述补齐任务从所述已下发补齐任务队列移除，添加待下发补齐任务队列，延迟预设时间后再次下发给对应的存储节点。
上述存储节点异常离线的延迟清理补齐任务队列，避免了因为网络抖动存储节点频繁上下线，导致补齐任务频繁的从补齐任务队列插入和删除；存储节点删除的异常处理机制，保证了补齐任务的及时删除；管理复用周期相关的补齐任务异常处理机制，保证了补齐任务的高效、准确进行，提高异常ZG能够再次复用的成功率，同时也避免下发无效的补齐任务导致系统资源的浪费；补齐失败或补齐超时任务的延时下发处理机制，避免了补齐失败或补齐超时的任务在短时间内重复下发，也可以确保首次补齐任务优先下发，提高补齐任务的执行效率。
如图4所示，本申请实施例还提供一种异常zone自动补齐方法，应用于存储节点，该方法包括以下步骤：
步骤401，接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
实施中，当存储节点接收到管理节点下发的补齐任务，将该补齐任务添加到待补齐队列中，并轮询从待补齐队列中取出补齐任务进行补齐，并将补齐后的补齐任务添加到补齐任务完成队列，其中，在进行补齐之前，还需要判断该补齐任务是否满足以下条件：
1、管理节点下发的补齐任务中zone的写指针位置与存储节点记录的zone的写指针位置一致；
2、管理节点下发的补齐任务中zone的补齐目标长度大于存储节点记录的zone的实际长度。
如果该补齐任务满足以上补齐条件，则对该补齐任务对应的zone进行补齐，如果不满足以上补齐任务，则不再对该补齐任务对应的zone进行补齐，并向管理节点上报补齐失败的结果。
步骤402，确定所述补齐任务已结束，将补齐结果上报给管理节点；
上述补齐结果中包括补齐结果状态值(成功/失败)、对应的zoneId、补齐后的zone的长度和zone的当前补齐状态(0：正常，1：补齐过)，其中，zone的当前补齐状态用于记录ZG中有几个zone有过补齐记录，以便通过ZG内补齐zone个数判断该ZG可否再进行ZG恢复，其中，存储节点还会将上述补齐过的zone的补齐状态进行持久化，当存储节点重启后，补齐过的zone依旧可以被准确记录，用于兼容后续ZG恢复功能。
如图5所示，本发明实施例提供了异常ZG中异常zone从扫描到补齐以及补齐成功后再复用的大致流程，包括：
首先基于周期执行的异常ZG中异常zone的扫描，发现缓存ZG中的异常ZG中的异常zone并生成zone补齐任务，将补齐任务添加到全局Zone补齐任务队列、待下发补齐任务队列。此时任务触发时间为0，与延时任务进行区分；
每次存储节点和管理节点之间进行心跳协议交互时，进行流量控制下发指定数量的补齐任务到对应的存储节点进行实际的zone补齐，此时将该补齐任务从待下发补齐任务队列中移除，更新补齐任务中的任务触发时间为当前系统时间，并将该任务添加到已下发补齐任务队列(基于补齐任务触发时间实现补齐任务的超时判断)，同时接收存储节点上报的zone的状态将ZG内的异常zone的状态设置为未上报状态，待管理节点上报补齐结果后再重置内的异常zone的状态；
存储节点收到补齐任务后按照顺序进行补齐操作，处理完成后存储节点上报补齐结果给管理节点。若数据补齐成功，则将全局zone补齐任务队列和已下发补齐任务队列中的任务删除，待异常ZG内部最后一个异常zone的数据补齐成功后将对应的ZG插入ZG复用队列。
当客户端SDK申请空间时，根据空间申请中携带的由bucket、EC类型和文件类型组成的ZG复用key在复用队列中检索与所述ZG复用key对应的ZG，如果未检索到与所述ZG复用key对应的ZG，则组装一个新的ZG并将ZG的标识反馈给SDK，如果检索到与所述ZG复用key对应的ZG，则向SDK反馈检索到的ZG的标识以及其对应的存储节点。
实施例2
以上对本申请中一种异常zone自动补齐方法进行说明，以下对执行上述异常zone自动补齐方法的装置进行说明。
请参阅图6，本申请实施例提供一种异常zone自动补齐装置，应用于管理节点，该装置包括：
扫描模块601，用于到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
补齐任务生成模块602，用于根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
补齐任务下发模块603，用于确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
补齐任务移除模块604，用于在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
可选的，所述补齐任务下发模块用于确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将补齐任务下发给对应的存储节点，包括：
根据确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列和待下发补齐任务队列；
将所述补齐任务下发给对应的存储节点，并将所述补齐任务从所述待下发补齐任务队列移除，添加到已下发补齐任务队列；
其中，将所述补齐任务从全局zone补齐任务队列移除时，将所述补齐任务从已下发补齐任务队列移除。
可选的，补齐任务移除模块还用于：
在设定时间内未收到所述存储节点上报的补齐结果，或在设定时间内收到补齐结果且确定数据补齐失败时，将所述补齐任务从所述已下发补齐任务队列移除，添加待下发补齐任务队列，延迟预设时间后再次下发给对应的存储节点。
可选的，补齐任务下发模块用于将所述补齐任务下发给对应的存储节点，包括：
确定所述补齐任务对应的zone所在的ZG未超出复用周期，将所述补齐任务下发给对应的存储节点；
确定所述补齐任务对应的zone所在的ZG超出复用周期，将所述补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列中移除。
可选的，补齐任务移除模块在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，还用于：
确定所述补齐任务对应的zone所在的ZG超出复用周期，确定所述全局zone补齐任务队列中是否存在与所述补齐任务对应的ZG相同的其余补齐任务，其中同一文件的对象分片所在的zone属于相同ZG；
确定全局zone补齐任务队列中不存在所述其余补齐任务，延长所述补齐任务对应的zone所在的ZG的复用周期。
可选的，该设备还包括：
存储节点离线处理模块，用于接收存储节点离线的信息，将与所述存储节点中zone对应的补齐任务添加到延迟清理补齐任务队列；在预设时间内接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列移除；在预设时间内未接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列、全局zone补齐任务队列移除。
可选的，该装置还包括：
存储节点删除处理模块，用于接收存储节点删除的信息，将与所述存储节点中zone对应的补齐任务从全局zone补齐任务队列中移除。
可选的，该装置还包括：
待下发补齐任务队列清理模块，用于对所述待下发补齐任务队列中的补齐任务进行周期性扫描，筛选出超出复用周期的补齐任务，并将所述超出复用周期的补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列移除。
可选的，该装置还包括：
zone的状态更新模块，用于将所述补齐任务下发给对应的存储节点时，将所述补齐任务对应的zone的状态更改为未上报状态；收到存储上报补齐结果时，将所述补齐任务对应的zone的状态更改为已上报状态。
可选的，补齐任务下发模块还用于：
确定所述已下发补齐任务队列中任一存储节点对应的补齐任务数量到达设定阈值时，待所述任一存储节点对应的补齐任务数量小于设定阈值时向所述任一存储节点下发补齐任务。
请参阅图7，本申请实施例提供一种异常zone自动补齐装置，应用于存储节点，该装置包括：
补齐任务接收模块701，用于接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
补齐结果上报模块702，用于确定所述补齐任务已结束，将补齐结果上报给管理节点。
实施例3
在介绍了本申请示例性实施方式的异常zone自动补齐方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本申请的设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的异常zone自动补齐方法中的步骤。例如，处理器可以执行如异常zone自动补齐方法中的步骤：
到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone所在的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
下面参照图8来描述根据本申请的这种实施方式的设备800。图8显示的设备800仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，设备800以通用设备的形式表现。设备800的组件可以包括但不限于：上述至少一个处理器801、上述至少一个存储器802、连接不同系统组件(包括存储器802和处理器801)的总线803。
总线803表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器802可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022，还可以进一步包括只读存储器(ROM)8023。
存储器802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
设备800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与设备800交互的设备通信，和/或与使得该设备800能与一个或多个其它设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，设备800还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器806通过总线803与用于设备800的其它模块通信。应当理解，尽管图中未示出，可以结合设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
可选的，所述处理器用于确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将补齐任务下发给对应的存储节点，包括：
根据确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列和待下发补齐任务队列；
将所述补齐任务下发给对应的存储节点，并将所述补齐任务从所述待下发补齐任务队列移除，添加到已下发补齐任务队列；
其中，将所述补齐任务从全局zone补齐任务队列移除时，将所述补齐任务从已下发补齐任务队列移除。
可选的，所述处理器还用于：
在设定时间内未收到所述存储节点上报的补齐结果，或在设定时间内收到补齐结果且确定数据补齐失败时，将所述补齐任务从所述已下发补齐任务队列移除，添加待下发补齐任务队列，延迟预设时间后再次下发给对应的存储节点。
可选的，所述处理器用于将所述补齐任务下发给对应的存储节点，包括：
确定所述补齐任务对应的zone所在的ZG未超出复用周期，将所述补齐任务下发给对应的存储节点；
确定所述补齐任务对应的zone所在的ZG超出复用周期，将所述补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列中移除。
可选的，所述处理器用于在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，包括：
确定所述补齐任务对应的zone所在的ZG超出复用周期，确定所述全局zone补齐任务队列中是否存在与所述补齐任务对应的ZG相同的其余补齐任务，其中同一文件的对象分片所在的zone属于相同ZG；
确定全局zone补齐任务队列中不存在所述其余补齐任务，延长所述补齐任务对应的zone所在的ZG的复用周期。
可选的，所述处理器还用于：
接收存储节点离线的信息，将与所述存储节点中zone对应的补齐任务添加到延迟清理补齐任务队列；
在预设时间内接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列移除；
在预设时间内未接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列、全局zone补齐任务队列移除。
可选的，所述处理器还用于：
接收存储节点删除的信息，将与所述存储节点中zone对应的补齐任务从全局zone补齐任务队列中移除。
可选的，所述处理器还用于：
对所述待下发补齐任务队列中的补齐任务进行周期性扫描，筛选出超出复用周期的补齐任务，并将所述超出复用周期的补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列移除。
可选的，所述处理器还用于：
将所述补齐任务下发给对应的存储节点时，将所述补齐任务对应的zone的状态更改为未上报状态；
收到存储上报的补齐结果时，将所述补齐任务对应的zone的状态更改为已上报状态。
可选的，所述处理器还用于：
确定所述已下发补齐任务队列中任一存储节点对应的补齐任务数量到达设定阈值时，待所述任一存储节点对应的补齐任务数量小于设定阈值时向所述任一存储节点下发补齐任务。
本申请还提供一种异常zone自动补齐设备，应用于存储节点，在一些可能的实施方式中，根据本申请的设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的异常zone自动补齐方法中的步骤。例如，处理器可以执行如异常zone自动补齐方法中的步骤：
接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
确定所述补齐任务已结束，将补齐结果上报给管理节点。
下面参照图9来描述根据本申请的这种实施方式的设备900。图9显示的设备900仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，设备900以通用设备的形式表现。设备900的组件可以包括但不限于：上述至少一个处理器901、上述至少一个存储器902、连接不同系统组件(包括存储器902和处理器901)的总线903。
总线903表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器902可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)9021和/或高速缓存存储器9022，还可以进一步包括只读存储器(ROM)9023。
存储器902还可以包括具有一组(至少一个)程序模块9024的程序/实用工具9025，这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
设备900也可以与一个或多个外部设备904(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与设备900交互的设备通信，和/或与使得该设备900能与一个或多个其它设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且，设备900还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器906通过总线903与用于设备900的其它模块通信。应当理解，尽管图中未示出，可以结合设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的一种异常zone自动补齐方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种异常zone自动补齐方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于监控的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行、或者完全在远程设备或服务端上执行。在涉及远程设备的情形中，远程设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户设备，或者，可以连接到外部设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和/或方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种异常zone自动补齐方法，应用于管理节点，其特征在于，该方法包括：
到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
2.根据权利要求1所述的方法，其特征在于，确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将补齐任务下发给对应的存储节点，包括：
根据确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列和待下发补齐任务队列；
将所述补齐任务下发给对应的存储节点，并将所述补齐任务从所述待下发补齐任务队列移除，添加到已下发补齐任务队列；
其中，将所述补齐任务从全局zone补齐任务队列移除时，将所述补齐任务从已下发补齐任务队列移除。
3.根据权利要求2所述的方法，其特征在于，还包括：
在设定时间内未收到所述存储节点上报的补齐结果，或在设定时间内收到补齐结果且确定数据补齐失败时，将所述补齐任务从所述已下发补齐任务队列移除，添加待下发补齐任务队列，延迟预设时间后再次下发给对应的存储节点。
4.根据权利要求2中所述的方法，其特征在于，将所述补齐任务下发给对应的存储节点，包括：
确定所述补齐任务对应的zone所在的ZG未超出复用周期，将所述补齐任务下发给对应的存储节点；
确定所述补齐任务对应的zone所在的ZG超出复用周期，将所述补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列中移除。
5.根据权利要求1中所述的方法，其特征在于，在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，包括：
确定所述补齐任务对应的zone所在的ZG超出复用周期，确定所述全局zone补齐任务队列中是否存在与所述补齐任务对应的ZG相同的其余补齐任务，其中同一文件的对象分片所在的zone属于相同ZG；
确定全局zone补齐任务队列中不存在所述其余补齐任务，延长所述补齐任务对应的zone所在的ZG的复用周期。
6.根据权利要求1所述的方法，其特征在于，还包括：
接收存储节点离线的信息，将与所述存储节点中zone对应的补齐任务添加到延迟清理补齐任务队列；
在预设时间内接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列移除；
在预设时间内未接收到所述存储节点恢复的信息，将所述补齐任务从延迟清理补齐任务队列、全局zone补齐任务队列移除。
7.根据权利要求1中所述的方法，其特征在于，还包括：
接收存储节点删除的信息，将与所述存储节点中zone对应的补齐任务从全局zone补齐任务队列中移除。
8.根据权利要求2所述的方法，其特征在于，还包括：
对所述待下发补齐任务队列中的补齐任务进行周期性扫描，筛选出超出复用周期的补齐任务，并将所述超出复用周期的补齐任务从所述全局zone补齐任务队列和待下发补齐任务队列移除。
9.根据权利要求1所述的方法，其特征在于，还包括：
将所述补齐任务下发给对应的存储节点时，将所述补齐任务对应的zone的状态更改为未上报状态；
收到存储上报的补齐结果时，将所述补齐任务对应的zone的状态更改为已上报状态。
10.根据权利要求2所述的方法，其特征在于，还包括：
确定所述已下发补齐任务队列中任一存储节点对应的补齐任务数量到达设定阈值时，待所述任一存储节点对应的补齐任务数量小于设定阈值时向所述任一存储节点下发补齐任务。
11.一种异常zone自动补齐方法，应用于存储节点，其特征在于，该方法包括：
接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
确定所述补齐任务已结束，将补齐结果上报给管理节点。
12.一种异常zone自动补齐装置，应用于管理节点，其特征在于，该方法包括：
扫描模块，用于到达扫描周期时，对ZG缓存中可用ZG进行扫描，所述可用ZG为未超出复用周期，且包含的多个zone均为处于已上报状态且剩余空间大于预设值的zone的ZG，所述已上报状态用于标识对应的zone已完成对象分片写入且所述zone对应的存储节点已完成zone状态上报；
补齐任务生成模块，用于根据扫描到的可用ZG中多个zone内的写指针位置，筛选出包含异常zone的异常ZG，并生成对所述异常zone进行数据补齐的补齐任务；
补齐任务下发模块，用于确定全局zone补齐任务队列中不存在所述补齐任务时，将所述补齐任务添加到全局zone补齐任务队列，并将所述补齐任务下发给对应的存储节点；
补齐任务移除模块，用于在设定时间内收到存储节点上报的补齐结果，确定数据补齐成功时，将所述补齐任务从全局zone补齐任务队列移除，并在确定满足复用条件时将所述补齐任务对应的ZG加入复用队列。
13.一种异常zone自动补齐装置，应用于存储节点，其特征在于，该方法包括：
补齐任务接收模块，用于接收到管理节点下发的补齐任务，确定所述补齐任务中zone的写指针位置与所述zone实际的写指针位置一致，且所述zone的补齐目标长度大于zone的实际长度时，对所述补齐任务对应的zone进行补齐；
补齐结果上报模块，用于确定所述补齐任务已结束，将补齐结果上报给管理节点。
14.一种异常zone自动补齐设备，应用于管理节点，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的方法。
15.一种异常zone自动补齐设备，应用于存储节点，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求11任一项所述的方法。
16.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至10任一项所述的步骤或11任一项所述的步骤。
CN202111387011.6A 2021-11-22 2021-11-22 一种异常zone自动补齐方法、装置及设备 Active CN114153389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111387011.6A CN114153389B (zh) 2021-11-22 2021-11-22 一种异常zone自动补齐方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111387011.6A CN114153389B (zh) 2021-11-22 2021-11-22 一种异常zone自动补齐方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114153389A true CN114153389A (zh) 2022-03-08
CN114153389B CN114153389B (zh) 2024-08-09

Family

ID=80457172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111387011.6A Active CN114153389B (zh) 2021-11-22 2021-11-22 一种异常zone自动补齐方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114153389B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665446B1 (en) * 2015-12-29 2017-05-30 International Business Machines Corporation Fully distributed intelligent rebuild
CN107153671A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 一种在分布式系统中实现多文件副本读写的方法与设备
CN110245011A (zh) * 2018-03-08 2019-09-17 北京京东尚科信息技术有限公司 一种任务调度方法和装置
CN111274095A (zh) * 2020-02-24 2020-06-12 深圳前海微众银行股份有限公司 日志数据处理方法、装置、设备及计算机可读存储介质
CN111782152A (zh) * 2020-07-03 2020-10-16 深圳市欢太科技有限公司 数据存储方法、数据恢复方法、装置、服务器及存储介质
CN112764968A (zh) * 2020-12-29 2021-05-07 杭州海康威视系统技术有限公司 数据处理方法、装置、设备及存储介质
CN113297134A (zh) * 2020-06-29 2021-08-24 阿里巴巴集团控股有限公司 数据处理系统及数据处理方法、装置、电子设备
CN113420035A (zh) * 2021-02-05 2021-09-21 阿里巴巴集团控股有限公司 数据处理方法、系统、装置、电子设备及计算机存储介质
CN113495889A (zh) * 2021-07-07 2021-10-12 浙江大华技术股份有限公司 一种分布式对象存储方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665446B1 (en) * 2015-12-29 2017-05-30 International Business Machines Corporation Fully distributed intelligent rebuild
CN107153671A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 一种在分布式系统中实现多文件副本读写的方法与设备
CN110245011A (zh) * 2018-03-08 2019-09-17 北京京东尚科信息技术有限公司 一种任务调度方法和装置
CN111274095A (zh) * 2020-02-24 2020-06-12 深圳前海微众银行股份有限公司 日志数据处理方法、装置、设备及计算机可读存储介质
CN113297134A (zh) * 2020-06-29 2021-08-24 阿里巴巴集团控股有限公司 数据处理系统及数据处理方法、装置、电子设备
CN111782152A (zh) * 2020-07-03 2020-10-16 深圳市欢太科技有限公司 数据存储方法、数据恢复方法、装置、服务器及存储介质
CN112764968A (zh) * 2020-12-29 2021-05-07 杭州海康威视系统技术有限公司 数据处理方法、装置、设备及存储介质
CN113420035A (zh) * 2021-02-05 2021-09-21 阿里巴巴集团控股有限公司 数据处理方法、系统、装置、电子设备及计算机存储介质
CN113495889A (zh) * 2021-07-07 2021-10-12 浙江大华技术股份有限公司 一种分布式对象存储方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114153389B (zh) 2024-08-09

Similar Documents

Publication Publication Date Title
CN108170768B (zh) 数据库同步方法、装置及可读介质
US10261853B1 (en) Dynamic replication error retry and recovery
CN102981931B (zh) 虚拟机备份方法及装置
CN108153849B (zh) 一种数据库表切分方法、装置、系统和介质
US9672244B2 (en) Efficient undo-processing during data redistribution
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
CN109582213B (zh) 数据重构方法及装置、数据存储系统
CN102282544A (zh) 存储系统
CN111064789B (zh) 数据迁移的方法和系统
CN109558260B (zh) Kubernetes故障排除系统、方法、设备及介质
CN113051104B (zh) 基于纠删码的磁盘间数据恢复方法及相关装置
US9690576B2 (en) Selective data collection using a management system
CN109582459A (zh) 应用的托管进程进行迁移的方法及装置
CN111930716A (zh) 一种数据库扩容方法、装置及系统
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN112486918B (zh) 文件处理方法、装置、设备及介质
CN110377664B (zh) 数据同步方法、装置、服务器及存储介质
CN104793981A (zh) 一种虚拟机集群的在线快照管理方法及装置
CN107765990A (zh) 一种系统磁盘管理方法和装置
CN111984196B (zh) 一种文件迁移方法、装置、设备及可读存储介质
US10761940B2 (en) Method, device and program product for reducing data recovery time of storage system
CN109032762B (zh) 虚拟机回溯方法及相关设备
CN114153389B (zh) 一种异常zone自动补齐方法、装置及设备
CN103714059A (zh) 一种更新数据的方法及装置
CN114221975B (zh) 基于smr盘的云存储数据恢复方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant