CN117608502A - 分布式存储系统的数据重构管理方法、装置、设备及介质 - Google Patents

分布式存储系统的数据重构管理方法、装置、设备及介质 Download PDF

Info

Publication number
CN117608502A
CN117608502A CN202410096312.0A CN202410096312A CN117608502A CN 117608502 A CN117608502 A CN 117608502A CN 202410096312 A CN202410096312 A CN 202410096312A CN 117608502 A CN117608502 A CN 117608502A
Authority
CN
China
Prior art keywords
reconstruction
data
period
bandwidth
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410096312.0A
Other languages
English (en)
Other versions
CN117608502B (zh
Inventor
任洪亮
李景要
任俊贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202410096312.0A priority Critical patent/CN117608502B/zh
Publication of CN117608502A publication Critical patent/CN117608502A/zh
Application granted granted Critical
Publication of CN117608502B publication Critical patent/CN117608502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储系统的数据重构管理方法、装置、设备及介质，属于数据重构领域，用于在数据重构期间对前端业务与数据重构的数据读请求进行调度，解决了数据重构期间难以平衡数据重构与前端业务对于资源的需求的问题。首先确定出目标置放群组在下一重构周期的预分配重构带宽，接着确定出目标置放群组接收到的两类数据读请求的待读取数据总量以及总请求数，在过去第一预设时长内的每秒均值，基于以上基础数据与预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，可以按照预设重构优先级的要求协调前端业务读请求与数据重构读请求的资源需求，提升了用户体验。

Description

分布式存储系统的数据重构管理方法、装置、设备及介质
技术领域
本发明涉及数据重构领域，特别是涉及一种分布式存储系统的数据重构管理方法、装置、设备及计算机可读存储介质。
背景技术
为了保证数据可用性，分布式存储系统中的对象存储服务一旦发生异常，便需要对待重构硬盘（异常的对象存储服务对应的硬盘）的数据进行重构及转储，然而数据重构工作与前端业务之间存在资源竞争关系，这就需要平衡数据重构工作与前端业务对于资源的需求，然而相关技术中缺少一种成熟的分布式存储系统的数据重构管理方法，导致数据重构期间难以平衡数据重构工作与前端业务对于资源的需求，降低了用户体验。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种分布式存储系统的数据重构管理方法、装置、设备及计算机可读存储介质，可以通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，从而可以按照预设重构优先级的要求协调前端业务读请求与数据重构读请求的资源需求，提升了用户体验。
为解决上述技术问题，本发明提供了一种分布式存储系统的数据重构管理方法，包括：
确定出存储池的目标置放群组在下一重构周期的预分配重构带宽；
确定出所述目标置放群组在过去第一预设时长内接收到的两类数据读请求的总请求数，并确定出所述总请求数在所述第一预设时长内的每秒均值；
在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理；
其中，所述两类数据读请求包括前端业务读请求与数据重构读请求，所述预设重构优先级包括所述前端业务读请求与所述数据重构读请求的带宽比。
另一方面，所述在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之前，该分布式存储系统的数据重构管理方法还包括：
确定出所述目标置放群组在过去第一预设时长内接收到的两类数据读请求的待读取数据总量，并确定出所述待读取数据总量的每秒均值；
所述在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
另一方面，所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的分布式锁参数；
基于所述分布式锁参数以及分布式锁算法，确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的标签值；
在下一重构周期内，根据所述标签值将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
另一方面，所述根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的分布式锁参数包括：
基于所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过预设的分布式锁参数关系式确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的第一参数值；
根据下一重构周期待处理的所述两类数据读请求中的每个数据读请求的第一参数值以及分布式锁参数中三类参数间的第一预设比例关系，确定出所述下一重构周期待处理的所述两类数据读请求中的每个数据读请求的第二参数值与第三参数值；
其中，所述分布式锁参数中三类参数包括预留、权重与上限。
另一方面，所述预设的分布式锁参数关系式包括：
；
其中，Y为所述预分配重构带宽，r_r为下一重构周期待处理的所述数据重构读请求的预留，r_c为下一重构周期待处理的所述前端业务读请求的预留，P为所述总请求数的每秒均值，COST为所述待读取数据总量的每秒均值，为所述前端业务读请求与所述数据重构读请求的带宽比，CG为数据重构读请求的比重，YW为前端业务读请求的比重，r_r与r_c的比值为第二预设比例关系。
另一方面，所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
判断上一重构周期的实际重构数据量是否小于上一重构周期的所述预分配重构带宽；
若小于，根据所述预分配重构带宽减去所述实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数。
另一方面，所述判断上一重构周期的实际重构数据量是否小于上一重构周期的所述预分配重构带宽包括：
判断所述存储池中是否存在阻塞的所述前端业务读请求；
若不存在，判断上一重构周期的实际重构数据量是否小于上一重构周期的所述预分配重构带宽。
另一方面，所述根据所述预分配重构带宽减去所述实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数包括：
确定出上一重构周期的所述预分配重构带宽减去所述实际重构数据量的差值以及预设的单对象数据量；
若所述预分配重构带宽减去所述实际重构数据量的差值大于所述单对象数据量，将所述预分配重构带宽减去所述实际重构数据量的差值对于所述单对象数据量的除数取整值作为重构对象数增加量；
若所述预分配重构带宽减去所述实际重构数据量的差值大于所述单对象数据量的一半且小于所述单对象数据量，确定所述重构对象数增加量为一；
将当前的单次数据重构动作的重构对象数增加所述重构对象数增加量。
另一方面，所述确定出存储池的目标置放群组在下一重构周期的预分配重构带宽包括：
根据所述存储池当前的单周期重构总带宽、所述存储池的待重构对象总数以及目标置放群组的待重构对象数，确定所述目标置放群组在下一重构周期的预分配重构带宽。
另一方面，所述根据存储池当前的单周期重构总带宽、所述存储池的待重构对象总数以及目标置放群组的待重构对象数，确定所述目标置放群组在下一重构周期的预分配重构带宽包括：
基于存储池当前的单周期重构总带宽、所述存储池的待重构对象总数以及所述目标置放群组的待重构对象数，通过预设的单周期重构总带宽关系式，确定所述目标置放群组在下一重构周期的预分配重构带宽；
其中，所述单周期重构总带宽关系式包括：
；
其中，A为所述单周期重构总带宽，B为所述存储池的待重构对象总数，C为所述目标置放群组的待重构对象数，Y为所述目标置放群组在下一重构周期的预分配重构带宽。
另一方面，所述存储池当前的单周期重构总带宽包括：
所述存储池中当前参与重构的对象存储服务的总数与单个所述对象存储服务的重构带宽的乘积。
另一方面，所述执行线程处理所述数据重构读请求包括：
选择所述目标置放群组中热度最低的对象存储服务作为目标对象存储服务；
通过所述目标对象存储服务读取待处理的所述数据重构读请求所请求读取的数据。
另一方面，该分布式存储系统的数据重构管理方法还包括：
响应于通过人机交互装置接收到的修改指令，对于所述预设重构优先级进行修改。
另一方面，所述在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
确定出预设的数据量限值；
判断所述数据量限值减去上一重构周期内的所述前端业务的实际读取数据量的数据量差值是否大于预设阈值；
若大于，控制报警器报警。
另一方面，所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
判断上一重构周期的实际重构数据量是否大于上一重构周期的所述预分配重构带宽；
若大于，确定出下一重构周期的数据重构请求的睡眠时间并为下一重构周期待处理的各个数据重构读请求打上睡眠标记；
若不大于，结束；
所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求进行统一排序为一个请求序列；
将所述请求序列中最前序且不处于计时状态的数据读请求作为确定出当前待执行请求；
若所述当前待执行请求为前端业务读请求，将所述当前待执行请求发送给执行线程进行处理；
若所述当前待执行请求为数据重构读请求且不存在睡眠标记，将所述当前待执行请求发送给执行线程进行处理；
若所述当前待执行请求为数据重构读请求且存在睡眠标记，开始为该数据重构读请求计时，在计时时长达到所述睡眠时间时去除该数据重构读请求的所述睡眠标记，并执行所述从所述请求序列中确定出当前待执行请求的步骤；
在当前重构周期结束时结束。
另一方面，所述确定出下一重构周期的数据重构请求的睡眠时间包括：
根据所述实际重构数据量、所述预分配重构带宽与睡眠时间的预设对应关系，确定出下一重构周期的数据重构请求的睡眠时间。
另一方面，所述预设对应关系包括：
；
其中，CZ为所述实际重构数据量减去所述预分配重构带宽的差值，S为第二预设时长，Y为所述目标置放群组在下一重构周期的预分配重构带宽。
另一方面，所述确定出下一重构周期的数据重构请求的睡眠时间并为下一重构周期待处理的各个数据重构读请求打上睡眠标记之后，该分布式存储系统的数据重构管理方法还包括：
控制提示器提示上一重构周期的所述实际重构数据量、所述预分配重构带宽以及下一重构周期的所述睡眠时间。
为解决上述技术问题，本发明还提供了一种分布式存储系统的数据重构管理装置，包括：
第一确定模块，用于确定出存储池的目标置放群组在下一重构周期的预分配重构带宽；
第二确定模块，用于确定出所述目标置放群组在过去第一预设时长内接收到的两类数据读请求的总请求数，并确定出所述总请求数在所述第一预设时长内的每秒均值；
调度模块，用于在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理；
其中，所述两类数据读请求包括前端业务读请求与数据重构读请求，所述预设重构优先级包括所述前端业务读请求与所述数据重构读请求的带宽比。
为解决上述技术问题，本发明还提供了一种分布式存储系统的数据重构管理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述分布式存储系统的数据重构管理方法的步骤。
为解决上述技术问题，本发明还提供了一种分布式存储系统，包括如上所述的分布式存储系统的数据重构管理设备。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述分布式存储系统的数据重构管理方法的步骤。
有益效果：本发明提供了一种分布式存储系统的数据重构管理方法，考虑到分布式锁算法可以通过改变请求的处理顺序的方式，平衡不同任务对于共享资源的需求，因此本发明针对存储池中的单个目标置放群组，首先确定出目标置放群组在下一重构周期的预分配重构带宽，紧接着确定出目标置放群组接收到的两类数据读请求的待读取数据总量以及总请求数，在过去第一预设时长内的每秒均值，基于以上基础数据与预设重构优先级，便可以通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，从而可以按照预设重构优先级的要求协调前端业务读请求与数据重构读请求的资源需求，提升了用户体验。
本发明还提供了一种分布式存储系统的数据重构管理装置、设备及计算机可读存储介质，具有如上分布式存储系统的数据重构管理方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对相关技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种分布式存储系统的数据重构管理方法的流程示意图；
图2为本发明提供的一种分布式存储系统的数据重构管理方法的逻辑示意图；
图3为本发明提供的一种分布式存储系统的数据重构管理方法的信息流示意图；
图4为本发明提供的另一种示意图分布式存储系统的数据重构管理方法的流程示意图；
图5为本发明提供的一种分布式存储系统的数据重构管理装置的结构示意图；
图6为本发明提供的一种分布式存储系统的数据重构管理设备的结构示意图；
图7为本发明提供的一种计算机可读存储介质的结构示意图。
具体实施方式
本发明的核心是提供一种分布式存储系统的数据重构管理方法、装置、设备及计算机可读存储介质，可以通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，从而可以按照预设重构优先级的要求协调前端业务读请求与数据重构读请求的资源需求，提升了用户体验。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明提供的一种分布式存储系统的数据重构管理方法的流程示意图，该分布式存储系统的数据重构管理方法包括：
S101：确定出存储池的目标置放群组在下一重构周期的预分配重构带宽；
具体的，考虑到如上背景技术中的技术问题，又结合考虑分布式锁算法（DMclock算法）可以通过改变请求的处理顺序的方式，平衡不同任务对于共享资源的需求，而前端业务与数据重构这两种任务的资源竞争主要体现在前端业务读请求与数据重构读请求对于存储资源的占用，两者均需要产生大量的数据读请求以便从硬盘上读取数据，然后硬盘带宽是有限的，应尽量可能按需平衡在前端业务读请求与数据重构读请求对于存储资源的需求，因此本发明实施例中欲基于分布式锁算法按照需求满足前端业务读请求与数据重构读请求对于存储资源的需求。
具体的，一个存储池中可以包括多个置放群组，而置放群组中可以包含多个对象存储服务（OSS，Object Storage Service），每个对象存储服务可以对应一块硬盘，一旦对象存储服务异常，便需要对该对象存储服务对应的硬盘中的数据进行数据重构。
其中，考虑到存储池中执行数据读任务的带宽是有限的，因此本发明实施例中可以首先确定出存储池的目标置放群组在下一重构周期的预分配重构带宽，以便将其作为数据基础展开前端业务读请求与数据重构读请求的调度工作。
S102：确定出目标置放群组在过去第一预设时长内接收到的两类数据读请求的总请求数，并确定出总请求数在第一预设时长内的每秒均值；
具体的，考虑到若欲对两类数据读请求进行调度，那么当前每秒钟接收到的两类数据读请求的数量对于读请求的调度影响较大，因此本发明实施例中可以确定出目标置放群组在过去第一预设时长内接收到的两类数据读请求的总请求数，并确定出总请求数在第一预设时长内的每秒均值。
其中，第一预设时长可以进行自主设定，例如可以为30秒等，本发明实施例在此不做限定。
S103：在下一重构周期内，根据预分配重构带宽、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理；
其中，两类数据读请求包括前端业务读请求与数据重构读请求，预设重构优先级包括前端业务读请求与数据重构读请求的带宽比。
具体的，考虑到在存储池的不同情况下，前端业务对于硬盘带宽的占用程度不同，因此可以预先设置多种不同的重构优先级，用以限定前端业务读请求与数据重构读请求的带宽比，例如可以包括：
1）支持存储池粒度的Qos（Quality of Service，服务质量）：不同的存储池业务压力可能不同，对业务压力小的存储池设置恢复高优先级，加快重构速度；
2）支持设置重构时间策略：不同时间段业务压力可能不同，业务压力小的时间段可以设置恢复高有优先级，加快重构速度；
3）支持数据重构自动Qos：控制数据重构对业务性能的影响，即重构过程中系统读写性能下降不超过20%，1TB裸容量的重构时间≤60分钟。
其中，例如在低优先级下，数据重构读请求带宽占比0.2，而前端业务读请求的带宽占比0.8，而在高优先级下，数据重构读请求带宽占比0.9，而前端业务读请求的带宽占比0.1等，本发明实施例在此不做限定。
具体的，在具备以上的预分配重构带宽、总请求数的每秒均值以及预设重构优先级之后，便可以通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，从而使得两类数据读请求在下一重构周期内对于硬盘带宽的占用符合预设优先级，从而实现了两类数据读请求的平衡，提升了用户体验。
其中，为了更好地对本发明实施例进行说明，请参考图2，图2为本发明提供的一种分布式存储系统的数据重构管理方法的逻辑示意图，值得一提的是，前端业务读请求与数据重构读请求原本具有各自的队列，也即前端业务读请求的队列与数据重构读请求的队列，而分布式锁算法所执行的动作实际上是将以上两个队列中的下一重构周期待执行的读请求进行综合调度排序，从而得到一个顺序重排的新队列，这个新队列中混合有前端业务读请求的队列与数据重构读请求的队列，并且可以按照顺序发送给执行线程进行执行，如此一来，便实现了对于两类数据读请求所占用的硬盘带宽的调控。
本发明提供了一种分布式存储系统的数据重构管理方法，考虑到分布式锁算法可以通过改变请求的处理顺序的方式，平衡不同任务对于共享资源的需求，因此本发明针对存储池中的单个目标置放群组，首先确定出目标置放群组在下一重构周期的预分配重构带宽，紧接着确定出目标置放群组接收到的两类数据读请求的待读取数据总量以及总请求数，在过去第一预设时长内的每秒均值，基于以上基础数据与预设重构优先级，便可以通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，从而可以按照预设重构优先级的要求协调前端业务读请求与数据重构读请求的资源需求，提升了用户体验。
在上述实施例的基础上：
作为一种可选的实施例，在下一重构周期内，根据预分配重构带宽、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之前，该分布式存储系统的数据重构管理方法还包括：
S203：确定出目标置放群组在过去第一预设时长内接收到的两类数据读请求的待读取数据总量，并确定出待读取数据总量的每秒均值；
在下一重构周期内，根据预分配重构带宽、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
具体的，考虑到目标置放群组的两类数据读请求中，不同请求的待读取数据量存在差异，例如请求A的待读取数据量为100，而请求B的待读取数据量为500，因此不同时段下的两类数据读请求对应的待读取数据量存在差异，而待读取数据量对于硬盘带宽平衡同样具有重要意义，因此本发明实施例中可以确定出目标置放群组在过去第一预设时长内接收到的两类数据读请求的待读取数据总量，并确定出待读取数据总量的每秒均值，进而在下一重构周期内，便可以根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，有利于进一步的是两类数据读请求对于带宽的占用符合预设重构优先级，从而提升用户体验。
为了更好的对本发明实施例进行说明，请参考图3，图3为本发明提供的一种分布式存储系统的数据重构管理方法的信息流示意图，分布式存储系统的数据重构管理方法的信息流主要包括：
1）监控守护进程（MON，Monitor Daemon）提供命令行接口，用于管理软件设置重构优先级，重构优先级保存在对象存储服务地图（OSS map）中，通过OSS map推送给管理组件（MGR，Managers）和对象存储服务OSS。
2）对象存储服务则可以收集置放群组（PG，placement_group）相关信息并通过PGstats（置放群组的统计数据）消息上报管理组件，MGR根据OSS上报的PGstats消息收集汇总置放群组地图（PG map）信息，一方面将置放群组地图的信息发给监视守护进程进行下盘，另一方面将重构需要的置放群组地图相关的信息回应给对象存储服务，重构需要的置放群组地图相关的信息可以包括存储池的待重构对象总数、需要重构的目标置放群组中存活的对象存储服务的数量、存储池中参与重构的对象存储服务的总数，并且计算存储池当前的单周期重构总带宽，计算方式：存储池中当前参与重构的对象存储服务的总数与单个对象存储服务的重构带宽的乘积，把这些信息通过PGstats的确认消息（ack）同步给主OSS。
3）OSS可以根据重构需要的置放群组地图相关的信息进行重构调控和分布式锁算法模板的调整，也即确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的分布式锁参数。
4）OSS触发数据重构后，无论对于前端业务读请求还是对于数据重构读请求时，主OSS选择置放群组中热度最低的对象存储服务进行数据读取，尽量避开热点OSS，使得OSS的读写压力更加均衡，降低对前端业务的影响。
此外，管理软件可以从监视守护进程获取当前的重构优先级，并且可以从管理组件中获取数据重构的重构进度。
作为一种可选的实施例，在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
S204：根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的分布式锁参数；
S205：基于分布式锁参数以及分布式锁算法，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的标签值；
S206：在下一重构周期内，根据标签值将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
为了更好地对本发明实施例进行说明，请参考图4，图4为本发明提供的另一种分布式存储系统的数据重构管理方法的流程示意图，其中的S201与S101相同，S202与S102相同。
具体的，考虑到分布式锁算法在进行请求调度过程中实际上是利用分布式锁参数对各个请求生成标签值，进而根据标签值对于各个请求进行调度，相当于进行了顺序重排，因此理论上来说重点在于对于分布式锁参数的确定过程，因此本发明实施例中可以根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的分布式锁参数，进而便可以基于分布式锁参数以及分布式锁算法，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的标签值，最后便可以在下一重构周期内，根据标签值将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理，相当于实现了各个数据读请求的顺序重排，使得两类数据读请求对于硬盘带宽的占用符合预设重构优先级。
作为一种可选的实施例，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的分布式锁参数包括：
基于预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过预设的分布式锁参数关系式确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的第一参数值；
根据下一重构周期待处理的两类数据读请求中的每个数据读请求的第一参数值以及分布式锁参数中三类参数间的第一预设比例关系，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的第二参数值与第三参数值；
其中，分布式锁参数中三类参数包括预留、权重与上限。
具体的，考虑到分布式锁参数中的预留、权重与上限这三个参数值之间符合第一预设比例关系，因此理论上来说首先确定出其中一个参数值，便可以根据第一预设比例关系推导出另外两个参数值，从而能够简化计算过程，提升计算效率，因此本发明实施例中首先可以基于预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过预设的分布式锁参数关系式确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的第一参数值，接着可以根据下一重构周期待处理的两类数据读请求中的每个数据读请求的第一参数值以及分布式锁参数中三类参数间的第一预设比例关系，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的第二参数值与第三参数值，可以高效且准确的确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的分布式锁参数。
其中，第一锁参数可以为分布式锁参数中三类参数的任一种，例如可以为预留等，本发明实施例在此不做限定。
具体的，第一预设比例关系可以为多种类型，例如预留、权重与上限之间的比例可以为预留：2、权重：0.5、上限：预设最大值（例如为5等），本发明实施例在此不做限定。
其中，在分布式锁算法中，预留对应的字符为r，权重对应的字符为w，上限对应的字符为l。
作为一种可选的实施例，预设的分布式锁参数关系式包括：
；
其中，Y为预分配重构带宽，r_r为下一重构周期待处理的数据重构读请求的预留，r_c为下一重构周期待处理的前端业务读请求的预留，P为总请求数的每秒均值，COST为待读取数据总量的每秒均值，为前端业务读请求与数据重构读请求的带宽比，CG为数据重构读请求的比重，YW为前端业务读请求的比重，r_r与r_c的比值为第二预设比例关系。
具体的，为了更快速准确的确定出第一参数值，本发明实施例中提供了预设的分布式锁参数关系式，该预设的分布式锁参数关系式较为简洁，能够快速准确的确定出各个数据读请求的第一参数值（在上述分布式锁参数关系式中为预留）。
其中，考虑到上述分布式锁参数关系式中存在r_r与r_c两个未知数，因此为了能够确定出r_r与r_c的具体数值，可以预先设置r_r与r_c的比值为第二预设比例关系，本发明实施例在此不做限定。
作为一种可选的实施例，在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
判断上一重构周期的实际重构数据量是否小于上一重构周期的预分配重构带宽；
若小于，根据预分配重构带宽减去实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数。
具体的，考虑到在经过分布式锁算法的调控之后，上一重构周期的实际重构数据量存在小于上一重构周期的预分配重构带宽的可能性，这种情况下实际上浪费了存储池的重构带宽，因此本发明实施例可以在一个重构周期结束之后，判断上一重构周期的实际重构数据量是否小于上一重构周期的预分配重构带宽，在小于的情况下，便可以根据预分配重构带宽减去实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数，以便使得后续重构周期中，实际重构数据量可以匹配预分配重构带宽，从而更充分地利用存储池的重构带宽。
作为一种可选的实施例，判断上一重构周期的实际重构数据量是否小于上一重构周期的预分配重构带宽包括：
判断存储池中是否存在阻塞的前端业务读请求；
若不存在，判断上一重构周期的实际重构数据量是否小于上一重构周期的预分配重构带宽。
具体的，考虑到存储池中的前端业务读请求存在阻塞的可能性，这种情况表示数据重构工作抢占了多余的硬盘带宽资源，因此本发明实施例在进行重构加速的判断（也即判断上一重构周期的实际重构数据量是否小于上一重构周期的预分配重构带宽）之前，可以首先判断存储池中是否存在阻塞的前端业务读请求，不存在阻塞的前端业务读请求的情况下便可以进行重构加速的判断，存在阻塞的前端业务读请求的情况下可以不进行重构加速的判断，从而尽可能的保证前端业务的快速执行。
作为一种可选的实施例，根据预分配重构带宽减去实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数包括：
确定出上一重构周期的预分配重构带宽减去实际重构数据量的差值以及预设的单对象数据量；
若预分配重构带宽减去实际重构数据量的差值大于单对象数据量，将预分配重构带宽减去实际重构数据量的差值对于单对象数据量的除数取整值作为重构对象数增加量；
若预分配重构带宽减去实际重构数据量的差值大于单对象数据量的一半且小于单对象数据量，确定重构对象数增加量为一；
将当前的单次数据重构动作的重构对象数增加重构对象数增加量。
具体的，考虑到对于重构动作的重构对象数的增加数量，可以参考上一重构周期的实际重构数据量相对于预分配重构带宽的差距，从而使得后续周期的实际重构数据量更准确的匹配预分配重构带宽，因此本发明实施例中可以在预分配重构带宽减去实际重构数据量的差值大于单对象数据量时，将预分配重构带宽减去实际重构数据量的差值对于单对象数据量的除数取整值作为重构对象数增加量，而在预分配重构带宽减去实际重构数据量的差值大于单对象数据量的一半且小于单对象数据量时，确定重构对象数增加量为一，并将当前的单次数据重构动作的重构对象数增加重构对象数增加量，以便在后续重构周期中提升重构动作的重构对象数。
当然，除了上述具体方式外，根据预分配重构带宽减去实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数还可以为其他具体方式，本发明实施例在此不做限定。
作为一种可选的实施例，确定出存储池的目标置放群组在下一重构周期的预分配重构带宽包括：
根据存储池当前的单周期重构总带宽、存储池的待重构对象总数以及目标置放群组的待重构对象数，确定目标置放群组在下一重构周期的预分配重构带宽。
具体的，考虑到目标置放群组的预分配重构带宽与存储池当前的单周期重构总带宽、存储池的待重构对象总数以及目标置放群组的待重构对象数均相关，因此本发明实施例中可以根据存储池当前的单周期重构总带宽、存储池的待重构对象总数以及目标置放群组的待重构对象数，确定目标置放群组在下一重构周期的预分配重构带宽，有利于提升预分配重构带宽的可靠性。
作为一种可选的实施例，根据存储池当前的单周期重构总带宽、存储池的待重构对象总数以及目标置放群组的待重构对象数，确定目标置放群组在下一重构周期的预分配重构带宽包括：
基于存储池当前的单周期重构总带宽、存储池的待重构对象总数以及目标置放群组的待重构对象数，通过预设的单周期重构总带宽关系式，确定目标置放群组在下一重构周期的预分配重构带宽；
其中，单周期重构总带宽关系式包括：
；
其中，A为单周期重构总带宽，B为存储池的待重构对象总数，C为目标置放群组的待重构对象数，Y为目标置放群组在下一重构周期的预分配重构带宽。
具体的，考虑到按照目标置放群组的待重构对象数相对于存储池的待重构对象总数的比值从存储池当前的单周期重构总带宽中划分预分配重构带宽的方式，可以较为快速且准确的为目标置放群组划分预分配重构带宽，因此本发明实施例提供的单周期重构总带宽关系式便支持以上述方式对目标置放群组划分预分配重构带宽，提升了预分配重构带宽计算的效率与准确性。
当然，除了该具体方式外，单周期重构总带宽关系式还可以为其他多种类型，本发明实施例在此不做限定。
作为一种可选的实施例，存储池当前的单周期重构总带宽包括：
存储池中当前参与重构的对象存储服务的总数与单个对象存储服务的重构带宽的乘积。
具体的，考虑到存储池的单周期重构总带宽的决定性因素包括存储池中当前参与重构的OSS的总数，并且每个参与重构的OSS的重构带宽基本一致，因此本发明实施例中可以将存储池中当前参与重构的对象存储服务的总数与单个对象存储服务的重构带宽的乘积作为存储池当前的单周期重构总带宽，计算方式高效且准确。
当然，除了该具体方式外，存储池当前的单周期重构总带宽还可以通过其他方式确定，本发明实施例在此不做限定。
作为一种可选的实施例，执行线程处理数据重构读请求包括：
选择目标置放群组中热度最低的对象存储服务作为目标对象存储服务；
通过目标对象存储服务读取待处理的数据重构读请求所请求读取的数据。
具体的，考虑到在进行数据重构过程中，用于数据重构的待读取数据可能在不同的硬盘中均有分布，并且不同硬盘的热度不同，因此为了使得硬盘利用更加充分并提升工作效率，本发明实施例中可以选择目标置放群组中热度最低的对象存储服务作为目标对象存储服务，然后通过目标对象存储服务读取待处理的数据重构读请求所请求读取的数据。
作为一种可选的实施例，该分布式存储系统的数据重构管理方法还包括：
响应于通过人机交互装置接收到的修改指令，对于预设重构优先级进行修改。
具体的，考虑到工作人员可能存在对于预设重构优先级进行修改的需求，从而调整前端业务读请求与数据重构读请求的带宽占用比，因此本发明实施例中提供了修改接口，也即可以响应于通过人机交互装置接收到的修改指令，对于预设重构优先级进行修改。
其中，人机交互装置可以为多种类型，例如可以为触控屏等，本发明实施例在此不做限定。
作为一种可选的实施例，在下一重构周期内，根据预分配重构带宽、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
确定出预设的数据量限值；
判断数据量限值减去上一重构周期内的前端业务的实际读取数据量的数据量差值是否大于预设阈值；
若大于，控制报警器报警。
具体的，考虑到通过预设重构优先级可以从整体上对前端业务读请求与数据重构读请求的带宽占用比进行调控，但是并未实现对于前端业务读请求在一个重构周期内的读取数据量的精确控制，某些情况下对于前端业务读请求在一个重构周期内的读取数据量的精确控制的需求，因此本发明实施例中可以在下一重构周期内，根据预分配重构带宽、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，判断数据量限值减去上一重构周期内的前端业务的实际读取数据量的数据量差值是否大于预设阈值，在大于的情况下可以进行报警，以便工作人员及时发现该状况并进行调整，从而实现对于前端业务读请求在一个重构周期内的读取数据量的精确控制，提升了用户体验。
其中，报警器可以为多种类型，例如可以为蜂鸣器等，本发明实施例在此不做限定。
作为一种可选的实施例，在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
判断上一重构周期的实际重构数据量是否大于上一重构周期的预分配重构带宽；
若大于，确定出下一重构周期的数据重构请求的睡眠时间并为下一重构周期待处理的各个数据重构读请求打上睡眠标记；
若不大于，结束；
在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求进行统一排序为一个请求序列；
将请求序列中最前序且不处于计时状态的数据读请求作为确定出当前待执行请求；
若当前待执行请求为前端业务读请求，将当前待执行请求发送给执行线程进行处理；
若当前待执行请求为数据重构读请求且不存在睡眠标记，将当前待执行请求发送给执行线程进行处理；
若当前待执行请求为数据重构读请求且存在睡眠标记，开始为该数据重构读请求计时，在计时时长达到睡眠时间时去除该数据重构读请求的睡眠标记，并执行从请求序列中确定出当前待执行请求的步骤；
在当前重构周期结束时结束。
具体的，考虑到上一重构周期的实际重构数据量存在大于上一重构周期的预分配重构带宽的可能性，这种情况下表示数据重构任务在上一重构周期内对于硬盘带宽的占用过多，因此为了在通过分布式锁算法进行两类数据读请求调取的基础上解决该问题，本发明实施例中在这种情况下可以控制数据重构读请求进行一定时间的睡眠，也即可以在上一重构周期的实际重构数据量大于上一重构周期的预分配重构带宽的情况下，确定出下一重构周期的数据重构请求的睡眠时间并为下一重构周期待处理的各个数据重构读请求打上睡眠标记，那么在下一重构周期内，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求进行统一排序为一个请求序列，每次可以将请求序列中最前序且不处于计时状态的数据读请求作为确定出当前待执行请求，若当前待执行请求为数据重构读请求且存在睡眠标记，便可以开始为该数据重构读请求计时，在计时时长达到睡眠时间时去除该数据重构读请求的睡眠标记，若当前待执行请求为前端业务读请求，或者当前待执行请求为数据重构读请求且不存在睡眠标记，便可以将当前待执行请求发送给执行线程进行处理，相当于在下一重构周期内通过睡眠的方式对各个数据重构读请求进行了延迟处理，从而可以降低数据重构请求对于硬盘带宽的占用，从而降低数据重构对于前端业务的影响。
作为一种可选的实施例，确定出下一重构周期的数据重构请求的睡眠时间包括：
根据实际重构数据量、预分配重构带宽与睡眠时间的预设对应关系，确定出下一重构周期的数据重构请求的睡眠时间。
具体的，考虑到睡眠时间的长度与实际重构数据量以及预分配重构带宽均相关，且通过预设对应关系的方式可以快速进行睡眠时间的确定，因此本发明实施例中预先设置了实际重构数据量、预分配重构带宽与睡眠时间的预设对应关系，可以根据实际重构数据量、预分配重构带宽与睡眠时间的预设对应关系，快速确定出下一重构周期的数据重构请求的睡眠时间。
作为一种可选的实施例，预设对应关系包括：
；
其中，CZ为实际重构数据量减去预分配重构带宽的差值，S为第二预设时长，Y为目标置放群组在下一重构周期的预分配重构带宽。
具体的，该预设对象关系逻辑简单，因此可以提升计算效率与准确性。
当然，除了该具体形式外，预设对应关系还可以为其他多种类型，本发明实施例在此不做限定。
作为一种可选的实施例，确定出下一重构周期的数据重构请求的睡眠时间之后，该分布式存储系统的数据重构管理方法还包括：
控制提示器提示上一重构周期的实际重构数据量、预分配重构带宽以及下一重构周期的睡眠时间。
具体的，考虑到工作人员可能存在对于上一重构周期的实际重构数据量、预分配重构带宽以及下一重构周期的睡眠时间的了解需求，从而进行进一步分析并更有效地减少数据重构对前端业务的影响，因此本发明实施例中可以控制提示器提示上一重构周期的实际重构数据量、预分配重构带宽以及下一重构周期的睡眠时间。
其中，提示器可以为多种类型，例如可以为显示器等，本发明实施例在此不做限定。
请参考图5，图5为本发明提供的一种分布式存储系统的数据重构管理装置的结构示意图，该分布式存储系统的数据重构管理装置包括：
第一确定模块51，用于确定出存储池的目标置放群组在下一重构周期的预分配重构带宽；
第二确定模块52，用于确定出目标置放群组在过去第一预设时长内接收到的两类数据读请求的总请求数，并确定出总请求数在第一预设时长内的每秒均值；
调度模块53，用于在下一重构周期内，根据预分配重构带宽、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理；
其中，两类数据读请求包括前端业务读请求与数据重构读请求，预设重构优先级包括前端业务读请求与数据重构读请求的带宽比。
作为一种可选的实施例，该分布式存储系统的数据重构管理装置还包括：
第三确定模块，用于确定出目标置放群组在过去第一预设时长内接收到的两类数据读请求的待读取数据总量，并确定出待读取数据总量的每秒均值；
调度模块53用于：
在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
作为一种可选的实施例，调度模块53包括：
第四确定模块，用于根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的分布式锁参数；
第五确定模块，用于基于分布式锁参数以及分布式锁算法，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的标签值；
第一动作模块，用于在下一重构周期内，根据标签值将待处理的两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
作为一种可选的实施例，第四确定模块包括：
第一确定子模块，用于基于预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过预设的分布式锁参数关系式确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的第一参数值；
第二确定子模块，用于根据下一重构周期待处理的两类数据读请求中的每个数据读请求的第一参数值以及分布式锁参数中三类参数间的第一预设比例关系，确定出下一重构周期待处理的两类数据读请求中的每个数据读请求的第二参数值与第三参数值；
其中，分布式锁参数中三类参数包括预留、权重与上限。
作为一种可选的实施例，预设的分布式锁参数关系式包括：
；
其中，Y为预分配重构带宽，r_r为下一重构周期待处理的数据重构读请求的预留，r_c为下一重构周期待处理的前端业务读请求的预留，P为总请求数的每秒均值，COST为待读取数据总量的每秒均值，为前端业务读请求与数据重构读请求的带宽比，CG为数据重构读请求的比重，YW为前端业务读请求的比重，r_r与r_c的比值为第二预设比例关系。
作为一种可选的实施例，该分布式存储系统的数据重构管理装置还包括：
第一判断模块，用于判断上一重构周期的实际重构数据量是否小于上一重构周期的预分配重构带宽，若小于，触发第二动作模块；
第二动作模块，用于根据预分配重构带宽减去实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数。
作为一种可选的实施例，第一判断模块包括：
第一判断子模块，用于判断存储池中是否存在阻塞的前端业务读请求，若不存在，触发第二判断子模块；
第二判断子模块，用于判断上一重构周期的实际重构数据量是否小于上一重构周期的预分配重构带宽。
作为一种可选的实施例，第二动作模块包括：
第三确定子模块，用于确定出上一重构周期的预分配重构带宽减去实际重构数据量的差值以及预设的单对象数据量；
第四确定子模块，用于若预分配重构带宽减去实际重构数据量的差值大于单对象数据量，将预分配重构带宽减去实际重构数据量的差值对于单对象数据量的除数取整值作为重构对象数增加量；
第五确定子模块，用于若预分配重构带宽减去实际重构数据量的差值大于单对象数据量的一半且小于单对象数据量，确定重构对象数增加量为一；
增加模块，用于将当前的单次数据重构动作的重构对象数增加重构对象数增加量。
作为一种可选的实施例，第一确定模块51具体用于：
根据存储池当前的单周期重构总带宽、存储池的待重构对象总数以及目标置放群组的待重构对象数，确定目标置放群组在下一重构周期的预分配重构带宽。
作为一种可选的实施例，第一确定模块51包括：
基于存储池当前的单周期重构总带宽、存储池的待重构对象总数以及目标置放群组的待重构对象数，通过预设的单周期重构总带宽关系式，确定目标置放群组在下一重构周期的预分配重构带宽；
其中，单周期重构总带宽关系式包括：
；
其中，A为单周期重构总带宽，B为存储池的待重构对象总数，C为目标置放群组的待重构对象数，Y为目标置放群组在下一重构周期的预分配重构带宽。
作为一种可选的实施例，存储池当前的单周期重构总带宽包括：
存储池中当前参与重构的对象存储服务的总数与单个对象存储服务的重构带宽的乘积。
作为一种可选的实施例，执行线程处理数据重构读请求包括：
选择目标置放群组中热度最低的对象存储服务作为目标对象存储服务；
通过目标对象存储服务读取待处理的数据重构读请求所请求读取的数据。
作为一种可选的实施例，该分布式存储系统的数据重构管理装置还包括：
修改模块，用于响应于通过人机交互装置接收到的修改指令，对于预设重构优先级进行修改。
作为一种可选的实施例，该分布式存储系统的数据重构管理装置还包括：
第六确定模块，用于确定出预设的数据量限值；
第二判断模块，用于判断数据量限值减去上一重构周期内的前端业务的实际读取数据量的数据量差值是否大于预设阈值，若大于，触发报警模块；
报警模块，用于控制报警器报警。
作为一种可选的实施例，该分布式存储系统的数据重构管理装置还包括：
第三判断模块，用于判断上一重构周期的实际重构数据量是否大于上一重构周期的预分配重构带宽，若大于，触发第七确定模块，若不大于，结束；
第七确定模块，用于确定出下一重构周期的数据重构请求的睡眠时间；
在下一重构周期内，调度模块53包括：
排序模块，用于在下一重构周期内，根据预分配重构带宽、待读取数据总量的每秒均值、总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的两类数据读请求中的各个数据读请求进行统一排序为一个请求序列；
第三动作模块，用于将请求序列中最前序且不处于计时状态的数据读请求作为确定出当前待执行请求；
第四动作模块，用于若当前待执行请求为前端业务读请求，将当前待执行请求发送给执行线程进行处理；
第五动作模块，用于若当前待执行请求为数据重构读请求且不存在睡眠标记，将当前待执行请求发送给执行线程进行处理；
第六动作模块，用于若当前待执行请求为数据重构读请求且存在睡眠标记，开始为该数据重构读请求计时，在计时时长达到睡眠时间时去除该数据重构读请求的睡眠标记，并执行从请求序列中确定出当前待执行请求的步骤；
第七动作模块，用于在当前重构周期结束时结束。
作为一种可选的实施例，确定出下一重构周期的数据重构请求的睡眠时间包括：
根据实际重构数据量、预分配重构带宽与睡眠时间的预设对应关系，确定出下一重构周期的数据重构请求的睡眠时间。
作为一种可选的实施例，预设对应关系包括：
；
其中，CZ为实际重构数据量减去预分配重构带宽的差值，S为第二预设时长，Y为目标置放群组在下一重构周期的预分配重构带宽。
作为一种可选的实施例，确定出下一重构周期的数据重构请求的睡眠时间之后，该分布式存储系统的数据重构管理装置还包括：
提示模块，用于控制提示器提示上一重构周期的实际重构数据量、预分配重构带宽以及下一重构周期的睡眠时间。
对于本发明实施例提供的分布式存储系统的数据重构管理装置的介绍请参照前述的分布式存储系统的数据重构管理方法的实施例，本发明实施例在此不再赘述。
请参考图6，图6为本发明提供的一种分布式存储系统的数据重构管理设备的结构示意图，该分布式存储系统的数据重构管理设备包括：
存储器61，用于存储计算机程序；
处理器62，用于执行计算机程序时实现如前述实施例中分布式存储系统的数据重构管理方法的步骤。
对于本发明实施例提供的分布式存储系统的数据重构管理设备的介绍请参照前述的分布式存储系统的数据重构管理方法的实施例，本发明实施例在此不再赘述。
本发明还提供了一种分布式存储系统，包括如上的分布式存储系统的数据重构管理设备。
对于本发明实施例提供的分布式存储系统的介绍请参照前述的分布式存储系统的数据重构管理方法的实施例，本发明实施例在此不再赘述。
请参考图7，图7为本发明提供的一种计算机可读存储介质的结构示意图，计算机可读存储介质70上存储有计算机程序71，计算机程序71被处理器62执行时实现如前述实施例中分布式存储系统的数据重构管理方法的步骤。
对于本发明实施例提供的计算机可读存储介质的介绍请参照前述的分布式存储系统的数据重构管理方法的实施例，本发明实施例在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (22)

1.一种分布式存储系统的数据重构管理方法，其特征在于，包括：
确定出存储池的目标置放群组在下一重构周期的预分配重构带宽；
确定出所述目标置放群组在过去第一预设时长内接收到的两类数据读请求的总请求数，并确定出所述总请求数在所述第一预设时长内的每秒均值；
在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理；
其中，所述两类数据读请求包括前端业务读请求与数据重构读请求，所述预设重构优先级包括所述前端业务读请求与所述数据重构读请求的带宽比。
2.根据权利要求1所述的分布式存储系统的数据重构管理方法，其特征在于，所述在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之前，该分布式存储系统的数据重构管理方法还包括：
确定出所述目标置放群组在过去第一预设时长内接收到的两类数据读请求的待读取数据总量，并确定出所述待读取数据总量的每秒均值；
所述在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
3.根据权利要求2所述的分布式存储系统的数据重构管理方法，其特征在于，所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的分布式锁参数；
基于所述分布式锁参数以及分布式锁算法，确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的标签值；
在下一重构周期内，根据所述标签值将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理。
4.根据权利要求3所述的分布式存储系统的数据重构管理方法，其特征在于，所述根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的分布式锁参数包括：
基于所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过预设的分布式锁参数关系式确定出下一重构周期待处理的所述两类数据读请求中的每个数据读请求的第一参数值；
根据下一重构周期待处理的所述两类数据读请求中的每个数据读请求的第一参数值以及分布式锁参数中三类参数间的第一预设比例关系，确定出所述下一重构周期待处理的所述两类数据读请求中的每个数据读请求的第二参数值与第三参数值；
其中，所述分布式锁参数中三类参数包括预留、权重与上限。
5.根据权利要求4所述的分布式存储系统的数据重构管理方法，其特征在于，所述预设的分布式锁参数关系式包括：
；
其中，Y为所述预分配重构带宽，r_r为下一重构周期待处理的所述数据重构读请求的预留，r_c为下一重构周期待处理的所述前端业务读请求的预留，P为所述总请求数的每秒均值，COST为所述待读取数据总量的每秒均值，为所述前端业务读请求与所述数据重构读请求的带宽比，CG为数据重构读请求的比重，YW为前端业务读请求的比重，r_r与r_c的比值为第二预设比例关系。
6.根据权利要求4所述的分布式存储系统的数据重构管理方法，其特征在于，所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
判断上一重构周期的实际重构数据量是否小于上一重构周期的所述预分配重构带宽；
若小于，根据所述预分配重构带宽减去所述实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数。
7.根据权利要求6所述的分布式存储系统的数据重构管理方法，其特征在于，所述判断上一重构周期的实际重构数据量是否小于上一重构周期的所述预分配重构带宽包括：
判断所述存储池中是否存在阻塞的所述前端业务读请求；
若不存在，判断上一重构周期的实际重构数据量是否小于上一重构周期的所述预分配重构带宽。
8.根据权利要求7所述的分布式存储系统的数据重构管理方法，其特征在于，所述根据所述预分配重构带宽减去所述实际重构数据量的差值以及预设的单对象数据量，增加单次数据重构动作的重构对象数包括：
确定出上一重构周期的所述预分配重构带宽减去所述实际重构数据量的差值以及预设的单对象数据量；
若所述预分配重构带宽减去所述实际重构数据量的差值大于所述单对象数据量，将所述预分配重构带宽减去所述实际重构数据量的差值对于所述单对象数据量的除数取整值作为重构对象数增加量；
若所述预分配重构带宽减去所述实际重构数据量的差值大于所述单对象数据量的一半且小于所述单对象数据量，确定所述重构对象数增加量为一；
将当前的单次数据重构动作的重构对象数增加所述重构对象数增加量。
9.根据权利要求4所述的分布式存储系统的数据重构管理方法，其特征在于，所述确定出存储池的目标置放群组在下一重构周期的预分配重构带宽包括：
根据所述存储池当前的单周期重构总带宽、所述存储池的待重构对象总数以及目标置放群组的待重构对象数，确定所述目标置放群组在下一重构周期的预分配重构带宽。
10.根据权利要求9所述的分布式存储系统的数据重构管理方法，其特征在于，所述根据存储池当前的单周期重构总带宽、所述存储池的待重构对象总数以及目标置放群组的待重构对象数，确定所述目标置放群组在下一重构周期的预分配重构带宽包括：
基于存储池当前的单周期重构总带宽、所述存储池的待重构对象总数以及所述目标置放群组的待重构对象数，通过预设的单周期重构总带宽关系式，确定所述目标置放群组在下一重构周期的预分配重构带宽；
其中，所述单周期重构总带宽关系式包括：
；
其中，A为所述单周期重构总带宽，B为所述存储池的待重构对象总数，C为所述目标置放群组的待重构对象数，Y为所述目标置放群组在下一重构周期的预分配重构带宽。
11.根据权利要求9所述的分布式存储系统的数据重构管理方法，其特征在于，所述存储池当前的单周期重构总带宽包括：
所述存储池中当前参与重构的对象存储服务的总数与单个所述对象存储服务的重构带宽的乘积。
12.根据权利要求4所述的分布式存储系统的数据重构管理方法，其特征在于，所述执行线程处理所述数据重构读请求包括：
选择所述目标置放群组中热度最低的对象存储服务作为目标对象存储服务；
通过所述目标对象存储服务读取待处理的所述数据重构读请求所请求读取的数据。
13.根据权利要求4所述的分布式存储系统的数据重构管理方法，其特征在于，该分布式存储系统的数据重构管理方法还包括：
响应于通过人机交互装置接收到的修改指令，对于所述预设重构优先级进行修改。
14.根据权利要求4所述的分布式存储系统的数据重构管理方法，其特征在于，所述在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
确定出预设的数据量限值；
判断所述数据量限值减去上一重构周期内的所述前端业务的实际读取数据量的数据量差值是否大于预设阈值；
若大于，控制报警器报警。
15.根据权利要求4所述的分布式存储系统的数据重构管理方法，其特征在于，所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理之后，该分布式存储系统的数据重构管理方法还包括：
判断上一重构周期的实际重构数据量是否大于上一重构周期的所述预分配重构带宽；
若大于，确定出下一重构周期的数据重构请求的睡眠时间并为下一重构周期待处理的各个数据重构读请求打上睡眠标记；
若不大于，结束；
所述在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理包括：
在下一重构周期内，根据所述预分配重构带宽、所述待读取数据总量的每秒均值、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求进行统一排序为一个请求序列；
将所述请求序列中最前序且不处于计时状态的数据读请求作为确定出当前待执行请求；
若所述当前待执行请求为前端业务读请求，将所述当前待执行请求发送给执行线程进行处理；
若所述当前待执行请求为数据重构读请求且不存在睡眠标记，将所述当前待执行请求发送给执行线程进行处理；
若所述当前待执行请求为数据重构读请求且存在睡眠标记，开始为该数据重构读请求计时，在计时时长达到所述睡眠时间时去除该数据重构读请求的所述睡眠标记，并执行所述从所述请求序列中确定出当前待执行请求的步骤；
在当前重构周期结束时结束。
16.根据权利要求15所述的分布式存储系统的数据重构管理方法，其特征在于，所述确定出下一重构周期的数据重构请求的睡眠时间包括：
根据所述实际重构数据量、所述预分配重构带宽与睡眠时间的预设对应关系，确定出下一重构周期的数据重构请求的睡眠时间。
17.根据权利要求16所述的分布式存储系统的数据重构管理方法，其特征在于，所述预设对应关系包括：
；
其中，CZ为所述实际重构数据量减去所述预分配重构带宽的差值，S为第二预设时长，Y为所述目标置放群组在下一重构周期的预分配重构带宽。
18.根据权利要求15所述的分布式存储系统的数据重构管理方法，其特征在于，所述确定出下一重构周期的数据重构请求的睡眠时间并为下一重构周期待处理的各个数据重构读请求打上睡眠标记之后，该分布式存储系统的数据重构管理方法还包括：
控制提示器提示上一重构周期的所述实际重构数据量、所述预分配重构带宽以及下一重构周期的所述睡眠时间。
19.一种分布式存储系统的数据重构管理装置，其特征在于，包括：
第一确定模块，用于确定出存储池的目标置放群组在下一重构周期的预分配重构带宽；
第二确定模块，用于确定出所述目标置放群组在过去第一预设时长内接收到的两类数据读请求的总请求数，并确定出所述总请求数在所述第一预设时长内的每秒均值；
调度模块，用于在下一重构周期内，根据所述预分配重构带宽、所述总请求数的每秒均值以及预设重构优先级，通过分布式锁算法将待处理的所述两类数据读请求中的各个数据读请求依次发送给执行线程进行处理；
其中，所述两类数据读请求包括前端业务读请求与数据重构读请求，所述预设重构优先级包括所述前端业务读请求与所述数据重构读请求的带宽比。
20.一种分布式存储系统的数据重构管理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至18任一项所述分布式存储系统的数据重构管理方法的步骤。
21.一种分布式存储系统，其特征在于，包括如权利要求20所述的分布式存储系统的数据重构管理设备。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至18任一项所述分布式存储系统的数据重构管理方法的步骤。
CN202410096312.0A 2024-01-24 2024-01-24 分布式存储系统的数据重构管理方法、装置、设备及介质 Active CN117608502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410096312.0A CN117608502B (zh) 2024-01-24 2024-01-24 分布式存储系统的数据重构管理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410096312.0A CN117608502B (zh) 2024-01-24 2024-01-24 分布式存储系统的数据重构管理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117608502A true CN117608502A (zh) 2024-02-27
CN117608502B CN117608502B (zh) 2024-07-02

Family

ID=89952095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410096312.0A Active CN117608502B (zh) 2024-01-24 2024-01-24 分布式存储系统的数据重构管理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117608502B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515917A (zh) * 2019-08-09 2019-11-29 苏州浪潮智能科技有限公司 一种控制重构速度的方法、装置及介质
CN112506698A (zh) * 2020-11-19 2021-03-16 苏州浪潮智能科技有限公司 一种小文件数据重构恢复方法、系统、终端及存储介质
CN112612412A (zh) * 2020-12-02 2021-04-06 杭州海康威视系统技术有限公司 一种分布式存储系统中数据重构的方法、存储节点设备
CN113254256A (zh) * 2020-02-10 2021-08-13 华为技术有限公司 数据重构方法、存储设备及存储介质
CN113296717A (zh) * 2021-07-26 2021-08-24 紫光恒越技术有限公司 对象存储分布式服务质量的优化方法、服务器及存储设备
CN115167780A (zh) * 2022-07-27 2022-10-11 济南浪潮数据技术有限公司 一种数据重构方法、装置、电子设备及存储介质
US11481156B1 (en) * 2020-02-26 2022-10-25 Marvell Asia Pte, Ltd. Throughput management of distributed storage system
CN115657952A (zh) * 2022-10-31 2023-01-31 济南浪潮数据技术有限公司 一种根据慢请求调整数据重构的速度的方法、装置及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515917A (zh) * 2019-08-09 2019-11-29 苏州浪潮智能科技有限公司 一种控制重构速度的方法、装置及介质
CN113254256A (zh) * 2020-02-10 2021-08-13 华为技术有限公司 数据重构方法、存储设备及存储介质
US11481156B1 (en) * 2020-02-26 2022-10-25 Marvell Asia Pte, Ltd. Throughput management of distributed storage system
CN112506698A (zh) * 2020-11-19 2021-03-16 苏州浪潮智能科技有限公司 一种小文件数据重构恢复方法、系统、终端及存储介质
CN112612412A (zh) * 2020-12-02 2021-04-06 杭州海康威视系统技术有限公司 一种分布式存储系统中数据重构的方法、存储节点设备
CN113296717A (zh) * 2021-07-26 2021-08-24 紫光恒越技术有限公司 对象存储分布式服务质量的优化方法、服务器及存储设备
CN115167780A (zh) * 2022-07-27 2022-10-11 济南浪潮数据技术有限公司 一种数据重构方法、装置、电子设备及存储介质
CN115657952A (zh) * 2022-10-31 2023-01-31 济南浪潮数据技术有限公司 一种根据慢请求调整数据重构的速度的方法、装置及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAN LIU; KEFEI WANG; FENG CHEN: "Reo: Enhancing Reliability and Efficiency of Object-based Flash Caching", 2019 IEEE 39TH INTERNATIONAL CONFERENCE ON DISTRIBUTED COMPUTING SYSTEMS (ICDCS), 31 October 2019 (2019-10-31) *
刘芬;王芳;田昊;: "基于Zookeeper的分布式锁服务及性能优化", 计算机研究与发展, no. 1, 15 December 2014 (2014-12-15) *

Also Published As

Publication number Publication date
CN117608502B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN107291548B (zh) 任务的资源调度方法及装置
CN108345501B (zh) 一种分布式资源调度方法和系统
CN112988390B (zh) 一种算力资源分配方法及装置
CN110474852B (zh) 一种带宽调度方法及装置
US20110154358A1 (en) Method and system to automatically optimize execution of jobs when dispatching them over a network of computers
CN111158895A (zh) 微服务资源调度方法和系统
CN111381950A (zh) 一种面向边缘计算环境基于多副本的任务调度方法和系统
CN107239336A (zh) 一种实现任务调度的方法及装置
JPH07141305A (ja) 並列計算機の実行制御方法
US8984521B2 (en) Computer system performance by applying rate limits to control block tenancy
CN110888714A (zh) 容器的调度方法、装置和计算机可读存储介质
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
US20220291959A1 (en) Activity scheduling method, system, terminal and storage medium based on high response ratio
CN110377415A (zh) 一种请求处理方法和服务器
CN114265679A (zh) 数据处理方法、装置和服务器
CN110413393B (zh) 集群资源管理方法、装置、计算机集群及可读存储介质
CN117608502B (zh) 分布式存储系统的数据重构管理方法、装置、设备及介质
CN112491742B (zh) 一种边缘计算终端资源调度方法及装置
CN103959276A (zh) 基于用户意图和进程独立性的知识的资源分配优先化
CN113110927A (zh) 一种任务调度方法、装置、计算机设备和存储介质
CN117076065A (zh) Rpa资源调度方法、装置、设备及存储介质
CN111857988B (zh) 一种基于任务管理系统的容器任务调度方法及装置
CN111580937B (zh) 一种面向飞腾多核/众核混合集群的虚拟机自动调度方法
CN117453378B (zh) 多应用程序间i/o请求调度方法、装置、设备及介质
CN113672673B (zh) 数据采集方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant