CN111966301B - 分布式对象存储系统的迁移速度控制方法、装置及介质 - Google Patents

分布式对象存储系统的迁移速度控制方法、装置及介质 Download PDF

Info

Publication number
CN111966301B
CN111966301B CN202010864936.4A CN202010864936A CN111966301B CN 111966301 B CN111966301 B CN 111966301B CN 202010864936 A CN202010864936 A CN 202010864936A CN 111966301 B CN111966301 B CN 111966301B
Authority
CN
China
Prior art keywords
migration
speed
value
time
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010864936.4A
Other languages
English (en)
Other versions
CN111966301A (zh
Inventor
赵煜
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010864936.4A priority Critical patent/CN111966301B/zh
Publication of CN111966301A publication Critical patent/CN111966301A/zh
Application granted granted Critical
Publication of CN111966301B publication Critical patent/CN111966301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式对象存储系统的分级存储迁移速度控制方法、装置及计算机可读存储介质。其中，方法包括根据采集的前端用户IO处理时延数据计算当前周期的实时时延；基于前端IO并发速度的目标设置值计算相匹配的时延值，作为基准时延。根据预设速度调整规则，基于实时时延和基准时延的数值大小关系计算冷热池在当前周期的迁移速度值；根据冷热池中的迁移模块总数和迁移速度值确定每个迁移模块迁移数据的最大速度值，并基于各迁移模块的最大速度值控制冷热池的迁移速度，从而可有效控制分布式对象存储系统中各级存储区的数据迁移速度，保证数据迁移不影响用户请求的处理速度。

Description

分布式对象存储系统的迁移速度控制方法、装置及介质
技术领域
本申请涉及分布式存储技术领域，特别是涉及一种分布式对象存储系统的分级存储迁移速度控制方法、装置及计算机可读存储介质。
背景技术
分布式对象存储系统是由多台对象存储服务器组成的分布式存储集群，用于处理海量、高并发的存储服务请求，由于具有高可靠性，高可用性，快速存取，易于扩展等优点而被广泛应用。
目前分布式对象存储系统中大量采用的还是HDD(Hard Disk Drive，硬盘驱动器)机械硬盘，但是随着新的存储介质如SSD(Solid State Drives，简称固盘，固态硬盘)和NVME SSD(Non-Volatile Memory express Solid State Drives)价格的下降，存储系统也开始配置了一些SSD硬盘替代HDD作为存储介质，在这种配置情况下，如何充分发挥快速存储介质如SSD的性能优势，而又保留HDD的容量优势，兼顾系统性能和成本，就成为了存储系统设计要解决的问题。
相关技术对于采用不同存储介质的存储系统中，采用根据数据的冷热程度、不同属性来确定文件数据存在不同的介质中，以实现利用快速的存储介质的性能优势，又能利用慢速介质的容量优势的目的。在分布式对象存储系统的分级存储中，设置了两个存储池即热池和冷池，热池由SSD快速硬盘组成，冷池由HDD慢速硬盘组成。当数据写入时，会先写入热池，然后热池数据在变冷后会迁移到冷池，在实际的测试过程中，就会出现一个问题，数据的迁移过程由于要消耗设备的CPU(Central Processing Unit，中央处理器)和带宽、IO资源，如果迁移速度过快就会影响前端用户写数据到存储池的速度，迁移速度太慢，还有可能会出现热池数据太多而无法成功写入新数据的情况。
鉴于此，如何控制冷热池之间的数据迁移速度，使得冷热池的数据迁移不影响用户请求的处理速度，是所属领域技术人员需要解决的技术问题。
发明内容
本申请提供了一种分布式对象存储系统的分级存储迁移速度控制方法、装置及计算机可读存储介质，有效控制分布式对象存储系统中各级存储区的数据迁移速度，保证数据迁移不影响用户请求的处理速度。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种分布式对象存储系统的分级存储迁移速度控制方法，包括：
根据采集的前端用户IO处理时延数据计算当前周期的实时时延；
基于前端IO并发速度的目标设置值计算相匹配的时延值，以作为基准时延；
根据预设速度调整规则，基于所述实时时延和所述基准时延的数值关系计算冷热池在所述当前周期的迁移速度值；
根据所述冷热池中的迁移模块总数和所述迁移速度值确定每个迁移模块迁移数据的最大速度值，并基于各迁移模块的最大速度值控制所述冷热池的迁移速度。
可选的，所述基于各迁移模块的最大速度值控制所述冷热池的迁移速度包括：
对所述冷热池中的每个迁移模块，获取当前迁移模块迁移一个数据所需的实时时间；
若所述实时时间值小于最小目标控制时间，发送所述当前迁移模块停止工作的指令，且所述指令中携带停止工作时间；
其中，所述最小目标控制时间根据所述最大速度值计算得到，所述停止工作时间T0为
Figure BDA0002649430130000021
为所述最大速度值，T2为数据迁移完成时刻，T1为数据迁移开始时刻。
可选的，所述根据所述冷热池中的迁移模块总数和所述迁移速度值确定每个迁移模块迁移数据的最大速度值为：
调用预先存储的速度计算关系式确定每个迁移模块迁移数据的最大速度值，所述速度计算关系式为：
Figure BDA0002649430130000031
其中，
Figure BDA0002649430130000032
为所述最大速度值，N为所述冷热池中的迁移模块总数，V为所述迁移速度值。
可选的，所述根据预设速度调整规则，基于所述实时时延和所述基准时延的数值关系计算冷热池在所述当前周期的迁移速度值包括：
若所述实时时延大于所述基准时延，按照所述预设速度调整规则降低所述冷热池的当前迁移速度值；
若所述实时时延小于所述基准时延，按照所述预设速度调整规则增加所述冷热池的当前迁移速度值。
可选的，所述根据采集的前端用户IO处理时延数据计算当前周期的实时时延包括：
采集预设时间段内每个IO的请求下发时刻和请求响应时刻；
根据各IO的请求下发时刻、请求响应时刻和预设时延调整因子计算每个IO的处理时延，所述预设时延调整因子基于当前IO对应处理数据的容量值确定；
计算所述预设时间段内的各IO的处理时延的平均值，以作为所述当前周期的实时时延。
本发明实施例另一方面提供了一种分布式对象存储系统的分级存储迁移速度控制装置，包括：
实时时延计算模块，用于根据采集的前端用户IO处理时延数据计算当前周期的实时时延；
基准时延计算模块，用于基于前端IO并发速度的目标设置值计算相匹配的时延值，以作为基准时延；
迁移速度计算模块，用于根据预设速度调整规则，基于所述实时时延和所述基准时延的数值关系计算冷热池在所述当前周期的迁移速度值；
迁移控制模块，用于根据所述冷热池中的迁移模块总数和所述迁移速度值确定每个迁移模块迁移数据的最大速度值，并基于各迁移模块的最大速度值控制所述冷热池的迁移速度。
可选的，所述迁移控制模块包括：
实时时间获取子模块，用于对所述冷热池中的每个迁移模块，获取当前迁移模块迁移一个数据所需的实时时间；
停止工作指令下发模块，用于若所述实时时间值小于最小目标控制时间，发送所述当前迁移模块停止工作的指令，且所述指令中携带停止工作时间；所述最小目标控制时间根据所述最大速度值计算得到，所述停止工作时间T0为
Figure BDA0002649430130000041
为所述最大速度值，T2为数据迁移完成时刻，T1为数据迁移开始时刻。
可选的，所述迁移控制模块包括：
控制速度计算子模块，用于调用预先存储的速度计算关系式确定每个迁移模块迁移数据的最大速度值，所述速度计算关系式为：
Figure BDA0002649430130000042
其中，
Figure BDA0002649430130000043
为所述最大速度值，N为所述冷热池中的迁移模块总数，V为所述迁移速度值。
本发明实施例还提供了一种分布式对象存储系统的分级存储迁移速度控制装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式对象存储系统的分级存储迁移速度控制方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式对象存储系统的分级存储迁移速度控制程序，所述分布式对象存储系统的分级存储迁移速度控制程序被处理器执行时实现如前任一项所述分布式对象存储系统的分级存储迁移速度控制方法的步骤。
本申请提供的技术方案的优点在于，预先设置保证不影响用户请求处理速度的前端IO并发速度的目标设置值，根据该目标设置值确定前端IO的基准时延，根据冷热池在实际数据迁移过程中前端IO的实时时延和基准时延的大小关系自适应地调整冷热池的迁移速度，有效控制分布式对象存储系统中各级存储区的数据迁移速度，通过限制迁移模块的迁移速度使前端的IO并发速度得到保证，解决冷池和热池间数据迁移导致前端IO并发速度降低的问题，保证数据迁移不影响用户请求的处理速度。
此外，本发明实施例还针对分布式对象存储系统的分级存储迁移速度控制方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分布式对象存储系统的分级存储迁移速度控制方法的流程示意图；
图2为本发明实施例提供的分布式对象存储系统的分级存储迁移速度控制装置的一种具体实施方式结构图；
图3为本发明实施例提供的分布式对象存储系统的分级存储迁移速度控制装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种分布式对象存储系统的分级存储迁移速度控制方法的流程示意图，本发明实施例可包括以下内容：
S101：根据采集的前端用户IO处理时延数据计算当前周期的实时时延。
可以理解的是，分布式对象存储系统的资源是固定的，冷热池数据迁移占用的资源越多，用于响应用户读写请求的资源也就越少，而为了保证系统可及时响应用户的读写请求，需要控制数据迁移速度，也即本申请要解决的是不影响前端用户的读写请求的响应速度下进行数据迁移。前端用户IO处理时延可以衡量用户读写请求响应速度，IO处理时延越长，则用户请求的处理速度越慢。每个IO的时延值为用户向服务器下发IO请求的时刻与服务器响应该IO请求如将所需数据反馈给客户端的时刻的差值。在一小段时间内例如30s，系统的IO请求和冷热池的数据迁移情况在每个时刻是相差不大的，为了降低系统数据处理量又可有效解决技术问题，系统可周期性的自适应调整冷热池的迁移速度，周期的具体时长可基于实际应用场景进行确定，本申请对此不作任何限定。
S102：基于前端IO并发速度的目标设置值计算相匹配的时延值，以作为基准时延。
在本步骤中，目标设置值为当前周期用户所期许的前段IO并发速度，也即目标设置值为用户在当前周期所需求的最低响应速度，相应的，基于该目标设置值下可计算得到相应的IO时延，这个IO时延为保证用户请求处理速度的时延下限，可以作为衡量当前周期的实时时延是否要进行调整的一个标准，也即为当前周期的基准时延。例如前端IO的目标设置值为1000op/s，先测试出当为1000op/s时的时延，这个时延为基准时延。
S103：根据预设速度调整规则，基于实时时延和基准时延的数值关系计算冷热池在当前周期的迁移速度值。
在本申请中，基准时延为保证用户响应速度的最大时延值，若实时时延大于基准时延，则表明当前迁移速度会影响用户请求的处理速度，应该降低实时时延以保证用户请求的处理时效，需要降低冷热池的迁移速度；若实时时延小于基准时延，则表明当前迁移速度不会影响用户请求的处理速度，为了保证热池内有足够空间容纳新的热数据，可提高冷热池的迁移速度。至于每次迁移速度调整的增幅和减幅的具体值大小可根据实际应用场景确定，也即所属领域技术人员可根据实际应用场景确定预设速度调整规则，本申请对此不作任何限定。也即若实时时延大于基准时延，按照预设速度调整规则降低冷热池的当前迁移速度值；若实时时延小于基准时延，按照预设速度调整规则增加冷热池的当前迁移速度值。
S104：根据冷热池中的迁移模块总数和迁移速度值确定每个迁移模块迁移数据的最大速度值，并基于各迁移模块的最大速度值控制冷热池的迁移速度。
在分布式对象存储系统中，冷池和热池对象迁移模块采用多模块并发迁移的方法，所以如果需要控制冷热池的迁移速度就需要控制每个迁移模块的迁移速度，根据S103步骤得到的迁移速度值和冷热池中的迁移模块总数值计算得到每个迁移模块迁移数据的最大速度值，可以通过暂停迁移模块的工作时间来控制迁移模块的迁移速度，使其在预设周期内的迁移速度始终控制不超过最大速度值，从而保证冷热池迁移速度不影响前端用户的IO处理速度。
在本发明实施例提供的技术方案中，预先设置保证不影响用户请求处理速度的前端IO并发速度的目标设置值，根据该目标设置值确定前端IO的基准时延，根据冷热池在实际数据迁移过程中前端IO的实时时延和基准时延的大小关系自适应地调整冷热池的迁移速度，有效控制分布式对象存储系统中各级存储区的数据迁移速度，通过限制迁移模块的迁移速度使前端的IO并发速度得到保证，解决冷池和热池间数据迁移导致前端IO并发速度降低的问题，保证数据迁移不影响用户请求的处理速度。
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。
在上述实施例中，对于如何执行步骤S104并不做限定，本实施例中给出一种控制冷热池迁移速度的方法，可包括如下步骤：
对冷热池中的每个迁移模块，获取当前迁移模块迁移一个数据所需的实时时间；若实时时间值小于最小目标控制时间，发送当前迁移模块停止工作的指令，且指令中携带停止工作时间。
其中，最小目标控制时间根据最大速度值计算得到，停止工作时间T0为
Figure BDA0002649430130000081
为最大速度值，T2为数据迁移完成时刻，T1为数据迁移开始时刻。
举例来说，当从S103步骤中获取得到需要控制的冷热池迁移速度值后，可以通过除以迁移模块总数量，得出每个迁移模块需要控制速度，也即调用预先存储的速度计算关系式确定每个迁移模块迁移数据的最大速度值，速度计算关系式为：
Figure BDA0002649430130000091
其中，
Figure BDA0002649430130000092
为最大速度值，N为冷热池中的迁移模块总数，V为迁移速度值。
也就是说，对每个迁移模块迁移的速度每秒钟不能大于
Figure BDA0002649430130000093
个，即迁移模块每迁移一个数据的时间为
Figure BDA0002649430130000094
秒。控制迁移每个数据的时间的方法可为：当迁移模块迁移一个数据前记录一下时间T1，当迁移完成后记录一下时间T2，假如T2减T1的时间小于
Figure BDA0002649430130000095
秒，则让迁移模块停止工作T0秒，这样就使迁移一个数据的时间不小于
Figure BDA0002649430130000096
秒，从而控制了迁移模块的速度，保证用户IO处理时效。
本实施例通过暂停工作时间的方法控制迁移模块的迁移速度进而控制整个冷热池的迁移速度，操作简单，可有效控制住冷热池的迁移速度，保证用户的数据处理速度。
可以理解的是，IO时延还与IO对应的待处理数据大小相关，待处理数据越大，处理的时延也就越大，为了更加准确的控制冷热池的迁移速度，每个IO的处理时延要考虑到IO的处理的数据大小，处理的时延可除以与数据大小相关的系数，也即S101步骤的一种实施方式可为：
采集预设时间段内每个IO的请求下发时刻和请求响应时刻。
根据各IO的请求下发时刻、请求响应时刻和预设时延调整因子计算每个IO的处理时延，预设时延调整因子基于当前IO对应处理数据的容量值确定。
计算预设时间段内的各IO的处理时延的平均值，以作为当前周期的实时时延。
其中，预设时延调整因子为时延受数据大小影响的调节数值，该数值具体取值可根据实际应用场景，所属领域技术人员凭经验进行确定，当然也可采用机器学习算法，通过大量历史训练样本训练人工神经网络模型的方法来计算预设时延调整因子，这均不影响本申请的实现。预设时间段的取值可根据实际情况进行选择，例如30s，预设时间段可与当前周期时长值相同，也可小于当前周期时长值，这均不影响本申请的实现。
本实施例在计算IO时延时考虑数据大小的影响，有利于更加精准地控制冷热池的迁移速度。
本发明实施例还针对分布式对象存储系统的分级存储迁移速度控制方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的分布式对象存储系统的分级存储迁移速度控制装置进行介绍，下文描述的分布式对象存储系统的分级存储迁移速度控制装置与上文描述的分布式对象存储系统的分级存储迁移速度控制方法可相互对应参照。
基于功能模块的角度，参见图2，图2为本发明实施例提供的分布式对象存储系统的分级存储迁移速度控制装置在一种具体实施方式下的结构图，该装置可包括：
实时时延计算模块201，用于根据采集的前端用户IO处理时延数据计算当前周期的实时时延。
基准时延计算模块202，用于基于前端IO并发速度的目标设置值计算相匹配的时延值，以作为基准时延。
迁移速度计算模块203，用于根据预设速度调整规则，基于实时时延和基准时延的数值关系计算冷热池在当前周期的迁移速度值。
迁移控制模块204，用于根据冷热池中的迁移模块总数和迁移速度值确定每个迁移模块迁移数据的最大速度值，并基于各迁移模块的最大速度值控制冷热池的迁移速度。
可选的，在本实施例的一些实施方式中，所述迁移控制模块204可包括：
实时时间获取子模块，用于对冷热池中的每个迁移模块，获取当前迁移模块迁移一个数据所需的实时时间；
停止工作指令下发模块，用于若实时时间值小于最小目标控制时间，发送当前迁移模块停止工作的指令，且指令中携带停止工作时间；最小目标控制时间根据最大速度值计算得到，停止工作时间T0为
Figure BDA0002649430130000111
为最大速度值，T2为数据迁移完成时刻，T1为数据迁移开始时刻。
在本实施例的另一些实施方式中，所述迁移控制模块204例如可包括：
控制速度计算子模块，用于调用预先存储的速度计算关系式确定每个迁移模块迁移数据的最大速度值，速度计算关系式为：
Figure BDA0002649430130000112
其中，
Figure BDA0002649430130000113
为最大速度值，N为冷热池中的迁移模块总数，V为迁移速度值。
可选的，在本实施例的另一些实施方式中，所述迁移速度计算模块203可以包括：
速度降低子模块，用于若实时时延大于基准时延，按照预设速度调整规则降低冷热池的当前迁移速度值；
速度增加子模块，用于若实时时延小于基准时延，按照预设速度调整规则增加冷热池的当前迁移速度值。
作为另外一种可选的实施方式，所述实时时延计算模块201例如可包括：
信息采集子模块，用于采集预设时间段内每个IO的请求下发时刻和请求响应时刻；
时延计算子模块，用于根据各IO的请求下发时刻、请求响应时刻和预设时延调整因子计算每个IO的处理时延，预设时延调整因子基于当前IO对应处理数据的容量值确定；
平均值计算子模块，用于计算预设时间段内的各IO的处理时延的平均值，以作为当前周期的实时时延。
本发明实施例所述分布式对象存储系统的分级存储迁移速度控制装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例可有效控制分布式对象存储系统中各级存储区的数据迁移速度，保证数据迁移不影响用户请求的处理速度。
上文中提到的分布式对象存储系统的分级存储迁移速度控制装置是从功能模块的角度描述，进一步的，本申请还提供一种分布式对象存储系统的分级存储迁移速度控制装置，是从硬件角度描述。图3为本申请实施例提供的另一种分布式对象存储系统的分级存储迁移速度控制装置的结构图。如图3所示，该装置包括存储器30，用于存储计算机程序；处理器31，用于执行计算机程序时实现如上述任一实施例提到的分布式对象存储系统的分级存储迁移速度控制方法的步骤。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的分布式对象存储系统的分级存储迁移速度控制方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于测试结果对应的数据等。
在一些实施例中，分布式对象存储系统的分级存储迁移速度控制装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解，图3中示出的结构并不构成对分布式对象存储系统的分级存储迁移速度控制装置的限定，可以包括比图示更多或更少的组件，例如还可包括传感器37。
本发明实施例所述分布式对象存储系统的分级存储迁移速度控制装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例可有效控制分布式对象存储系统中各级存储区的数据迁移速度，保证数据迁移不影响用户请求的处理速度。
可以理解的是，如果上述实施例中的分布式对象存储系统的分级存储迁移速度控制方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种计算机可读存储介质，存储有分布式对象存储系统的分级存储迁移速度控制程序，所述分布式对象存储系统的分级存储迁移速度控制程序被处理器执行时如上任意一实施例所述分布式对象存储系统的分级存储迁移速度控制方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例可有效控制分布式对象存储系统中各级存储区的数据迁移速度，保证数据迁移不影响用户请求的处理速度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种分布式对象存储系统的分级存储迁移速度控制方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种分布式对象存储系统的分级存储迁移速度控制方法，其特征在于，包括：
根据采集的前端用户IO处理时延数据计算当前周期的实时时延；
基于前端IO并发速度的目标设置值确定相匹配的时延值，以作为基准时延；
根据预设速度调整规则，基于所述实时时延和所述基准时延的数值关系计算冷热池在所述当前周期的迁移速度值；
根据所述冷热池中的迁移模块总数和所述迁移速度值确定每个迁移模块迁移数据的最大速度值，并基于各迁移模块的最大速度值控制所述冷热池的迁移速度；
其中，所述基于各迁移模块的最大速度值控制所述冷热池的迁移速度包括：
对所述冷热池中的每个迁移模块，获取当前迁移模块迁移一个数据所需的实时时间；
若所述实时时间值小于最小目标控制时间，发送所述当前迁移模块停止工作的指令，且所述指令中携带停止工作时间；
其中，所述最小目标控制时间根据所述最大速度值计算得到，所述停止工作时间T 0为
Figure DEST_PATH_IMAGE001
，
Figure 104576DEST_PATH_IMAGE002
为所述最大速度值，T 2为数据迁移完成时刻，T 1为数据迁移开始时刻。
2.根据权利要求1所述的分布式对象存储系统的分级存储迁移速度控制方法，其特征在于，所述根据所述冷热池中的迁移模块总数和所述迁移速度值确定每个迁移模块迁移数据的最大速度值为：
调用预先存储的速度计算关系式确定每个迁移模块迁移数据的最大速度值，所述速度计算关系式为：
Figure DEST_PATH_IMAGE003
；
其中，
Figure 192617DEST_PATH_IMAGE002
为所述最大速度值，N为所述冷热池中的迁移模块总数，V为所述迁移速度值。
3.根据权利要求1所述的分布式对象存储系统的分级存储迁移速度控制方法，其特征在于，所述根据预设速度调整规则，基于所述实时时延和所述基准时延的数值关系计算冷热池在所述当前周期的迁移速度值包括：
若所述实时时延大于所述基准时延，按照所述预设速度调整规则降低所述冷热池的当前迁移速度值；
若所述实时时延小于所述基准时延，按照所述预设速度调整规则增加所述冷热池的当前迁移速度值。
4.根据权利要求1至3任意一项所述的分布式对象存储系统的分级存储迁移速度控制方法，其特征在于，所述根据采集的前端用户IO处理时延数据计算当前周期的实时时延包括：
采集预设时间段内每个IO的请求下发时刻和请求响应时刻；
根据各IO的请求下发时刻、请求响应时刻和预设时延调整因子计算每个IO的处理时延，所述预设时延调整因子基于当前IO对应处理数据的容量值确定；
计算所述预设时间段内的各IO的处理时延的平均值，以作为所述当前周期的实时时延。
5.一种分布式对象存储系统的分级存储迁移速度控制装置，其特征在于，包括：
实时时延计算模块，用于根据采集的前端用户IO处理时延数据计算当前周期的实时时延；
基准时延计算模块，用于基于前端IO并发速度的目标设置值确定相匹配的时延值，以作为基准时延；
迁移速度计算模块，用于根据预设速度调整规则，基于所述实时时延和所述基准时延的数值关系计算冷热池在所述当前周期的迁移速度值；
迁移控制模块，用于根据所述冷热池中的迁移模块总数和所述迁移速度值确定每个迁移模块迁移数据的最大速度值，并基于各迁移模块的最大速度值控制所述冷热池的迁移速度；
其中，所述迁移控制模块包括：
实时时间获取子模块，用于对所述冷热池中的每个迁移模块，获取当前迁移模块迁移一个数据所需的实时时间；
停止工作指令下发模块，用于若所述实时时间值小于最小目标控制时间，发送所述当前迁移模块停止工作的指令，且所述指令中携带停止工作时间；所述最小目标控制时间根据所述最大速度值计算得到，所述停止工作时间T 0为
Figure 990809DEST_PATH_IMAGE004
，
Figure 720868DEST_PATH_IMAGE002
为所述最大速度值，T 2为数据迁移完成时刻，T 1为数据迁移开始时刻。
6.根据权利要求5所述的分布式对象存储系统的分级存储迁移速度控制装置，其特征在于，所述迁移控制模块包括：
控制速度计算子模块，用于调用预先存储的速度计算关系式确定每个迁移模块迁移数据的最大速度值，所述速度计算关系式为：
Figure 920905DEST_PATH_IMAGE003
；
其中，
Figure 445427DEST_PATH_IMAGE002
为所述最大速度值，N为所述冷热池中的迁移模块总数，V为所述迁移速度值。
7.一种分布式对象存储系统的分级存储迁移速度控制装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述分布式对象存储系统的分级存储迁移速度控制方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有分布式对象存储系统的分级存储迁移速度控制程序，所述分布式对象存储系统的分级存储迁移速度控制程序被处理器执行时实现如权利要求1至4任一项所述分布式对象存储系统的分级存储迁移速度控制方法的步骤。
CN202010864936.4A 2020-08-25 2020-08-25 分布式对象存储系统的迁移速度控制方法、装置及介质 Active CN111966301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010864936.4A CN111966301B (zh) 2020-08-25 2020-08-25 分布式对象存储系统的迁移速度控制方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864936.4A CN111966301B (zh) 2020-08-25 2020-08-25 分布式对象存储系统的迁移速度控制方法、装置及介质

Publications (2)

Publication Number Publication Date
CN111966301A CN111966301A (zh) 2020-11-20
CN111966301B true CN111966301B (zh) 2023-01-10

Family

ID=73390291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864936.4A Active CN111966301B (zh) 2020-08-25 2020-08-25 分布式对象存储系统的迁移速度控制方法、装置及介质

Country Status (1)

Country Link
CN (1) CN111966301B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253473A (zh) * 2021-11-30 2022-03-29 海南大学 数据处理方法、装置和医学设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN109857528A (zh) * 2019-01-10 2019-06-07 北京三快在线科技有限公司 数据迁移的速度调整方法、装置、存储介质和移动终端
CN111142788A (zh) * 2019-11-29 2020-05-12 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN109857528A (zh) * 2019-01-10 2019-06-07 北京三快在线科技有限公司 数据迁移的速度调整方法、装置、存储介质和移动终端
CN111142788A (zh) * 2019-11-29 2020-05-12 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN111966301A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
EP3132355B1 (en) Fine-grained bandwidth provisioning in a memory controller
US11144330B2 (en) Algorithm program loading method and related apparatus
CN111142788B (zh) 一种数据迁移方法、装置和计算机可读存储介质
US10228860B2 (en) Storage optimization based I/O pattern modeling
JP2021517697A (ja) リソーススケジューリング方法および端末デバイス
CN108874324B (zh) 一种访问请求处理方法、装置、设备及可读存储介质
CN111143272A (zh) 异构计算平台的数据处理方法、装置及可读存储介质
CN110515917B (zh) 一种控制重构速度的方法、装置及介质
CN112527452A (zh) 跨OpenStack的虚拟机迁移方法、装置及介质
CN107704213B (zh) 一种存储阵列的自动化服务质量管理方法及装置
CN111966301B (zh) 分布式对象存储系统的迁移速度控制方法、装置及介质
CN113515382A (zh) 云资源的分配方法、装置、电子设备及程序产品
CN111176790A (zh) 云平台物理主机的主动维护方法、装置及可读存储介质
CN116680060A (zh) 面向异构计算系统的任务分配方法、装置、设备和介质
CN107450854A (zh) 一种期望速率下最大线程数的确定方法及系统
CN111159124B (zh) Linux内核文件系统异步写缓存方法、装置及介质
WO2021114676A1 (zh) 一种硬盘预测模型的更新方法、装置、设备及介质
CN113031872A (zh) 一种存储系统的数据写入方法及相关装置
US20140379846A1 (en) Technique for coordinating memory access requests from clients in a mobile device
CN116243868A (zh) 一种任务的处理方法、装置、设备和计算机可读存储介质
CN113703678B (zh) 一种存储桶索引重分裂的方法、装置、设备和介质
CN110955644A (zh) 一种存储系统的io控制方法、装置、设备及存储介质
CN113032369A (zh) 一种数据迁移方法、装置及介质
CN113625956B (zh) Raid卡的缓存设置方法、装置、电子设备及存储介质
CN110286948A (zh) 基于虚拟主机存储装置读写的进程挂起方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant