CN109634525B - 一种存储系统有效容量的估算方法、系统及相关组件 - Google Patents

一种存储系统有效容量的估算方法、系统及相关组件 Download PDF

Info

Publication number
CN109634525B
CN109634525B CN201811504790.1A CN201811504790A CN109634525B CN 109634525 B CN109634525 B CN 109634525B CN 201811504790 A CN201811504790 A CN 201811504790A CN 109634525 B CN109634525 B CN 109634525B
Authority
CN
China
Prior art keywords
capacity
hard disk
bare
utilization rate
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811504790.1A
Other languages
English (en)
Other versions
CN109634525A (zh
Inventor
肖国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201811504790.1A priority Critical patent/CN109634525B/zh
Publication of CN109634525A publication Critical patent/CN109634525A/zh
Application granted granted Critical
Publication of CN109634525B publication Critical patent/CN109634525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种存储系统有效容量的估算方法，所述估算方法包括获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；获取存储系统的已用有效容量和系统剩余裸容量；根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。本方法能够实现存储系统有效容量的精准估算。本申请还公开了一种存储系统有效容量的估算系统、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

Description

一种存储系统有效容量的估算方法、系统及相关组件
技术领域
本申请涉及数据存储技术领域，特别涉及一种存储系统有效容量的估算方法、系统、一种计算机可读存储介质及一种电子设备。
背景技术
在传统阵列等一些存储系统中，数据存储时的冗余配比由用户配置后固定不变，配置完成后，系统的预期可用容量，可以简单并且准确地计算出来。例如用户配置某些硬盘组织成RAID，那么根据RAID的级别，这些硬盘可以存储的业务数据就可以准确计算，整个系统的预期有效容量，将所有的RAID组计算值累加起来即可。
在一些新型的存储系统中，业务写入数据的冗余配比，不再完全由用户人工配置，而是由系统根据当前状态进行自适应动态调整。例如用户只是指定数据要求的保护级别，例如写入到指定目录(文件存储系统)、指定桶(对象存储系统)中的数据的保护级别为2，即RDC为2，表示这些数据最多允许同时损坏2份；写入另一个指定目录、桶中的数据保护级别是3；至于这些数据的ODC数值，则可能会根据节点数量、硬盘数量等运行期数据动态变化，在扩容节点、硬盘时，系统自动修改ODC数值。同时，系统可能将节点、硬盘这次存储资源池化成一个大的存储池，并将RAID虚拟化，RAID不再对应具体的磁盘，而是根据算法动态对应到某些节点、硬盘上。此外，由于业务也是动态变化的，可能今天主要写入RDC为2的目录，明天主要写入RDC为3的目录，这些都为有效容量估算增加了难度。
因此，如何实现存储系统有效容量的精准估算是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种存储系统有效容量的估算方法、系统、一种计算机可读存储介质及一种电子设备，能够实现存储系统有效容量的精准估算。
为解决上述技术问题，本申请提供一种存储系统有效容量的估算方法，该估算方法包括：
获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；
根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；
获取存储系统的已用有效容量和系统剩余裸容量；
根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。
可选的，所述获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率包括：
获取所述当前周期内所述每一IO写操作的业务数据量和冗余配比；
根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量；
计算所有所述IO写操作对应的总硬盘裸容量；
根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率。
可选的，根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量包括：
利用容量计算公式计算每一所述IO写操作对应的硬盘裸容量y；
其中，所述容量计算公式为
Figure BDA0001899167090000021
m为单次IO写操作的业务数据量，ODC为原始数据分片份数，RDC为冗余数据分片份数，所述冗余配比包括所述原始数据分片份数和所述冗余数据分片份数；
相应的，根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率包括：
将所有所述IO写操作的总业务量与所述总硬盘裸容量之比作为所述当前硬盘利用率。
可选的，根据所述当前硬盘利用率计算目标周期的预期硬盘利用率包括：
利用衰减公式计算所述当前周期至所述目标周期之间每一周期的参考利用率X′，累加每一所述参考利用率X′得到所述预期硬盘利用率；
其中，所述衰减公式为
Figure BDA0001899167090000031
X为所述当前硬盘利用率，t为所述当前周期至所述目标周期之间每一周期的周期数，t大于或等于所述当前周期的周期数，t小于或等于所述目标周期的周期数。
可选的，根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量包括：
计算所述系统剩余裸容量与所述预期硬盘利用率的积，得到预期可用有效容量；
计算所述预期可用有效容量与所述已用有效容量的和，得到所述预期总有效容量。
本申请还提供了一种存储系统有效容量的估算系统，该估算系统包括：
当前利用率计算模块，用于获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；
预期利用率计算模块，用于根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；
系统容量参数获取模块，用于获取存储系统的已用有效容量和系统剩余裸容量；
有效容量估算模块，用于根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。
可选的，所述当前利用率计算模块包括：
信息获取单元，用于获取所述当前周期内所述每一IO写操作的业务数据量和冗余配比；
硬盘裸容量计算单元，用于根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量；还用于计算所有所述IO写操作对应的总硬盘裸容量；
利用率计算单元，用于根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率。
可选的，所述信息获取单元具体为利用容量计算公式计算每一所述IO写操作对应的硬盘裸容量y的单元；
其中，所述容量计算公式为
Figure BDA0001899167090000041
m为单次IO写操作的业务数据量，ODC为原始数据分片份数，RDC为冗余数据分片份数，所述冗余配比包括所述原始数据分片份数和所述冗余数据分片份数；
相应的，所述利用率计算单元具体为将所有所述IO写操作的总业务量与所述总硬盘裸容量之比作为所述当前硬盘利用率的单元。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述存储系统有效容量的估算方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述存储系统有效容量的估算方法执行的步骤。
本申请提供了一种存储系统有效容量的估算方法，包括获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；获取存储系统的已用有效容量和系统剩余裸容量；根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。
本申请默认按照预设周期采集IO写操作的业务数据写入情况，由于相邻周期的硬盘利用率具有相关性，因此本申请通过计算当前周期所有IO写操作对应的当前硬盘利用率来推算目标周期的预期硬盘利用率，进一步通过获取存储系统的已用有效容量和系统剩余裸容量计算存储系统的预期有效容量。本申请能够实现存储系统有效容量的精准估算。本申请同时还提供了一种存储系统有效容量的估算系统、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种存储系统有效容量的估算方法的流程图；
图2为本申请实施例所提供的另一种存储系统有效容量的估算方法的流程图；
图3为本申请实施例所提供的一种存储系统有效容量的估算系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种存储系统有效容量的估算方法的流程图。
具体步骤可以包括：
S101：获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；
其中，本步骤默认存在按照预设周期检测本周期内的所有IO写操作对应的总硬盘裸容量的操作，即确定存储系统内当前周期业务数据的写入情况，具体的，可以通过在存储系统的数据写入入口记录每一周期IO写入的业务数据量和用户指定的该数据的冗余配比。
可以理解的是，每一IO写操作对应的业务数据量都存在有与其对应的冗余配比，根据冗余配比和业务数据量的大小可以确定总硬盘裸容量。裸容量是指所有硬盘物理容量之和，此处的总硬盘裸容量是指当前周期内所有IO写操作所能够占用的硬盘裸容量。
本步骤中提到的当前硬盘利用率是指当前周期内所有IO写操作对应的业务数据量与所有IO写操作对应的总硬盘裸容量之比，当前磁盘利用率与上面提到的冗余配比相关。
S102：根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；
其中，预期硬盘利用率是根据当期硬盘利用率、当前周期与目标周期的周期间隔进行估算得到的一个预估值。由于IO写操作具有连续性，因此相邻周期的硬盘利用率具有相关性，可以理解的是，与当前周期的当前硬盘利用率最为接近的是下一周期的硬盘利用率。周期间隔越大，未来周期的硬盘利用率与当前硬盘利用率的相关性越低。
也就是说，当前硬盘利用率对于当前周期之后的周期对应的硬盘利用率的预期准确率，随时间的推移逐渐降低。本步骤并不限定目标周期与当前周期之间的周期间隔，目标周期可以为当前周期之后的任一周期。
需要说明的是，可以采用多种衰减公式来根据当前硬盘利用率确定预期硬盘利用率，本领域的技术人员可以根据具体实施场景选择对应的衰减公式，只要能够准确对目标周期的硬盘利用率进行准确的预测即可，此处不进行具体的限定。
S103：获取存储系统的已用有效容量和系统剩余裸容量；
其中，本步骤的目的在于获取存储系统的存储状态，即获取已用有效容量和系统剩余裸容量。
S104：根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。
其中，此处提到的预期总有效容量是指目标周期对应的存储系统的总有效容量。目标周期的预期可用有效容量等于系统剩余裸容量与预期硬盘利用率的乘积。预期总有效容量为已拥有效容量与当前周期至目标周期对应的所有预期可用有效容量的和。
举例说明上述过程：第一周期的当前硬盘利用率为10％，目标周期为第四周期，通过衰减公式依次计算第二周期、第三周期和第四周期的硬盘利用率分别为15％、20％和25％。设预期可用有效容量为A，预期总有效容量为B，系统剩余裸容量为C，已用有效容量为D。第二周期至第三周期的预期可用有效容量分别为C*15％、C*20％和C*25％。第三周期对应的预期总有效容量B＝C*15％+C*20％+C*25％+D。
可以理解的是，本实施例默认需要确定当前周期至目标周期(包括目标周期)之间每一周期对应的预期可用有效容量，将所有的预期可用有效容量累加并加上已用有效容量才可以得到预期总有效容量。在预估总有效容量之后，可以根据预估的结果
本实施例默认按照预设周期采集IO写操作的业务数据写入情况，由于相邻周期的硬盘利用率具有相关性，因此本实施例通过计算当前周期所有IO写操作对应的当前硬盘利用率来推算目标周期的预期硬盘利用率，进一步通过获取存储系统的已用有效容量和系统剩余裸容量计算存储系统的预期有效容量，本实施例能够实现存储系统有效容量的精准估算。
下面请参见图2，图2为本申请实施例所提供的另一种存储系统有效容量的估算方法的流程图；
具体步骤可以包括：
S201：获取所述当前周期内所述每一IO写操作的业务数据量和冗余配比；
S202：根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量；
其中，冗余配比中可以包括ODC和RDC，ODC为原始数据分片份数，RDC为冗余数据分片份数，具体的本步骤可以利用容量计算公式计算每一所述IO写操作对应的硬盘裸容量y；所述容量计算公式为
Figure BDA0001899167090000071
m为单次IO写操作的业务数据量(即当前周期内一个IO写操作的业务数据量)，ODC为原始数据分片份数，RDC为冗余数据分片份数，所述冗余配比包括所述原始数据分片份数和所述冗余数据分片份数。
S203：计算所有所述IO写操作对应的总硬盘裸容量；
S204：根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率。
具体的，本步骤可以为：将所有所述IO写操作的总业务量与所述总硬盘裸容量之比作为所述当前硬盘利用率。
S205：利用衰减公式计算所述当前周期至所述目标周期之间每一周期的参考利用率X′，累加每一所述参考利用率X′得到所述预期硬盘利用率；
其中，所述衰减公式为
Figure BDA0001899167090000072
X为所述当前硬盘利用率，t为所述当前周期至所述目标周期之间每一周期的周期数，t大于或等于所述当前周期的周期数，t小于或等于所述目标周期的周期数。
S206：获取存储系统的已用有效容量和系统剩余裸容量；
S207：计算所述系统剩余裸容量与所述预期硬盘利用率的积，得到预期可用有效容量；
具体的，目标周期与当前周期之间相差几个周期就计算相应数量的与其可用有效容量。
S208：计算所述预期可用有效容量与所述已用有效容量的和，得到所述预期总有效容量。
下面通过在实际应用中的实施例说明上述实施例描述的流程。
在存储系统的数据写入入口，记录每次IO写入的业务数据量m，以及由用户指定的该数据的冗余配比，即ODC和RDC数值；
累加系统自第一次运行以来的所有m，得到系统已用有效容量；
计算得到本次IO将占用的硬盘裸容量:y＝m*(ODC+RDC)/ODC；
对于同一个采集周期内的所有IO，简单累加得到总的业务数据量M，和占用的总的磁盘裸容量Y，得到利用率为：x＝M/Y；
预期的下一个周期内的IO利用率与最新计算得到的利用率最为接近，越早的计算值相差越大，因此采取一个随时间衰减的计算算法，得到预期的容量利用率；衰减公式为：
Figure BDA0001899167090000081
根据衰减公式计算每一次的利用率，累加得到总的预期利用率X。
计算：预期可用有效容量＝系统剩余裸容量*X。
计算：预期总有效容量＝已用有效容量+预期可用有效容量。
上述的预期可用有效容量是指当前周期之后多个采集周期的可用有效容量之和。上述方法中，采集周期长度、采集周期总个数等参数可灵活调整。
请参见图3，图3为本申请实施例所提供的一种存储系统有效容量的估算系统的结构示意图；
该系统可以包括：
当前利用率计算模块100，用于获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；
预期利用率计算模块200，用于根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；
系统容量参数获取模块300，用于获取存储系统的已用有效容量和系统剩余裸容量；
有效容量估算模块400，用于根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。
本实施例默认按照预设周期采集IO写操作的业务数据写入情况，由于相邻周期的硬盘利用率具有相关性，因此本实施例通过计算当前周期所有IO写操作对应的当前硬盘利用率来推算目标周期的预期硬盘利用率，进一步通过获取存储系统的已用有效容量和系统剩余裸容量计算存储系统的预期有效容量，本实施例能够实现存储系统有效容量的精准估算。
进一步的，所述当前利用率计算模块100包括：
信息获取单元，用于获取所述当前周期内所述每一IO写操作的业务数据量和冗余配比；
硬盘裸容量计算单元，用于根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量；还用于计算所有所述IO写操作对应的总硬盘裸容量；
利用率计算单元，用于根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率。
进一步的，所述信息获取单元具体为利用容量计算公式计算每一所述IO写操作对应的硬盘裸容量y的单元；
其中，所述容量计算公式为
Figure BDA0001899167090000091
m为单次IO写操作的业务数据量，ODC为原始数据分片份数，RDC为冗余数据分片份数，所述冗余配比包括所述原始数据分片份数和所述冗余数据分片份数；
相应的，所述利用率计算单元具体为将所有所述IO写操作的总业务量与所述总硬盘裸容量之比作为所述当前硬盘利用率的单元。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种存储系统有效容量的估算方法，其特征在于，包括：
获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；
根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；
获取存储系统的已用有效容量和系统剩余裸容量；
根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。
2.根据权利要求1所述估算方法，其特征在于，所述获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率包括：
获取所述当前周期内每一所述IO写操作的业务数据量和冗余配比；
根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量；
计算所有所述IO写操作对应的总硬盘裸容量；
根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率。
3.根据权利要求2所述估算方法，其特征在于，根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量包括：
利用容量计算公式计算每一所述IO写操作对应的硬盘裸容量y；
其中，所述容量计算公式为
Figure FDA0003383464800000011
m为单次IO写操作的业务数据量，ODC为原始数据分片份数，RDC为冗余数据分片份数，所述冗余配比包括所述原始数据分片份数和所述冗余数据分片份数；
相应的，根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率包括：
将所有所述IO写操作的总业务量与所述总硬盘裸容量之比作为所述当前硬盘利用率。
4.根据权利要求1所述估算方法，其特征在于，根据所述当前硬盘利用率计算目标周期的预期硬盘利用率包括：
利用衰减公式计算所述当前周期至所述目标周期之间每一周期的参考利用率X′，累加每一所述参考利用率X′得到所述预期硬盘利用率；
其中，所述衰减公式为
Figure FDA0003383464800000021
X为所述当前硬盘利用率，t为所述当前周期至所述目标周期之间每一周期的周期数，t大于或等于所述当前周期的周期数，t小于或等于所述目标周期的周期数。
5.根据权利要求1所述估算方法，其特征在于，根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量包括：
计算所述系统剩余裸容量与所述预期硬盘利用率的积，得到预期可用有效容量；
计算所述预期可用有效容量与所述已用有效容量的和，得到所述预期总有效容量。
6.一种存储系统有效容量的估算系统，其特征在于，包括：
当前利用率计算模块，用于获取当前周期内所有IO写操作对应的总硬盘裸容量，根据所述总硬盘裸容量计算当前硬盘利用率；
预期利用率计算模块，用于根据所述当前硬盘利用率计算目标周期的预期硬盘利用率；
系统容量参数获取模块，用于获取存储系统的已用有效容量和系统剩余裸容量；
有效容量估算模块，用于根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。
7.根据权利要求6所述估算系统，其特征在于，所述当前利用率计算模块包括：
信息获取单元，用于获取所述当前周期内每一所述IO写操作的业务数据量和冗余配比；
硬盘裸容量计算单元，用于根据每一所述IO写操作的业务数据量和冗余配比计算每一所述IO写操作对应的硬盘裸容量；还用于计算所有所述IO写操作对应的总硬盘裸容量；
利用率计算单元，用于根据所有所述IO写操作的总业务量和所述总硬盘裸容量计算当前硬盘利用率。
8.根据权利要求7所述估算系统，其特征在于，所述信息获取单元具体为利用容量计算公式计算每一所述IO写操作对应的硬盘裸容量y的单元；
其中，所述容量计算公式为
Figure FDA0003383464800000031
m为单次IO写操作的业务数据量，ODC为原始数据分片份数，RDC为冗余数据分片份数，所述冗余配比包括所述原始数据分片份数和所述冗余数据分片份数；
相应的，所述利用率计算单元具体为将所有所述IO写操作的总业务量与所述总硬盘裸容量之比作为所述当前硬盘利用率的单元。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述存储系统有效容量的估算方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述存储系统有效容量的估算方法的步骤。
CN201811504790.1A 2018-12-10 2018-12-10 一种存储系统有效容量的估算方法、系统及相关组件 Active CN109634525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811504790.1A CN109634525B (zh) 2018-12-10 2018-12-10 一种存储系统有效容量的估算方法、系统及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811504790.1A CN109634525B (zh) 2018-12-10 2018-12-10 一种存储系统有效容量的估算方法、系统及相关组件

Publications (2)

Publication Number Publication Date
CN109634525A CN109634525A (zh) 2019-04-16
CN109634525B true CN109634525B (zh) 2022-03-08

Family

ID=66072681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811504790.1A Active CN109634525B (zh) 2018-12-10 2018-12-10 一种存储系统有效容量的估算方法、系统及相关组件

Country Status (1)

Country Link
CN (1) CN109634525B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558859A (zh) * 2019-09-26 2021-03-26 杭州海康威视数字技术股份有限公司 硬盘、存储系统及硬盘容量标记方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272274A (zh) * 2013-12-31 2015-01-07 华为技术有限公司 一种分布式文件存储系统中的数据处理方法及设备
CN105094698A (zh) * 2015-07-08 2015-11-25 浪潮(北京)电子信息产业有限公司 一种基于历史监测数据的磁盘容量预测方法
CN106230982A (zh) * 2016-09-08 2016-12-14 哈尔滨工程大学 一种考虑节点可靠性的动态自适应安全云存储方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4516306B2 (ja) * 2003-11-28 2010-08-04 株式会社日立製作所 ストレージネットワークの性能情報を収集する方法
US10209898B2 (en) * 2014-04-03 2019-02-19 International Business Machines Corporation Estimation of performance utilization of a storage device
US10430079B2 (en) * 2014-09-08 2019-10-01 Pure Storage, Inc. Adjusting storage capacity in a computing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272274A (zh) * 2013-12-31 2015-01-07 华为技术有限公司 一种分布式文件存储系统中的数据处理方法及设备
CN105094698A (zh) * 2015-07-08 2015-11-25 浪潮(北京)电子信息产业有限公司 一种基于历史监测数据的磁盘容量预测方法
CN106230982A (zh) * 2016-09-08 2016-12-14 哈尔滨工程大学 一种考虑节点可靠性的动态自适应安全云存储方法

Also Published As

Publication number Publication date
CN109634525A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN106470219A (zh) 计算机集群的扩容和缩容方法及设备
US9251051B2 (en) Capacity forecasting for backup storage
CN107967122B (zh) 一种块设备的数据写入方法、装置及介质
CN103562881A (zh) 数据存储池的碎片整理
CN110413430A (zh) 一种固态硬盘的寿命预测方法、装置及设备
CN103747047A (zh) 一种cdn文件存储方法、文件分发控制中心及系统
CN107357932B (zh) 一种文件存储方法及装置
CN110636388A (zh) 一种业务请求分配方法、系统、电子设备及存储介质
CN109634525B (zh) 一种存储系统有效容量的估算方法、系统及相关组件
CN107229421B (zh) 视频数据存储系统的创建、文件写入和读取方法及装置
CN108228679B (zh) 时序数据计量方法和时序数据计量装置
CN110688065A (zh) 一种存储空间管理方法、系统、电子设备及存储介质
CN109508150B (zh) 一种存储空间分配的方法和装置
CN109634524B (zh) 一种数据处理守护进程的数据分区配置方法、装置及设备
CN110688069A (zh) 固态硬盘的寿命预测方法、装置、设备及可读存储介质
CN105493024A (zh) 一种数据阈值预测方法与相关装置
CN109634528A (zh) 一种目标数据的落盘方法、装置、设备及存储介质
CN104424109B (zh) 一种信息处理方法及电子设备
CN111078588B (zh) 垃圾回收方法、装置、设备及存储介质
CN110032474B (zh) 一种快照占用容量的确定方法、系统及相关组件
CN110390160A (zh) 一种时序信号的周期检测方法、装置及相关设备
CN106202262B (zh) 一种信息处理方法及电子设备
CN112100143B (zh) 一种文件压缩存储方法、装置、设备及存储介质
CN110795034B (zh) 存储系统的数据迁移方法、装置、设备及可读存储介质
CN104881245A (zh) 存储系统的配置方法及配置装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant