CN113608697B - 异构网络中存储负载的分类方法、装置及相关产品 - Google Patents

异构网络中存储负载的分类方法、装置及相关产品 Download PDF

Info

Publication number
CN113608697B
CN113608697B CN202110891889.7A CN202110891889A CN113608697B CN 113608697 B CN113608697 B CN 113608697B CN 202110891889 A CN202110891889 A CN 202110891889A CN 113608697 B CN113608697 B CN 113608697B
Authority
CN
China
Prior art keywords
storage
load
storage load
sub
loads
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110891889.7A
Other languages
English (en)
Other versions
CN113608697A (zh
Inventor
魏明
阮安邦
陈凯
陈旭明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Octa Innovations Information Technology Co Ltd
Original Assignee
Beijing Octa Innovations Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Octa Innovations Information Technology Co Ltd filed Critical Beijing Octa Innovations Information Technology Co Ltd
Priority to CN202110891889.7A priority Critical patent/CN113608697B/zh
Publication of CN113608697A publication Critical patent/CN113608697A/zh
Application granted granted Critical
Publication of CN113608697B publication Critical patent/CN113608697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开一种异构网络中存储负载的分类方法、装置及相关产品。异构网络中存储负载的分类方法包括：根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。本申请实施例提高了存储的利用率以及可用性。

Description

异构网络中存储负载的分类方法、装置及相关产品
技术领域
本申请涉及异构技术领域，特别是涉及一种异构网络中存储负载的分类方法、装置及相关产品。
背景技术
随着云计算领域技术的不断发展，各种云平台产品也不断丰富，不同的云服务厂商在私有云，公有云，社区云领域都推出自己的基础社区云平台产品。随着选择越来越多，越来越多的云计算用户也将自身业务部署到不同的云平台之上，呈现混合云，多云部署的发展趋势。
发明人在实现本发明的过程中发现，现有技术中心，混合云，多云部署导致存储业务越来越复杂，存储负载也越来越复杂，存储的利用率以及可用性较低。
发明内容
基于上述问题，本申请实施例提供了一种异构网络中存储负载的分类方法、装置及相关产品。
本申请实施例公开了如下技术方案：
一种异构网络中存储负载的分类方法，其包括：
根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
可选地，在本申请一实施例中，所述针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集。
可选地，在本申请一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载组成新的存储负载集合，包括：判断所述存储负载子集中的一存储子负载的存储带宽比例是否小于等于1，若小于等于1，则将所述存储带宽比例小于等于1的存储子负载确定为需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，组成新的存储负载集合。
可选地，在本申请一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，包括：
对所述新的存储负载集合中的存储子负载按照存储带宽比例进行降序排序得到存储子负载队列；
根据设定的负载容量限值以及存储带宽比例限值，对所述存储子负载队列进行截取处理，使得保留下来的存储子负载的总负载容量不超过设定的负载容量限值，以及保留下来的存储子负载的总存储带宽比例不超过设定存储带宽比例限值。
可选地，在本申请一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，包括：
建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
可选地，在本申请一实施例中，所述建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上，包括：建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系；根据所述对应关系，生成存储配置表；根据所述存储配置表，将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
一种异构网络中存储负载的分类装置，其包括：
分类单元，用于根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
拆分单元，用于针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
集合单元，用于根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
一种电子设备，其包括：存储器以及处理器，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本申请任一项实施例所述的方法。
一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本申请任一项实施例所述的方法。
一种数据系统，其包括本申请任一项实施例所述的方法所述的电子设备。
本申请实施例中，根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，从而提高了存储的利用率以及可用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一中异构网络中存储负载的分类方法的流程示意图；
图2为本申请实施例二中异构网络中存储负载的分类方法的流程示意图；
图3为本申请实施例三中异构网络中存储负载的分类方法的流程示意图；
图4为本申请实施例四中异构网络中存储负载的分类方法的流程示意图；
图5为本申请实施例五中异构网络中存储负载的分类方法的流程示意图；
图6为本申请六中异构网络中存储负载的分类装置的结构示意图；
图7为本申请实施例七中电子设备结构示意图；
图8为本申请实施例六中电子设备的硬件结构示意图；
图9为本申请实施例九中计算机存储介质的结构示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例一中异构网络中存储负载的分类方法的流程示意图；如图1所示，其包括：
S101、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
可选地，在一应用场景中，所述存储负载的类型与磁盘的类型相关，比如为raid0、raid 5、raid 1、raid 1/0，或者raid 0、raid 5、raid 1、raid10中某两者的混合。raid 0没有采用冗余信息，使用分块数据存储，有最好的性能，raid 1的每个数据盘都有一个与之对应的镜像盘。对磁盘驱动器进行写操作时，数据同时写到它的镜像盘上；而读操作时，只读取具有最短等待时间和最短寻道时间的磁盘驱动器。当磁盘失效时，可以从其镜像盘中读取数据。raid 1的可靠性很高，且能提供高的I/O带宽，但它需要双倍的存储容量。raid 5采用块交叉和校验信息旋转分布的磁盘阵列，在“小读”、“大块读”和“大块写”情况下的性能都很好。raid 1/0是由raid 0和raid 1演变而来的，通过分块以及镜像来实现，分块技术使多个磁盘驱动器可以并行读写，镜像技术使系统具有最高的可靠性。
进一步地，存储负载可以被分为raid 0集合、raid 5集合、raid 1集合、raid 10集合。
可选地，在一应用场景中，所述存储负载每秒钟执行I/O的次数，包括写的次数，读的次数，不做唯一性限定，且每秒钟读的次数和写的次数之间的比例不做唯一性限定。
S102、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
可选地，在一应用场景中，所述存储带宽比例比如为所需带宽与可提供带宽之间的比例，其具体根据I/O请求的到达率和存储负载可提供服务的时间计算。进一步地，所述存储负载可提供服务的时间根据存储负载的数据传输率以及I/O请求的最大数目。
具体地，在一应用场景中，存储带宽比例反映了存储负载是否超过了负荷，如果出现了欠负荷则需要对其进行拆分处理。
S103、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
具体地，在一应用场景中，可以按照能平均响应I/O请求的方式对需要拆分的存储负载进行拆分，或者也可以根据应用场景的需求，按照能满足应用场景I/O请求的方式进行拆分。
S104、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
具体地，在一应用场景中，通过利用存储带宽比例，进一步进行存储子负载的分离，从而可以使得存储子负载可以满足应用场景的带宽要求。
图2为本申请实施例二中异构网络中存储负载的分类方法的流程示意图；如图2所示，其包括：
S201、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
可选地，本实施例中，步骤S201类似上述实施例一。
S202、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
可选地，在一应用场景中，所述针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集。
参见之前所述，所述存储带宽比例如果为所需带宽与可提供带宽之间的比例，若小于等于1，则表明会出现欠负荷的情形，否则表明进行拆分处理。
S203、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
S204、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
可选地，本实施例中，步骤S203-S204类似上述实施例一。
图3为本申请实施例三中异构网络中存储负载的分类方法的流程示意图；如图3所示，其包括：
S301、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
S302、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
S303、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
本实施例中，步骤S301-S303请参见上述实施例一或者二的记载。
S304、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
可选地，在本申请一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载组成新的存储负载集合，包括：判断所述存储负载子集中的一存储子负载的存储带宽比例是否小于等于1，若小于等于1，则将所述存储带宽比例小于等于1的存储子负载确定为需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，组成新的存储负载集合，以避免存储负载的浪费，提高存储负载的可用性。
图4为本申请实施例四中异构网络中存储负载的分类方法的流程示意图；如图4所示，其包括：
S401、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
S402、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
S403、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
S404、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
本实施例中，上述步骤S401-S404可参见上述实施例的记载。
S405、对所述新的存储负载集合中的存储子负载按照存储带宽比例进行降序排序得到存储子负载队列；
S406、根据设定的负载容量限值以及存储带宽比例限值，对所述存储子负载队列进行截取处理，使得保留下来的存储子负载的总负载容量不超过设定的负载容量限值，以及保留下来的存储子负载的总存储带宽比例不超过设定存储带宽比例限值。
基于存储子负载队列中存储带宽比例又高到低的顺序进行存储子负载的截取，从容保留了高可用的存储子负载，且存储带宽比例尽可能刚好满足应用场景的需求，不存在任何浪费。
图5为本申请实施例五中异构网络中存储负载的分类方法的流程示意图；如图5所示，其包括：
S501、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
S502、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
S503、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
S504、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
S505、建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
可选地，在一应用场景中，所述建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上，包括：
S515、建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系；
S525、根据所述对应关系，生成存储配置表；
S535、根据所述存储配置表，将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
基于存储负载集合与存储阵列的对应关系，快速地实现存储负载的分配，同时，又是基于存储带宽比例，从而可保证使用最少的存储阵列满足存储负载的要求。
图6为本申请六中异构网络中存储负载的分类装置的结构示意图；如图6所示，其包括：
分类单元601，用于根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
拆分单元602，用于针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
集合单元603，用于根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
可选地，在本申请一实施例中，所述拆分单元在针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集时，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集。
可选地，在本申请一实施例中，所述集合单元在根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载组成新的存储负载集合时，包括：判断所述存储负载子集中的一存储子负载的存储带宽比例是否小于等于1，若小于等于1，则将所述存储带宽比例小于等于1的存储子负载确定为需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，组成新的存储负载集合。
可选地，在本申请一实施例中，所述装置还包括截取单元，根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，所述截取单元用于：
对所述新的存储负载集合中的存储子负载按照存储带宽比例进行降序排序得到存储子负载队列；
根据设定的负载容量限值以及存储带宽比例限值，对所述存储子负载队列进行截取处理，使得保留下来的存储子负载的总负载容量不超过设定的负载容量限值，以及保留下来的存储子负载的总存储带宽比例不超过设定存储带宽比例限值。
可选地，在本申请一实施例中，所述装置还包括：分配单元，在根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，所述分配单元用于：
建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
可选地，在本申请一实施例中，所述分配单元在建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上时，包括：建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系；根据所述对应关系，生成存储配置表；根据所述存储配置表，将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
图7为本申请实施例七中电子设备结构示意图；如图7所示，其包括：存储器701以及处理器702，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本申请任一实施例所述的方法。
图8为本申请实施例六中电子设备的硬件结构示意图；如图8所示，该电子设备的硬件结构可以包括：处理器801，通信接口802，计算机可读介质803和通信总线804；
其中，处理器801、通信接口802、计算机可读介质803通过通信总线804完成相互间的通信；
可选的，通信接口802可以为通信模块的接口，如GSM模块的接口；
其中，处理器801具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
处理器801可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
图9为本申请实施例九中计算机存储介质的结构示意图；如图9所示，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本申请任一实施例所述的方法。
本申请实施例还提供一种数据系统，其包括本申请任一实施例所述的电子设备。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块提示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种异构网络中存储负载的分类方法，其特征在于，包括：
根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集，所述存储带宽比例为所需带宽与可提供带宽之间的比例；
若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合；
其中，所述针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集；
其中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，包括：
建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
2.根据权利要求1所述异构网络中存储负载的分类方法，其特征在于，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，包括：判断所述存储负载子集中的一存储子负载的存储带宽比例是否小于等于1，若小于等于1，则将所述存储带宽比例小于等于1的存储子负载确定为需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，组成新的存储负载集合。
3.根据权利要求1所述异构网络中存储负载的分类方法，其特征在于，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，包括：
对所述新的存储负载集合中的存储子负载按照存储带宽比例进行降序排序得到存储子负载队列；
根据设定的负载容量限值以及存储带宽比例限值，对所述存储子负载队列进行截取处理，使得保留下来的存储子负载的总负载容量不超过设定的负载容量限值，以及保留下来的存储子负载的总存储带宽比例不超过设定存储带宽比例限值。
4.根据权利要求1所述异构网络中存储负载的分类方法，其特征在于，所述建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上，包括：建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系；根据所述对应关系，生成存储配置表；根据所述存储配置表，将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
5.一种异构网络中存储负载的分类装置，其特征在于，包括：
分类单元，用于根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
拆分单元，用于针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集，所述存储带宽比例为所需带宽与可提供带宽之间的比例；
集合单元，用于根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合；
其中，所述针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集；
其中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，包括：
建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
6.一种电子设备，其特征在于，包括：存储器以及处理器，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施权利要求1-4任一项所述的方法。
7.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施权利要求1-4任一项所述的方法。
8.一种数据系统，其特征在于，包括权利要求6所述的电子设备。
CN202110891889.7A 2021-08-04 2021-08-04 异构网络中存储负载的分类方法、装置及相关产品 Active CN113608697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110891889.7A CN113608697B (zh) 2021-08-04 2021-08-04 异构网络中存储负载的分类方法、装置及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110891889.7A CN113608697B (zh) 2021-08-04 2021-08-04 异构网络中存储负载的分类方法、装置及相关产品

Publications (2)

Publication Number Publication Date
CN113608697A CN113608697A (zh) 2021-11-05
CN113608697B true CN113608697B (zh) 2023-06-30

Family

ID=78306815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110891889.7A Active CN113608697B (zh) 2021-08-04 2021-08-04 异构网络中存储负载的分类方法、装置及相关产品

Country Status (1)

Country Link
CN (1) CN113608697B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353358B1 (en) * 2004-06-30 2008-04-01 Emc Corporation System and methods for reporting storage utilization
CN111124269A (zh) * 2018-10-31 2020-05-08 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机可读存储介质
CN111722806A (zh) * 2020-06-19 2020-09-29 华中科技大学 云盘分配方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305520B2 (en) * 2004-01-30 2007-12-04 Hewlett-Packard Development Company, L.P. Storage system with capability to allocate virtual storage segments among a plurality of controllers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353358B1 (en) * 2004-06-30 2008-04-01 Emc Corporation System and methods for reporting storage utilization
CN111124269A (zh) * 2018-10-31 2020-05-08 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机可读存储介质
CN111722806A (zh) * 2020-06-19 2020-09-29 华中科技大学 云盘分配方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113608697A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
US20170192819A1 (en) Method and electronic device for resource allocation
US8725680B2 (en) Media content location awareness and decision making
US20150169415A1 (en) Techniques to manage non-disruptive san availability in a partitioned cluster
WO2017185616A1 (zh) 文件存储方法及电子设备
US20110173328A1 (en) Electronic device, cloud instance, apparatus, method, and system for combining cloud instances with resources of devices
CN105592123B (zh) 存储管理系统、管理装置及方法
CN104011700A (zh) 基于云的游戏系统中的负载平衡
WO2014194695A1 (en) Method and server for pvp team matching in computer games
US20170177255A1 (en) Method and electronic device for allocating dynamic memory resources
US9229762B2 (en) Host providing system and host providing method
CN109359118A (zh) 一种数据写入方法及装置
CN108228350B (zh) 一种资源分配方法及装置
CN105653463B (zh) 存储管理系统、管理装置及方法
CN111176836A (zh) 一种云渲染资源调度方法及装置
CN113608697B (zh) 异构网络中存储负载的分类方法、装置及相关产品
CN113971163A (zh) 一种小文件合并存储方法、读取方法以及服务器
CN105653529B (zh) 存储管理系统、管理装置及方法
US11223675B2 (en) Hash data structure biasing
US20210149960A1 (en) Graph Data Storage Method, System and Electronic Device
CN113992572B (zh) 异构网络中共享存储资源路径的路由方法、装置及存储介质
US10169369B2 (en) Meeting storage requirements with limited storage resources
US20190034086A1 (en) Selecting storage resources in a dispersed storage network
CN111212252A (zh) 一种切换画面布局的方法、装置、终端设备和系统
CN114168336A (zh) 铺码文档的生成方法、装置及相关产品
CN110764692B (zh) 一种服务器集群环境下存储切片数据冗余、恢复方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant