CN112825023A - 集群资源管理方法、装置、电子设备和存储介质 - Google Patents

集群资源管理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112825023A
CN112825023A CN201911141045.XA CN201911141045A CN112825023A CN 112825023 A CN112825023 A CN 112825023A CN 201911141045 A CN201911141045 A CN 201911141045A CN 112825023 A CN112825023 A CN 112825023A
Authority
CN
China
Prior art keywords
storage space
data
storage
level
migrating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911141045.XA
Other languages
English (en)
Inventor
周曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201911141045.XA priority Critical patent/CN112825023A/zh
Publication of CN112825023A publication Critical patent/CN112825023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种集群资源管理方法、装置、电子设备和存储介质，包括：获取集群中多级存储空间中存储数据的访问频率信息；响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。本申请实施例可提升存储资源的有效利用率，并为用户节省存储费用，从而提高用户体验。

Description

集群资源管理方法、装置、电子设备和存储介质
技术领域
本申请涉及存储领域，特别涉及一种集群资源管理方法、装置、电子设备和存储介质。
背景技术
在云存储或超算中心的超算集群中有成千上万的租户，每个租户都会占用一定量的存储空间，目前的存储计费模式一般是根据存储介质类型以及用户所占用的空间大小来计费，用户体验有待提升。
发明内容
本申请实施例提供了一种集群资源管理方法、装置、电子设备和存储介质，可提升存储资源的有效利用率，并为用户节省存储费用。
第一方面，本申请实施例提供一种集群资源管理方法，所述方法包括：获取集群中多级存储空间中存储数据的访问频率信息；响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法包括：获取所述第一存储数据的数据量；根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间。
可选的，所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间，包括：根据所述数据量，确定所述第一存储数据的降级参数；基于所述降级参数和所述第一存储空间，确定所述第二存储空间。
可选的，所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间，包括：基于所述数据量和所述第一存储空间查询预设映射表，得到所述第二存储空间，其中，所述预设映射表包括预设数据量范围、预设原存储空间与预设目标存储空间之间的映射关系。
可选的，所述预设迁移条件包括：在预设时间段内的访问次数低于第一预设阈值，或者最近一次访问时间距当前时间的间隔超过第二预设阈值。
可选的，所述多级存储空间包括三副本固态硬盘存储空间、纠删码固态硬盘存储空间、三副本机械硬盘存储空间、纠删码机械硬盘存储空间、浅层压缩机械硬盘存储空间和深层压缩机械硬盘存储空间。
可选的，在所述第二存储空间为所述浅层压缩机械硬盘存储空间或所述深层压缩机械硬盘存储空间的情况下，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：将所述第一存储数据在所述第一存储空间中进行压缩存储。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：显示第一页面，其中，所述第一页面包括管理模式选择控件；基于所述第一存储数据所属用户对所述管理模式选择控件的操作，确定所述第一存储数据的管理模式，其中，所述管理模式包括托管模式或手动模式。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：向所述第一存储数据所属用户发送数据迁移请求，其中，所述数据迁移请求包括所述第二存储空间的信息。
可选的，所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间，包括：响应于接收到所述第一存储数据所属用户发送的响应于所述数据迁移请求的数据迁移指令，将所述第一存储数据由所述第一存储空间迁移至第二存储空间。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述方法还包括：将所述第一存储空间按照特定时间粒度分配给第二存储数据。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述方法还包括：响应于检测到所述第一存储数据在所述第二存储空间的访问记录，或者所述第一存储数据在所述第二存储空间的访问频率高于第三预设阈值，确认所述第一存储空间是否被占用；在所述第一存储空间未被占用的情况下，将所述第一存储数据迁移回所述第一存储空间。
第二方面，本申请实施例提供一种集群资源管理装置，所述资源均衡装置包括：获取单元，用于获取集群中多级存储空间中存储数据的访问频率信息；迁移单元，用于响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述获取单元还用于：获取所述第一存储数据的数据量；根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间。
可选的，在所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间方面，所述获取单元具体用于：根据所述数据量，确定所述第一存储数据的降级参数；基于所述降级参数和所述第一存储空间，确定所述第二存储空间。
可选的，在所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间方面，所述获取单元具体用于：基于所述数据量和所述第一存储空间查询预设映射表，得到所述第二存储空间，其中，所述预设映射表包括预设数据量范围、预设原存储空间与预设目标存储空间之间的映射关系。
可选的，所述预设迁移条件包括：在预设时间段内的访问次数低于第一预设阈值，或者最近一次访问时间距当前时间的间隔超过第二预设阈值。
可选的，所述多级存储空间包括三副本固态硬盘存储空间、纠删码固态硬盘存储空间、三副本机械硬盘存储空间、纠删码机械硬盘存储空间、浅层压缩机械硬盘存储空间和深层压缩机械硬盘存储空间。
可选的，在所述第二存储空间为所述浅层压缩机械硬盘存储空间或所述深层压缩机械硬盘存储空间的情况下，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述迁移单元还用于：将所述第一存储数据在所述第一存储空间中进行压缩存储。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述迁移单元还用于：显示第一页面，其中，所述第一页面包括管理模式选择控件；基于所述第一存储数据所属用户对所述管理模式选择控件的操作，确定所述第一存储数据的管理模式，其中，所述管理模式包括托管模式或手动模式。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述迁移单元还用于：向所述第一存储数据所属用户发送数据迁移请求，其中，所述数据迁移请求包括所述第二存储空间的信息。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间方面，所述迁移单元具体用于：响应于接收到所述第一存储数据所属用户发送的响应于所述数据迁移请求的数据迁移指令，将所述第一存储数据由所述第一存储空间迁移至第二存储空间。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述迁移单元还用于：将所述第一存储空间按照特定时间粒度分配给第二存储数据。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述迁移单元还用于：响应于检测到所述第一存储数据在所述第二存储空间的访问记录，或者所述第一存储数据在所述第二存储空间的访问频率高于第三预设阈值，确认所述第一存储空间是否被占用；在所述第一存储空间未被占用的情况下，将所述第一存储数据迁移回所述第一存储空间。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机集群，包括集群资源管理设备和集群资源存储设备，其中，所述集群资源存储设备包括多级存储空间，所述集群资源管理设备为如本申请实施例第二方面中所描述的集群资源管理装置。
可以看出，本申请实施例中，获取集群中多级存储空间中存储数据的访问频率信息；响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。可见，通过本发明提供的方案，可提升存储资源的有效利用率，并为用户节省存储费用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的存储数据级别检测与数据均衡系统的结构示意图；
图2为本申请实施例提供的多用户存储空间等级划分示意图；
图3为本申请实施例提供的动态迁移示意图；
图4为本申请实施例提供的一种集群资源管理方法的流程示意图；
图5为本申请实施例提供的预设映射表的示意图；
图6为本申请实施例提供的管理模式选择示意图；
图7为本申请实施例提供的数据迁移示意图；
图8为本申请实施例提供的一种集群资源管理方法的流程示意图；
图9为本申请实施例提供的一种集群资源管理方法的流程示意图；
图10为本申请实施例提供的一种电子设备的结构示意图；
图11为本申请实施例提供的一种计算机集群的结构示意图；
图12为本申请实施例提供的一种集群资源管理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、无线耳机、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等，电子设备例如可以为智能手机、平板电脑等等。为方便描述，上面提到的设备统称为电子设备。
参阅图1，图1为本申请实施例提供的存储数据级别检测与数据均衡系统的结构示意图，其中，该系统包括融合存储集群(对象存储或文件存储)、用户接口GUI、用户数据级别检测模块、动态迁移模块、用户计费模块，融合存储集群的存储空间包括用户空间和归档空间，用户空间用于存储各个用户的数据，归档空间用于存储系统文件如各个级别的用户空间的收费标准、用户操作日志等，为表述方便，以下将用户空间统称为存储空间。可选的，存储空间可如图2所示按照等级进行划分，如图2所示，图2为本申请实施例提供的多用户存储空间等级划分示意图，在本申请实施例中，存储空间根据存储成本的高低可分为如下六种：
1)三副本固态硬盘存储空间(1级存储空间)。该存储空间是级别最高且成本最高的存储空间，在该存储空间中，数据均存放在固态硬盘存储介质中，并且保存为三份副本。
2)纠删码固态硬盘存储空间(2级存储空间)。在该存储空间中的数据为活跃数据，数据均存放在固态硬盘存储介质中，采用纠删码实现数据安全保护。
3)三副本机械硬盘存储空间(3级存储空间)。该存储空间是用户最常用的存储空间，在该存储空间中，数据均存放在机械硬盘存储介质中，并且保存为三份副本。
4)纠删码机械硬盘存储空间(4级存储空间)。在该存储空间中，数据均存放在机械硬盘存储介质中，采用纠删码实现数据安全保护。
5)浅层压缩机械硬盘存储空间(5级存储空间)。该存储空间也称之为冷数据区，在将存储数据迁移至该存储空间之前，需要采用轻度压缩算法(如gzip压缩算法)对存储数据进行压缩，压缩过程和解压过程通常在分钟级，压缩后的数据体量缩小不大。
6)深层压缩机械硬盘存储空间(6级存储空间)。该存储空间也称之为极冷数据区，在将存储数据迁移至该存储空间之前，需要采用深层压缩算法(如7zip压缩算法)，对存储数据进行压缩，压缩过程和解压过程通常在小时级以上，压缩后的数据体量缩小很大，对存储空间的节省非常明显。
其中，存储空间还可有其他划分方式，本申请对此不做限定。
可见，存储空间级别越高，数据处理速度越慢，相应的存储成本越低，存储数据的访问频率也越低，如图3所示，图3为本申请实施例提供的动态迁移示意图，若存储数据需要迁移至浅层压缩机械硬盘存储空间或深层压缩机械硬盘存储空间，则需要先对存储数据进行压缩，因为在第一存储空间中压缩速度更快，因此在对存储数据进行压缩后再迁移至第二存储空间，如此可降低数据迁移成本。在图3中，需要将三副本固态硬盘存储空间(1级存储空间)的存储数据迁移至浅层压缩机械硬盘存储空间(5级存储空间)，因此需要通过浅层压缩算法对存储数据进行先压缩，再迁移。
参阅图4，图4为本申请实施例提供的一种集群资源管理方法的流程示意图，所述方法包括：
401、获取集群中多级存储空间中存储数据的访问频率信息。
其中，本申请实施例应用于超算集群中，超算集群即超级计算集群，具有高性能、高效、易扩展的特点。可选的，可通过定时扫描获取访问频率信息，定时扫描的时间间隔可设置为1天1次，1天2或2天1次等。存储数据的访问频率信息可通过Access(出入口)记录得到，访问频率信息包括预设时间段内对存储数据的访问频率、最近一次访问时间距当前时间的间隔等。
402、响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
其中，不同的存储空间计费标准不同，级别越高的存储空间存储成本越高，因此存储费用也越高。对于同一份数据，当其在不同的存储空间流转时，其费用也相应发生变化，费用粒度可精确至分钟级。
其中，预设迁移条件包括：在预设时间段内的访问次数低于第一预设阈值，或者最近一次访问时间距当前时间的间隔超过第二预设阈值，不同的存储空间对预设时间段和第一预设阈值的设置可不同，因为级别较高的存储空间中的存储数据的访问频率相对较高，因此其预设时间段更短，第一预设阈值更高，例如，可设定三副本固态硬盘存储空间(1级存储空间)的预设时间段为1个月，第一预设阈值为3次，设定纠删码固态硬盘存储空间(2级存储空间)的预设时间段为3个月，第一预设阈值为1次，因此若存储在1级存储空间中的存储数据在1个月内访问频率少于3次，该存储数据将被迁移至其他存储空间中，同样，若存储在2级存储空间中的存储数据在3个月内无使用记录，该存储数据将被迁移至其他费用更低的存储空间中。
当第一存储数据的最近一次访问时间距当前时间的间隔超过第二预设阈值，也会发生迁移，不同的存储空间对第二预设阈值的设置可不同，级别较高的存储空间的第二预设阈值更小，例如设置三副本固态硬盘存储空间(1级存储空间)的第二预设阈值为3个月，若超出三个月，第一存储数据在该存储空间中无访问记录，则将对其进行迁移操作。
可以看出，本申请实施例中，获取集群中多级存储空间中存储数据的访问频率信息；响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。可见，通过本发明提供的方案，可提升存储资源的有效利用率，并为用户节省存储费用。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法包括：
获取所述第一存储数据的数据量；
根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间。
可选的，所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间，包括：
根据所述数据量，确定所述第一存储数据的降级参数；
基于所述降级参数和所述第一存储空间，确定所述第二存储空间。
其中，第一存储数据的体量越大，迁移所跨越的存储空间级别越多，迁移所需要的时间越多，且在存储数据迁移过程中，需要迁移的第一存储数据将被锁定，用户无法对第一存储数据进行其他操作(如下载数据、删除数据、复制数据、迁移数据等)。例如，对于确定需要迁移的第一存储数据，其第一存储空间为1级存储空间，其数据量(体量)大小为Data_1，迁移的降级参数为a，若Data_1<＝1GB，则a＝1，第一存储数据将被迁移至2级存储空间；若1GB<Data_1<＝5GB，则a＝2，第一存储数据将被迁移至3级存储空间；若5GB<Data_1<＝20GB，则a＝3，第一存储数据将被迁移至4级存储空间；若20GB<Data_1<＝100GB，则a＝4，第一存储数据将被迁移至5级存储空间；若100GB<Data_1，则a＝5，第一存储数据将被迁移至6级存储空间。
可选的，所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间，包括：
基于所述数据量和所述第一存储空间查询预设映射表，得到所述第二存储空间，其中，所述预设映射表包括预设数据量范围、预设原存储空间与预设目标存储空间之间的映射关系。
可参见图5，图5为本申请实施例提供的预设映射表的示意图。其中，在图5(a)中，以数据量作为纵向表头，以存储空间作为横向表头，不同范围的数据量和不同的原存储空间对应不同的目标存储空间，根据数据量所处范围和原存储空间查询该预设映射表可以确定目标存储空间。可选的，该预设映射表也可如图5(b)所示，以存储空间作为纵向表头，以数据量作为横向表头，本申请对预设映射表的形式不做限定。
可见，本申请实施例根据数据量和预设原存储空间确定预设第二存储空间，可将第一存储数据迁移至性价比最高的存储空间中。
可选的，在所述第二存储空间为所述浅层压缩机械硬盘存储空间或所述深层压缩机械硬盘存储空间的情况下，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：
将所述第一存储数据在所述第一存储空间中进行压缩存储。
其中，压缩空间包括浅层压缩机械硬盘存储空间(5级存储空间)和深层压缩机械硬盘存储空间(6级存储空间)，若第二存储空间为5级存储空间，则需要通过轻度压缩算法对第一存储数据进行压缩，若第二存储空间为6级存储空间，则需要通过深层压缩算法对第一存储数据进行压缩，在对第一存储数据进行压缩和迁移期间，第一存储数据将被锁定，用户无法对第一存储数据进行操作，以确保数据压缩和迁移的顺利完成。
可见，本实施例中通过对第一存储数据先压缩再迁移，减少了压缩时间和迁移时间，提高了效率。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：
显示第一页面，其中，所述第一页面包括管理模式选择控件；
基于所述第一存储数据所属用户对所述管理模式选择控件的操作，确定所述第一存储数据的管理模式，其中，所述管理模式包括托管模式或手动模式。
参阅图6，图6为本申请实施例提供的管理模式选择示意图，管理模式包括托管模式和手动模式，在该图中，有一个六边形的“罗盘”，该六边形罗盘中心有一个指针，六边形罗盘的六个顶点分别代表六个存储空间，在该六边形罗盘下方，还有两个选项框“手动切换”和“完全托管”，即管理模式选择控件，其中，“手动切换”的选项框为灰色，为非建议选项，若用户选中“手动切换”，即手动模式，用户可通过将指针调节到目标顶点上，从而为所存储的数据中的每个文件选择对应的存储空间；若用户选中“完全托管”选项，即选择托管模式，则该系统将自动根据用户所存储的数据的使用情况决定是否将存储数据迁移至其他存储空间中。
当第一存储数据的管理模式为手动模式时，用户可随时对存储数据中的任意数据进行迁移，且数据迁移的第二存储空间由用户自行选择。
其中，也可通过其他方式选择管理模式，本申请对第一页面以及管理模式选择控件的表现形式不做限定。
可见，手动模式无需用户手动拷贝数据，实现一键切换。极大提升了用户体验，托管模式可实时的根据数据的使用情况为其安排合理的存储空间，实现存储资源的均衡使用，降低用户存储费用。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：
向所述第一存储数据所属用户发送数据迁移请求，其中，所述数据迁移请求包括所述第二存储空间的信息。
其中，迁移请求包括第一存储数据的访问频率、所述第二存储空间和所述第二存储空间的计费标准等信息等。当第一存储数据的访问频率信息满足预设迁移条件时，若第一存储数据的管理模式为手动模式，集群将向第一存储数据所属用户发送数据迁移请求，若用户选择同意迁移，则将对第一存储数据进行迁移，若用户不同意迁移，则不对第一存储数据进行迁移操作；若第一存储数据的管理模式为托管模式，集群将向第一存储数据所属用户发送数据迁移请求，该请求用于通知用户将对第一存储数据进行迁移，若用户确认该请求或在一定时间内未回复请求，将自动对第一存储数据进行迁移。
可选的，所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间，包括：
响应于接收到所述第一存储数据所属用户发送的响应于所述数据迁移请求的数据迁移指令，将所述第一存储数据由所述第一存储空间迁移至第二存储空间。
如图7所示，图7为本申请实施例提供的数据迁移示意图，在图7的a图中，将用户1的存储数据迁移至深层压缩机械硬盘存储空间(第二存储空间)，与此同时，用户2的存储数据为热数据，需要扩容，在图7的b图中，用户1的存储数据完成迁移，其逻辑存储空间不变，但实际存储空间变为深层压缩机械硬盘存储空间，用户2的热数据占用用户1的第一存储空间实现扩容。
可见，当一个数据中心存在多种存储介质(如SSD和HDD)，并且有很多用户使用时，很容易遇到用户数量剧增、总体存储容量缺乏的情况，此时，可通过本申请实施例所提供的方法实现对存储整体资源的平衡分配和有效利用。
可选的，在所述将第一存储数据由第一存储空间迁移至第二存储空间之后，所述方法还包括：
将所述第一存储空间按照特定时间粒度分配给第二存储数据。
其中，用户可能会在短期内频繁的对存储数据进行上传或下载等操作，使得存储数据短期内访问频率增高，用户在使用的同时，会产生大量新的数据，将这样的存储数据称为热数据，因为新数据的产生，热数据存在扩容需求，为了提高整个存储空间的使用率，需要扩容的热数据将在第一存储数据发生迁移后，临时占用第一存储数据的第一存储空间，从而实现临时扩容。其中，若用户的存储数据体量大，可从中选取部分访问频率低的数据，将这些数据迁移至费用更低的存储空间，以降低费用。因为第一存储空间所属用户随时有可能需要恢复使用第一存储空间，因此，需要对第一存储空间设置一定的共享时间粒度，即特定时间粒度，如12h、1天、3天、7天等，在本申请实施例中，将预设时间粒度设置为1天。
可见，通过将空闲的存储空间分配给其他存储数据使用，可以提高多级存储空间的利用率。
可选的，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述方法还包括：
响应于检测到所述第一存储数据在所述第二存储空间的访问记录，或者所述第一存储数据在所述第二存储空间的访问频率高于第三预设阈值，确认所述第一存储空间是否被占用；
在所述第一存储空间未被占用的情况下，将所述第一存储数据迁移回所述第一存储空间。
其中，超算集群获取各个存储空间的存储桶的Access(出入口)访问记录，从而确定各存储空间中存储数据的使用情况，一旦检测到已迁移的第一存储数据的访问记录，或者其访问频率高于预设的阈值，在第一存储空间未被占用时，则将第一存储数据迁移回第一存储空间。其中，第三预设阈值可以设置为5次/月、10次/月、20次/半年等。在本申请实施例中，特定时间粒度为1天，因此，若第一存储数据满足迁回第一存储空间的要求，且第一存储空间被占用，则在次日将占用第一存储空间的数据迁移至其他空余的存储空间中，然后将第一存储数据迁回第一存储空间。其中，若第一存储数据经过至少两次迁移(降级)，在检测到Access记录后，仍将第一存储数据迁移至最初的存储空间。
在将所述第一存储数据迁移回所述第一存储空间之后，对所述第一存储数据进行解压缩。因为在第一存储空间中，解压缩速度更快，且迁移压缩的数据比迁移解压缩后的数据成本更低，因此对存储数据先迁移再解压缩。
可见，本申请中的超算集群可在存储数据因变“冷”而被迁移至其他存储空间后，实时关注其动态，根据其访问信息对其进行迁回操作，从而实现对冷数据的动态调节。
参阅图8，图8为本申请实施例提供的一种集群资源管理方法的流程示意图，所述方法包括：
801、获取第一存储数据的第一存储空间和数据量；
802、根据所述数据量，确定所述第一存储数据的降级参数；
803、基于所述降级参数和所述第一存储空间，确定第二存储空间；
804、获取集群中多级存储空间中存储数据的访问频率信息；
805、响应于所述第一存储空间中所述第一存储数据的访问频率信息满足预设迁移条件，向所述第一存储数据所属用户发送数据迁移请求，其中，所述数据迁移请求包括所述第二存储空间的信息，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费；
806、响应于接收到所述第一存储数据所属用户发送的响应于所述数据迁移请求的数据迁移指令，将所述第一存储数据由所述第一存储空间迁移至所述第二存储空间；
807、将所述第一存储空间按照特定时间粒度分配给第二存储数据；
808、响应于检测到所述第一存储数据在所述第二存储空间的访问记录，或者所述第一存储数据在所述第二存储空间的访问频率高于第三预设阈值，确认所述第一存储空间是否被占用；
809、在所述第一存储空间未被占用的情况下，将所述第一存储数据迁移回所述第一存储空间。
其中，在本实施例中对于各个步骤的具体描述可以参见前述实施例，在此不再赘述。
可以看出，本申请实施例中，获取集群中多级存储空间中存储数据的访问频率信息；响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。可见，通过本发明提供的方案，可提升存储资源的有效利用率，并为用户节省存储费用。
参阅图9，图9为本申请实施例提供的一种集群资源管理方法的流程示意图，所述方法包括：
901、获取第一存储数据的第一存储空间和数据量；
902、基于所述第一存储空间和所述数据量查询预设映射表，得到第二存储空间，其中，所述预设映射表包括预设数据量范围、预设原存储空间与预设目标存储空间之间的映射关系；
903、获取集群中多级存储空间中存储数据的访问频率信息；
904、显示第一页面，其中，所述第一页面包括管理模式选择控件；
905、基于所述第一存储数据所属用户对所述管理模式选择控件的操作，确定所述第一存储数据的管理模式，其中，所述管理模式包括托管模式或手动模式；
906、响应于所述第一存储空间中所述第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至所述第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
可以看出，本申请实施例中，获取集群中多级存储空间中存储数据的访问频率信息；响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。可见，通过本发明提供的方案，可提升存储资源的有效利用率，并为用户节省存储费用。
请参阅图10，图10为本申请实施例提供的一种电子设备的结构示意图，如图所示，包括处理器、存储器、通信接口，以及一个或多个程序，所述程序被存储在所述存储器中，并且被配置由所述处理器执行。所述程序包括用于执行以下步骤的指令：
获取集群中多级存储空间中存储数据的访问频率信息；
响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述程序包括用于执行以下步骤的指令：
获取所述第一存储数据的数据量；
根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间。
在一个可能的示例中，在所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间方面，所述程序包括用于执行以下步骤的指令：
根据所述数据量，确定所述第一存储数据的降级参数；
基于所述降级参数和所述第一存储空间，确定所述第二存储空间。
在一个可能的示例中，在所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间方面，所述程序包括用于执行以下步骤的指令：
基于所述数据量和所述第一存储空间查询预设映射表，得到所述第二存储空间，其中，所述预设映射表包括预设数据量范围、预设原存储空间与预设目标存储空间之间的映射关系。
在一个可能的示例中，所述预设迁移条件包括：在预设时间段内的访问次数低于第一预设阈值，或者最近一次访问时间距当前时间的间隔超过第二预设阈值。
在一个可能的示例中，所述多级存储空间包括三副本固态硬盘存储空间、纠删码固态硬盘存储空间、三副本机械硬盘存储空间、纠删码机械硬盘存储空间、浅层压缩机械硬盘存储空间和深层压缩机械硬盘存储空间。
在一个可能的示例中，在所述第二存储空间为所述浅层压缩机械硬盘存储空间或所述深层压缩机械硬盘存储空间的情况下，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述程序包括用于执行以下步骤的指令：
将所述第一存储数据在所述第一存储空间中进行压缩存储。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述程序包括用于执行以下步骤的指令：
显示第一页面，其中，所述第一页面包括管理模式选择控件；
基于所述第一存储数据所属用户对所述管理模式选择控件的操作，确定所述第一存储数据的管理模式，其中，所述管理模式包括托管模式或手动模式。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述程序包括用于执行以下步骤的指令：
向所述第一存储数据所属用户发送数据迁移请求，其中，所述数据迁移请求包括所述第二存储空间的信息。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间方面，所述程序包括用于执行以下步骤的指令：
响应于接收到所述第一存储数据所属用户发送的响应于所述数据迁移请求的数据迁移指令，将所述第一存储数据由所述第一存储空间迁移至第二存储空间。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述程序包括用于执行以下步骤的指令：
将所述第一存储空间按照特定时间粒度分配给第二存储数据。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述程序包括用于执行以下步骤的指令：
响应于检测到所述第一存储数据在所述第二存储空间的访问记录，或者所述第一存储数据在所述第二存储空间的访问频率高于第三预设阈值，确认所述第一存储空间是否被占用；
在所述第一存储空间未被占用的情况下，将所述第一存储数据迁移回所述第一存储空间。
上述主要从方法执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图11，图11为本申请实施例提供的一种计算机集群的结构示意图，如图所示，所述计算机集群包括集群资源管理设备和集群资源存储设备，其中，所述集群资源存储设备包括多级存储空间，在本申请实施例中，所述集群资源管理设备如图12所示的集群资源管理装置，所述集群资源均衡装置包括：
获取单元1201，用于获取集群中多级存储空间中存储数据的访问频率信息；
迁移单元1202，用于响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述获取单元1201具体用于：获取所述第一存储数据的数据量；根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间。
在一个可能的示例中，在所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间方面，所述获取单元1201具体用于：根据所述数据量，确定所述第一存储数据的降级参数；基于所述降级参数和所述第一存储空间，确定所述第二存储空间。
在一个可能的示例中，在所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间方面，所述获取单元1201具体用于：基于所述数据量和所述第一存储空间查询预设映射表，得到所述第二存储空间，其中，所述预设映射表包括预设数据量范围、预设原存储空间与预设目标存储空间之间的映射关系。
在一个可能的示例中，所述预设迁移条件包括：在预设时间段内的访问次数低于第一预设阈值，或者最近一次访问时间距当前时间的间隔超过第二预设阈值。
在一个可能的示例中，所述多级存储空间包括三副本固态硬盘存储空间、纠删码固态硬盘存储空间、三副本机械硬盘存储空间、纠删码机械硬盘存储空间、浅层压缩机械硬盘存储空间和深层压缩机械硬盘存储空间。
在一个可能的示例中，在所述第二存储空间为所述浅层压缩机械硬盘存储空间或所述深层压缩机械硬盘存储空间的情况下，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述迁移单元1202还用于：将所述第一存储数据在所述第一存储空间中进行压缩存储。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述迁移单元1202还用于：显示第一页面，其中，所述第一页面包括管理模式选择控件；基于所述第一存储数据所属用户对所述管理模式选择控件的操作，确定所述第一存储数据的管理模式，其中，所述管理模式包括托管模式或手动模式。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述迁移单元1202还用于：向所述第一存储数据所属用户发送数据迁移请求，其中，所述数据迁移请求包括所述第二存储空间的信息。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间方面，所述迁移单元1202具体用于：响应于接收到所述第一存储数据所属用户发送的响应于所述数据迁移请求的数据迁移指令，将所述第一存储数据由所述第一存储空间迁移至第二存储空间。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述迁移单元1202还用于：将所述第一存储空间按照特定时间粒度分配给第二存储数据。
在一个可能的示例中，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之后，所述迁移单元1202还用于：响应于检测到所述第一存储数据在所述第二存储空间的访问记录，或者所述第一存储数据在所述第二存储空间的访问频率高于第三预设阈值，确认所述第一存储空间是否被占用；在所述第一存储空间未被占用的情况下，将所述第一存储数据迁移回所述第一存储空间。
可以看出，本申请实施例中，获取集群中多级存储空间中存储数据的访问频率信息；响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。可见，通过本发明提供的方案，可提升存储资源的有效利用率，并为用户节省存储费用。
本申请实施例还提供一种计算机可读存储介质，存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种集群资源管理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种集群资源管理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种集群资源管理方法，其特征在于，所述方法包括：
获取集群中多级存储空间中存储数据的访问频率信息；
响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
2.根据权利要求1所述的方法，其特征在于，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法包括：
获取所述第一存储数据的数据量；
根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间。
3.根据权利要求2所述的方法，其特征在于，所述根据所述数据量和所述第一存储空间，从所述多级存储空间中确定所述第二存储空间，包括：
根据所述数据量，确定所述第一存储数据的降级参数；
基于所述降级参数和所述第一存储空间，确定所述第二存储空间。
4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：
显示第一页面，其中，所述第一页面包括管理模式选择控件；
基于所述第一存储数据所属用户对所述管理模式选择控件的操作，确定所述第一存储数据的管理模式，其中，所述管理模式包括托管模式或手动模式。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间之前，所述方法还包括：
向所述第一存储数据所属用户发送数据迁移请求，其中，所述数据迁移请求包括所述第二存储空间的信息。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一存储数据由所述第一存储空间迁移至第二存储空间，包括：
响应于接收到所述第一存储数据所属用户发送的响应于所述数据迁移请求的数据迁移指令，将所述第一存储数据由所述第一存储空间迁移至第二存储空间。
7.一种集群资源管理装置，其特征在于，包括：
获取单元，用于获取集群中多级存储空间中存储数据的访问频率信息；
迁移单元，用于响应于第一存储空间中第一存储数据的访问频率信息满足预设迁移条件，将所述第一存储数据由所述第一存储空间迁移至第二存储空间，其中，所述第二存储空间所属级别的单位计费低于所述第一存储空间所属级别的单位计费。
8.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序，以执行如权利要求1-7任一项所述的方法中的步骤的指令。
9.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
10.一种计算机集群，其特征在于，包括集群资源管理设备和集群资源存储设备，其中，所述集群资源存储设备包括多级存储空间，所述集群资源管理设备为如权利要求7所述的集群资源管理装置。
CN201911141045.XA 2019-11-20 2019-11-20 集群资源管理方法、装置、电子设备和存储介质 Pending CN112825023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911141045.XA CN112825023A (zh) 2019-11-20 2019-11-20 集群资源管理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911141045.XA CN112825023A (zh) 2019-11-20 2019-11-20 集群资源管理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112825023A true CN112825023A (zh) 2021-05-21

Family

ID=75906906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911141045.XA Pending CN112825023A (zh) 2019-11-20 2019-11-20 集群资源管理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112825023A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721854A (zh) * 2021-08-31 2021-11-30 中国建设银行股份有限公司 数据存储方法及装置
CN114004979A (zh) * 2021-11-05 2022-02-01 江苏赞奇科技股份有限公司 一种云渲染中高性价比数据存储方法及系统
CN114063937A (zh) * 2022-01-18 2022-02-18 苏州浪潮智能科技有限公司 一种存储池副本策略调整方法、装置、设备及介质
CN115953209A (zh) * 2023-03-07 2023-04-11 阿里巴巴（中国）有限公司 一种数据存储计费方法、装置及电子设备
CN117369720A (zh) * 2023-09-11 2024-01-09 广州德久信息科技有限公司 一种数据存储管理方法、装置、电子设备及存储介质

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005508A1 (en) * 2006-07-03 2008-01-03 Masayasu Asano Control device of a storage system comprising storage devices of a plurality of types
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统
US8006061B1 (en) * 2007-04-13 2011-08-23 American Megatrends, Inc. Data migration between multiple tiers in a storage system using pivot tables
US20120173831A1 (en) * 2010-12-29 2012-07-05 Teradata Us, Inc. Data aware storage system operations
US8370597B1 (en) * 2007-04-13 2013-02-05 American Megatrends, Inc. Data migration between multiple tiers in a storage system using age and frequency statistics
US20130080703A1 (en) * 2011-09-28 2013-03-28 Hitachi, Ltd. Method for calculating tier relocation cost and storage system using the same
CN103744623A (zh) * 2014-01-10 2014-04-23 浪潮电子信息产业股份有限公司 一种实现存储系统ssd缓存的数据智能降级的方法
US20140181400A1 (en) * 2011-12-31 2014-06-26 Huawei Technologies Co., Ltd. Method for A Storage Device Processing Data and Storage Device
CN104133643A (zh) * 2014-08-04 2014-11-05 浪潮电子信息产业股份有限公司 一种自动数据分级存储框架下提高数据迁移效率的方法
US20150178016A1 (en) * 2013-12-24 2015-06-25 Kt Corporation Controlling hierarchical storage
CN105183389A (zh) * 2015-09-15 2015-12-23 北京金山安全软件有限公司 一种数据分级管理方法、装置及电子设备
CN105487823A (zh) * 2015-12-04 2016-04-13 华为技术有限公司 一种数据迁移的方法及装置
CN106095333A (zh) * 2016-06-02 2016-11-09 腾讯科技（深圳）有限公司 一种数据存储系统、数据存储方法及数据存储中心
US20170123716A1 (en) * 2015-11-01 2017-05-04 International Business Machines Corporation Intelligent data movement prevention in tiered storage environments
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储系统及方法
US20180217778A1 (en) * 2017-01-31 2018-08-02 Seagate Technology Llc Data storage server with multi-memory migration
US20180239556A1 (en) * 2017-02-22 2018-08-23 International Business Machines Corporation Data migration for applications on a mobile device
US20180275894A1 (en) * 2015-01-20 2018-09-27 Hitachi, Ltd. Storage system
CN109445695A (zh) * 2018-10-19 2019-03-08 郑州云海信息技术有限公司 一种数据迁移方法
US20190087342A1 (en) * 2017-09-21 2019-03-21 International Business Machines Corporation Dynamic premigration throttling for tiered storage
US20190205034A1 (en) * 2018-01-02 2019-07-04 International Business Machines Corporation Quota controlled movement of data in a tiered storage system
CN110018788A (zh) * 2019-03-01 2019-07-16 平安科技（深圳）有限公司 分级存储方法、装置、电子设备及计算机可读存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005508A1 (en) * 2006-07-03 2008-01-03 Masayasu Asano Control device of a storage system comprising storage devices of a plurality of types
US8006061B1 (en) * 2007-04-13 2011-08-23 American Megatrends, Inc. Data migration between multiple tiers in a storage system using pivot tables
US8370597B1 (en) * 2007-04-13 2013-02-05 American Megatrends, Inc. Data migration between multiple tiers in a storage system using age and frequency statistics
US20120173831A1 (en) * 2010-12-29 2012-07-05 Teradata Us, Inc. Data aware storage system operations
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统
US20130080703A1 (en) * 2011-09-28 2013-03-28 Hitachi, Ltd. Method for calculating tier relocation cost and storage system using the same
US20140181400A1 (en) * 2011-12-31 2014-06-26 Huawei Technologies Co., Ltd. Method for A Storage Device Processing Data and Storage Device
US20150178016A1 (en) * 2013-12-24 2015-06-25 Kt Corporation Controlling hierarchical storage
CN103744623A (zh) * 2014-01-10 2014-04-23 浪潮电子信息产业股份有限公司 一种实现存储系统ssd缓存的数据智能降级的方法
CN104133643A (zh) * 2014-08-04 2014-11-05 浪潮电子信息产业股份有限公司 一种自动数据分级存储框架下提高数据迁移效率的方法
US20180275894A1 (en) * 2015-01-20 2018-09-27 Hitachi, Ltd. Storage system
CN105183389A (zh) * 2015-09-15 2015-12-23 北京金山安全软件有限公司 一种数据分级管理方法、装置及电子设备
US20170123716A1 (en) * 2015-11-01 2017-05-04 International Business Machines Corporation Intelligent data movement prevention in tiered storage environments
CN105487823A (zh) * 2015-12-04 2016-04-13 华为技术有限公司 一种数据迁移的方法及装置
CN106095333A (zh) * 2016-06-02 2016-11-09 腾讯科技（深圳）有限公司 一种数据存储系统、数据存储方法及数据存储中心
US20180217778A1 (en) * 2017-01-31 2018-08-02 Seagate Technology Llc Data storage server with multi-memory migration
US20180239556A1 (en) * 2017-02-22 2018-08-23 International Business Machines Corporation Data migration for applications on a mobile device
US20190087342A1 (en) * 2017-09-21 2019-03-21 International Business Machines Corporation Dynamic premigration throttling for tiered storage
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储系统及方法
US20190205034A1 (en) * 2018-01-02 2019-07-04 International Business Machines Corporation Quota controlled movement of data in a tiered storage system
CN109445695A (zh) * 2018-10-19 2019-03-08 郑州云海信息技术有限公司 一种数据迁移方法
CN110018788A (zh) * 2019-03-01 2019-07-16 平安科技（深圳）有限公司 分级存储方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖海生;: "数据分级存储系统中数据分级算法研究", 甘肃联合大学学报(自然科学版), no. 04, 10 July 2012 (2012-07-10) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721854A (zh) * 2021-08-31 2021-11-30 中国建设银行股份有限公司 数据存储方法及装置
CN114004979A (zh) * 2021-11-05 2022-02-01 江苏赞奇科技股份有限公司 一种云渲染中高性价比数据存储方法及系统
CN114004979B (zh) * 2021-11-05 2023-09-01 江苏赞奇科技股份有限公司 一种云渲染中高性价比数据存储方法及系统
CN114063937A (zh) * 2022-01-18 2022-02-18 苏州浪潮智能科技有限公司 一种存储池副本策略调整方法、装置、设备及介质
CN115953209A (zh) * 2023-03-07 2023-04-11 阿里巴巴（中国）有限公司 一种数据存储计费方法、装置及电子设备
CN117369720A (zh) * 2023-09-11 2024-01-09 广州德久信息科技有限公司 一种数据存储管理方法、装置、电子设备及存储介质
CN117369720B (zh) * 2023-09-11 2024-05-14 广州德久信息科技有限公司 一种数据存储管理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112825023A (zh) 集群资源管理方法、装置、电子设备和存储介质
CN111522636B (zh) 应用容器的调整方法、调整系统、计算机可读介质及终端设备
US9313270B2 (en) Adaptive asynchronous data replication in a data storage system
US11262916B2 (en) Distributed storage system, data processing method, and storage node
US10356150B1 (en) Automated repartitioning of streaming data
CN111666159B (zh) 负载均衡控制方法和装置、存储介质及电子设备
AU2016238862B2 (en) Adaptive service timeouts
CN106170757B (zh) 一种数据存储方法及装置
CN105242983B (zh) 一种数据存储方法以及一种数据存储管理服务器
CN108874502B (zh) 云计算集群的资源管理方法、装置及设备
CN107241444B (zh) 一种分布式缓存数据管理系统、方法及装置
CN103067479A (zh) 一种基于文件冷热的网盘同步方法及系统
CN111159195A (zh) 区块链系统中的数据存储控制方法及设备
CN107566405B (zh) 一种快速访问和拷贝的存储资源池化方法
CN114595167A (zh) 分布式缓存系统、方法以及装置
CN113742304B (zh) 一种混合云的数据存储方法
CN115525603A (zh) 存储统计方法、装置、计算机可读存储介质与ai设备
CN115604294A (zh) 一种管理存储资源的方法及装置
CN114625474A (zh) 容器迁移方法、装置、电子设备及存储介质
CN115190181B (zh) 一种基于云管理的资源管理方法及其系统
CN108989398B (zh) 一种虚拟共享存储单元以及基于云存储的集群存储系统
CN113886059A (zh) 一种数据库数据处理方法、装置、设备及存储介质
CN111399763B (zh) 数据存储的方法、装置、系统、设备及存储介质
CN110149384B (zh) 基于网络存储设备集群的数据分布式存储方法及装置
WO2023151465A1 (zh) 一种ssd的规格参数的调节方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination