CN105701028B - 分布式存储系统中的磁盘管理方法和设备 - Google Patents

分布式存储系统中的磁盘管理方法和设备 Download PDF

Info

Publication number
CN105701028B
CN105701028B CN201410708705.9A CN201410708705A CN105701028B CN 105701028 B CN105701028 B CN 105701028B CN 201410708705 A CN201410708705 A CN 201410708705A CN 105701028 B CN105701028 B CN 105701028B
Authority
CN
China
Prior art keywords
disk
data
ring
cold data
cold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410708705.9A
Other languages
English (en)
Other versions
CN105701028A (zh
Inventor
张俊伟
杨晓阳
陈雷
陈力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to CN201410708705.9A priority Critical patent/CN105701028B/zh
Priority to US14/867,042 priority patent/US9875050B2/en
Publication of CN105701028A publication Critical patent/CN105701028A/zh
Priority to US15/829,210 priority patent/US10216440B2/en
Application granted granted Critical
Publication of CN105701028B publication Critical patent/CN105701028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/10—Technologies improving the efficiency by using switched-mode power supplies [SMPS], i.e. efficient power electronics conversion e.g. power factor correction or reduction of losses in power supplies or efficient standby modes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/30—Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储系统中的磁盘管理方法和设备，其中，所述分布式存储系统中包含多个组成主盘环的磁盘，所述多个磁盘中存储目标数据，该方法包括：将目标数据分为冷数据和热数据；根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环，所述主盘环中的其余磁盘形成热数据盘环；将不在冷数据盘环的冷数据迁移到冷数据盘环的磁盘中，并将不在热数据盘环的热数据迁移到热数据盘环的磁盘中；以及降低所述冷数据盘环中磁盘的转速。该方法和设备能够降低分布式存储系统的能耗。

Description

分布式存储系统中的磁盘管理方法和设备
技术领域
本发明涉及存储技术，更具体地，涉及一种分布式存储系统中的磁盘管理方法和设备。
背景技术
目前广泛使用的目标存储技术在云技术领域、社交网络以及移动互联网领域产生了大量的利用商业磁盘的应用，有些应用每天都产生上亿数量的图片。同时，企业也正逐步采用相同的商业磁盘来存储关键数据，诸如扫描图像、视频、音频记录等等。商业磁盘比起传统的高性能磁盘更容易发生问题，为了防止由于磁盘失效造成的数据丢失，通常使用目标数据复制来在不同的磁盘存储多份拷贝，这些不同的磁盘通常物理上位于不同的节点、不同的存储支架、甚至不同的地方。为了达到高效率和高可用性，目前使用越来越多的商业磁盘以及高度分布式的方式存储数据及其拷贝。
但是磁盘的消耗的增加，在互联网公司已经产生了很严重的电源消耗问题，当应用要求磁盘上的全部目标数据，无论其是否在正在旋转的磁盘上，还是在几年才访问一次的磁盘上，都保持快速访问并且较长时间保留时，这个问题就成为一个特别的挑战。
发明内容
本发明提出了一种使用商业磁盘但是减少电源消耗的分布式存储系统中的磁盘管理方法和设备。
根据本发明的一个方面，提供了一种分布式存储系统中的磁盘管理方法，其中，所述分布式存储系统中包含多个组成主盘环的磁盘，所述多个磁盘中存储目标数据，该方法包括：
将目标数据分为冷数据和热数据；
根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环，所述主盘环中的其余磁盘形成热数据盘环；
将不在所述冷数据盘环的冷数据迁移到所述冷数据盘环的磁盘中，并将不在所述热数据盘环的热数据迁移到所述热数据盘环的磁盘中；以及
降低所述冷数据盘环中磁盘的转速。
根据本发明的另一个方面，提供了一种分布式存储系统中的磁盘管理设备，其中，所述分布式存储系统中包含多个组成主盘环的磁盘，所述多个磁盘中存储目标数据，该设备包括：
划分装置，被配置为将目标数据分为冷数据和热数据；
分组装置，被配置为根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环，所述主盘环中的其余磁盘形成热数据盘环；
第一迁移装置，被配置为将不在所述冷数据盘环的冷数据迁移到所述冷数据盘环的磁盘中，并将不在所述热数据盘环的热数据迁移到所述热数据盘环的磁盘中；以及
降速装置，被配置为降低所述冷数据盘环中磁盘的转速。
附说图明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图；
图2示出了现有的一个区域的分布式存储结构；
图3示出了根据本发明一种实施方式的一种分布式存储系统中的磁盘管理方法的流程；
图4示出图2所示的一个区域的分布式存储结构形成的两个区域的分布式存储结构；以及
图5示出了根据本发明一种实施方式的分布式存储系统中的磁盘管理设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
图1示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图1显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图1所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图1未显示，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
现有的目标存储技术采用分布式存储结构。图2示出了现有的一个区域的分布式存储结构。图2中，M个存储节点将各自的目标数据分别存储到N个磁盘，N个磁盘组成主盘环(Main Disk Ring)。这里盘环并非图论中环的概念，而是本领域技术人员常用的分布式存储系统中的一个逻辑概念，指存储系统中的一些磁盘形成了一个逻辑上的组，从而存储系统可以把目标数据的存放位置按照一定规则映射到了这组磁盘的各个位置上。
存储系统中，有些数据是被频繁访问的，这里称为热数据；而有些数据访问频率非常低，这里称为冷数据。热数据和冷数据混合地存储在组成主盘环的N个磁盘中，这N个磁盘采用相同的磁盘转速。磁盘一般都可以设置多个转速。磁盘的转速越快，寻找文件的速度也就越快，磁盘的传输速度也就越高。但是，磁盘转速高对商业磁盘也带来了许多负面效应，例如温度升高；电机主轴磨损加大，使得磁盘使用寿命变短；电机的功耗增大，单位时间内消耗的电能多，等等。磁盘的转速一般可以通过一定的指令接口进行控制，所以本发明考虑可以根据需求动态调整磁盘转速从而降低系统对能源的消耗。
因此，本发明的基本思想是：将冷数据和热数据分离，使用不同的盘环存储，对不同的盘环内的磁盘设置不同的磁盘转速，从而在不降低系统的效率和可用性的情况下，减少整个存储系统能量的消耗，进一步提高整个存储系统的寿命。
根据本发明的一种实施方式，公开了一种分布式存储系统中的磁盘管理方法。图3示出了根据本发明一种实施方式的一种分布式存储系统中的磁盘管理方法的流程，其中，所述分布式存储系统中包含多个组成主盘环的磁盘，所述多个磁盘中存储目标数据，根据图3，该方法包括：
在步骤S301，将目标数据分为冷数据和热数据；
在步骤S302，根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环，所述主盘环中的其余磁盘形成热数据盘环；
在步骤S303，将不在所述冷数据盘环的冷数据迁移到所述冷数据盘环的磁盘中，并将不在所述热数据盘环的热数据迁移到所述热数据盘环的磁盘中；
在步骤S304，降低所述冷数据盘环中磁盘的转速。
针对图2所示的一个区域的分布式存储结构，使用图3所示的方法后，会形成如图4所示的两个区域的分布式存储结构，两个区域分别为热数据盘环和冷数据盘环。图4的磁盘标号与图2的磁盘标号之间可能是相同的，也可能是不同的，但是图4的冷热数据盘环中磁盘总个数与图2的主盘环中磁盘总个数相同。
在步骤S301的一种实施方式中，用户可以手工指定哪些目标数据是热数据，那些目标数据是数据。这种方式尤其适用于目标数据的类型比较少，但是每种类型的目标数据量较大的情况。用户手工一次指定就无需复杂的判定算法，节省能源。
在步骤S301的另一种实施方式中，可以使用目标数据的I/O操作次数判别该目标数据是冷数据还是热数据。一种具体的实施方式中，包括两个步骤：在步骤1，在设定的周期内，记录每个目标数据的I/O操作次数；在步骤2，根据设定的冷热数据条件，判定每个目标数据是冷数据还是热数据。这里，设定的周期可以由用户根据实际情况设定，也可以是系统管理员根据经验来设定，例如可以是几天，几周，甚至几个月，几年等等。设定的冷热数据条件可以是在设定的周期内，I/O操作总次数小于设定的第一阈值的目标数据为冷数据，否则为热数据；或者设定为在设定的周期内，I/O操作每天的平均次数小于设定的第一阈值的目标数据为冷数据，否则为热数据。这里的第一阈值也可以根据实际目标数据的情况来设定。每个目标数据的I/O操作可以直接记录I/O操作，然后到设定的周期再统计次数，例如对每次I/O操作，记录I/O操作时间、目标数据的编号以及那种I/O操作(包括读操作和写操作)；也可以不记录具体的I/O操作，而只在每个目标数据I/O操作发生时使用该目标数据的计数器进行计数，到设定的周期时，将每个目标数据的计数器中的计数与对其设定的第一阈值相比较，从而确定该数据是热数据还是冷数据。
在一种优选的实施方式中，目标数据的判定结果也被存储，可以在目标数据中加入标记存储，也可以使用单独的冷数据文件存储全部判定为冷数据的目标数据编号，以及使用单独的热数据文件存储全部判定为热数据的目标数据编号，等等。
在步骤S302的一种实施方式中，在形成冷数据盘环前，判别是否需要形成冷数据盘环。由于形成冷数据盘环要做一系列的操作，并且形成后要迁移数据，如果冷数据量非常小，那么带来的好处和为达到这些好处的努力是不匹配的，就无需形成冷数据盘环。具体的判别方法可以在确定冷热数据后，判别冷数据与热数据之间的比例关系来判别是否需要形成冷数据盘环。例如，如果冷数据占全部数据目标的比例大于设定的第二阈值，则确定需要形成冷数据盘环；否则，不需要形成冷数据盘环。这里的第二阈值可以由系统管理员根据实际经验设定。
在步骤S302的一种实施方式中，从主盘环中选择冷数据盘环的原则是根据所述冷数据所在的磁盘位置。具体来说可以使用几种方式选择，在一种方式中，可以计算所述主盘环包含的每个磁盘中冷数据的数据量，并根据每个磁盘中冷数据的数据量对磁盘排序，根据所述排序，选择冷数据量大的多个磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少。例如，主盘环包括20个2TB容量的磁盘，冷数据总量为2.6TB，冷数据量较大的磁盘为编号为2、5、8的磁盘，冷数据量分别为1.0TB、0.5TB以及0.3TB。则选择编号为2、5的磁盘存储总量已经达到4.0TB，最接近冷数据总量的要求，且编号为2、5的磁盘满足了最少数量的磁盘，可以组成所述冷数据盘环，其它编号的磁盘组成为热数据盘环。
在另外一种方式中，可以计算所述主盘环包含的每个磁盘中冷数据的比重，并根据每个磁盘中冷数据的比重，选择冷数据量比重满足规定的第三阈值的磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少。这里冷数据量比重定义为该磁盘的冷数据的数据量/该磁盘的总目标数据的数据量，该磁盘的总目标数据的数据量就是该磁盘使用的全部容量。或者也可以定义为该磁盘的冷数据的数据量/该磁盘的容量。例如，主盘环包括10个2TB容量的磁盘，以及10个1TB容量的磁盘，冷数据总量为2.6TB，冷数据量比重的设定阈值为50％，其中满足条件的磁盘编号依次为1、2、10、18、19，这些编号放入队列。其中编号1、2、10的磁盘存储容量为2TB，编号为18和19的磁盘储容量为1TB。则根据上述原则从队列开始进行选择，可以选择编号为1和18的磁盘、也可以选择编号为1和19的磁盘、甚至选择编号为2和18、或者2和19、或者10和18、或者10和19的磁盘，存储容量最接近冷数据总量的要求，可以组成所述冷数据盘环，其它编号的磁盘组成为热数据盘环，然后进行数据迁移。在上述众多的选择中，还可以进一步优化，例如考虑磁盘的寿命因素，选择寿命更短的磁盘加入冷数据盘环，由于冷数据的I/O操作较少，这样可以进一步提高整个系统的使用寿命。寿命因素考虑以下至少一个因素：已经发生的I/O次数以及使用的年限。例如，上述编号为1、2、10、18、19已经统计的I/O次数分别为12万、10万、14万、9万和15万次，则将其作为受命因素，最后选择编号为10和19的磁盘组成所述冷数据盘环。使用年限作为寿命因素或者使用使用年限和I/O操作次数二者的组合作为寿命因素与此相似，这里不再赘述。
也可以将每个磁盘中冷数据的数据量、每个磁盘中冷数据的比重以及磁盘的寿命因素赋予不同的权重，根据上述三个因素的综合评估结果来决定选择那些磁盘加入到冷数据盘环。这里可以有无数的变种，都在本发明的保护范围之内。
一旦确定了冷数据盘环中包含的磁盘，在主盘环中剩余的磁盘就组成了热数据盘环。
确定了冷数据盘环和热数据盘环所包含的磁盘后，就可以将不在冷数据盘环中的冷数据迁移到冷数据盘环的磁盘中，并且将不在热数据盘环的热数据迁移到热数据盘环的磁盘中。由于冷数据盘环的容量最接近于冷数据的总量，因此，冷数据盘环没有过多的空余空间，因此，在数据迁移时，先将冷数据盘环中包含的热数据迁移到热数据盘环的磁盘中，然后再将热数据盘环中的冷数据迁移到冷数据盘环的磁盘中。由于冷数据盘环的主要目的是减少能源消耗，因此，在冷数据盘环中冷数据如何放置也会影响电能的消耗，这里磁盘选择应该遵循如下原则：将所述冷数据盘环的I/O操作集中到能耗最低的磁盘。例如，能耗最低的磁盘可以是最低转速较低的磁盘。因此，在将热数据盘环中的冷数据迁移到冷数据盘环的磁盘的过程中，可以首先将所有磁盘的能耗进行排序，然后直接将每个冷数据目标迁移到冷数据盘环中能耗较低的磁盘，直至该磁盘满，再对下一个能耗较低的磁盘进行类似操作。或者选择磁盘的能耗小于某一阈值的磁盘，将冷数据目标迁移到选择的磁盘。等等。
在对热数据的迁移过程中，也可以尽可能将迁移的热数据放置在热数据盘环的能耗较低的磁盘上，从而降低系统能耗。
在步骤S304的实施方式中，可以将冷数据盘环中磁盘的速度降为该磁盘的最低速度，这样节省的能耗最多。也可以首先统计冷数据盘环中磁盘的I/O访问次数，对于I/O访问较多的磁盘降速少，对于I/O访问较少的磁盘降速多，这样，既可以减少能耗，也可以尽可能提高访问速度。
在一种实施方式中，图3所示的方法还包括步骤S305，根据设定的冷数据条件，判定所述冷数据盘环中的每个目标数据是否仍然满足冷数据条件；以及步骤S306响应于位于所述冷数据盘环中某个目标数据不再满足冷数据条件，将该不再满足冷数据条件目标数据迁移到所述热数据盘环的磁盘中。在进一步的实施方式中，图3所示的方法还包括步骤S307，根据设定的热数据条件，判定所述热数据盘环中的每个目标数据是否仍然满足热数据条件；以及步骤S308响应于位于所述热数据盘环中某个目标数据不再满足热数据条件，将该不再满足热数据条件的目标数据迁移到所述冷数据盘环的磁盘中。迁移到热数据盘环或者冷数据盘环的哪一个磁盘中，仍然依照前面给定的原则。
在一种实施方式中，图3所示的方法中，如果冷数据盘环或者热数据盘环的容量不够，可以重新运行本方法，从而重新分配冷数据盘环和热数据盘环的存储空间；也可以将冷数据盘环中存储容量最低的磁盘中的数据进行迁移，然后将该磁盘加入到热数据盘环中，等等。
在同一个发明构思下，本发明还公开了一种分布式存储系统中的磁盘管理设备，其中，所述分布式存储系统中包含多个组成主盘环的磁盘，所述多个磁盘中存储目标数据，图5示出了根据本发明一种实施方式的分布式存储系统中的磁盘管理设备的结构框图，根据图5，设备500包括：划分装置501，被配置为将目标数据分为冷数据和热数据；分组装置502，被配置为根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环，所述主盘环中的其余磁盘形成热数据盘环；第一迁移装置503，被配置为将不在所述冷数据盘环的冷数据迁移到所述冷数据盘环的磁盘中，并将不在所述热数据盘环的热数据迁移到所述热数据盘环的磁盘中；以及降速装置504，被配置为降低所述冷数据盘环中磁盘的转速。
在一种实施方式中，划分装置501被进一步配置为：使用目标数据的I/O操作次数判别该目标数据是冷数据还是热数据。
在一种实施方式中，设备500进一步包括(图5未示出)：第一判别装置，被配置为在形成冷数据盘环前，判别是否需要形成冷数据盘环。在进一步的实施方式中，第一判别装置被进一步配置为：通过判别冷数据与热数据之间的比例关系来判别是否需要形成冷数据盘环。
在一种实施方式中，设备500的分组装置502进一步包括(图5未示出)：冷数据的数据量计算装置，被配置为计算所述主盘环包含的每个磁盘中冷数据的数据量；排序装置，被配置为根据每个磁盘中冷数据的数据量对磁盘排序；以及第一选择装置，被配置为根据所述排序，选择冷数据量大的多个磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少。
在一种实施方式中，设备500的分组装置502进一步包括(图5未示出)：冷数据的比重计算装置，被配置为计算所述主盘环包含的每个磁盘中冷数据的比重；以及第二选择装置，被配置为根据每个磁盘中冷数据的比重，选择冷数据的比重满足设定的第三阈值的磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少。
在一种实施方式中，设备500的分组装置502选择形成所述冷数据盘环的磁盘时加入磁盘寿命因素。
在一种实施方式中，设备500的第一迁移装置503的磁盘选择应该遵循如下原则：将所述冷数据盘环的I/O操作集中到能耗最低的磁盘。、
在一种实施方式中，设备500还包括(图5未示出)：第二判别装置，被配置为根据设定的冷数据条件，判定所述冷数据盘环中的每个目标数据是否仍然满足冷数据条件；第二迁移装置，被配置为响应于位于所述冷数据盘环中某个目标数据不再满足冷数据条件，将该不再满足冷数据条件目标数据迁移到所述热数据盘环的磁盘中；第三判别装置，被配置为根据设定的热数据条件，判定所述热数据盘环中的每个目标数据是否仍然满足热数据条件；以及第三迁移装置，被配置为响应于位于所述热数据盘环中某个目标数据不再满足热数据条件，将该不再满足热数据条件的目标数据迁移到所述冷数据盘环的磁盘中。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Java、Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种分布式存储系统中的磁盘管理方法，其中，所述分布式存储系统中包含多个组成主盘环的磁盘，所述多个磁盘中存储目标数据，该方法包括：
将目标数据分为冷数据和热数据；
根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环，所述主盘环中的其余磁盘形成热数据盘环，该步骤包括以下方式之一：
方式1：
计算所述主盘环包含的每个磁盘中冷数据的数据量；
根据每个磁盘中冷数据的数据量对磁盘排序；以及
根据所述排序，选择冷数据量大的多个磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少；
方式2：
计算所述主盘环包含的每个磁盘中冷数据的比重；
根据每个磁盘中冷数据的比重，选择冷数据的比重满足设定的第三阈值的磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少；
将不在所述冷数据盘环的冷数据迁移到所述冷数据盘环的磁盘中，并将不在所述热数据盘环的热数据迁移到所述热数据盘环的磁盘中；以及
降低所述冷数据盘环中磁盘的转速。
2.如权利要求1所述的方法，其中所述将目标数据分为冷数据和热数据进一步包括：
使用目标数据的I/O操作次数判别该目标数据是冷数据还是热数据。
3.如权利要求1或2所述的方法，进一步包括：
在形成冷数据盘环前，判别是否需要形成冷数据盘环。
4.如权利要求3所述的方法，进一步包括：
通过判别冷数据与热数据之间的比例关系来判别是否需要形成冷数据盘环。
5.如权利要求1所述的方法，其中所述根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环进一步包括：选择形成所述冷数据盘环的磁盘时加入磁盘寿命因素。
6.根据权利要求1所述的方法，其中所述将不在冷数据盘环的冷数据迁移到冷数据盘环的磁盘中，磁盘选择应该遵循如下原则：将所述冷数据盘环的I/O操作集中到能耗最低的磁盘。
7.根据权利要求1所述的方法，其中降低所述冷数据盘环中磁盘的转速后还包括：
根据设定的冷数据条件，判定所述冷数据盘环中的每个目标数据是否仍然满足冷数据条件；
响应于位于所述冷数据盘环中某个目标数据不再满足冷数据条件，将该不再满足冷数据条件目标数据迁移到所述热数据盘环的磁盘中；
根据设定的热数据条件，判定所述热数据盘环中的每个目标数据是否仍然满足热数据条件；以及
响应于位于所述热数据盘环中某个目标数据不再满足热数据条件，将该不再满足热数据条件的目标数据迁移到所述冷数据盘环的磁盘中。
8.一种分布式存储系统中的磁盘管理设备，其中，所述分布式存储系统中包含多个组成主盘环的磁盘，所述多个磁盘中存储目标数据，该设备包括：
划分装置，被配置为将目标数据分为冷数据和热数据；
分组装置，被配置为根据所述冷数据和热数据所在的磁盘位置，将所述主盘环中的部分磁盘形成冷数据盘环，所述主盘环中的其余磁盘形成热数据盘环，该装置包括以下子设备之一：
子设备1，包括：
冷数据的数据量计算装置，被配置为计算所述主盘环包含的每个磁盘中冷数据的数据量；
排序装置，被配置为根据每个磁盘中冷数据的数据量对磁盘排序；以及
第一选择装置，被配置为根据所述排序，选择冷数据量大的多个磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少；
子设备2，包括：
冷数据的比重计算装置，被配置为计算所述主盘环包含的每个磁盘中冷数据的比重；以及
第二选择装置，被配置为根据每个磁盘中冷数据的比重，选择冷数据的比重满足设定的第三阈值的磁盘组成所述冷数据盘环，并且使得选择的多个磁盘的存储总量满足冷数据总量，并且磁盘总个数最少；
第一迁移装置，被配置为将不在所述冷数据盘环的冷数据迁移到所述冷数据盘环的磁盘中，并将不在所述热数据盘环的热数据迁移到所述热数据盘环的磁盘中；以及
降速装置，被配置为降低所述冷数据盘环中磁盘的转速。
9.如权利要求8所述的设备，其中所述划分装置被进一步配置为：
使用目标数据的I/O操作次数判别该目标数据是冷数据还是热数据。
10.如权利要求8或9所述的设备，进一步包括：
第一判别装置，被配置为在形成冷数据盘环前，判别是否需要形成冷数据盘环。
11.如权利要求10所述的设备，其中所述第一判别装置被进一步配置为：
通过判别冷数据与热数据之间的比例关系来判别是否需要形成冷数据盘环。
12.如权利要求8所述的设备，其中所述分组装置选择形成所述冷数据盘环的磁盘时加入磁盘寿命因素。
13.根据权利要求8所述的设备，其中所述第一迁移装置的磁盘选择应该遵循如下原则：将所述冷数据盘环的I/O操作集中到能耗最低的磁盘。
14.根据权利要求8所述的设备，其中还包括：
第二判别装置，被配置为根据设定的冷数据条件，判定所述冷数据盘环中的每个目标数据是否仍然满足冷数据条件；以及
第二迁移装置，被配置为响应于位于所述冷数据盘环中某个目标数据不再满足冷数据条件，将该不再满足冷数据条件目标数据迁移到所述热数据盘环的磁盘中；
第三判别装置，被配置为根据设定的热数据条件，判定所述热数据盘环中的每个目标数据是否仍然满足热数据条件；
第三迁移装置，被配置为响应于位于所述热数据盘环中某个目标数据不再满足热数据条件，将该不再满足热数据条件的目标数据迁移到所述冷数据盘环的磁盘中。
CN201410708705.9A 2014-11-28 2014-11-28 分布式存储系统中的磁盘管理方法和设备 Active CN105701028B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410708705.9A CN105701028B (zh) 2014-11-28 2014-11-28 分布式存储系统中的磁盘管理方法和设备
US14/867,042 US9875050B2 (en) 2014-11-28 2015-09-28 Disk management in distributed storage system including grouping disks into cold and hot data disk rings and reducing a spinning rate of disks storing cold data
US15/829,210 US10216440B2 (en) 2014-11-28 2017-12-01 Disk management in distributed storage system including grouping disks into cold and hot data disk rings and reducing a spinning rate of disks storing cold data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410708705.9A CN105701028B (zh) 2014-11-28 2014-11-28 分布式存储系统中的磁盘管理方法和设备

Publications (2)

Publication Number Publication Date
CN105701028A CN105701028A (zh) 2016-06-22
CN105701028B true CN105701028B (zh) 2018-10-09

Family

ID=56079249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410708705.9A Active CN105701028B (zh) 2014-11-28 2014-11-28 分布式存储系统中的磁盘管理方法和设备

Country Status (2)

Country Link
US (2) US9875050B2 (zh)
CN (1) CN105701028B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701028B (zh) * 2014-11-28 2018-10-09 国际商业机器公司 分布式存储系统中的磁盘管理方法和设备
CN107783720A (zh) * 2016-08-24 2018-03-09 深圳市深信服电子科技有限公司 一种数据均衡方法及存储设备
CN107870726A (zh) * 2016-09-26 2018-04-03 北京优朋普乐科技有限公司 基于冗余机制的数据存储方法和装置、服务器
CN106775467A (zh) * 2016-12-06 2017-05-31 郑州云海信息技术有限公司 一种基于自动分层技术热度统计数据的存储系统优化方法
KR102007810B1 (ko) * 2017-07-28 2019-08-07 네이버 주식회사 저장 장치의 개별 제어를 위한 데이터의 배치 및 복구
US10877898B2 (en) 2017-11-16 2020-12-29 Alibaba Group Holding Limited Method and system for enhancing flash translation layer mapping flexibility for performance and lifespan improvements
US10496548B2 (en) 2018-02-07 2019-12-03 Alibaba Group Holding Limited Method and system for user-space storage I/O stack with user-space flash translation layer
TWI672647B (zh) * 2018-03-20 2019-09-21 緯穎科技服務股份有限公司 管理方法及其相關儲存系統
WO2019222958A1 (en) 2018-05-24 2019-11-28 Alibaba Group Holding Limited System and method for flash storage management using multiple open page stripes
CN110543279B (zh) * 2018-05-29 2023-08-04 杭州海康威视数字技术股份有限公司 一种数据存储、处理方法、装置及系统
CN111902804B (zh) 2018-06-25 2024-03-01 阿里巴巴集团控股有限公司 用于管理存储设备的资源并量化i/o请求成本的系统和方法
US10921992B2 (en) 2018-06-25 2021-02-16 Alibaba Group Holding Limited Method and system for data placement in a hard disk drive based on access frequency for improved IOPS and utilization efficiency
US10996886B2 (en) 2018-08-02 2021-05-04 Alibaba Group Holding Limited Method and system for facilitating atomicity and latency assurance on variable sized I/O
US11327929B2 (en) 2018-09-17 2022-05-10 Alibaba Group Holding Limited Method and system for reduced data movement compression using in-storage computing and a customized file system
US11010410B1 (en) * 2018-10-12 2021-05-18 Facebook, Inc. Processing data groupings belonging to data grouping containers
CN111104048B (zh) * 2018-10-26 2021-02-12 华为技术有限公司 一种数据处理方法及分布式存储系统
CN109542352B (zh) * 2018-11-22 2020-05-08 北京百度网讯科技有限公司 用于存储数据的方法和装置
US10977122B2 (en) 2018-12-31 2021-04-13 Alibaba Group Holding Limited System and method for facilitating differentiated error correction in high-density flash devices
US11061735B2 (en) 2019-01-02 2021-07-13 Alibaba Group Holding Limited System and method for offloading computation to storage nodes in distributed system
US11132291B2 (en) 2019-01-04 2021-09-28 Alibaba Group Holding Limited System and method of FPGA-executed flash translation layer in multiple solid state drives
US11200337B2 (en) 2019-02-11 2021-12-14 Alibaba Group Holding Limited System and method for user data isolation
US10970212B2 (en) * 2019-02-15 2021-04-06 Alibaba Group Holding Limited Method and system for facilitating a distributed storage system with a total cost of ownership reduction for multiple available zones
US11061834B2 (en) 2019-02-26 2021-07-13 Alibaba Group Holding Limited Method and system for facilitating an improved storage system by decoupling the controller from the storage medium
US10891065B2 (en) 2019-04-01 2021-01-12 Alibaba Group Holding Limited Method and system for online conversion of bad blocks for improvement of performance and longevity in a solid state drive
US10922234B2 (en) 2019-04-11 2021-02-16 Alibaba Group Holding Limited Method and system for online recovery of logical-to-physical mapping table affected by noise sources in a solid state drive
US10908960B2 (en) 2019-04-16 2021-02-02 Alibaba Group Holding Limited Resource allocation based on comprehensive I/O monitoring in a distributed storage system
US11169873B2 (en) 2019-05-21 2021-11-09 Alibaba Group Holding Limited Method and system for extending lifespan and enhancing throughput in a high-density solid state drive
CN110262758B (zh) * 2019-06-28 2023-07-14 深信服科技股份有限公司 一种数据存储管理方法、系统及相关设备
US10860223B1 (en) 2019-07-18 2020-12-08 Alibaba Group Holding Limited Method and system for enhancing a distributed storage system by decoupling computation and network tasks
US11074124B2 (en) 2019-07-23 2021-07-27 Alibaba Group Holding Limited Method and system for enhancing throughput of big data analysis in a NAND-based read source storage
US11617282B2 (en) 2019-10-01 2023-03-28 Alibaba Group Holding Limited System and method for reshaping power budget of cabinet to facilitate improved deployment density of servers
US11126561B2 (en) 2019-10-01 2021-09-21 Alibaba Group Holding Limited Method and system for organizing NAND blocks and placing data to facilitate high-throughput for random writes in a solid state drive
US11449455B2 (en) 2020-01-15 2022-09-20 Alibaba Group Holding Limited Method and system for facilitating a high-capacity object storage system with configuration agility and mixed deployment flexibility
US11150986B2 (en) 2020-02-26 2021-10-19 Alibaba Group Holding Limited Efficient compaction on log-structured distributed file system using erasure coding for resource consumption reduction
US11200114B2 (en) 2020-03-17 2021-12-14 Alibaba Group Holding Limited System and method for facilitating elastic error correction code in memory
US11385833B2 (en) 2020-04-20 2022-07-12 Alibaba Group Holding Limited Method and system for facilitating a light-weight garbage collection with a reduced utilization of resources
US11281575B2 (en) 2020-05-11 2022-03-22 Alibaba Group Holding Limited Method and system for facilitating data placement and control of physical addresses with multi-queue I/O blocks
US11461262B2 (en) 2020-05-13 2022-10-04 Alibaba Group Holding Limited Method and system for facilitating a converged computation and storage node in a distributed storage system
US11494115B2 (en) 2020-05-13 2022-11-08 Alibaba Group Holding Limited System method for facilitating memory media as file storage device based on real-time hashing by performing integrity check with a cyclical redundancy check (CRC)
US11218165B2 (en) 2020-05-15 2022-01-04 Alibaba Group Holding Limited Memory-mapped two-dimensional error correction code for multi-bit error tolerance in DRAM
US11556277B2 (en) 2020-05-19 2023-01-17 Alibaba Group Holding Limited System and method for facilitating improved performance in ordering key-value storage with input/output stack simplification
US11507499B2 (en) 2020-05-19 2022-11-22 Alibaba Group Holding Limited System and method for facilitating mitigation of read/write amplification in data compression
US11263132B2 (en) 2020-06-11 2022-03-01 Alibaba Group Holding Limited Method and system for facilitating log-structure data organization
US11422931B2 (en) 2020-06-17 2022-08-23 Alibaba Group Holding Limited Method and system for facilitating a physically isolated storage unit for multi-tenancy virtualization
US11354200B2 (en) 2020-06-17 2022-06-07 Alibaba Group Holding Limited Method and system for facilitating data recovery and version rollback in a storage device
US11354233B2 (en) 2020-07-27 2022-06-07 Alibaba Group Holding Limited Method and system for facilitating fast crash recovery in a storage device
CN111859703B (zh) * 2020-07-30 2022-05-10 暨南大学 一种基于热量感知的数据中心节能数据副本放置方法
US11372774B2 (en) 2020-08-24 2022-06-28 Alibaba Group Holding Limited Method and system for a solid state drive with on-chip memory integration
US11487465B2 (en) 2020-12-11 2022-11-01 Alibaba Group Holding Limited Method and system for a local storage engine collaborating with a solid state drive controller
US11734115B2 (en) 2020-12-28 2023-08-22 Alibaba Group Holding Limited Method and system for facilitating write latency reduction in a queue depth of one scenario
US11416365B2 (en) 2020-12-30 2022-08-16 Alibaba Group Holding Limited Method and system for open NAND block detection and correction in an open-channel SSD
CN112817543B (zh) * 2021-02-24 2023-06-02 浙江大华技术股份有限公司 一种数据存储方法、系统、装置、设备及介质
CN113031859B (zh) * 2021-02-25 2023-01-10 山东英信计算机技术有限公司 一种硬盘高温掉盘防护方法、系统及介质
US11726699B2 (en) 2021-03-30 2023-08-15 Alibaba Singapore Holding Private Limited Method and system for facilitating multi-stream sequential read performance improvement with reduced read amplification
US11461173B1 (en) 2021-04-21 2022-10-04 Alibaba Singapore Holding Private Limited Method and system for facilitating efficient data compression based on error correction code and reorganization of data placement
US11476874B1 (en) 2021-05-14 2022-10-18 Alibaba Singapore Holding Private Limited Method and system for facilitating a storage server with hybrid memory for journaling and data storage
CN116974467A (zh) * 2023-06-20 2023-10-31 杭州拓数派科技发展有限公司 数据缓存处理方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666538A (en) * 1995-06-07 1997-09-09 Ast Research, Inc. Disk power manager for network servers
CN101751234A (zh) * 2010-01-21 2010-06-23 浪潮(北京)电子信息产业有限公司 一种磁盘阵列数据分布方法及系统
CN103616944A (zh) * 2013-10-18 2014-03-05 杭州电子科技大学 云存储系统中基于预判性绿色数据分类策略的降耗方法
US8745327B1 (en) * 2011-06-24 2014-06-03 Emc Corporation Methods, systems, and computer readable medium for controlling prioritization of tiering and spin down features in a data storage system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020199129A1 (en) * 2001-06-21 2002-12-26 International Business Machines Corp. Data storage on a computer disk array
US7467274B2 (en) * 2001-12-31 2008-12-16 Hewlett-Packard Development Company, L.P. Method to increase the life span of limited cycle read/write media
WO2006037091A2 (en) * 2004-09-28 2006-04-06 Storagedna, Inc. Managing disk storage media
US7062624B2 (en) 2004-09-29 2006-06-13 Hitachi, Ltd. Method for managing volume groups considering storage tiers
GB0614515D0 (en) 2006-07-21 2006-08-30 Ibm An apparatus for managing power-consumption
US8935366B2 (en) 2009-04-24 2015-01-13 Microsoft Corporation Hybrid distributed and cloud backup architecture
CN101587453B (zh) * 2009-06-18 2012-01-04 成都市华为赛门铁克科技有限公司 数据备份处理方法、数据存储节点设备及数据存储装置
US8793308B2 (en) 2010-05-04 2014-07-29 Dell Products L.P. Systems and methods for managing storage for client workloads
US8345489B2 (en) 2010-09-02 2013-01-01 International Business Machines Corporation Caching scheme synergy for extent migration between tiers of a storage system
US9594421B2 (en) * 2011-03-08 2017-03-14 Xyratex Technology Limited Power management in a multi-device storage array
US8538926B2 (en) 2011-03-08 2013-09-17 Rackspace Us, Inc. Massively scalable object storage system for storing object replicas
CN103365781B (zh) * 2012-03-29 2016-05-04 国际商业机器公司 用于动态地重新配置存储系统的方法和设备
US9703500B2 (en) 2012-04-25 2017-07-11 International Business Machines Corporation Reducing power consumption by migration of data within a tiered storage system
US9542125B1 (en) 2012-09-25 2017-01-10 EMC IP Holding Company LLC Managing data relocation in storage systems
US8868954B1 (en) 2013-05-21 2014-10-21 Microsoft Corporation Low cost storage for rarely read data
EP3905052A1 (en) * 2013-06-29 2021-11-03 Huawei Technologies Co., Ltd. Method, apparatus, and controller for managing storage array
US20150356125A1 (en) 2014-06-06 2015-12-10 Plexistor Ltd. Method for data placement based on a file level operation
CN105701028B (zh) * 2014-11-28 2018-10-09 国际商业机器公司 分布式存储系统中的磁盘管理方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666538A (en) * 1995-06-07 1997-09-09 Ast Research, Inc. Disk power manager for network servers
CN101751234A (zh) * 2010-01-21 2010-06-23 浪潮(北京)电子信息产业有限公司 一种磁盘阵列数据分布方法及系统
US8745327B1 (en) * 2011-06-24 2014-06-03 Emc Corporation Methods, systems, and computer readable medium for controlling prioritization of tiering and spin down features in a data storage system
CN103616944A (zh) * 2013-10-18 2014-03-05 杭州电子科技大学 云存储系统中基于预判性绿色数据分类策略的降耗方法

Also Published As

Publication number Publication date
CN105701028A (zh) 2016-06-22
US9875050B2 (en) 2018-01-23
US20160154601A1 (en) 2016-06-02
US10216440B2 (en) 2019-02-26
US20180081578A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN105701028B (zh) 分布式存储系统中的磁盘管理方法和设备
CN105511957B (zh) 用于生成作业告警的方法和系统
CN104516678B (zh) 用于数据存储的方法和设备
TWI745623B (zh) 模型整合方法及裝置
CN105264482B (zh) 对很少读取的数据的低成本存储
TW201928708A (zh) 模型整合方法及裝置
CN106406759B (zh) 一种数据存储方法及装置
CN105335411A (zh) 用于数据处理的方法和系统
CN104216662B (zh) 用于跨远程复制关系的卷布置的方法和系统
US10504037B1 (en) Systems and methods for automated document review and quality control
CN103677998A (zh) 虚拟化计算环境中的资源分配方法和系统
JP2022533690A (ja) 映画成功指数の予測
CN108228649A (zh) 用于数据访问的方法和设备
CN109491616A (zh) 数据的存储方法和设备
CN107862031A (zh) 业务处理方法、装置和服务器
US9355481B2 (en) Dynamic visualization for optimization processes
WO2022193872A1 (zh) 空间关系的确定方法、装置、计算机设备及存储介质
US9965503B2 (en) Data cube generation
CN107451271A (zh) 一种哈希表处理方法、装置、设备及存储介质
US10313457B2 (en) Collaborative filtering in directed graph
CN108306912A (zh) 虚拟网络功能管理方法及其装置、网络功能虚拟化系统
CN106537323A (zh) 存储设备访问调解
US11694370B2 (en) Using a predictive model to determine virtual usages of storage spaces in a storage infrastructure
US20140129636A1 (en) Method and apparatus for visualizing social network elements
CN105373561B (zh) 识别非关系数据库中的记录模式的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant