CN105739909A - 分布式存储系统中基于时间的数据放置方法和装置 - Google Patents

分布式存储系统中基于时间的数据放置方法和装置 Download PDF

Info

Publication number
CN105739909A
CN105739909A CN201410759422.7A CN201410759422A CN105739909A CN 105739909 A CN105739909 A CN 105739909A CN 201410759422 A CN201410759422 A CN 201410759422A CN 105739909 A CN105739909 A CN 105739909A
Authority
CN
China
Prior art keywords
user
memory node
time
subset
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410759422.7A
Other languages
English (en)
Inventor
冯宽
徐晟�
张俊伟
桂浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to CN201410759422.7A priority Critical patent/CN105739909A/zh
Priority to US14/959,021 priority patent/US11057465B2/en
Publication of CN105739909A publication Critical patent/CN105739909A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Mining & Analysis (AREA)

Abstract

公开了一种分布式存储系统中基于时间的数据放置方法和装置，所述分布式存储系统包括用于存储用户数据的多个存储节点，至少一个用户中的每个用户被分配用于存储其用户数据的存储节点子集，该方法包括：监视和记录存储节点上的用户访问；根据所记录的用户访问计算用户对其存储节点子集中的各存储节点的基于时间的访问模式，以及在所述分布式存储系统中的每个存储节点的基于时间的访问模式；以及根据用户的基于时间的访问模式以及每个存储节点的基于时间的访问模式调整用户的存储节点子集，以减轻I/O热点。

Description

分布式存储系统中基于时间的数据放置方法和装置
技术领域
本发明涉及计算机领域，具体涉及分布式存储系统，更具体涉及一种分布式存储系统中基于时间的数据放置方法和装置。
背景技术
横向扩展(scaleout)或分布式存储系统是在现代数据爆炸时代用于海量数据存储的一种新兴存储技术。分布式存储系统具有如下特点：它是基于商品硬件的；它使用每个节点内部的磁盘而不是外部磁盘阵列；它可以横向扩展到巨大的容量，例如跨地理空间分布的数万或数十万个节点；它具有与存储系统集成的基于丰富角色的访问控制。分布式存储系统中的通常的数据放置方法是使用散列或相似算法将数据的特定特征映射为存储地址，从而将数据分布在整个系统的存储节点上。分布式存储系统的例子有OpenStack/Swift、HDFS、GPFS、Ceph等。
与分布式存储系统结合的大数据分析应用将计算推送到数据/存储节点上，其中计算基础设施与存储系统并存以用于第一轮处理；数据被均匀地存储在系统中，并被猝发地读取，数据访问具有时间模式。
这种通常的数据放置方法没有考虑到数据的潜在使用，没有考虑到各种数据访问要求，不能有效地平均I/O，从而当系统使用率很高时可能导致I/O热点。尽管存在一些现有技术，诸如US8127076B2，其试图通过基于存储节点的资源状态放置数据来解决这个问题，但该方法并不够智能以反映时间轴上的资源使用，因此并不能有效地使用所有I/O带宽。
这种数据放置方法的另一个问题是使用整个存储系统，而不能保证一定程度的数据聚焦，数据过于离散，特别是对于在现有的巨大系统上开始新的数据集的情况。在这种情况中，分析系统将计算二进制文件分布在所有存储节点的成本超过于可获得的益处。
因此，本领域中需要一种能够克服现有技术的缺点的、改进的分布式存储系统中的数据放置解决方案。
发明内容
在本发明的一个方面，提供了一种分布式存储系统中基于时间的数据放置方法，所述分布式存储系统包括用于存储用户数据的多个存储节点，至少一个用户中的每个用户被分配用于存储其用户数据的存储节点子集，该方法包括：监视和记录存储节点上的用户访问；根据所记录的用户访问计算用户的基于时间的访问模式，以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式；以及根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集，以减轻I/O热点。
在本发明的另一个方面，提供了一种分布式存储系统中基于时间的数据放置装置，所述分布式存储系统包括用于存储用户数据的多个存储节点，至少一个用户中的每个用户被分配用于存储其用户数据的存储节点子集，该装置包括：监视模块，被配置为监视和记录存储节点上的用户访问；用户访问模式计算模块，被配置为根据所记录的用户访问计算用户的基于时间的访问模式；存储节点访问模式计算模块，被配置为根据所记录的访问计算所述分布式存储系统中该用户的存储节点子集之外的的存储节点的基于时间的访问模式；以及存储节点子集调整模块，被配置为根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集，以减轻I/O热点。
本发明通过在分布式存储系统中为不同用户分配存储节点子集，可使用户数据适当地保持聚集。同时，通过监视和记录用户对各存储节点的访问，并计算和利用每个用户的基于时间的访问模式以及存储节点的基于时间的访问模式，可将合适的存储节点添加到用户的存储节点子集，从而避免可能的I/O热点的发生。此外，根据本发明的实施例的装置对分布式存储系统的影响和改变很小。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1以Swift为例示出了根据本发明的实施例的分布式存储系统中基于时间的数据放置装置可在其中实施的分布式存储系统；
图2示出了根据本发明的实施例的一种分布式存储系统中基于时间的数据放置装置；
图3示出了根据本发明的实施例由ATP单元构成用户ATP及存储节点ATP的示意图；
图4示出了根据本发明的实施例由存储节点子集调整模块执行的上述存储节点子集扩展过程的示意性流程图；
图5示出了根据本发明的实施例的一种分布式存储系统中基于时间的数据放置方法；以及
图6示出了适于用来实现本发明实施方式的示例性计算机系统/服务器的框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
现参照图1，其以Swift为例示出了根据本发明的实施例的分布式存储系统中基于时间的数据放置装置可在其中实施的分布式存储系统。如图1所示，该存储访问系统包括代理层、若干存储节点以及将两者连接起来的私有网络。代理层面向外界，用于验证I/O访问请求，并使用环(Ring)将其转发到适当的存储节点。环是一个数组，其基于请求的URI将请求映射到存储节点上的分区(partition)。存储节点存储、提供和管理基于环分区的数据和元数据。存储节点可被划分为区域(zone)。如本领域的技术人员可知的，以上所述仅是本发明的装置可在其中实施的分布式存储系统的示例，本发明的装置也可以在具有任何其他结构的分布式存储系统中实施。
在现有的分布式存储系统中，每个用户(人类用户或应用)的用户数据是在整个系统的全部存储节点中分布的，缺乏适当的数据聚集。本发明的实施例将巨大的分布式存储系统划分为用于每个用户的相对小的子系统(存储节点子集)。这样，数据可被适当地聚集以用于计算目的。定义子系统的方式可遵循系统原有的准则，这样可以保持并行访问的可用性和性能优点。例如，在图1中，以方框示出了某一用户的存储节点子集。应当注意的是，不同用户的存储节点子集是可以重叠或部分重叠的，也就是说，一个存储节点可用于多个用户。
现参照图2，其示出了根据本发明的实施例的一种分布式存储系统中基于时间的数据放置装置200。所述分布式存储系统包括用于存储用户数据的多个存储节点，至少一个用户中的每个用户被分配用于存储其用户数据的存储节点子集。如图所示，该装置200包括：监视模块201，用户访问模式计算模块202，存储节点访问模式计算模块203，以及存储节点子集调整模块204。
所述监视模块201可被配置为监视和记录存储节点上的用户访问。监视模块201可以位于分布式存储系统的每个存储节点上，并监视和记录所有用户对该存储节点的访问。具体地，监视模块201可以监视并记录在一个时间周期(例如一年)中的每个单位时间(例如每月每天的每个小时)中的每个用户对该存储节点的访问数。例如，可记录用户1：250个访问，7月1日10:00-11:00时。这样，监视模块201可将每个用户对该存储节点的访问数记录在一数据结构中，例如记录在12(月)×31(天)×24(小时)的三维数组中，该数组的每个元素为相应小时内该用户对该存储节点的访问数。该数据结构可称为访问时间模式(AccessTimePattern,ATP)单元。监视模块201可将每个存储节点上每个用户的ATP单元记录在该存储节点上，并可将其发送给所述用户访问模式计算模块202和存储节点访问计算模块203。
所述用户访问模式计算模块202被配置为根据所记录的用户访问计算用户的基于时间的访问模式。用户访问模式计算模块202可位于与各存储节点相连的一中央位置，例如位于分布式存储系统的代理节点或管理节点上。
具体地，用户访问模式计算模块202可接收来自各个存储节点的每个用户的ATP单元，并针对每个用户，将其来自各个存储节点ATP单元相加，即将各个ATP单元的对应单位时间中的访问数分别相加，从而获得该用户的用户ATP，其反映了该用户在一个时间周期中的每个单位时间中对其存储节点子集的总的访问数。用户的用户ATP可以与分配给用户的存储节点子集中的存储节点列表一起构成该用户的用户简档(userprofile)。用户简档可在用户被添加到分布式存储系统中时被创建，可在创建或更新用户的用户ATP时被更新，并可在用户从分布式存储系统被移除时被删除。用户简档可利用分布式存储系统的现有机制来实现。例如，对于OpenStack/Swift，可以利用存储策略(StoragePolicy)来实现；对于HDFS，可以利用名称节点联合(NameNodeFederation)来实现。
所述存储节点访问模式计算模块203可被配置为根据所记录的用户访问计算所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式(即在该存储节点具有数据的所有用户对该存储节点的访问的基于时间的访问模块)。存储节点访问模式计算模块203可以位于每个存储节点上，并可进一步地并入所述监视模块201中；或者，存储节点访问模式计算模块203也可以位于与各存储节点相连的一中央位置，例如位于分布式存储系统的代理节点或管理节点上。
具体地，存储节点访问模式计算模块203可以将一存储节点上所有用户的ATP单元相加，即将各个用户的ATP单元的对应单位时间中的访问数分别相加，从而获得该存储节点的存储节点ATP，其反映了该存储节点上在一个时间周期中的每个单位时间中各用户的访问数的总和。一存储节点的存储节点ATP可以与在该存储节点上具有数据的所有用户的列表一起构成该存储节点的存储节点简档(storagenodeprofile)。存储节点简档可在节点被添加到分布式存储系统时被创建，可在用户被添加到该节点或从该节点移除时以及在更新存储节点ATP时被更新，并可在该节点从分布式存储系统被移除时被删除。存储节点简挡可以是被添加到每个存储节点上的新的数据结构。
图3示出了根据本发明的实施例由ATP单元构成用户ATP及存储节点ATP的示意图。如图所示，ATP单元记录了一个用户在一个存储节点上在一个时间周期(例如一年)中的每个单位时间(例如一天)中的访问数。对于用户C来说，将其在各个节点节点1－节点n上的全部ATP单元相加(即将每个ATP单元在对应单位时间内的访问数相加)，即可获得用户C的用户ATP。而对于节点节点1来说，将其上所有用户的ATP单元相加，即可获得节点1的节点ATP。
现返回图1，所述存储节点子集调整模块204可被配置为根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集，以减轻I/O热点。存储节点子集调整模块204可以利用分布式存储系统的已有机制将若干新的存储节点添加到用户的存储节点子集，从而调整用户的存储节点子集。存储节点子集调整模块204可位于分布式存储系统的代理节点或管理节点上。
根据本发明的实施例，所述监视模块201还被配置为监视存储节点上一用户的用户数据是否达到预定的用户使用量阈值；且其中，所述存储节点子集调整模块204进一步被配置为响应于监视到存储节点上一用户的用户数据达到预定的用户使用量阈值，调整该用户的存储节点子集。所述预定的用户使用量阈值可由本发明的装置默认或由本发明的装置的使用者预先指定，其用于限定分布式存储系统的每个用户可以在存储节点上存储的用户数据量或用户数据量占存储空间的比例。例如，可以指定用户使用量阈值为20G或10％，这样，当监视模块201监视到一用户的用户数据在存储节点上达到10G或存储空间的10％时，监视模块201可向存储节点子集调整模块204发送调整请求，以触发存储节点子集调整模块204调整该用户的存储节点子集，例如向该用户的存储节点子集添加若干存储节点，从而扩展该用户的存储节点子集。
根据本发明的实施例，附加地或替代地，所述监视模块201还被配置为监视单位时间中对一存储节点的访问是否达到存储节点的预定I/O上限；且其中，所述存储节点子集调整模块204进一步被配置为响应于监视到单位时间中对一存储节点的访问达到预定I/O上限，调整在该存储节点上具有用户数据的各用户的存储节点子集。所述预定I/O上限可由本发明的装置默认或由本发明的装置的使用者预先指定，其用于限定分布式存储系统的一个存储节点在单位时间中可接收的最大访问量。例如，可以指定一存储节点的I/O上限为每小时1万次访问，这样，当监视模块201监视到一存储节点在某个小时的访问数达到1万时，监视模块201可向存储节点子集调整模块204发送调整请求，以触发存储节点子集调整模块204调整在该存储节点上具有用户数据的所有用户的存储节点子集，例如向其中每个用户的存储节点子集添加一个或多个存储节点，从而扩展每个用户的存储节点子集。
根据本发明的实施例，所述存储节点子集调整模块204包括：
访问数相容判断子模块，被配置为判断该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数与所述存储节点的基于时间的访问模式中各用户对该存储节点在该时间周期中的每个单位时间中的访问数是否相容；以及
候选存储节点确定子模块，被配置为响应于判断所述访问数相容，确定该存储节点为能够向该用户的存储节点子集添加的候选存储节点。
根据本发明的进一步的实施例，所述存储节点子集调整模块204进一步被配置为：从被确定为能够向该用户的存储节点子集添加的候选存储节点中选择特定数量的存储节点，作为将向该用户的存储节点子集添加的存储节点，所述特定数量例如为一固定数量，或者更优选地，为该用户的存储节点子集中的存储节点数量的预定比例。所述预定比例可以由本发明的装置默认或者由本发明的装置的使用者指定。例如，如果所述预定比例为100％，则每一次调整将使用户的存储节点子集加倍。这样做，可以减少存储节点子集调整的次数，并减少存储节点子集调整所带来的数据移动量。
根据本发明的进一步的实施例，所述访问数相容判断子模块包括：
用于将该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数除以该用户的存储节点子集中的存储节点数，获得该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数的装置；
用于将该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数与所述存储节点的基于时间的访问模式中各用户(即在该存储节点上具有用户数据的各用户)对该存储节点在该时间周期中的每个单位时间中的访问数分别相加的装置；
用于判断在该时间周期中的每个单位时间中，该用户的所述预期访问数与所述各用户对该存储节点的访问数之和是否低于该存储节点的预定I/O上限的装置。如果低于所述预定I/O上限，则表明两者相容，从而可确定该存储节点为能够向该用户的存储节点子集添加的候选存储节点。
图4示出了根据本发明的实施例由存储节点子集调整模块204执行的上述存储节点子集扩展过程的示意性流程图。
如图4所示，在步骤401，通过将用户的用户ATP除以用户的存储节点子集中的存储节点的数量获得用户的预期ATP，该预期ATP包括了该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数。
在步骤402，选择下一个存储节点。例如，可以从分布式存储系统中除该用户的存储节点子集中的存储节点之外的其余存储节点中任意选择一个存储节点。
在步骤403，将该存储节点的存储节点ATP与用户的预期ATP相加，获得该存储节点的预期ATP。也就是说，将该存储节点ATP中的每个单位时间中的访问数与用户的预期ATP中的对应单位时间中的访问数分别相加，从而获得该存储节点的预期ATP。
在步骤404，判断该存储节点的预期ATP是否低于预定I/O上限。也就是说，判断该预期ATP中的每个时间单位中的数值是否均低于预定I/O上限。如果该判断为否，则返回步骤402，选择下一个存储节点。如果该步骤为是，则转到步骤405。
在步骤405，响应于该预期ATP低于预定I/O上限，将该存储节点添加到存储节点子集待选列表。
在步骤406，判断存储节点子集待选列表中是否已包含足够的存储节点。也就是说，判断存储节点子集待选列表中包括的存储节点数是否达到上述特定数量，例如所述预定比例。如果该步骤为否，则返回步骤402，选择下一个存储节点。如果该步骤为是，则转到步骤407。
在步骤407，将存储节点子集待选列表中的存储节点添加到该用户的存储节点子集。具体地，可将这些存储节点的列表添加到该用户的用户简档，并利用分布式存储系统中现有的机制来将这些存储节点添加到该用户的存储节点子集。
作为对本发明的装置的进一步的改进，所述监视模块201还被配置为监视该存储节点中存储的用户数据量是否达到预定有效性阈值，且所述访问数相容判断子模块还被配置为：响应于监视到该存储节点中存储的用户数据量未达到预定有效性阈值，将该存储节点的各用户在每个单位时间中对单个存储节点的预期访问数作为各用户在每个单位时间中对该存储节点的访问数。该改进是针对新的存储节点刚被添加分布式存储系统的情况，此时该存储节点中只存储有很少的用户数据，相应地，用户对该存储节点的访问数也较少，因此该存储节点的存储节点ATP并不能真实地反映各用户的潜在访问数量，因此访问数相容判断子模块不能简单地将该用户的预期ATP与该存储节点的ATP相加来判断是否低于预定I/O上限，而是需要首先将该存储节点上各用户的预期ATP之和作为该存储节点的ATP，代替该存储节点的实际ATP，然后再将其与该用户的ATP相加来判断是否低于预定I/O上限，以确定该存储节点是否属于能够向该用户的存储节点子集添加的候选存储节点。所述预定有效性阈值可以指定为一固定值或存储节点存储空间的比例，例如1G或10％。通过使用有效性阈值，可以使存储节点ATP更为准确，从而改善了本发明的装置的性能。
以上参照附图描述了根据本发明的实施例的分布式存储系统中基于时间的数据放置装置。应指出的是，以上描述仅为示例，而不是对本发明的限制。在本发明的其他实施例中，该系统可具有更多、更少或不同的模块，且各模块之间的连接、包含和功能等关系可以与所描述和图示的不同。
现参照图5，其示出了根据本发明的实施例的一种分布式存储系统中基于时间的数据放置方法，所述分布式存储系统包括用于存储用户数据的多个存储节点，至少一个用户中的每个用户被分配用于存储其用户数据的存储节点子集。如图5所示，该方法包括以下步骤：
在步骤501，监视和记录存储节点上的用户访问。
在步骤502，根据所记录的用户访问计算用户的基于时间的访问模式，以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式。
在步骤503，根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外存储节点的基于时间的访问模式调整用户的存储节点子集，以减轻I/O热点。
根据本发明的实施例，所述计算用户的基于时间的访问模式包括：将用户对其存储节点子集中的各个存储节点在一个时间周期中的每个单位时间中的访问数分别相加，从而得到该用户的基于时间的访问模式；以及
所述计算分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式包括：将所述至少一个用户中的各用户对该存储节点在一个时间周期中的每个单位时间中的访问数分别相加，从而得到该存储节点的基于时间的访问模式。
根据本发明的实施例，所述根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外存储节点的基于时间的访问模式调整用户的存储节点子集包括：
判断该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数与该存储节点的基于时间的访问模式中各用户对该存储节点在该时间周期中的每个单位时间中的访问数是否相容；以及
响应于判断所述访问数相容，确定该存储节点为能够向该用户的存储节点子集添加的候选存储节点。
根据本发明的实施例，判断所述访问数是否相容包括：
将该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数除以该用户的存储节点子集中的存储节点数，获得该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数；
将该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数与该存储节点的基于时间的访问模式中各用户对该存储节点在该时间周期中的每个单位时间中的访问数分别相加；
判断在该时间周期中的每个单位时间中，该用户的所述预期访问数与所述各用户的访问数之和是否低于该存储节点的预定I/O上限。
根据本发明的实施例，该方法还包括以下步骤：监视该存储节点中存储的用户数据量是否达到预定有效性阈值；且其中，判断所述访问数是否相容包括：响应于监视到该存储节点中存储的用户数据量未达到预定有效性阈值，将该存储节点的各用户在每个单位时间中对单个存储节点的预期访问数作为各用户在每个单位时间中对该存储节点的访问数。
根据本发明的实施例，所述根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集还包括：
从被确定为能够向该用户的存储节点子集添加的候选存储节点中选择特定数量的存储节点，作为将向该用户的存储节点子集添加的存储节点，所述特定数量为该用户的存储节点子集中的存储节点数量的预定比例。
根据本发明的实施例，该方法还包括以下步骤：
监视存储节点上用户的用户数据是否达到预定的用户使用量阈值；
且其中，所述调整用户的存储节点子集包括：响应于监视到存储节点上一用户的用户数据达到预定的用户使用量阈值，调整该用户的存储节点子集。
根据本发明的实施例，该方法还包括以下步骤：
监视单位时间中对存储节点的访问是否达到存储节点的预定I/O上限；
且其中，所述调整用户的存储节点子集包括：响应于监视到单位时间中对存储节点的访问达到存储节点的预定I/O上限，调整在该存储节点上具有用户数据的各用户的存储节点子集。
以上参照附图描述了根据本发明的实施例的分布式存储系统中基于时间的数据放置方法。应指出的是，以上描述仅为示例，而不是对本发明的限制。在本发明的其他实施例中，该方法可具有更多、更少或不同的步骤，且各步骤之间的顺序、包含和功能等关系可以与所描述和图示的不同。
本发明的解决方案通过在分布式存储系统中为不同用户分配存储节点子集，可使用户数据适当地保持聚集。同时，通过监视和记录用户对各存储节点的访问，并创建并利用反映每个用户在特定时间周期中的每个单位时间的对各存储节点的访问数的用户ATP，以及反映在每个存储节点上各用户在每个单位时间的访问数的存储节点ATP，可将合适的存储节点添加到用户的存储节点子集，从而避免可能的I/O热点的发生。此外，根据本发明的实施例，只需要在分布式存储系统的每个存储节点处安装监视模块201，在代理节点或管理节点处安装用户访问模式计算模块202、存储节点访问模式计算模块203和存储节点子集调整模块204；为用户建立和调整存储节点子集都利用分布式存储系统的现有机制来完成；ATP单元、用户ATP、存储节点ATP的容量足迹很小；监视模块的I/O足迹也很小。因此，根据本发明的实施例的装置和方法对分布式存储系统的影响和改变很小。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品(articleofmanufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
图6示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图6显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种分布式存储系统中基于时间的数据放置方法，所述分布式存储系统包括用于存储用户数据的多个存储节点，至少一个用户中的每个用户被分配用于存储其用户数据的存储节点子集，该方法包括：
监视和记录存储节点上的用户访问；
根据所记录的用户访问计算用户的基于时间的访问模式，以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式；以及
根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集，以减轻I/O热点。
2.根据权利要求1的方法，
其中，所述计算用户的基于时间的访问模式包括：将用户对其存储节点子集中的各个存储节点在一个时间周期中的每个单位时间中的访问数分别相加，从而得到该用户的基于时间的访问模式；以及
其中，所述计算分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式包括：将所述至少一个用户中的各用户对该存储节点在一个时间周期中的每个单位时间中的访问数分别相加，从而得到该存储节点的基于时间的访问模式。
3.根据权利要求2的方法，其中，所述根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集包括：
判断该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数与该存储节点的基于时间的访问模式中各用户对该存储节点在该时间周期中的每个单位时间中的访问数是否相容；以及
响应于判断所述访问数相容，确定该存储节点为能够向该用户的存储节点子集添加的候选存储节点。
4.根据权利要求3的方法，其中，判断所述访问数相容包括：
将该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数除以该用户的存储节点子集中的存储节点数，获得该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数；
将该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数与该存储节点的基于时间的访问模式中各用户对该存储节点在该时间周期中的每个单位时间中的访问数分别相加；
判断在该时间周期中的每个单位时间中，该用户的所述预期访问数与所述各用户的访问数之和是否低于该存储节点的预定I/O上限。
5.根据权利要求3的方法，还包括：
监视该存储节点中存储的用户数据量是否达到预定有效性阈值；
且其中，所述判断所述访问数是否相容包括：响应于监视到该存储节点中存储的用户数据量未达到预定有效性阈值，将该存储节点的各用户在每个单位时间中对单个存储节点的预期访问数作为各用户在每个单位时间中对该存储节点的访问数。
6.根据权利要求3的方法，其中，所述根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集还包括：
从被确定为能够向该用户的存储节点子集添加的候选存储节点中选择特定数量的存储节点，作为将向该用户的存储节点子集添加的存储节点，所述特定数量为该用户的存储节点子集中的存储节点数量的预定比例。
7.根据权利要求1的方法，还包括：
监视存储节点上用户的用户数据是否达到预定的用户使用量阈值；
且其中，所述调整用户的存储节点子集包括：响应于监视到存储节点上一用户的用户数据达到预定的用户使用量阈值，调整该用户的存储节点子集。
8.根据权利要求1的方法，还包括：
监视单位时间中对存储节点的访问是否达到存储节点的预定I/O上限；
且其中，所述调整用户的存储节点子集包括：响应于监视到单位时间中对存储节点的访问达到存储节点的预定I/O上限，调整在该存储节点上具有用户数据的各用户的存储节点子集。
9.一种分布式存储系统中基于时间的数据放置装置，所述分布式存储系统包括用于存储用户数据的多个存储节点，至少一个用户中的每个用户被分配用于存储其用户数据的存储节点子集，该装置包括：
监视模块，被配置为监视和记录存储节点上的用户访问；
用户访问模式计算模块，被配置为根据所记录的用户访问计算用户的基于时间的访问模式；
存储节点访问模式计算模块，被配置为根据所记录的访问计算所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式；以及
存储节点子集调整模块，被配置为根据用户的基于时间的访问模式以及所述分布式存储系统中该用户的存储节点子集之外的存储节点的基于时间的访问模式调整用户的存储节点子集，以减轻I/O热点。
10.根据权利要求9的装置，
其中，所述用户访问模式计算模块进一步被配置为：将用户对其存储节点子集中的各个存储节点在一个时间周期中的每个单位时间中的访问数分别相加，从而得到该用户的基于时间的访问模式；以及
其中，所述存储节点访问模式计算模块进一步被配置为：将所述至少一个用户中的各用户对该存储节点在一个时间周期中的每个单位时间中的访问数分别相加，从而得到该存储节点的基于时间的访问模式。
11.根据权利要求10的装置，其中，所述存储节点子集调整模块包括：
访问数相容判断子模块，被配置为判断该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数与该存储节点的基于时间的访问模式中各用户对该存储节点在该时间周期中的每个单位时间中的访问数是否相容；以及
存储节点候选确定子模块，被配置为响应于判断所述访问数相容，确定该存储节点为能够向该用户的存储节点子集添加的候选存储节点。
12.根据权利要求11的装置，其中，所述访问数相容判断子模块包括：
用于将该用户的基于时间的访问模式中该用户在所述时间周期中的每个单位时间中的访问数除以该用户的存储节点子集中的存储节点数，获得该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数的装置；
用于将该用户在所述时间周期中的每个单位时间中对单个存储节点的预期访问数与该存储节点的基于时间的访问模式中各用户对该存储节点在该时间周期中的每个单位时间中的访问数分别相加的装置；
用于判断在该时间周期中的每个单位时间中，该用户的所述预期访问数与所述各用户的访问数之和是否低于该存储节点的预定I/O上限的装置。
13.根据权利要求11的装置，
其中，所述监视模块还被配置为监视该存储节点中存储的用户数据量是否达到预定有效性阈值；以及
所述访问数相容判断子模块还被配置为响应于监视到该存储节点中存储的用户数据量未达到预定有效性阈值，将该存储节点的各用户在每个单位时间中对单个存储节点的预期访问数作为该用户在该单位时间中对该存储节点的访问数。
14.根据权利要求11的装置，其中，所述存储节点子集调整模块进一步被配置为：
从被确定为能够向该用户的存储节点子集添加的候选存储节点中选择特定数量的存储节点，作为将向该用户的存储节点子集添加的存储节点，所述特定数量为该用户的存储节点子集中的存储节点数量的预定比例。
15.根据权利要求9的装置，
其中，所述监视模块还被配置为监视存储节点上一用户的用户数据是否达到预定的用户使用量阈值；
且其中，所述存储节点子集调整模块被配置为响应于监视到存储节点上一用户的用户数据达到预定的用户使用量阈值，调整该用户的存储节点子集。
16.根据权利要求9的装置，
其中，所述监视模块还被配置为监视单位时间中对存储节点的访问是否达到存储节点的预定I/O上限；
且其中，所述存储节点子集调整模块被配置为响应于监视到单位时间中对存储节点的访问达到存储节点的预定I/O上限，调整在该存储节点上具有用户数据的各用户的存储节点子集。
CN201410759422.7A 2014-12-11 2014-12-11 分布式存储系统中基于时间的数据放置方法和装置 Pending CN105739909A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410759422.7A CN105739909A (zh) 2014-12-11 2014-12-11 分布式存储系统中基于时间的数据放置方法和装置
US14/959,021 US11057465B2 (en) 2014-12-11 2015-12-04 Time-based data placement in a distributed storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410759422.7A CN105739909A (zh) 2014-12-11 2014-12-11 分布式存储系统中基于时间的数据放置方法和装置

Publications (1)

Publication Number Publication Date
CN105739909A true CN105739909A (zh) 2016-07-06

Family

ID=56112340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410759422.7A Pending CN105739909A (zh) 2014-12-11 2014-12-11 分布式存储系统中基于时间的数据放置方法和装置

Country Status (2)

Country Link
US (1) US11057465B2 (zh)
CN (1) CN105739909A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729570A (zh) * 2017-11-20 2018-02-23 北京百度网讯科技有限公司 用于服务器的数据迁移方法和装置
CN110247855B (zh) * 2019-07-26 2022-08-02 中国工商银行股份有限公司 数据交换方法、客户端及服务器

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908526A (zh) * 2017-10-26 2018-04-13 北京人大金仓信息技术股份有限公司 基于Web的集中式大规模集群监控预警系统
CN110460682A (zh) * 2019-09-18 2019-11-15 深圳市网心科技有限公司 一种数据处理方法、装置、系统及存储介质
CN111488125B (zh) * 2020-04-10 2021-09-07 西安交通大学 一种基于Ceph集群的Cache Tier缓存优化方法
CN111654410B (zh) * 2020-04-28 2021-12-24 长沙证通云计算有限公司 网关请求监控方法、装置、设备及介质
JP2022180956A (ja) * 2021-05-25 2022-12-07 富士通株式会社 情報処理装置，プログラム及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370030A (zh) * 2008-09-24 2009-02-18 东南大学 基于内容复制的资源负载平衡方法
US20110010514A1 (en) * 2009-07-07 2011-01-13 International Business Machines Corporation Adjusting Location of Tiered Storage Residence Based on Usage Patterns
CN102099792A (zh) * 2008-06-06 2011-06-15 枢轴3公司 用于分布式raid实现的方法和系统
CN102129442A (zh) * 2010-09-20 2011-07-20 华为技术有限公司 一种分布式数据库系统和数据访问方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7428622B2 (en) 2004-09-28 2008-09-23 Akhil Tulyani Managing disk storage media based on access patterns
JP4620722B2 (ja) 2007-12-26 2011-01-26 富士通株式会社 データ配置制御プログラム、データ配置制御装置、データ配置制御方法、およびマルチノードストレージシステム
JP5423879B2 (ja) 2010-03-29 2014-02-19 日本電気株式会社 データアクセス場所選択システム、方法およびプログラム
US9075665B2 (en) * 2010-06-29 2015-07-07 International Business Machines Corporation Smoothing peak system load via behavior prediction in collaborative systems with temporal data access patterns
US8539163B1 (en) * 2010-12-17 2013-09-17 Amazon Technologies, Inc. Speculative reads
US8452819B1 (en) * 2011-03-22 2013-05-28 Amazon Technologies, Inc. Methods and apparatus for optimizing resource utilization in distributed storage systems
US9609060B2 (en) 2011-08-02 2017-03-28 Nec Corporation Distributed storage system and method
US9285992B2 (en) * 2011-12-16 2016-03-15 Netapp, Inc. System and method for optimally creating storage objects in a storage system
US20140136571A1 (en) 2012-11-12 2014-05-15 Ecole Polytechnique Federale De Lausanne (Epfl) System and Method for Optimizing Data Storage in a Distributed Data Storage Environment
US9128965B1 (en) * 2013-08-07 2015-09-08 Amazon Technologies, Inc. Configurable-capacity time-series tables
US9477743B2 (en) * 2014-07-02 2016-10-25 Oracle International Corporation System and method for load balancing in a distributed system by dynamic migration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099792A (zh) * 2008-06-06 2011-06-15 枢轴3公司 用于分布式raid实现的方法和系统
CN101370030A (zh) * 2008-09-24 2009-02-18 东南大学 基于内容复制的资源负载平衡方法
US20110010514A1 (en) * 2009-07-07 2011-01-13 International Business Machines Corporation Adjusting Location of Tiered Storage Residence Based on Usage Patterns
CN102129442A (zh) * 2010-09-20 2011-07-20 华为技术有限公司 一种分布式数据库系统和数据访问方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙鹏: "面向SaaS应用的多租户海量存储系统设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729570A (zh) * 2017-11-20 2018-02-23 北京百度网讯科技有限公司 用于服务器的数据迁移方法和装置
CN107729570B (zh) * 2017-11-20 2021-06-08 北京百度网讯科技有限公司 用于服务器的数据迁移方法和装置
CN110247855B (zh) * 2019-07-26 2022-08-02 中国工商银行股份有限公司 数据交换方法、客户端及服务器

Also Published As

Publication number Publication date
US20160173620A1 (en) 2016-06-16
US11057465B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
CN105739909A (zh) 分布式存储系统中基于时间的数据放置方法和装置
US10936419B2 (en) Method, device and computer readable medium for managing a storage system
CN104025054B (zh) 虚拟环境中的动态存储分层
US9110724B2 (en) Selecting computing nodes in cloud service using replication topologies
US20200125412A1 (en) Dynamic workload management based on predictive modeling and recommendation engine for storage systems
US9983802B2 (en) Allocating storage extents in a storage system
CN105808634A (zh) 分布式映射化简网络
US11137926B1 (en) Systems and methods for automatic storage tiering
CN109284068A (zh) 数据存储管理系统、方法及物件
US10671284B2 (en) Placement and movement of sub-units of a storage unit in a tiered storage environment
US11293812B2 (en) Adaptive filter bank for modeling a thermal system
US11847591B2 (en) Short-term load forecasting
US20230229580A1 (en) Dynamic index management for computing storage resources
US20210025611A1 (en) Detecting diagnostic events in a thermal system
CN112948279A (zh) 管理存储系统中的访问请求的方法、设备和程序产品
WO2020084364A1 (en) Destaging tracks with holes in storage system
Wan et al. SSD-optimized workload placement with adaptive learning and classification in HPC environments
US11533384B2 (en) Predictive provisioning of cloud-stored files
US10346424B2 (en) Object processing
US10956084B2 (en) Drive utilization in multi-tiered systems with read-intensive flash
Kang et al. An efficient scheme to ensure data availability for a cloud service provider
US11314649B2 (en) Using a machine learning module to perform destages of tracks with holes in a storage system
US11175959B2 (en) Determine a load balancing mechanism for allocation of shared resources in a storage system by training a machine learning module based on number of I/O operations
US11175958B2 (en) Determine a load balancing mechanism for allocation of shared resources in a storage system using a machine learning module based on number of I/O operations
CN102096723A (zh) 基于副本复制算法的数据查询方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706