CN106598500A - 一种分层存储动态迁移方法 - Google Patents

一种分层存储动态迁移方法 Download PDF

Info

Publication number
CN106598500A
CN106598500A CN201611169172.7A CN201611169172A CN106598500A CN 106598500 A CN106598500 A CN 106598500A CN 201611169172 A CN201611169172 A CN 201611169172A CN 106598500 A CN106598500 A CN 106598500A
Authority
CN
China
Prior art keywords
period
default
moving
file
move
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611169172.7A
Other languages
English (en)
Inventor
张小博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611169172.7A priority Critical patent/CN106598500A/zh
Publication of CN106598500A publication Critical patent/CN106598500A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种分层存储动态迁移方法，包括：S1，实时检测第一存储层的容量；S2.1，判断第一存储层的容量是否高于预设上限容量阈值；S3.1，若第一存储层的容量高于预设上限容量阈值，则在第一迁出执行时段将第一存储层内的迁出目标文件迁出至第二存储层；否则返回步骤S1；S4.1，判断第一存储层的容量是否低于第一预设目标容量；S5.1，若第一存储层的容量不低于第一预设目标容量，则经过迁出空闲时段之后，在第二迁出执行时段继续将第一存储层内的迁出目标文件迁出至第二存储层；S6.1，重复步骤S4.1和S5.1，直至第一存储层的容量低于第一预设目标容量。本发明既保证了系统的稳定性，又能充分挖掘热点数据。

Description

一种分层存储动态迁移方法
技术领域
本发明涉及分层存储领域，具体涉及一种分层存储动态迁移方法。
背景技术
在分层存储系统中，文件迁移是必不可少的一部分。存储系统的业务不断地有新旧更迭，不断有文件从创建到活跃，再从活跃到淘汰。文件迁移策略必须在数据处于活跃期的时候，主动将活跃的数据从低性能存储层迁移到高性能存储层；而当数据开始不活跃的时候，存储系统需要能够发现这些数据文件，迁移到慢速存储，节省出来宝贵的空间，用来存放更加活跃的数据。文件在其生命周期，从创建期到活跃期，再从活跃期到归档期，需要经历多个级别的存储，人为的管理文件的生命周期，需要耗费极大的人力成本，迁移的自动化是迁移策略的重要考虑因素。另一方面，迁移频率影响系统稳定性和热点数据的挖掘，因此需要合理设置迁移过程。
发明内容
为解决上述问题，本发明提供一种保证系统稳定性和热点数据挖掘的分层存储动态迁移方法。
本发明的技术方案是：一种分层存储动态迁移方法，包括：
S1，实时检测第一存储层的容量；
S2.1，判断第一存储层的容量是否高于预设上限容量阈值；
S3.1，若第一存储层的容量高于预设上限容量阈值，则在第一迁出执行时段将第一存储层内的迁出目标文件迁出至第二存储层；否则返回步骤S1；
S4.1，判断第一存储层的容量是否低于第一预设目标容量；
S5.1，若第一存储层的容量不低于第一预设目标容量，则经过迁出空闲时段之后，在第二迁出执行时段继续将第一存储层内的迁出目标文件迁出至第二存储层；
S6.1，重复步骤S4.1和S5.1，直至第一存储层的容量低于第一预设目标容量。
进一步地，步骤S1之前还包括：
S0.1，设置迁出空闲时段时长最小值Mmin和迁出空闲时段时长最大值Mmax；
步骤S5.1还包括：
S5.1.1，获取迁出次数n，并判断迁出次数n的数值；
S5.1.2，若迁出次数n＝1，则获取第一预设迁出前时段内不活跃、第二预设迁出前时段内活跃的文件数目U(1)和第一预设迁出前时段内活跃、第二预设迁出前时段内也活跃的文件数目H(1)，计算第一迁出活跃因子A(1)＝U(1)/(H(1)+1)，计算第一个迁出空闲时段的时长M(1)＝max{Mmax-(Mmax-E)×A(1)，Mmin}，其中E＝(Mmax+Mmin)/2；
S5.1.3，若迁出次数n＝2，则获取第三预设迁出前时段内不活跃、第一个迁出空闲时段内活跃的文件数目U(2)和第三预设迁出前时段内活跃、第一个迁出空闲时段内也活跃的文件数目H(2)，计算第二活跃因子A(2)＝U(2)/(H(2)+1)，计算第一个迁出空闲时段的时长M(2)＝max{Mmax-(Mmax-E)×A(2)，Mmin}；
S5.1.4，若迁出次数n＞2，则获取第n-2个迁出空闲时段内不活跃、第n-1个迁出空闲时段内活跃的文件数目U(n)和第n-2个迁出空闲时段内不活跃、第n-1个迁出空闲时段内活跃的文件数目H(n)，计算第n迁出活跃因子A(n)＝U(n)/(H(n)+1)，计算第n个迁出空闲时段的时长M(n)＝max{Mmax-(Mmax-E)×A(n)，Mmin}。
进一步地，步骤S5.1.2中，第一预设迁出时段内不活跃的文件指在第一预设迁出时段内访问次数低于预设访问次数的文件，第一预设迁出时段内活跃的文件指在第一预设迁出时段内访问次数高于预设访问次数的文件，第二预设迁出前时段内活跃的文件指在第二预设迁出前时段内访问次数高于预设访问次数的文件；
步骤S5.1.3中，第三预设迁出时段内不活跃的文件指在第三预设迁出时段内访问次数低于预设访问次数的文件，第三预设迁出时段内活跃的文件指在第三预设迁出时段内访问次数高于预设访问次数的文件，第一个迁出空闲时段内活跃的文件指在第一个迁出空闲时段内访问次数高于预设访问次数的文件；
步骤S5.1.4中，第n-2个迁出空闲时段内不活跃的文件指在第n-2个迁出空闲时段内访问次数低于预设访问次数的文件，第n-2个迁出空闲时段内活跃的文件指在第n-2个迁出空闲时段内访问次数高于预设访问次数的文件，第n-1个迁出空闲时段内活跃的文件指在第n-1个迁出空闲时段内访问次数高于预设访问次数的文件。
进一步地，步骤S3.1与S4.1之间还包括：
S3.1.1，监测第一迁出执行时段内用户业务平均响应时间；
S3.1.2，判断第一迁出执行时段内用户业务平均响应时间是否高于预设响应时间；
S3.1.3，若第一迁出执行时段内用户业务平均响应时间高于预设响应时间，则降低迁出速率。
进一步地，步骤S5.1与6.1之间还包括：
S5.1.4，监测第二迁出执行时段内用户业务平均响应时间；
S5.1.5，判断第二迁出执行时段内用户业务平均响应时间是否高于预设响应时间；
S5.1.6，若第二迁出执行时段内用户业务平均响应时间高于预设响应时间，则降低迁出速率。
进一步地，步骤S1之后还包括：
S2.2，判断第一存储层的容量是否低于预设下限容量阈值；
S3.2，若第一存储层的容量低于预设下限容量阈值，则在第一迁入执行时段将第二存储层内的迁入目标文件迁入至第一存储层；否则返回步骤S1；
S4.2，判断第一存储层的容量是否高于第二预设目标容量；
S5.2，若第一存储层的容量不高于第二预设目标容量，则经过迁入空闲时段之后，在第二迁入执行时段继续将第二存储层内的迁入目标文件迁入至第一存储层；
S6.2，重复步骤S4.2和S5.2，直至第一存储层的容量高于第二预设目标容量。
根据权利要求6所述的分层存储动态迁移方法，其特征在于，步骤S1之前还包括：
S0.2，设置迁入空闲时段时长最小值Lmin和迁入空闲时段时长最大值Lmax；
步骤S5.2还包括：
S5.2.1，获取迁入次数m，并判断迁入次数m的数值；
S5.2.2，若迁入次数m＝1，则获取第一预设迁入前时段内不活跃、第二预设迁入前时段内活跃的文件数目S(1)和第一预设迁入前时段内活跃、第二预设迁入前时段内也活跃的文件数目P(1)，计算第一迁入活跃因子B(1)＝S(1)/(P(1)+1)，计算第一个迁入空闲时段的时长L(1)＝max{Lmax-(Lmax-W)×B(1)，Lmim}，其中W＝(Lmax+Lmin)/2；
S5.2.3，若迁入次数m＝2，则获取第三预设迁入前时段内不活跃、第一个迁入空闲时段内活跃的文件数目S(2)和第三预设迁入前时段内活跃、第一个迁入空闲时段内也活跃的文件数目P(2)，计算第二迁入活跃因子B(2)＝S(2)/(P(2)+1)，计算第一个迁入空闲时段的时长L(2)＝max{Lmax-(Lmax-W)×B(2)，Lmim}；
S5.2.4，若迁入次数m＞2，则获取第m-2个迁入空闲时段内不活跃、第m-1个迁入空闲时段内活跃的文件数目S(m)和第m-2个迁入空闲时段内不活跃、第m-1个迁入空闲时段内活跃的文件数目P(m)，计算第m迁入活跃因子B(m)＝S(m)/(P(m)+1)，计算第m个迁入空闲时段的时长L(m)＝max{Lmax-(Lmax-W)×B(m)，Lmim}。
进一步地，步骤S5.2.2中，第一预设迁入时段内不活跃的文件指在第一预设迁入时段内访问次数低于预设访问次数的文件，第一预设迁入时段内活跃的文件指在第一预设迁入时段内访问次数高于预设访问次数的文件，第二预设迁入前时段内活跃的文件指在第二预设迁入前时段内访问次数高于预设访问次数的文件；
步骤S5.2.3中，第三预设迁入时段内不活跃的文件指在第三预设迁入时段内访问次数低于预设访问次数的文件，第三预设迁入时段内活跃的文件指在第三预设迁入时段内访问次数高于预设访问次数的文件，第一个迁入空闲时段内活跃的文件指在第一个迁入空闲时段内访问次数高于预设访问次数的文件；
步骤S5.2.4中，第m-2个迁入空闲时段内不活跃的文件指在第m-2个迁入空闲时段内访问次数低于预设访问次数的文件，第m-2个迁入空闲时段内活跃的文件指在第m-2个迁入空闲时段内访问次数高于预设访问次数的文件，第m-1个迁入空闲时段内活跃的文件指在第m-1个迁入空闲时段内访问次数高于预设访问次数的文件。
进一步地，步骤S3.2与S4.2之间还包括：
S3.2.1，监测第二迁入执行时段内用户业务平均响应时间；
S3.2.2，判断第二迁入执行时段内用户业务平均响应时间是否高于预设响应时间；
S3.2.3，若第二迁入执行时段内用户业务平均响应时间高于预设响应时间，则降低迁入速率。
进一步地，步骤S5.2与S6.2之间还包括：
S5.2.4，监测第一迁入执行时段内用户业务平均响应时间；
S5.2.5，判断第一迁入执行时段内用户业务平均响应时间是否高于预设响应时间；
S5.2.6，若第一迁入执行时段内用户业务平均响应时间高于预设响应时间，则降低迁入速率。
本发明的迁移过程，在两个迁移时段之间设置空闲时段，防止频繁执行迁移，既保证了系统的稳定性，又能充分挖掘热点数据。
附图说明
图1是本发明具体实施例第一存储层迁出目标文件方法流程图。
图2是本发明具体实施例第一存储层迁入目标文件方法流程图。
图3是本发明具体实施例第一存储层迁出条件示意图。
图4是本发明具体实施例活跃因子与迁出空闲时段时长函数示意图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
如图3所示，本发明提供的分层存储动态迁移方法，采用双阈值迁移条件。即当第一存储层的容量高于预设上限容量阈值A或低于预设下限容量阈值B时，执行迁移。当第一存储层的容量高于预设上限容量阈值A时(t1时刻)，将第一存储层内的目标文件迁出至第二存储层(t1到t2时段)，使第一存储层的容量低于第一预设目标容量a；当第一存储层的容量低于预设下限容量阈值B时(t3时刻)，将第二存储层内的目标文件迁入第一存储层(t3到t4时段)，使第一存储层的容量高于第二预设目标容量b。本实施例中，满足B<b<a<A。
另外，考虑到系统的稳定性，不能频繁的执行迁移，因此在t1到t2和t3到t4的迁移过程时段设置迁移间隔，即执行一段时间迁移，间隔一定空闲时间后再继续执行迁移，直至存储层内的容量满足条件。
如图1所示，第一存储层迁出目标文件具体包括以下步骤：
S1，实时检测第一存储层的容量；
S2.1，判断第一存储层的容量是否高于预设上限容量阈值；
S3.1，若第一存储层的容量高于预设上限容量阈值，则在第一迁出执行时段将第一存储层内的迁出目标文件迁出至第二存储层；否则返回步骤S1；
S4.1，判断第一存储层的容量是否低于第一预设目标容量；
S5.1，若第一存储层的容量不低于第一预设目标容量，则经过迁出空闲时段之后，在第二迁出执行时段继续将第一存储层内的迁出目标文件迁出至第二存储层；
S6.1，重复步骤S4.1和S5.1，直至第一存储层的容量低于第一预设目标容量。
针对迁出空闲时段，如果时间太长，无法充分挖掘热点数据，时间太短，又会影响系统的稳定性。在基于文件的分层存储系统中，由于迁移的粒度较小，迁出空闲时段更加灵活多变。因此本实施根据文件的活跃程度自适应调整迁出空闲时段的时长，具体包括以下方法步骤：
在步骤S1之前设置S0.1，设置迁出空闲时段时长最小值Mmin和迁出空闲时段时长最大值Mmax。步骤S5.1还包括：
S5.1.1，获取迁出次数n，并判断迁出次数n的数值；
S5.1.2，若迁出次数n＝1，则获取第一预设迁出前时段内不活跃、第二预设迁出前时段内活跃的文件数目U(1)和第一预设迁出前时段内活跃、第二预设迁出前时段内也活跃的文件数目H(1)，计算第一迁出活跃因子A(1)＝U(1)/(H(1)+1)，计算第一个迁出空闲时段的时长M(1)＝max{Mmax-(Mmax-E)×A(1)，Mmin}，其中E＝(Mmax+Mmin)/2；
S5.1.3，若迁出次数n＝2，则获取第三预设迁出前时段内不活跃、第一个迁出空闲时段内活跃的文件数目U(2)和第三预设迁出前时段内活跃、第一个迁出空闲时段内也活跃的文件数目H(2)，计算第二迁出活跃因子A(2)＝U(2)/(H(2)+1)，计算第一个迁出空闲时段的时长M(2)＝max{Mmax-(Mmax-E)×A(2)，Mmin}；
S5.1.4，若迁出次数n＞2，则获取第n-2个迁出空闲时段内不活跃、第n-1个迁出空闲时段内活跃的文件数目U(n)和第n-2个迁出空闲时段内不活跃、第n-1个迁出空闲时段内活跃的文件数目H(n)，计算第n迁出活跃因子A(n)＝U(n)/(H(n)+1)，计算第n个迁出空闲时段的时长M(n)＝max{Mmax-(Mmax-E)×A(n)，Mmin}。
以上步骤S5.1.2中，第一预设迁出时段内不活跃的文件指在第一预设迁出时段内访问次数低于预设访问次数的文件，第一预设迁出时段内活跃的文件指在第一预设迁出时段内访问次数高于预设访问次数的文件，第二预设迁出前时段内活跃的文件指在第二预设迁出前时段内访问次数高于预设访问次数的文件。
步骤S5.1.3中，第三预设迁出时段内不活跃的文件指在第三预设迁出时段内访问次数低于预设访问次数的文件，第三预设迁出时段内活跃的文件指在第三预设迁出时段内访问次数高于预设访问次数的文件，第一个迁出空闲时段内活跃的文件指在第一个迁出空闲时段内访问次数高于预设访问次数的文件。
步骤S5.1.4中，第n-2个迁出空闲时段内不活跃的文件指在第n-2个迁出空闲时段内访问次数低于预设访问次数的文件，第n-2个迁出空闲时段内活跃的文件指在第n-2个迁出空闲时段内访问次数高于预设访问次数的文件，第n-1个迁出空闲时段内活跃的文件指在第n-1个迁出空闲时段内访问次数高于预设访问次数的文件。
U(1)、U(2)、U(n)表示文件系统中从不活跃变到活跃的文件，H(1)、H(2)、H(n)表示文件系统中始终处于活跃的文件。当第i迁出活跃因子A(i)较小时，即“始终活跃的文件”占大多数时，说明业务更迭速度较慢。而当第i迁出活跃因子A(i)较大时，即“变活跃的文件”占大多数时，说明业务更迭速度较快，其中i＝1、2或n。如图4所示，第i个迁出空闲时段的时长M(i)是第i活跃因子A(i)的分段函数。当第i迁出活跃因子A(i)为0时，第i个迁出空闲时段的时长M(i)最长，对应的是文件系统没有文件变活跃或者大部分文件都是活跃的。当第i活跃因子A(i)超过1.5以后，第i个迁出空闲时段的时长M(i)最短，对应的是文件系统中当前有较多文件从不活跃到活跃，而始终活跃的相对较少。该方法根据文件活跃程度自适应调整迁出时段的时长，既保证了系统的稳定性，又可充分挖掘热点数据。
在本实施例，为了不影响正常业务对存储系统的读写性能，需要对迁出速率进行控制，因此在步骤S3.1与S4.1之间还包括以下步骤：
S3.1.1，监测第一迁出执行时段内用户业务平均响应时间；
S3.1.2，判断第一迁出执行时段内用户业务平均响应时间是否高于预设响应时间；
S3.1.3，若第一迁出执行时段内用户业务平均响应时间高于预设响应时间，则降低迁出速率。
步骤S5.1与6.1之间还包括：
S5.1.4，监测第二迁出执行时段内用户业务平均响应时间；
S5.1.5，判断第二迁出执行时段内用户业务平均响应时间是否高于预设响应时间；
S5.1.6，若第二迁出执行时段内用户业务平均响应时间高于预设响应时间，则降低迁出速率。
以上方法保证在执行迁出过程中原有业务的正常访问。
如图2所示，第二存储层将迁入目标文件迁入第一存储层具体包括以下步骤：
S1，实时检测第一存储层的容量；
S2.2，判断第一存储层的容量是否低于预设下限容量阈值；
S3.2，若第一存储层的容量低于预设下限容量阈值，则在第一迁入执行时段将第二存储层内的迁入目标文件迁入至第一存储层；否则返回步骤S1；
S4.2，判断第一存储层的容量是否高于第二预设目标容量；
S5.2，若第一存储层的容量不高于第二预设目标容量，则经过迁入空闲时段之后，在第二迁入执行时段继续将第二存储层内的迁入目标文件迁入至第一存储层；
S6.2，重复步骤S4.2和S5.2，直至第一存储层的容量高于第二预设目标容量。
同样根据文件活跃程度自动调整迁入空闲时段的时长，包括以下方法步骤：
步骤S1之前还包括：S0.2，设置迁入空闲时段时长最小值Lmin和迁入空闲时段时长最大值Lmax；
步骤S5.2还包括：
S5.2.1，获取迁入次数m，并判断迁入次数m的数值；
S5.2.2，若迁入次数m＝1，则获取第一预设迁入前时段内不活跃、第二预设迁入前时段内活跃的文件数目S(1)和第一预设迁入前时段内活跃、第二预设迁入前时段内也活跃的文件数目P(1)，计算第一迁入活跃因子B(1)＝S(1)/(P(1)+1)，计算第一个迁入空闲时段的时长L(1)＝max{Lmax-(Lmax-W)×B(1)，Lmim}，其中W＝(Lmax+Lmin)/2；
S5.2.3，若迁入次数m＝2，则获取第三预设迁入前时段内不活跃、第一个迁入空闲时段内活跃的文件数目S(2)和第三预设迁入前时段内活跃、第一个迁入空闲时段内也活跃的文件数目P(2)，计算第二迁入活跃因子B(2)＝S(2)/(P(2)+1)，计算第一个迁入空闲时段的时长L(2)＝max{Lmax-(Lmax-W)×B(2)，Lmim}；
S5.2.4，若迁入次数m＞2，则获取第m-2个迁入空闲时段内不活跃、第m-1个迁入空闲时段内活跃的文件数目S(m)和第m-2个迁入空闲时段内不活跃、第m-1个迁入空闲时段内活跃的文件数目P(m)，计算第m迁入活跃因子B(m)＝S(m)/(P(m)+1)，计算第m个迁入空闲时段的时长L(m)＝max{Lmax-(Lmax-W)×B(m)，Lmim}。
上述步骤S5.2.2中，第一预设迁入时段内不活跃的文件指在第一预设迁入时段内访问次数低于预设访问次数的文件，第一预设迁入时段内活跃的文件指在第一预设迁入时段内访问次数高于预设访问次数的文件，第二预设迁入前时段内活跃的文件指在第二预设迁入前时段内访问次数高于预设访问次数的文件；
步骤S5.2.3中，第三预设迁入时段内不活跃的文件指在第三预设迁入时段内访问次数低于预设访问次数的文件，第三预设迁入时段内活跃的文件指在第三预设迁入时段内访问次数高于预设访问次数的文件，第一个迁入空闲时段内活跃的文件指在第一个迁入空闲时段内访问次数高于预设访问次数的文件；
步骤S5.2.4中，第m-2个迁入空闲时段内不活跃的文件指在第m-2个迁入空闲时段内访问次数低于预设访问次数的文件，第m-2个迁入空闲时段内活跃的文件指在第m-2个迁入空闲时段内访问次数高于预设访问次数的文件，第m-1个迁入空闲时段内活跃的文件指在第m-1个迁入空闲时段内访问次数高于预设访问次数的文件。
S(1)、S(2)、S(m)表示文件系统中从不活跃变到活跃的文件，P(1)、P(2)、P(m)表示文件系统中始终处于活跃的文件。当第j迁入活跃因子B(j)较小时，即“始终活跃的文件”占大多数时，说明业务更迭速度较慢。而当第j迁入活跃因子B(j)较大时，即“变活跃的文件”占大多数时，说明业务更迭速度较快，其中j＝1、2或m。第j个迁出空闲时段的时长L(j)是第j迁入活跃因子B(j)的分段函数，同样满足如图4所示的关系。当第j迁入活跃因子B(j)为0时，第j个迁出空闲时段的时长L(j)最长，对于的是文件系统没有文件变活跃或者大部分文件都是活跃的。当第j迁入活跃因子B(j)超过1.5以后，第j个迁出空闲时段的时长L(j)最短，对应的是文件系统中当前有较多文件从不活跃到活跃，而始终活跃的相对较少。该方法根据文件活跃程度自适应调整迁出时段的时长，既保证了系统的稳定性，又可充分挖掘热点数据。
在执行迁入时，同样为了不影响正常业务对存储系统的读写性能，需要对迁入速率进行控制，因此在步骤S3.2与S4.2之间还包括以下步骤：
S3.2.1，监测第二迁入执行时段内用户业务平均响应时间；
S3.2.2，判断第二迁入执行时段内用户业务平均响应时间是否高于预设响应时间；
S3.2.3，若第二迁入执行时段内用户业务平均响应时间高于预设响应时间，则降低迁入速率。
步骤S3.2与S4.2之间还包括：
S3.2.1，监测第二迁入执行时段内用户业务平均响应时间；
S3.2.2，判断第二迁入执行时段内用户业务平均响应时间是否高于预设响应时间；
S3.2.3，若第二迁入执行时段内用户业务平均响应时间高于预设响应时间，则降低迁入速率。
本实施例中，第一存储层可为高性能存储层或低性能存储层，第二存储层可为高性能存储层或低性能存储层。当第一存储层为高性能存储层，且第二存储层为低性能存储层时，迁出第一存储层的迁出目标文件可以为活跃文件，而迁入第一存储层的迁入目标文件可以是不活跃文件。
本实施例中，对所有预设值不做限定，用户可根据需要自行设置具体值。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (10)

1.一种分层存储动态迁移方法，其特征在于，包括：
S1，实时检测第一存储层的容量；
S2.1，判断第一存储层的容量是否高于预设上限容量阈值；
S3.1，若第一存储层的容量高于预设上限容量阈值，则在第一迁出执行时段将第一存储层内的迁出目标文件迁出至第二存储层；否则返回步骤S1；
S4.1，判断第一存储层的容量是否低于第一预设目标容量；
S5.1，若第一存储层的容量不低于第一预设目标容量，则经过迁出空闲时段之后，在第二迁出执行时段继续将第一存储层内的迁出目标文件迁出至第二存储层；
S6.1，重复步骤S4.1和S5.1，直至第一存储层的容量低于第一预设目标容量。
2.根据权利要求1所述的分层存储动态迁移方法，其特征在于，步骤S1之前还包括：
S0.1，设置迁出空闲时段时长最小值Mmin和迁出空闲时段时长最大值Mmax；
步骤S5.1还包括：
S5.1.1，获取迁出次数n，并判断迁出次数n的数值；
S5.1.2，若迁出次数n＝1，则获取第一预设迁出前时段内不活跃、第二预设迁出前时段内活跃的文件数目U(1)和第一预设迁出前时段内活跃、第二预设迁出前时段内也活跃的文件数目H(1)，计算第一迁出活跃因子A(1)＝U(1)/(H(1)+1)，计算第一个迁出空闲时段的时长M(1)＝max{Mmax-(Mmax-E)×A(1)，Mmin}，其中E＝(Mmax+Mmin)/2；
S5.1.3，若迁出次数n＝2，则获取第三预设迁出前时段内不活跃、第一个迁出空闲时段内活跃的文件数目U(2)和第三预设迁出前时段内活跃、第一个迁出空闲时段内也活跃的文件数目H(2)，计算第二活跃因子A(2)＝U(2)/(H(2)+1)，计算第一个迁出空闲时段的时长M(2)＝max{Mmax-(Mmax-E)×A(2)，Mmin}；
S5.1.4，若迁出次数n＞2，则获取第n-2个迁出空闲时段内不活跃、第n-1个迁出空闲时段内活跃的文件数目U(n)和第n-2个迁出空闲时段内不活跃、第n-1个迁出空闲时段内活跃的文件数目H(n)，计算第n迁出活跃因子A(n)＝U(n)/(H(n)+1)，计算第n个迁出空闲时段的时长M(n)＝max{Mmax-(Mmax-E)×A(n)，Mmin}。
3.根据权利要求2所述的分层存储动态迁移方法，其特征在于，步骤S5.1.2中，第一预设迁出时段内不活跃的文件指在第一预设迁出时段内访问次数低于预设访问次数的文件，第一预设迁出时段内活跃的文件指在第一预设迁出时段内访问次数高于预设访问次数的文件，第二预设迁出前时段内活跃的文件指在第二预设迁出前时段内访问次数高于预设访问次数的文件；
步骤S5.1.3中，第三预设迁出时段内不活跃的文件指在第三预设迁出时段内访问次数低于预设访问次数的文件，第三预设迁出时段内活跃的文件指在第三预设迁出时段内访问次数高于预设访问次数的文件，第一个迁出空闲时段内活跃的文件指在第一个迁出空闲时段内访问次数高于预设访问次数的文件；
步骤S5.1.4中，第n-2个迁出空闲时段内不活跃的文件指在第n-2个迁出空闲时段内访问次数低于预设访问次数的文件，第n-2个迁出空闲时段内活跃的文件指在第n-2个迁出空闲时段内访问次数高于预设访问次数的文件，第n-1个迁出空闲时段内活跃的文件指在第n-1个迁出空闲时段内访问次数高于预设访问次数的文件。
4.根据权利要求1、2或3所述的分层存储动态迁移方法，其特征在于，步骤S3.1与S4.1之间还包括：
S3.1.1，监测第一迁出执行时段内用户业务平均响应时间；
S3.1.2，判断第一迁出执行时段内用户业务平均响应时间是否高于预设响应时间；
S3.1.3，若第一迁出执行时段内用户业务平均响应时间高于预设响应时间，则降低迁出速率。
5.根据权利要求1、2或3所述的分层存储动态迁移方法，其特征在于，步骤S5.1与6.1之间还包括：
S5.1.4，监测第二迁出执行时段内用户业务平均响应时间；
S5.1.5，判断第二迁出执行时段内用户业务平均响应时间是否高于预设响应时间；
S5.1.6，若第二迁出执行时段内用户业务平均响应时间高于预设响应时间，则降低迁出速率。
6.根据权利要求1所述的分层存储动态迁移方法，其特征在于，步骤S1之后还包括：
S2.2，判断第一存储层的容量是否低于预设下限容量阈值；
S3.2，若第一存储层的容量低于预设下限容量阈值，则在第一迁入执行时段将第二存储层内的迁入目标文件迁入至第一存储层；否则返回步骤S1；
S4.2，判断第一存储层的容量是否高于第二预设目标容量；
S5.2，若第一存储层的容量不高于第二预设目标容量，则经过迁入空闲时段之后，在第二迁入执行时段继续将第二存储层内的迁入目标文件迁入至第一存储层；
S6.2，重复步骤S4.2和S5.2，直至第一存储层的容量高于第二预设目标容量。
7.根据权利要求6所述的分层存储动态迁移方法，其特征在于，步骤S1之前还包括：
S0.2，设置迁入空闲时段时长最小值Lmin和迁入空闲时段时长最大值Lmax；
步骤S5.2还包括：
S5.2.1，获取迁入次数m，并判断迁入次数m的数值；
S5.2.2，若迁入次数m＝1，则获取第一预设迁入前时段内不活跃、第二预设迁入前时段内活跃的文件数目S(1)和第一预设迁入前时段内活跃、第二预设迁入前时段内也活跃的文件数目P(1)，计算第一迁入活跃因子B(1)＝S(1)/(P(1)+1)，计算第一个迁入空闲时段的时长L(1)＝max{Lmax-(Lmax-W)×B(1)，Lmim}，其中W＝(Lmax+Lmin)/2；
S5.2.3，若迁入次数m＝2，则获取第三预设迁入前时段内不活跃、第一个迁入空闲时段内活跃的文件数目S(2)和第三预设迁入前时段内活跃、第一个迁入空闲时段内也活跃的文件数目P(2)，计算第二迁入活跃因子B(2)＝S(2)/(P(2)+1)，计算第一个迁入空闲时段的时长L(2)＝max{Lmax-(Lmax-W])×B(2)，Lmim}；
S5.2.4，若迁入次数m＞2，则获取第m-2个迁入空闲时段内不活跃、第m-1个迁入空闲时段内活跃的文件数目S(m)和第m-2个迁入空闲时段内不活跃、第m-1个迁入空闲时段内活跃的文件数目P(m)，计算第m迁入活跃因子B(m)＝S(m)/(P(m)+1)，计算第m个迁入空闲时段的时长L(m)＝max{Lmax-(Lmax-W)×B(m)，Lmim}。
8.根据权利要求7所述的分层存储动态迁移方法，其特征在于，步骤S5.2.2中，第一预设迁入时段内不活跃的文件指在第一预设迁入时段内访问次数低于预设访问次数的文件，第一预设迁入时段内活跃的文件指在第一预设迁入时段内访问次数高于预设访问次数的文件，第二预设迁入前时段内活跃的文件指在第二预设迁入前时段内访问次数高于预设访问次数的文件；
步骤S5.2.3中，第三预设迁入时段内不活跃的文件指在第三预设迁入时段内访问次数低于预设访问次数的文件，第三预设迁入时段内活跃的文件指在第三预设迁入时段内访问次数高于预设访问次数的文件，第一个迁入空闲时段内活跃的文件指在第一个迁入空闲时段内访问次数高于预设访问次数的文件；
步骤S5.2.4中，第m-2个迁入空闲时段内不活跃的文件指在第m-2个迁入空闲时段内访问次数低于预设访问次数的文件，第m-2个迁入空闲时段内活跃的文件指在第m-2个迁入空闲时段内访问次数高于预设访问次数的文件，第m-1个迁入空闲时段内活跃的文件指在第m-1个迁入空闲时段内访问次数高于预设访问次数的文件。
9.根据权利要求6、7或8所述的分层存储动态迁移方法，其特征在于，步骤S3.2与S4.2之间还包括：
S3.2.1，监测第二迁入执行时段内用户业务平均响应时间；
S3.2.2，判断第二迁入执行时段内用户业务平均响应时间是否高于预设响应时间；
S3.2.3，若第二迁入执行时段内用户业务平均响应时间高于预设响应时间，则降低迁入速率。
10.根据权利要求6、7或8所述的分层存储动态迁移方法，其特征在于，步骤S5.2与S6.2之间还包括：
S5.2.4，监测第一迁入执行时段内用户业务平均响应时间；
S5.2.5，判断第一迁入执行时段内用户业务平均响应时间是否高于预设响应时间；
S5.2.6，若第一迁入执行时段内用户业务平均响应时间高于预设响应时间，则降低迁入速率。
CN201611169172.7A 2016-12-16 2016-12-16 一种分层存储动态迁移方法 Pending CN106598500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611169172.7A CN106598500A (zh) 2016-12-16 2016-12-16 一种分层存储动态迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611169172.7A CN106598500A (zh) 2016-12-16 2016-12-16 一种分层存储动态迁移方法

Publications (1)

Publication Number Publication Date
CN106598500A true CN106598500A (zh) 2017-04-26

Family

ID=58600872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611169172.7A Pending CN106598500A (zh) 2016-12-16 2016-12-16 一种分层存储动态迁移方法

Country Status (1)

Country Link
CN (1) CN106598500A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092443A (zh) * 2017-04-28 2017-08-25 杭州宏杉科技股份有限公司 数据迁移方法及装置
CN108829350A (zh) * 2018-05-31 2018-11-16 阿里巴巴集团控股有限公司 基于区块链的数据迁移方法和装置
WO2020023843A1 (en) * 2018-07-27 2020-01-30 Alibaba Group Holding Limited Multi-level storage method and apparatus for blockchain data
CN114356247A (zh) * 2022-03-18 2022-04-15 闪捷信息科技有限公司 一种分层存储调度方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6820091B2 (en) * 2001-05-11 2004-11-16 International Business Machines Corporation Dynamic buffer allocation
CN103078933A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种确定数据迁移时机的方法和装置
CN103858092A (zh) * 2013-12-19 2014-06-11 华为技术有限公司 一种数据迁移方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6820091B2 (en) * 2001-05-11 2004-11-16 International Business Machines Corporation Dynamic buffer allocation
CN103078933A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种确定数据迁移时机的方法和装置
CN103858092A (zh) * 2013-12-19 2014-06-11 华为技术有限公司 一种数据迁移方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李俊杰: "面向海量存储系统的分层存储技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092443A (zh) * 2017-04-28 2017-08-25 杭州宏杉科技股份有限公司 数据迁移方法及装置
CN107092443B (zh) * 2017-04-28 2020-04-07 杭州宏杉科技股份有限公司 数据迁移方法及装置
CN108829350A (zh) * 2018-05-31 2018-11-16 阿里巴巴集团控股有限公司 基于区块链的数据迁移方法和装置
US10649953B2 (en) 2018-05-31 2020-05-12 Alibaba Group Holding Limited Blockchain-based data migration method and apparatus
WO2020023843A1 (en) * 2018-07-27 2020-01-30 Alibaba Group Holding Limited Multi-level storage method and apparatus for blockchain data
CN111897498A (zh) * 2018-07-27 2020-11-06 创新先进技术有限公司 区块链数据的多级存储方法和装置
CN114356247A (zh) * 2022-03-18 2022-04-15 闪捷信息科技有限公司 一种分层存储调度方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106598500A (zh) 一种分层存储动态迁移方法
CN110196851B (zh) 一种数据存储方法、装置、设备及存储介质
CN101311912B (zh) 计算机系统、其控制方法以及系统管理装置
CN104573119B (zh) 云计算中面向节能的Hadoop分布式文件系统存储方法
CN100399301C (zh) 大容量存储设备和用于动态管理大容量存储设备的方法
CN102004543B (zh) 一种实现cpu节能的方法及装置
CN106502578B (zh) 容量变更建议方法及装置
CN106502576A (zh) 迁移策略调整方法、容量变更建议方法及装置
CN110489062A (zh) 一种基于OpenStack环境的磁盘扩容方法及系统
CN105302497B (zh) 一种缓存管理方法与系统
CN103078933B (zh) 一种确定数据迁移时机的方法和装置
CN105009092A (zh) 存储系统
CN105892952A (zh) 超融合系统及其纵向扩展方法
CN104798063A (zh) 存储设备和主机设备
CN104035807B (zh) 一种云存储系统的元数据缓存替换方法
CN106445845A (zh) 一种企业级ssd系统及其掉电保护方法
CN106201700A (zh) 一种虚拟机在线迁移的调度方法
CN106095807A (zh) 一种分布式文件系统纠删码缓存装置及其缓存方法
CN102339290B (zh) 一种网页数据信息的定向采集方法及装置
CN104462577B (zh) 一种数据存储方法及装置
CN103049393B (zh) 内存空间管理方法和装置
CN108153594A (zh) 一种人工智能云平台的资源碎片整理方法及电子设备
CN107728952A (zh) 一种预测式数据迁移方法及系统
CN105677483A (zh) 一种数据缓存的方法及装置
CN108846113A (zh) 一种图片预加载的方法、系统及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426