CN104199784B - 一种基于分级存储的数据迁移方法及装置 - Google Patents
一种基于分级存储的数据迁移方法及装置 Download PDFInfo
- Publication number
- CN104199784B CN104199784B CN201410410782.6A CN201410410782A CN104199784B CN 104199784 B CN104199784 B CN 104199784B CN 201410410782 A CN201410410782 A CN 201410410782A CN 104199784 B CN104199784 B CN 104199784B
- Authority
- CN
- China
- Prior art keywords
- high speed
- speed storing
- size
- pond
- storing pond
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 27
- 238000013508 migration Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000151 deposition Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 3
- 238000007796 conventional method Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于分级存储的数据迁移方法及装置，包括：当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例；当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小；比较获得的高速存储池中的各个冷数据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。本发明技术方案降低了由于不同大小的数据的传输速率的差异而带来的对数据处理的影响，从而提高了存储系统的整体使用性能，以及提高了用户的使用感知。
Description
技术领域
本发明涉及数据存储技术领域，尤指一种基于分级存储的数据迁移方法及装置。
背景技术
数据分级存储是指以信息生命周期管理为基础，根据数据具有不同的重要性、可用性、访问频率、存储成本等特点将其存放在不同性能级别的存储设备中，通过分级存储管理实现数据在存储设备之间的迁移。
目前，业内基于分级存储的数据迁移方法主要是基于数据的访问热度进行数据的迁移，利用分级存储的方法将不经常访问的数据移到存储层次中较低的层次，从而释放出较高成本的存储空间给更频繁访问的数据，这样可大大减少非热点数据在高速存储设备中所占用的空间，加快了整个系统的存储性能，使整个系统获得了更好的性价比。
但是，数据的迁移或者回写都会增加系统存储的开销，影响性能。而不同大小的数据有着不同的传输速率，若在数据迁移过程中不加以判断处理，那么在系统压力较大时，大量小对象的数据迁移则会严重影响存储系统的效率和客户的使用感知。
发明内容
为了解决上述技术问题，本发明提供了一种基于分级存储的数据迁移方法及装置，能够降低由于不同大小的数据的传输速率的差异而带来的对数据处理的影响，从而提高存储系统的整体使用性能，以及提高用户的使用感知。
为了达到本发明目的，本发明提供了一种基于分级存储的数据迁移方法，包括：
当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例；
比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第一阈值的大小，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第三阈值的大小；
当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小；
比较获得的高速存储池中的各个冷数据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。
进一步地，当获得的所述高速存储池的已用存储大小占高速存储池的总存储大小的比例小于预置的第一阈值时，结束本流程。
进一步地，如果获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第三阈值，将所述高速存储池中的冷数据迁移至普通存储池中。
进一步地，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例包括：
获取高速存储池的已用存储大小和该高速存储池的总存储大小；
将获得的高速存储池的已用存储大小除以高速存储池的总存储大小。
进一步地，冷数据为：
高速存储池所在系统的当前时间与该数据最后被访问的时间之差大于或等于预置的第四阈值的数据。
本发明还提供了一种基于分级存储的数据迁移装置，包括：获取模块、比较模块和数据处理模块；其中，
获取模块，用于当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例；
比较模块，用于比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第一阈值的大小，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第三阈值的大小；
数据处理模块，用于当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小；
比较获得的高速存储池中的各个冷叔据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。
进一步地，数据处理模块还用于：如果获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第三阈值，将所述高速存储池中的冷数据迁移至普通存储池中。
进一步地，获取模块获取高速存储池的已用存储大小占高速存储池的总存储大小的比例包括：
获取高速存储池的已用存储大小和该高速存储池的总存储大小；
将获得的高速存储池的已用存储大小除以高速存储池的总存储大小。
进一步地，冷数据为：
高速存储池所在系统的当前时间与该数据最后被访问的时间之差大于或等于预置的第四阈值的数据。
本发明技术方案包括：当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例；比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第一阈值的大小，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第三阈值的大小；当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小；比较获得的高速存储池中的各个冷数据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。本发明技术方案降低了由于不同大小的数据的传输速率的差异而带来的对数据处理的影响，从而提高了存储系统的整体使用性能，以及提高了用户的使用感知。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于分级存储的数据迁移方法的流程图；
图2为本发明基于分级存储的数据迁移装置的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明进行详细的说明。
图1为本发明基于分级存储的数据迁移方法的流程图，如图1所示，包括以下步骤：
步骤101，当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例。
其中，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例包括：
获取高速存储池的已用存储大小和该高速存储池的总存储大小；
将获得的高速存储池的已用存储大小除以高速存储池的总存储大小。
需要说明的是，存储系统繁忙是指有大量的数据读写请求，关于如何判定存储系统是否繁忙，属于本领域技术人员所熟知的惯用技术手段，在此不再赘述。
步骤102，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第一阈值的大小，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第三阈值的大小。
这里的第三阈值要大于第一阈值。
步骤103，当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小。
其中，冷数据为：所述高速存储池所在系统的当前时间与所述数据最后被访问的时间之差大于或等于预置的第四阈值的数据。
确定数据为冷数据包括：获取高速存储池中各个数据最后被访问的时间；
在高速存储池所在系统的当前时间与该数据最后被访问的时间之差大于或等于预置的第四阈值时，确定该数据为冷数据。
需要说明的是，关于如何确定数据为冷数据还可以依据数据被访问的次数来确定，如当某一数据被访问的次数小于根据实际情况设置的阈值时，可以被认为是冷数据。关于如何确定冷数据并不用来限制本发明的保护范围。
步骤104，比较获得的高速存储池中的各个冷数据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。
进一步地，如果获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第三阈值，将所述高速存储池中的冷数据迁移至普通存储池中。
进一步地，当获得的高速存储池的已用存储量大小小于预置的第一阈值时，结束本流程。
进一步地，该方法还包括：当存储系统空闲时，将该高速存储池中的全部冷数据迁移至普通存储池中。
本发明中，关于第一阈值、第二阈值、第三阈值、和第四阈值的设置可以根据系统的实际情况进行设置，例如，第一阈值可以设置为：30％或者是40％；第二阈值可以设置为1M或者是2M；第三阈值可以设置为50％或者60％；第四阈值可以设置为48小时或者是36小时。关于第一阈值和第三阈值设置需要遵循的原则是：第三阈值要大于第一阈值。关于如何设置这些阈值属于本领域技术人员所熟知的惯用技术手段，在此不再赘述。
图2为本发明基于分级存储的数据迁移装置的结构示意图，如图2所示，包括：获取模块、比较模块和数据处理模块；其中，
获取模块，用于当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例。
需要说明的是，存储系统繁忙是指有大量的数据读写请求，关于如何判定存储系统是否繁忙，属于本领域技术人员所熟知的惯用技术手段，在此不再赘述。
比较模块，用于比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第一阈值的大小，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第三阈值的大小。
数据处理模块，当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小；比较获得的高速存储池中的各个冷叔据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。
进一步地，数据处理模块还用于：如果获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第三阈值，将高速存储池中的冷数据迁移至普通存储池中。
其中，获取模块，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例包括：
获取高速存储池的已用存储大小和该高速存储池的总存储大小；
将获得的高速存储池的已用存储大小除以高速存储池的总存储大小。
上述装置中，冷数据为：
高速存储池所在系统的当前时间与该数据最后被访问的时间之差大于或等于预置的第四阈值的数据。其中，可以通过以下方式确定数据为冷数据：
获取高速存储池中各个数据最后被访问的时间；
在高速存储池所在系统的当前时间与该数据最后被访问的时间之差大于或等于预置的第四阈值时，确定该数据为冷数据。
需要说明的是，关于如何确定数据为冷数据还可以依据数据被访问的次数来确定，如当某一数据被访问的次数小于根据实际情况设置的阈值时，可以被认为是冷数据。关于如何确定冷数据并不用来限制本发明的保护范围。
进一步地，当存储系统空闲时，数据处理模块还用于：将该高速存储池中的全部冷数据迁移至普通存储池中。
关于第一阈值、第二阈值、第三阈值、和第四阈值的设置可以根据系统的实际情况进行设置，例如，第一阈值可以设置为：30％或者是40％；第二阈值可以设置为1M或者是2M；第三阈值可以设置为50％或者60％；第四阈值可以设置为48小时或者是36小时。关于第一阈值和第三阈值设置需要遵循的原则是：第三阈值要大于第一阈值。关于如何设置这些阈值属于本领域技术人员所熟知的惯用技术手段，在此不再赘述。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (9)
1.一种基于分级存储的数据迁移方法，其特征在于，包括：
当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例；
比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第一阈值的大小，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第三阈值的大小；
当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小；
比较获得的高速存储池中的各个冷数据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。
2.根据权利要求1所述的数据迁移方法，其特征在于，当获得的所述高速存储池的已用存储大小占高速存储池的总存储大小的比例小于预置的第一阈值时，结束本流程。
3.根据权利要求1所述的数据迁移方法，其特征在于，如果获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第三阈值，将所述高速存储池中的冷数据迁移至普通存储池中。
4.根据权利要求1所述的数据迁移方法，其特征在于，所述获取高速存储池的已用存储大小占高速存储池的总存储大小的比例包括：
获取高速存储池的已用存储大小和该高速存储池的总存储大小；
将获得的高速存储池的已用存储大小除以高速存储池的总存储大小。
5.根据权利要求1或3所述的数据迁移方法，其特征在于，所述冷数据为：
所述高速存储池所在系统的当前时间与所述数据最后被访问的时间之差大于或等于预置的第四阈值的数据。
6.一种基于分级存储的数据迁移装置，其特征在于，包括：获取模块、比较模块和数据处理模块；其中，
获取模块，用于当存储系统繁忙时，获取高速存储池的已用存储大小占高速存储池的总存储大小的比例；
比较模块，用于比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第一阈值的大小，比较获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例与预置的第三阈值的大小；
数据处理模块，用于当获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第一阈值且小于预置的第三阈值时，获取高速存储池中的各个冷数据的大小；
比较获得的高速存储池中的各个冷叔据的大小与预置的第二阈值的大小，将高速存储池中的大于或等于预置的第二阈值的冷数据迁移至普通存储池中。
7.根据权利要求6所述的数据迁移装置，其特征在于，所述数据处理模块还用于：如果获得的高速存储池的已用存储大小占高速存储池的总存储大小的比例大于或等于预置的第三阈值，将所述高速存储池中的冷数据迁移至普通存储池中。
8.根据权利要求6所述的数据迁移装置，其特征在于，所述获取模块获取高速存储池的已用存储大小占高速存储池的总存储大小的比例包括：
获取高速存储池的已用存储大小和该高速存储池的总存储大小；
将获得的高速存储池的已用存储大小除以高速存储池的总存储大小。
9.根据权利要求6或7所述的数据迁移装置，其特征在于，所述冷数据为：
所述高速存储池所在系统的当前时间与所述数据最后被访问的时间之差大于或等于预置的第四阈值的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410410782.6A CN104199784B (zh) | 2014-08-20 | 2014-08-20 | 一种基于分级存储的数据迁移方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410410782.6A CN104199784B (zh) | 2014-08-20 | 2014-08-20 | 一种基于分级存储的数据迁移方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104199784A CN104199784A (zh) | 2014-12-10 |
| CN104199784B true CN104199784B (zh) | 2017-12-08 |
Family
ID=52085080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410410782.6A Active CN104199784B (zh) | 2014-08-20 | 2014-08-20 | 一种基于分级存储的数据迁移方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104199784B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677248A (zh) * | 2015-12-31 | 2016-06-15 | 华为技术有限公司 | 一种数据访问方法和装置 |
| CN105892952A (zh) * | 2016-04-22 | 2016-08-24 | 深圳市深信服电子科技有限公司 | 超融合系统及其纵向扩展方法 |
| CN107783720A (zh) * | 2016-08-24 | 2018-03-09 | 深圳市深信服电子科技有限公司 | 一种数据均衡方法及存储设备 |
| CN106354438A (zh) * | 2016-09-28 | 2017-01-25 | 郑州云海信息技术有限公司 | 一种存储池容量可用时间的预测方法和装置 |
| CN107807798A (zh) * | 2017-11-22 | 2018-03-16 | 郑州云海信息技术有限公司 | 一种分级存储性能优化方法及系统 |
| CN108491165A (zh) * | 2018-03-27 | 2018-09-04 | 中国农业银行股份有限公司 | 一种用于分级存储的数据迁移方法及系统 |
| CN109802684B (zh) * | 2018-12-26 | 2022-03-25 | 华为技术有限公司 | 进行数据压缩的方法和装置 |
| CN111813740A (zh) * | 2019-04-11 | 2020-10-23 | 中国移动通信集团四川有限公司 | 一种文件分层存储方法及服务器 |
| CN115344505B (zh) * | 2022-08-01 | 2023-05-09 | 江苏华存电子科技有限公司 | 一种基于感知分类的内存访问方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521419A (zh) * | 2011-12-31 | 2012-06-27 | 曙光信息产业股份有限公司 | 分级存储的实现方法和系统 |
| CN102648457A (zh) * | 2009-12-07 | 2012-08-22 | 微软公司 | 使用混合存储来延伸ssd生存期 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002049511A (ja) * | 2000-05-24 | 2002-02-15 | Hitachi Ltd | アドレスの割付変更方法及びこれを用いた外部記憶サブシステム |
| CN102364474B (zh) * | 2011-11-17 | 2014-08-20 | 中国科学院计算技术研究所 | 用于机群文件系统的元数据存储系统和管理方法 |
-
2014
- 2014-08-20 CN CN201410410782.6A patent/CN104199784B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102648457A (zh) * | 2009-12-07 | 2012-08-22 | 微软公司 | 使用混合存储来延伸ssd生存期 |
| CN102521419A (zh) * | 2011-12-31 | 2012-06-27 | 曙光信息产业股份有限公司 | 分级存储的实现方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104199784A (zh) | 2014-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104199784B (zh) | 一种基于分级存储的数据迁移方法及装置 | |
| CN111090398B (zh) | 固态硬盘的垃圾回收方法、装置、设备及可读存储介质 | |
| CN105242871B (zh) | 一种数据写入方法及装置 | |
| CN103995855B (zh) | 存储数据的方法和装置 | |
| CN106681934B (zh) | 一种存储设备垃圾回收的方法及设备 | |
| CN103500516B (zh) | 基于电子地图高效率轨迹回放的方法及系统 | |
| CN107168654B (zh) | 一种基于数据对象热度的异构内存分配方法及系统 | |
| CN104574282B (zh) | 点云噪声点去除系统及方法 | |
| CN104794687A (zh) | 点云精简系统及方法 | |
| CN104268099B (zh) | 一种管理数据读写的方法及装置 | |
| CN109144895B (zh) | 一种数据存储方法及装置 | |
| CN104063265A (zh) | 一种虚拟资源的综合评估方法 | |
| CN108139872A (zh) | 一种缓存管理方法、缓存控制器以及计算机系统 | |
| CN109086141B (zh) | 内存管理方法和装置以及计算机可读存储介质 | |
| CN106610901B (zh) | 存储器的磨损次数平衡方法及装置 | |
| CN104699424A (zh) | 一种基于页面热度的异构内存管理方法 | |
| CN104050057B (zh) | 一种历史感知的数据去重碎片消除方法与系统 | |
| CN107608631A (zh) | 一种数据文件存储方法、装置、设备以及存储介质 | |
| CN106569750A (zh) | 一种数据压缩方法及装置 | |
| CN106598508A (zh) | 一种固态硬盘及其写入仲裁方法、系统 | |
| CN103631729A (zh) | 一种基于块级的分级存储方法及系统 | |
| CN104156173A (zh) | 一种实现磁盘碎片整理的方法及装置 | |
| CN107704200A (zh) | 一种数据存放方法 | |
| US9959060B1 (en) | Data separation during host write with storage allocated based on traffic profiles | |
| CN106951193B (zh) | 改善Nand Flash存储性能的方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |