CN106227466B - 一种数据段迁移方法及系统 - Google Patents
一种数据段迁移方法及系统 Download PDFInfo
- Publication number
- CN106227466B CN106227466B CN201610562182.0A CN201610562182A CN106227466B CN 106227466 B CN106227466 B CN 106227466B CN 201610562182 A CN201610562182 A CN 201610562182A CN 106227466 B CN106227466 B CN 106227466B
- Authority
- CN
- China
- Prior art keywords
- data segment
- target
- target data
- level
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000005012 migration Effects 0.000 claims abstract description 18
- 238000013508 migration Methods 0.000 claims abstract description 18
- 230000001617 migratory effect Effects 0.000 claims abstract description 15
- 238000005194 fractionation Methods 0.000 claims description 7
- 238000000151 deposition Methods 0.000 claims 2
- 230000006870 function Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种数据段迁移方法，包括：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；在目标层级中选取至少一个目标数据段，判断是否需要触发目标数据段向上一层级或者向下一层级迁移；若触发目标数据段向上一层级迁移，则将目标数据段按照上一层级中的数据段大小进行拆分，同时在目标层级中保留目标数据段的副本；若触发目标数据段向所述下一层级迁移，则将目标数据段与下一层级中的母体数据段进行合并，同时在目标层级中删除目标数据段。不仅提高数据段的大小对热点数据的识别精度，还能够有效地降低数据分级功能的元数据量和管理性能开销。本申请还公开了一种数据段迁移系统。
Description
技术领域
本发明涉及数据存储技术领域，更具体地说，涉及一种数据迁移方法，还涉及一种数据迁移系统。
背景技术
随着互联网数据量的急剧增长，人们对存储系统的容量和性能提出了越来越高的要求，现代的存储系统不仅需要大容量，还要满足高吞吐率、高IOPS和IO访问低延迟。然而，目前存储系统的性能仍然受限于存储系统使用最多的存储介质传统机械式硬盘(HardDisk Driver，简称HDD)，传统机械式硬盘由于其固有物理特性，其随机访问的性能差。近年出现的固态存储器(Solid Storage Driver，简称SSD)，如Flash存储器、固态盘和PCM等，正好弥补了传统HDD随机访问性能差的缺点，基于闪存技术的SSD读写延迟较小，对数据随机访问提供了很好的支持。而由于SSD速度越来越快，容量越来越大，存储系统中开始使用SSD与HDD构成混合存储系统，将存储系统中访问频繁的数据和文件存放到SSD中，以充分发挥SSD的优势，这就形成了分级存储系统。例如一种典型的分级存储系统，从上到下划分为如下3个层级：SSD层、SAS磁盘层，NL-SAS磁盘层，三个层级从上到下容量依次递增，性能依次递减。
传统分级存储系统中，会将系统中所有存储空间划分为相同大小的数据段，并以数据段为基本粒度进行数据访问的热度统计。根据预先定义的一系列规则，将数据访问热度较高的数据段由当前层级向上迁移到性能较高的层级中，将数据访问热度较低的数据段由当前层级向下迁移到性能较低的层级中。
在这种分级存储系统中，数据段的大小成为系统性能和开销两个指标之间平衡的关键因素：数据段较大时，数据访问热度的统计信息等元数据较少，数据分级的管理开销也较少，但对热点数据的识别精度较差，较高性能的层级中会存储一些访问热度较低的数据，且数据段在层级间迁移时获得的性能收益较少，因为数据段迁移时必不可少的迁移了一部分不必要的数据。数据段较小时，情况则刚好相反，对热点数据的识别精度较好，但对数据分级的管理开销较大。因此，现有技术中分级存储方法无法同时兼顾数据段的大小对热点数据的识别精度和数据分级管理的开销。
因此，如何同时兼顾数据段的大小对热点数据的识别精度和数据分级管理的开销是本领域技术人员急需要解决的技术问题。
发明内容
为解决上述技术问题，本发明提供一种，通过在分级存储系统中的不同层级使用与该层级相匹配大小的数据段，能够兼顾数据段的大小对热点数据的识别精度和数据分级管理的开销。
为实现上述目的，本发明提供如下技术方案：
一种数据段迁移方法，包括：
根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；
在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；
若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；
若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。
优选的，在上述数据段迁移方法中，若触发所述目标数据段向上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，具体包括：
在所述上一层级中查找是否有用于存储所述目标数据段的存储空间；
如果有，则在所述上一层级中分配多个子数据段，所述多个子数据段的大小之和与所述目标数据段大小相同；
将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本。
优选的，在上述数据段迁移方法中，将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本之后，还包括：
根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息。
优选的，在上述数据段迁移方法中，更新所述多个子数据段的数据访问热度统计信息之后，还包括：
记录所述目标数据段的编号以及所述子数据段在所述目标数据段中的索引。
优选的，在上述数据段迁移方法中，若触发所述目标数据段向下一层级迁移，则将所述目标数据段与所述目标数据在所述下一层级中所属的母数据段进行合并，同时在所述目标层级中删除所述目标数据段，具体包括：
在所述下一层级中查找是否有用于存储所述目标数据段的存储空间；
如果有，查找所述目标数据在所述下一层级中所属的母数据段，并将所述目标数据段复制至所述母数据段中，并根据所述目标数据段中的关于与所述母数据段的索引值将所述目标数据段放在对应的位置；
在所述目标层级中删除所述目标数据段。
优选的，在上述数据段迁移方法中，在所述目标层级中删除所述目标数据段之后，还包括：
根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息。
本发明还提供了一种数据段迁移系统，包括：
数据段大小计算模块，用于根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；
迁移判断模块，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；
迁移触发模块，用于触发所述目标数据段向所述上一层级或所述下一层级迁移；
迁移执行模块，用于将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，或，用于将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。
优选的，在上述数据段迁移系统中，还包括：
数据段热度统计模块，用于统计每个层级中的所有数据段的数据访问热度统计信息；
存储空间查找模块，用于在所述上一层级中查找是否有用于存储所述目标数据段的存储空间，或，用于在所述下一层级中查找是否有用于存储所述目标数据段的存储空间。
优选的，在上述数据段迁移系统中，还包括：
更新模块，用于根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息，或，用于根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息。
优选的，在上述数据段迁移系统中，所述迁移执行模块包括：
拆分单元，用于将所述目标数据段按照所述子数据段的大小进行拆分；
第一复制单元，用于将拆分后的目标数据段依次复制到所述子数据段中；
第二复制单元，用于将所述目标数据段复制至所述母数据段中；
索引单元，用于查找所述目标数据在所述下一层级中所属的母数据段，根据所述目标数据段中的关于与所述母数据段的索引值将所述目标数据段放在对应的位置。
从上述技术方案可以看出，本发明所提供的一种数据段迁移方法，包括：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。
由于本发明根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小，对分级存储系统中多个层级，使用不同大小的数据段。具体的，对容量较大性能较低的层级，使用较大的数据段，对容量较小性能较高的层级，使用较小的数据段，保证了精确识别热点数据。由于若触发所述目标数据段向所述下一层级迁移时，迁移完成之后，在所述目标层级中删除所述目标数据段，使得向下一层级迁移时所需要的数据迁移量有所减少，能够有效地降低数据分级功能的元数据量和管理性能开销。提升整体运行效率和性能。
本发明还提供了一种数据段迁移系统，能够有效地降低数据分级功能的元数据量和管理性能开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据迁移方法示意图；
图2为本发明实施例提供的分级存储系统示意图；
图3为本发明实施例提供的一种数据迁移系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种数据迁移方法示意图。
在一种具体实施方式中，提供了一种数据段迁移方法，包括：
步骤S1：根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；
各层级的数据段大小依据根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息，以及所承载的业务系统对数据的访问特性，可用于分级功能的管理元数据资源共同确定。若层级存储空间较大、应用系统提交的IO请求较大、用于存储元数据的内存和磁盘空间较小，则该层级采用较大的数据段，反之若层级存储空间较小、应用系统提交的IO请求较小、用于存储元数据的内存和磁盘空间较大，则该层级采用较小的数据段。
请参考图2，图2为本发明实施例提供的分级存储系统示意图。
计算后的每个层级中的数据段大小之后，相应的在每一个层级中进行相应大小的数据段大小分配。分配后形成的分级存储系统共有三个层级：按照层级存储性能由高到低依次为11、12和13。在本发明的实施例中，分级存储系统可以有不同数量的层级，此处仅举例说明。层级11中有数据段111、112和113，数据段111、112和113分别属于层级12中的数据段121、122和123，即数据段111、112和113为相对的子数据段，而数据段121、122和123为相对的母数据段。数据段121、122和123分别属于层级13中的数据段131、132和133，即数据段121、122和123为相对的子数据段，数据段131、132和133为相对的母数据段。具有从属关系的两个数据段，其大小具有整数倍关系，即数据段111所从属的数据段121的大小，是数据段111大小的整数倍。不同层级之间数据段大小的倍数可以相同也可以不同。
步骤S2：在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；
结合每个层级中的数据段的访问频率统计信息、系统运行负载信息、分级策略配置信息等进行数据段是否向上迁移或者向下迁移的判断。
步骤S3：若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；
步骤S4：若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。
现有技术中，元数据量和元数据的管理性能开销是和分级存储系统中总数据段的数量成正比，数据段数量越多则元数据量越大，相应管理开销也越大。此外，由于现有技术中当前分级存储系统无法兼容层级中的较小粒度的数据段相应的元数据量，通常采用较大的数据段，以降低元数据量和元数据管理的性能开销，然而数据段较大，则对热点数据的识别精度较差。因此，无法同时兼顾数据段的大小对热点数据的识别精度和数据分级管理的开销。
由于本发明根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小，对分级存储系统中多个层级，使用不同大小的数据段。具体的，对容量较大性能较低的层级，使用较大的数据段，对容量较小性能较高的层级，使用较小的数据段，保证了精确识别热点数据。由于若触发所述目标数据段向所述下一层级迁移时，迁移完成之后，在所述目标层级中删除所述目标数据段，使得向下一层级迁移时所需要的数据迁移量有所减少，在相应的层级中数据段数量减少，有效地降低数据分级功能的元数据量和管理性能开销，提升整体运行效率和性能。
对分级存储系统中的数据进行访问时，首先根据访问请求中的数据地址和长度，从最高层级的存储池中进行查找，如果找到则进行访问；如果找不到则在下一层级中继续进行查找，以此类推直到找到所要访问的数据为止。如果IO请求是向分级存储系统中写入新的数据，则可根据业务类型不同自动选择层级或由系统管理员指定层级进行存储空间的分配和数据的写入操作。
在上述实施方式的基础上，若触发所述目标数据段向上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，具体包括：
步骤301，在所述上一层级中查找是否有用于存储所述目标数据段的存储空间；
步骤302，如果有，则在所述上一层级中分配多个子数据段，所述多个子数据段的大小之和与所述目标数据段大小相同；
步骤303，将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本。
进一步的，在上述数据段迁移方法中，将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本之后，还包括：
步骤304，根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息。
进一步的，在上述数据段迁移方法中，更新所述多个子数据段的数据访问热度统计信息之后，还包括：
步骤305，记录所述目标数据段的编号以及所述子数据段在所述目标数据段中的索引。
此外，步骤302之后还包括：
步骤306，即如果所述上一层级中没有足够的空闲空间，判断上一层级中是否有待向下迁移的数据段，若没有待向下迁移的数据段，则表明目标层级没有空间用于存放迁入的数据段，流程结束。
步骤307，如果上一层级中有待向下迁移的数据段，则对这些数据段执行向下迁移流程，之后重复执行步骤302。
在上述实施方式的基础上，若触发所述目标数据段向下一层级迁移，则将所述目标数据段与所述目标数据在所述下一层级中所属的母数据段进行合并，同时在所述目标层级中删除所述目标数据段，具体包括：
步骤401，在所述下一层级中查找是否有用于存储所述目标数据段的存储空间；
步骤402，如果有，查找所述目标数据在所述下一层级中所属的母数据段，并将所述目标数据段复制至所述母数据段中，并根据所述目标数据段中的关于与所述母数据段的索引值将所述目标数据段放在对应的位置；
如果没有，执行步骤405。
步骤403，在所述目标层级中删除所述目标数据段。
进一步的，在上述数据段迁移方法中，在所述目标层级中删除所述目标数据段之后，还包括：
步骤404，根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息。
此外，步骤402之后还包括：
步骤405，如果没有用于存储所述目标数据段的存储空间，则判断下一层级是否有待向下迁移的数据段，如果有待迁移数据段，则重复执行步骤401，如果没有，则流程结束。
请参考图3，图3为本发明实施例提供的一种数据迁移系统示意图。
在另一种具体实施方式中，本发明还提供了一种数据段迁移系统，包括：
数据段大小计算模块10，用于根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；
迁移判断模块20，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；
迁移触发模块30，用于触发所述目标数据段向所述上一层级或所述下一层级迁移；
迁移执行模块40，用于将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，或，用于将所述目标数据段与所述下一层级中的母体数据段进行合并，同时在所述目标层级中删除所述目标数据段。
进一步的，在上述数据段迁移系统中，还包括：
数据段热度统计模块，用于统计每个层级中的所有数据段的数据访问热度统计信息；
进一步的，在上述数据段迁移系统中，还包括：
存储空间查找模块，用于在所述上一层级中查找是否有用于存储所述目标数据段的存储空间，或，用于在所述下一层级中查找是否有用于存储所述目标数据段的存储空间。
进一步的，在上述数据段迁移系统中，还包括：
更新模块，用于根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息，或，用于根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息。
进一步的，在上述数据段迁移系统中，所述迁移执行模块包括：
拆分单元，用于将所述目标数据段按照所述子数据段的大小进行拆分；
第一复制单元，用于将拆分后的目标数据段依次复制到所述子数据段中；
第二复制单元，用于将所述目标数据段复制至所述母数据段中；
索引单元，用于查找所述目标数据在所述下一层级中所属的母数据段，根据所述目标数据段中的关于与所述母数据段的索引值将所述目标数据段放在对应的位置。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据段迁移方法，其特征在于，包括：
根据分级存储系统的每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；
在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；
若触发所述目标数据段向所述上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本；
若触发所述目标数据段向所述下一层级迁移，则将所述目标数据段与所述下一层级中的母数据段进行合并，同时在所述目标层级中删除所述目标数据段；其中，所述母数据段为所述下一层级中与所述目标数据段对应的数据段。
2.如权利要求1所述的数据段迁移方法，其特征在于，若触发所述目标数据段向上一层级迁移，则将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，具体包括：
在所述上一层级中查找是否有用于存储所述目标数据段的存储空间；
如果有，则在所述上一层级中分配多个子数据段，所述多个子数据段的大小之和与所述目标数据段大小相同；
将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本。
3.如权利要求2所述的数据段迁移方法，其特征在于，将所述目标数据段按照所述子数据段的大小进行拆分，将拆分后的目标数据段依次复制到所述子数据段中，同时在所述目标层级中保留所述目标数据段的副本之后，还包括：
根据所述目标层级中的数据访问热度统计信息更新所述多个子数据段的数据访问热度统计信息。
4.如权利要求3所述的数据段迁移方法，其特征在于，更新所述多个子数据段的数据访问热度统计信息之后，还包括：
记录所述目标数据段的编号以及所述子数据段在所述目标数据段中的索引。
5.如权利要求1所述的数据段迁移方法，其特征在于，若触发所述目标数据段向下一层级迁移，则将所述目标数据段与所述目标数据段在所述下一层级中所属的母数据段进行合并，同时在所述目标层级中删除所述目标数据段，具体包括：
在所述下一层级中查找是否有用于存储所述目标数据段的存储空间；
如果有，查找所述目标数据段在所述下一层级中所属的母数据段，并将所述目标数据段复制至所述母数据段中，并根据所述目标数据段中的所述母数据段的索引值将所述目标数据段放在对应的位置；
在所述目标层级中删除所述目标数据段。
6.如权利要求5所述的数据段迁移方法，其特征在于，在所述目标层级中删除所述目标数据段之后，还包括：
根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息。
7.一种数据段迁移系统，其特征在于，包括：
数据段大小计算模块，用于分级存储系统的根据每个层级的总存储空间、元数据存储空间以及数据访问热度统计信息计算所述每个层级中的数据段大小；
迁移判断模块，用于在目标层级中选取至少一个目标数据段，判断是否需要触发所述目标数据段向上一层级或者向下一层级迁移；
迁移触发模块，用于触发所述目标数据段向所述上一层级或所述下一层级迁移；
迁移执行模块，用于将所述目标数据段按照所述上一层级中的数据段大小进行拆分，同时在所述目标层级中保留所述目标数据段的副本，或，用于将所述目标数据段与所述下一层级中的母数据段进行合并，同时在所述目标层级中删除所述目标数据段；其中，所述母数据段为所述下一层级中与所述目标数据段对应的数据段。
8.如权利要求7所述的数据段迁移系统，其特征在于，还包括：
数据段热度统计模块，用于统计每个层级中的所有数据段的数据访问热度统计信息；
存储空间查找模块，用于在所述上一层级中查找是否有用于存储所述目标数据段的存储空间，或，用于在所述下一层级中查找是否有用于存储所述目标数据段的存储空间。
9.如权利要求8所述的数据段迁移系统，其特征在于，还包括：
更新模块，用于根据所述目标层级中的数据访问热度统计信息更新多个子数据段的数据访问热度统计信息；或，用于根据所述目标层级中的数据访问热度统计信息更新所述母数据段的数据访问热度统计信息；其中，所述多个子数据段为当所述上一层级中有用于存储所述目标数据段的存储空间时在所述上一层级中分配的多个子数据段，所述多个子数据段的大小之和与所述目标数据段大小相同。
10.如权利要求9所述的数据段迁移系统，其特征在于，所述迁移执行模块包括：
拆分单元，用于将所述目标数据段按照所述多个子数据段中的一个子数据段的大小进行拆分；
第一复制单元，用于将拆分后的目标数据段依次复制到所述子数据段中；
第二复制单元，用于将所述目标数据段复制至所述母数据段中；
索引单元，用于查找所述目标数据段在所述下一层级中所属的母数据段，根据所述目标数据段中的所述母数据段的索引值将所述目标数据段放在对应的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610562182.0A CN106227466B (zh) | 2016-07-15 | 2016-07-15 | 一种数据段迁移方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610562182.0A CN106227466B (zh) | 2016-07-15 | 2016-07-15 | 一种数据段迁移方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106227466A CN106227466A (zh) | 2016-12-14 |
| CN106227466B true CN106227466B (zh) | 2019-03-15 |
Family
ID=57520581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610562182.0A Active CN106227466B (zh) | 2016-07-15 | 2016-07-15 | 一种数据段迁移方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106227466B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598501B (zh) * | 2016-12-16 | 2019-06-28 | 郑州云海信息技术有限公司 | 用于存储自动分层的数据迁移设备及方法 |
| CN107092443B (zh) * | 2017-04-28 | 2020-04-07 | 杭州宏杉科技股份有限公司 | 数据迁移方法及装置 |
| CN107844271A (zh) * | 2017-10-27 | 2018-03-27 | 郑州云海信息技术有限公司 | 一种分级存储的方法、装置及计算机可读存储介质 |
| CN112379841A (zh) * | 2020-11-16 | 2021-02-19 | 北京金山云网络技术有限公司 | 数据处理方法、装置和电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007093932A2 (en) * | 2006-02-15 | 2007-08-23 | Koninklijke Philips Electronics N.V. | A device for and a method of managing auxiliary data assigned to main data |
| CN102117248A (zh) * | 2011-03-09 | 2011-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种缓存系统和在缓存系统中缓存数据的方法 |
| CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
| CN103106045A (zh) * | 2012-12-20 | 2013-05-15 | 华为技术有限公司 | 数据迁移方法和系统、主机端设备 |
| CN103558991A (zh) * | 2011-12-31 | 2014-02-05 | 华为数字技术（成都）有限公司 | 数据分层存储处理方法、装置和存储设备 |
| US8843459B1 (en) * | 2010-03-09 | 2014-09-23 | Hitachi Data Systems Engineering UK Limited | Multi-tiered filesystem |
| CN104462240A (zh) * | 2014-11-18 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 云存储中实现分级存储管理的方法和系统 |
| CN104461914A (zh) * | 2014-11-10 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种自动精简配置的自适应优化方法 |
| CN104978362A (zh) * | 2014-04-11 | 2015-10-14 | 中兴通讯股份有限公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
| CN105138476A (zh) * | 2015-08-26 | 2015-12-09 | 广东创我科技发展有限公司 | 一种基于hadoop异构存储的数据存储方法及系统 |
| CN105487823A (zh) * | 2015-12-04 | 2016-04-13 | 华为技术有限公司 | 一种数据迁移的方法及装置 |
| CN105573682A (zh) * | 2016-02-25 | 2016-05-11 | 浪潮(北京)电子信息产业有限公司 | 一种san存储系统及其数据读写方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2529670A (en) * | 2014-08-28 | 2016-03-02 | Ibm | Storage system |
-
2016
- 2016-07-15 CN CN201610562182.0A patent/CN106227466B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007093932A2 (en) * | 2006-02-15 | 2007-08-23 | Koninklijke Philips Electronics N.V. | A device for and a method of managing auxiliary data assigned to main data |
| US8843459B1 (en) * | 2010-03-09 | 2014-09-23 | Hitachi Data Systems Engineering UK Limited | Multi-tiered filesystem |
| CN102117248A (zh) * | 2011-03-09 | 2011-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种缓存系统和在缓存系统中缓存数据的方法 |
| CN103558991A (zh) * | 2011-12-31 | 2014-02-05 | 华为数字技术（成都）有限公司 | 数据分层存储处理方法、装置和存储设备 |
| CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
| CN103106045A (zh) * | 2012-12-20 | 2013-05-15 | 华为技术有限公司 | 数据迁移方法和系统、主机端设备 |
| CN104978362A (zh) * | 2014-04-11 | 2015-10-14 | 中兴通讯股份有限公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
| CN104461914A (zh) * | 2014-11-10 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种自动精简配置的自适应优化方法 |
| CN104462240A (zh) * | 2014-11-18 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 云存储中实现分级存储管理的方法和系统 |
| CN105138476A (zh) * | 2015-08-26 | 2015-12-09 | 广东创我科技发展有限公司 | 一种基于hadoop异构存储的数据存储方法及系统 |
| CN105487823A (zh) * | 2015-12-04 | 2016-04-13 | 华为技术有限公司 | 一种数据迁移的方法及装置 |
| CN105573682A (zh) * | 2016-02-25 | 2016-05-11 | 浪潮(北京)电子信息产业有限公司 | 一种san存储系统及其数据读写方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106227466A (zh) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106227466B (zh) | 一种数据段迁移方法及系统 | |
| US9449005B2 (en) | Metadata storage system and management method for cluster file system | |
| CN103631940B (zh) | 一种应用于hbase数据库的数据写入方法及系统 | |
| US10521131B2 (en) | Storage apparatus and storage control apparatus | |
| JP6764359B2 (ja) | 重複除去ｄｒａｍメモリモジュール及びそのメモリ重複除去方法 | |
| CN103458023B (zh) | 分布式闪存存储系统 | |
| CN104699424B (zh) | 一种基于页面热度的异构内存管理方法 | |
| CN109783020A (zh) | 一种基于ssd-smr混合键值存储系统的垃圾回收方法 | |
| CN106201916B (zh) | 一种面向ssd的非易失缓存方法 | |
| CN110888600B (zh) | 一种面向nand闪存的缓冲区管理方法 | |
| CN103473298B (zh) | 数据归档方法和装置以及存储系统 | |
| CN113568562A (zh) | 一种存储系统、内存管理方法和管理节点 | |
| CN101488153A (zh) | 嵌入式Linux下大容量闪存文件系统的实现方法 | |
| CN106406759A (zh) | 一种数据存储方法及装置 | |
| CN104054071A (zh) | 访问存储设备的方法和存储设备 | |
| CN106933516A (zh) | 一种混合介质的存储系统的存储控制方法及装置 | |
| Zhang et al. | Nvlsm: A persistent memory key-value store using log-structured merge tree with accumulative compaction | |
| CN106055679A (zh) | 一种多层次缓存感知型索引方法 | |
| CN111078143B (zh) | 基于段映射进行数据布局和调度的混合存储方法及系统 | |
| CN114416646A (zh) | 一种层级存储系统的数据处理方法及装置 | |
| WO2016187975A1 (zh) | 内存碎片整理方法及装置 | |
| CN104156432A (zh) | 一种文件访问方法 | |
| CN102253985A (zh) | 一种文件系统数据的管理方法及系统 | |
| CN111722797A (zh) | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 | |
| JP6531574B2 (ja) | ストレージ装置、ストレージ装置制御プログラム及びストレージ装置制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |