CN103500073B - 一种数据块迁移方法及装置 - Google Patents
一种数据块迁移方法及装置 Download PDFInfo
- Publication number
- CN103500073B CN103500073B CN201310464699.2A CN201310464699A CN103500073B CN 103500073 B CN103500073 B CN 103500073B CN 201310464699 A CN201310464699 A CN 201310464699A CN 103500073 B CN103500073 B CN 103500073B
- Authority
- CN
- China
- Prior art keywords
- migration
- data block
- bandwidth
- queue
- ioq
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000005012 migration Effects 0.000 claims abstract description 165
- 238000013508 migration Methods 0.000 claims abstract description 165
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据块迁移方法及装置，其中，所述方法包括：设置允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽；监控所述上层应用对所述底层分级存储设备I/O请求的流量，统计所述底层分级存储设备的剩余带宽；当需要对数据块进行迁移时，判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行所述数据块的迁移I/O操作。本发明的方法和装置保证在出现密集I/O操作的情况下，有足够的带宽进行迁移I/O操作；利用剩余带宽对需要迁移的数据块执行迁移I/O操作，实现了批量数据迁移，提高了数据迁移的实时性以及迁移效率，同时设置用户自定义带宽，以最小值作为迁移带宽，尽量降低对于正常I/O操作的影响。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种数据块迁移方法及装置。
背景技术
在针对于基于块级数据的分级存储系统中，将不经常访问的数据自动迁移到存储成本层次中较低的设备，释放出较高成本的存储空间给更频繁访问或更高优先级的数据，从而大大减少非重要性数据在一级本地磁盘所占用的空间，加快整个系统的存储性能，降低整个存储系统的拥有成本，进而获得更好的性价比。基于数据块的分级存储是一种细粒度的数据分级管理方案，能够将数据管理的粒度细化到根据应用需求所定义的扩展块级，因此对于数据的管理更加精准。当出现密集I/O访问底层数据时，将会产生热点数据，这时需要完成热点数据的升级迁移操作，以便热点数据能够使用性能更好的存储资源，从而提高存储系统整体性能。但是，在现有基于数据块的分级存储迁移方案中，对于热点数据的迁移操作存在迁移频繁，即每当出现热点数据块时立即迁移，造成热点数据迁移效率低，浪费资源的问题，影响了数据分级管理的实际应用效果。
发明内容
本发明需要解决的技术问题是提供一种数据块迁移方法及装置，可以提高数据迁移的实时性以及迁移效率，同时保证迁移的可靠性。
为了解决上述技术问题，本发明提供了一种数据块迁移方法，包括：
设置允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽；
监控所述上层应用对所述底层分级存储设备I/O请求的流量，统计所述底层分级存储设备的剩余带宽；
当需要对数据块进行迁移时，判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行所述数据块的迁移I/O操作。
进一步地，所述方法还包括：设置用户自定义的剩余带宽；
当判断出所述底层分级存储设备存在剩余带宽后，还将统计得到的所述剩余带宽与所述用户自定义的剩余带宽进行比较，从中选择较小的剩余带宽作为所述数据块的迁移I/O操作的带宽。
进一步地，所述方法还包括：
当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，所述迁移I/O队列包括：迁移的数据块内容以及迁移数据块的I/O操作。
进一步地，所述执行所述数据块的迁移I/O操作，包括：
将所述迁移I/O队列加入到执行I/O队列中，当所述执行I/O队列的定时器的设定时间到时后，对所述迁移I/O队列中的数据块执行迁移I/O操作。
进一步地，所述当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，包括：
当某个时刻达到迁移周期时，扫描所述底层分级存储设备中的数据块，统计所述数据块的数据特征信息，验证所述数据特征信息得到热点数据块，将该热点数据块的数据块内容和对应的迁移I/O操作加入到所述迁移I/O队列中。
为了解决上述技术问题，本发明还提供了一种数据块迁移装置，包括：
带宽控制模块，用于设置允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽；
带宽监控模块，用于监控所述上层应用对所述底层分级存储设备I/O请求的流量，统计所述底层分级存储设备的剩余带宽；
迁移模块，用于当需要对数据块进行迁移时，判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行所述数据块的迁移I/O操作。
进一步地，所述装置还包括：剩余带宽设置模块，用于设置用户自定义的剩余带宽；
所述迁移模块，还用于当判断出所述底层分级存储设备存在剩余带宽后，还将统计得到的所述剩余带宽与所述用户自定义的剩余带宽进行比较，从中选择较小的剩余带宽作为所述数据块的迁移I/O操作的带宽。
进一步地，所述迁移模块，还用于当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，所述迁移I/O队列包括：迁移的数据块内容以及迁移数据块的I/O操作。
进一步地，所述迁移模块，用于执行所述数据块的迁移I/O操作，包括：
将所述迁移I/O队列加入到执行I/O队列中，当所述执行I/O队列的定时器的设定时间到时后，对所述迁移I/O队列中的数据块执行迁移I/O操作。
进一步地，所述迁移模块，用于当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，包括：
当某个时刻达到迁移周期时，扫描所述底层分级存储设备中的数据块，统计所述数据块的数据特征信息，验证所述数据特征信息得到热点数据块，将该热点数据块的数据块内容和对应的迁移I/O操作加入到所述迁移I/O队列中。
与现有技术相比，本发明提供的数据块迁移方法及装置，通过获取底层分级存储设备能够使用的剩余带宽信息，保证在出现密集I/O操作的情况下，有足够的带宽进行迁移I/O操作；维护迁移I/O队列和执行I/O队列，利用剩余带宽对需要迁移的数据块执行迁移I/O操作，实现了批量数据迁移，提高了数据迁移的实时性以及迁移效率，同时设置用户自定义带宽，以最小值作为迁移带宽，尽量降低对于正常I/O操作的影响。
附图说明
图1是实施例中数据块迁移方法流程图；
图2是实施例中数据块迁移装置结构图；
图3是实施例中维护队列示意图；
图4是一个应用示例中数据块迁移系统结构图；
图5是一个应用示例中迁移模块维护迁移I/O队列的具体操作流程图；
图6是一个应用示例中迁移模块对需要迁移的数据块执行迁移操作，维护执行I/O队列的迁移I/O操作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
实施例：
如图1所示，本实施例提供了一种数据块迁移方法，包括以下步骤：
S101：设置允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽；
最大带宽设置为底层分级存储设备能够提供给上层应用使用的最大带宽，而并非底层分级存储设备自身具备的访问能力。设置时，最大带宽的值要比底层分级存储设备自身具备的访问能力小。
S102：监控上层应用对底层分级存储设备I/O请求的流量，统计所述底层分级存储设备的剩余带宽；
剩余带宽是设置的最大带宽减去上层应用访问I/O请求已使用的带宽。
S103：当需要对数据块进行迁移时，判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行所述数据块的迁移I/O操作。
作为一种优选方式，还可以设置用户自定义的剩余带宽；在步骤S103中，当判断出所述底层分级存储设备存在剩余带宽后，还包括：将所述剩余带宽与用户自定义的剩余带宽进行比较，从中选择较小的剩余带宽作为数据块迁移的带宽。
由于在对需要迁移的数据块进行迁移I/O操作时，系统还存在对底层分级存储设备的数据块进行正常I/O操作情况，其中，剩余带宽供迁移数据使用，因此，选择较小的剩余带宽作为数据块迁移的带宽，可以保证在提高迁移效率的同时，最大程度减少对于正常I/O的影响。
对数据块的迁移包括对热点数据块的升级迁移，和对冷数据块的降级迁移，热点数据块即访问次数很高的数据块，热点数据不被访问或访问次数变少就变为冷数据，从慢性设备升级到访问性能好的设备上，使热点数据能够使用性能更好的存储资源，从而提高存储系统整体性能，相反的，对冷数据块降级迁移是指从访问性能好的设备迁移到慢速设备上。
迁移I/O操作具体是指将数据块从当前的底层存储设备读出，并写入迁入的底层存储设备。
为了提高迁移数据的效率，在本步骤中，具体包括：当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，所述迁移I/O队列包括：迁移的数据块内容以及迁移数据块的I/O操作。通过生成迁移队列，当需要迁移数据块时，可以批量式地迁移，从而提高了数据的迁移效率。
作为一种优选的方式，在本实施例中需要维护两个队列，如图3所示，一个是迁移I/O队列，一个是执行I/O队列，执行I/O队列是准备向下层分级设备发送的I/O访问请求队列，该队列中存放的是从通用块层传输下来的bio（blockinputoutput，块的输入和输出），也就是执行读写访问操作I/O（正常I/O操作）以及迁移I/O操作。而迁移I/O队列负责管理需要迁移的数据块对应的I/O操作。
在步骤S103中，为了提高迁移数据的效率，在本步骤中，具体包括：当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，所述迁移I/O队列包括：迁移的数据块内容以及迁移数据块的I/O操作。通过生成迁移队列，当需要迁移数据块时，可以批量式地迁移，从而提高了数据的迁移效率。
在步骤S103中，执行所述数据块的迁移I/O操作，包括：
将所述迁移I/O队列加入到执行I/O队列中，当所述执行I/O队列的定时器的设定时间到时后，对所述迁移I/O队列中的数据块执行迁移I/O操作。
在本实施例中，优选地，为所述执行I/O队列设置一个定时器，将所述迁移I/O队列加入到执行I/O队列中后不会马上执行迁移I/O操作，而是等定时器的设定时间到时后，对所述迁移I/O队列对应的数据块执行迁移I/O操作。
以热点数据块为例，当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，包括：
当某个时刻达到迁移周期时，开始扫描底层分级存储设备中的数据块，统计数据块的数据特征信息，然后验证该数据特征信息得到热点数据块，将该热点数据块的数据块内容和对应的迁移I/O操作加入到所述迁移I/O队列中。
当出现密集I/O访问底层数据时，将会产生热点数据，这时需要完成热点数据的升级迁移操作，以便热点数据能够使用性能更好的存储资源，从而提高存储系统整体性能。但是，这时为了保证数据的一致性，在进行I/O操作时会对数据进行加锁处理，这时触发迁移操作会导致操作由于对数据块的加锁互斥而无法及时完成。如果该热点数据块被加锁，不能发生数据迁移，则将该热点数据块暂时保留在迁移I/O队列中，不加入执行I/O队列，待解锁后再加入执行I/O队列；如果该热点数据块未被加锁时，对该热点数据块进行正常迁移I/O操作，即加入到执行I/O队列，执行迁移I/O操作。
因为，在步骤S101中设置了允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽，优选地，在步骤S102中，监控上层应用对底层分级存储设备I/O请求的流量时，当上层应用对底层分级存储设备I/O请求的流量达到最大带宽时，将会对通用层传输下来的bio（正常的I/O操作）进行阻塞，加入到正常I/O队列进行缓存；当底层分级存储设备还有剩余带宽时，将正常I/O操作加入到执行I/O队列，将bio转换为I/O请求request下发给存储设备进行数据的I/O操作。
如图2所示，本实施例提供了一种数据块迁移装置，包括：
带宽控制模块，用于设置允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽；
带宽监控模块，用于监控所述上层应用对所述底层分级存储设备I/O请求的流量，统计所述底层分级存储设备的剩余带宽；
迁移模块，用于当需要对数据块进行迁移时，判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行所述数据块的迁移I/O操作。
所述装置还包括：剩余带宽设置模块，用于设置用户自定义的剩余带宽；
所述迁移模块，还用于当判断出所述底层分级存储设备存在剩余带宽后，还将统计得到的所述剩余带宽与所述用户自定义的剩余带宽进行比较，从中选择较小的剩余带宽作为所述数据块的迁移I/O操作的带宽。
其中，所述迁移模块，还用于当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，所述迁移I/O队列包括：迁移的数据块内容以及迁移数据块的I/O操作。
所述迁移模块，用于执行所述数据块的迁移I/O操作，包括：
将所述迁移I/O队列加入到执行I/O队列中，当所述执行I/O队列的定时器的设定时间到时后，对所述迁移I/O队列中的数据块执行迁移I/O操作。
所述迁移模块，用于当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，包括：
当某个时刻达到迁移周期时，扫描所述底层分级存储设备中的数据块，统计所述数据块的数据特征信息，验证所述数据特征信息得到热点数据块，将该热点数据块的数据块内容和对应的迁移I/O操作加入到所述迁移I/O队列中。
在一个应用示例中，如图4所示，I/O子系统包括：通用块层、上述实施例中的数据块迁移装置以及块设备驱动层，该I/O子系统位于文件系统层（上层应用）和物理设备层之间，物理设备层包括：IO总线、磁盘驱动器、分级存储设备等等。数据块迁移装置包括：带宽控制模块、带宽监控模块、迁移模块和用户配置接口。
在具体实施中需要维护两个I/O管理队列，队列关系如图3所示。首先是由带宽控制模块维护执行I/O队列，执行I/O队列是准备向下层分级设备发送的I/O访问请求队列，该队列中存放的是从通用块层传输下来的bio执行读写访问操作I/O以及迁移操作I/O。其次，迁移模块会维护一个迁移I/O队列，该队列负责管理对需要迁移的数据块执行的I/O操作。此外，I/O子系统还维护了一个正常I/O队列，用于缓存从通用块层传输下来的bio（正常I/O操作）。
在具体实施时，I/O子系统提供统一接口submit_bio，上层系统封装好了bio后就调用submit_bio将bio中的执行读写访问操作I/O发送到底层的设备，submit_bio会调用generic_make_request接口函数。带宽控制模块在具体实现中将利用generic_make_request函数，调用bw_control_bio函数来维护执行I/O队列的正常I/O操作流程，包括：
S201：调用bw_control_bio函数监控上层应用对所述底层分级存储设备的数据进行读写访问操作I/O已使用的带宽；
S202：当有bio从通用块层传输到I/O子系统时，判断上层应用已使用的带宽是否达到预设的最大带宽，即，检测当前分配的带宽是否已经用完，如果已达到，则执行步骤S203；如果未达到则执行步骤S204；
S203：对通用层传输下来的bio（正常的I/O操作）进行阻塞，加入到正常I/O队列进行缓存；
当某些I/O迁移操作执行后，就会释放占用的底层分级存储设备的带宽，此时，就会出现剩余带宽，暂时先缓存，待有剩余带宽时，再执行迁移操作。
S204：判断是否有剩余带宽，如果有，则执行步骤S205，否则继续缓存，
S205：将正常I/O操作加入到执行I/O队列；
S206：执行I/O队列维护了一个定时器，当定时器定时时间达到后，将bio转换为I/O请求request下发给存储设备进行数据的I/O操作。
在一个应用示例中，如图5所示，迁移模块维护迁移I/O队列，具体操作如下：
S301：迁移模块在达到扫描周期时，开始对底层分级存储设备中的数据块进行热度扫描操作，统计数据块的特征信息；
具体包括：遍历整个分级存储设备中的所有数据块，即对块列表开始遍历walk_blocklist；在遍历块链表的时候，获取块信息，块信息当中包含了读/写的引用次数的统计值，在获取统计值后，计算数据块的特征信息访问次数M，访问次数代表冷热程度。
S302：比较所述特征信息访问次数M与预设阀值进行比较，判断数据块是否执行向上升级操作或者向下降级操作，标记需要迁移的扩展块；
访问次数超过阈值说明是热点数据则执行升级迁移，小于阈值说明是冷数据，则执行降级迁移。
其中，也可以根据设备的老化时间、数据块的老化时间、数据块的访问频率的统计、设备的访问引用次数的统计等来判断数据块是否执行向上升级操作或者向下降级操作。
S303：将需要迁移的数据块的数据块内容和对应的迁移I/O操作加入到所述迁移I/O队列中。
如图6所示，提供了迁移模块对需要迁移的数据块执行迁移操作，调用bw_control_bio函数来维护执行I/O队列的迁移I/O操作流程，具体包括以下步骤：
S401：当需要对数据块进行迁移时，迁移模块获取带宽监控模块调用bw_control_bio统计的底层分级存储设备的剩余带宽；
S402：判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行步骤S404；否则，执行步骤S403；
剩余带宽是设置的最大带宽减去上层应用访问I/O请求已使用的带宽。
S403：将迁移I/O操作在迁移I/O队列中缓存，返回步骤S402，判断所述底层分级存储设备是否存在剩余带宽；
S404：与用户预定义带宽进行比较，选择较小的带宽作为迁移操作的带宽；
S405：将迁移I/O队列中的迁移I/O操作发送至执行I/O队列；
S406：执行I/O队列维护了一个定时器，定时器的设定时间到时后，对所述迁移I/O队列中的数据块执行迁移I/O操作。
为了能够确保数据的一致性，在步骤S301中迁移模块对底层分级存储设备中的数据块进行热度扫描操作，遍历整个分级存储设备中的所有数据块之前，会对元数据以及块数据列表加锁，热点数据加锁是指上层应用正在访问热点数据，所以该热点数据的迁移I/O操作不能够执行，虽然也将此迁移I/O操作的加入到迁移I/O队列中，但是并不能被加入到执行I/O队列中，只有当上层应用不再访问该热点数据块时，才热点数据块的迁移I/O操作才能加入到执行I/O队列中，从而执行该数据块的迁移I/O操作。
从上述实施例可以看出，相对于现有技术，上述实施例中提供的数据块迁移方法及装置，通过设置上层应用允许使用底层分级设备的最大带宽，获取底层分级存储设备能够使用的剩余带宽信息，保证在出现密集I/O操作的情况下，有足够的带宽进行迁移I/O操作；维护迁移I/O队列和执行I/O队列，利用剩余带宽对需要迁移的数据块执行迁移I/O操作，实现了批量数据迁移，提高了数据迁移的实时性以及迁移效率，同时设置用户自定义带宽，以最小值作为迁移带宽，尽量降低对于正常I/O操作的影响。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并非用于限定本发明的保护范围。根据本发明的发明内容，还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据块迁移方法，包括：
设置允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽；
监控所述上层应用对所述底层分级存储设备I/O请求的流量，统计所述底层分级存储设备的剩余带宽；
当需要对数据块进行迁移时，判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行所述数据块的迁移I/O操作；
其中，剩余带宽具体包括：设置的最大带宽减去上层应用访问I/O请求已使用的带宽；
所述方法还包括：设置用户自定义的剩余带宽；
当判断出所述底层分级存储设备存在剩余带宽后，还将统计得到的所述剩余带宽与所述用户自定义的剩余带宽进行比较，从中选择较小的剩余带宽作为所述数据块的迁移I/O操作的带宽。
2.如权利要求1所述的方法，其特征在于：所述方法还包括：
当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，所述迁移I/O队列包括：迁移的数据块内容以及迁移数据块的I/O操作。
3.如权利要求2所述的方法，其特征在于：
所述执行所述数据块的迁移I/O操作，包括：
将所述迁移I/O队列加入到执行I/O队列中，当所述执行I/O队列的定时器的设定时间到时后，对所述迁移I/O队列中的数据块执行迁移I/O操作。
4.如权利要求2所述的方法，其特征在于：
所述当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，包括：
当某个时刻达到迁移周期时，扫描所述底层分级存储设备中的数据块，统计所述数据块的数据特征信息，验证所述数据特征信息得到热点数据块，将该热点数据块的数据块内容和对应的迁移I/O操作加入到所述迁移I/O队列中。
5.一种数据块迁移装置，包括：
带宽控制模块，用于设置允许上层应用对底层分级存储设备输入/输出I/O请求的最大带宽；
带宽监控模块，用于监控所述上层应用对所述底层分级存储设备I/O请求的流量，统计所述底层分级存储设备的剩余带宽；
迁移模块，用于当需要对数据块进行迁移时，判断所述底层分级存储设备是否存在剩余带宽，如果存在，则执行所述数据块的迁移I/O操作；
其中，剩余带宽具体包括：设置的最大带宽减去上层应用访问I/O请求已使用的带宽；
所述装置还包括：
剩余带宽设置模块，用于设置用户自定义的剩余带宽；
所述迁移模块，还用于当判断出所述底层分级存储设备存在剩余带宽后，还将统计得到的所述剩余带宽与所述用户自定义的剩余带宽进行比较，从中选择较小的剩余带宽作为所述数据块的迁移I/O操作的带宽。
6.如权利要求5所述的装置，其特征在于：
所述迁移模块，还用于当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，所述迁移I/O队列包括：迁移的数据块内容以及迁移数据块的I/O操作。
7.如权利要求6所述的装置，其特征在于：
所述迁移模块，用于执行所述数据块的迁移I/O操作，包括：
将所述迁移I/O队列加入到执行I/O队列中，当所述执行I/O队列的定时器的设定时间到时后，对所述迁移I/O队列中的数据块执行迁移I/O操作。
8.如权利要求6所述的装置，其特征在于：
所述迁移模块，用于当需要对数据块进行迁移时，将所有需要迁移的数据块组织生成为一个迁移I/O队列，包括：
当某个时刻达到迁移周期时，扫描所述底层分级存储设备中的数据块，统计所述数据块的数据特征信息，验证所述数据特征信息得到热点数据块，将该热点数据块的数据块内容和对应的迁移I/O操作加入到所述迁移I/O队列中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310464699.2A CN103500073B (zh) | 2013-10-08 | 2013-10-08 | 一种数据块迁移方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310464699.2A CN103500073B (zh) | 2013-10-08 | 2013-10-08 | 一种数据块迁移方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103500073A CN103500073A (zh) | 2014-01-08 |
| CN103500073B true CN103500073B (zh) | 2016-05-18 |
Family
ID=49865289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310464699.2A Active CN103500073B (zh) | 2013-10-08 | 2013-10-08 | 一种数据块迁移方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103500073B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105022753B (zh) * | 2014-04-29 | 2018-09-04 | 中国移动通信集团内蒙古有限公司 | 一种数据存储方法及系统 |
| US9917790B2 (en) | 2014-07-31 | 2018-03-13 | Microsoft Technology Licensing, Llc | Storage device access mediation |
| CN104461389B (zh) * | 2014-12-03 | 2017-10-13 | 上海新储集成电路有限公司 | 一种混合存储器中数据迁移的自学习的方法 |
| US10095422B2 (en) * | 2016-10-28 | 2018-10-09 | Veritas Technologies, LLC | Systems and methods for allocating input/output bandwidth in storage systems |
| CN107092443B (zh) * | 2017-04-28 | 2020-04-07 | 杭州宏杉科技股份有限公司 | 数据迁移方法及装置 |
| CN107832189B (zh) * | 2017-10-31 | 2020-09-01 | 维沃移动通信有限公司 | 一种i/o系统的监控方法及移动终端 |
| CN109343793B (zh) * | 2018-09-11 | 2021-09-07 | 创新先进技术有限公司 | 数据迁移方法及装置 |
| CN109325016B (zh) * | 2018-09-12 | 2021-04-20 | 杭州朗和科技有限公司 | 数据迁移方法、装置、介质及电子设备 |
| CN109460188A (zh) * | 2018-11-13 | 2019-03-12 | 郑州云海信息技术有限公司 | 一种数据迁移方法、系统、设备及计算机可读存储介质 |
| CN111142788B (zh) * | 2019-11-29 | 2021-10-15 | 浪潮电子信息产业股份有限公司 | 一种数据迁移方法、装置和计算机可读存储介质 |
| CN115756336B (zh) * | 2022-12-02 | 2023-09-15 | 深圳市大道四九科技有限公司 | 基于存储服务系统的数据迁移处理方法、系统及云平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079902A (zh) * | 2007-06-29 | 2007-11-28 | 清华大学 | 海量数据分级存储方法 |
| CN102279714A (zh) * | 2011-08-26 | 2011-12-14 | 上海文广科技（集团）有限公司 | Io请求控制方法和装置 |
| CN103106152A (zh) * | 2012-12-13 | 2013-05-15 | 深圳先进技术研究院 | 基于层次存储介质的数据调度方法 |
-
2013
- 2013-10-08 CN CN201310464699.2A patent/CN103500073B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079902A (zh) * | 2007-06-29 | 2007-11-28 | 清华大学 | 海量数据分级存储方法 |
| CN102279714A (zh) * | 2011-08-26 | 2011-12-14 | 上海文广科技（集团）有限公司 | Io请求控制方法和装置 |
| CN103106152A (zh) * | 2012-12-13 | 2013-05-15 | 深圳先进技术研究院 | 基于层次存储介质的数据调度方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103500073A (zh) | 2014-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103500073B (zh) | 一种数据块迁移方法及装置 | |
| US9110669B2 (en) | Power management of a storage device including multiple processing cores | |
| US20200241999A1 (en) | Performance monitoring for short-lived functions | |
| US10025711B2 (en) | Hybrid write-through/write-back cache policy managers, and related systems and methods | |
| US20140181035A1 (en) | Data management method and information processing apparatus | |
| US20190243773A1 (en) | Method and system for user-space storage i/o stack with user-space flash translation layer | |
| US8671293B2 (en) | Multi-core system energy consumption optimization | |
| CN108701003A (zh) | 用于对远程节点的许多存储操作的原子写入的结构弹性支持 | |
| US11232127B2 (en) | Technologies for providing dynamic persistence of data in edge computing | |
| US8380936B2 (en) | Multi-core processor system and multi-core processor | |
| CN113396566B (zh) | 分布式存储系统中基于全面i/o监测的资源分配 | |
| US20160070475A1 (en) | Memory Management Method, Apparatus, and System | |
| CN112051970A (zh) | 混合驱动器的脏数据管理 | |
| US20210326221A1 (en) | Network interface device management of service execution failover | |
| CN103365717A (zh) | 内存访问方法、装置及系统 | |
| US9069621B2 (en) | Submitting operations to a shared resource based on busy-to-success ratios | |
| CN115794682A (zh) | 缓存替换方法及装置、电子设备、存储介质 | |
| US11880710B2 (en) | Adaptive data shipment based on burden functions | |
| CN110795279B (zh) | 用于促进dram数据缓存转储和机架级电池备份的系统和方法 | |
| US9367476B2 (en) | Memory management apparatus, method, and system | |
| KR20140113102A (ko) | 메모리 컨트롤러 및 메모리 컨트롤러의 동작 방법 | |
| CN104657328A (zh) | 在移动设备之间共享存储器的方法和系统 | |
| US10872015B2 (en) | Data storage system with strategic contention avoidance | |
| CN104281587A (zh) | 一种建立连接的方法及装置 | |
| CN104750614A (zh) | 用于管理存储器的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |