CN103500072A - 数据迁移方法及数据迁移装置 - Google Patents

Abstract

本发明公开了数据迁移方法及数据迁移装置。该方法应用于存储设备中，所述存储设备包括至少一个硬盘组，每个硬盘组包括多个硬盘，该方法包括：将所述多个硬盘划分为第一硬盘集合和第二硬盘集合，所述第一硬盘集合中的每个硬盘的空间利用率高于第一阈值；将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，所述第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值；将所述第一硬盘子集合中的硬盘中存储的数据迁移至第二硬盘集合的硬盘中。本发明能够避免在数据迁移时加重硬盘的负荷。

Description

数据迁移方法及数据迁移装置

技术领域

本发明涉及数据存储领域，尤其涉及一种数据迁移方法及数据迁移装置。

背景技术

存储设备通常包括多个硬盘，在硬盘中存储数据时，通常随机进行数据的存储，这样则会导致数据在各个硬盘之间存储的不均衡。某一个硬盘存储的数据量过大，将导致数据的操作集中在该硬盘，从而导致系统响应速度慢，并且可能由于对硬盘的过度读写操作，而导致硬盘的损坏，导致数据失效以及存储故障。故而提出了数据迁移的方法，将数据在硬盘之间进行迁移，从而以达到数据均衡的分布在各个硬盘的目的。

现有的数据迁移的方法是，将数据从存储空间利用率高的硬盘，迁移到存储空间利用率低的硬盘，迁移的过程中仅考虑了硬盘的空间利用率。当参与迁移的硬盘是系统迁移时IO访问（IO：Input Output输入输出访问）频率高的数据，则存储该数据的硬盘既要频繁地响应IO访问，同时还需要进行数据迁移，加重了数据所在硬盘的负荷，从而会导致系统整体性能的下降。

发明内容

本发明实施例提供数据迁移方法及数据迁移装置，能够避免在数据迁移时加重硬盘的负荷。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

第一方面，本发明实施例提供一种数据迁移方法，所述数据迁移方法应用于存储设备中，所述存储设备包括至少一个硬盘组，每个硬盘组包括多个硬盘，包括：

将所述多个硬盘划分为第一硬盘集合和第二硬盘集合，所述第一硬盘集合中的每个硬盘的空间利用率高于第一阈值；

将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，所述第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值；

将所述第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

在第一方面的第一种可能的实现方式中，该方法进一步包括：根据IO访问频率的大小，将第一硬盘子集合中的各个硬盘划分为从高至低的不同层级，其中，高层级的硬盘的IO访问频率大于低层级的硬盘的IO访问频率；

所述将第一硬盘子集合中的硬盘中存储的数据迁移至第二硬盘集合的硬盘中包括：按照从低层级至高层级的顺序，将第一硬盘子集合中硬盘存储的数据，依次迁移至第二硬盘集合的硬盘中。

在第一方面的第二种可能的实现方式中，所述第一硬盘子集合中，同一层级包括至少一个硬盘，且同一层级中各硬盘的IO访问频率差值不大于预先设置的分级步长值。

在第一方面的第三种可能的实现方式中，所述将所述多个硬盘划分为第一硬盘集合和第二硬盘集合包括：实时地将所述多个硬盘划分为第一硬盘集合和第二硬盘集合；

所述将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合包括：实时地将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合。

在第一方面的第四种可能的实现方式中，在检测到有新的硬盘加入时，或者在接收到用户的均衡指令时，执行所述划分和迁移的步骤。

第二方面，本发明实施例提供一种数据迁移装置，包括：集合划分单元、迁移处理单元，

所述集合划分单元，用于将所述硬盘组划分为第一硬盘集合和第二硬盘集合；所述第一硬盘集合中的每个硬盘的空间利用率高于第一阈值；以及将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，所述第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值；

所述迁移处理单元，将所述第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

在第二方面的第一种可能的实现方式中，进一步包括：层级划分单元，其中，

所述层级划分单元，用于根据IO访问频率的大小，将第一硬盘子集合中的各个硬盘划分为从高至低的不同层级，其中，高层级的硬盘的IO访问频率大于低层级的硬盘的IO访问频率；所述层级划分单元将划分的层级信息发送给所述迁移处理单元；

所述迁移处理单元，根据接收到的层级信息，按照从低层级至高层级的顺序，将第一硬盘子集合中各个硬盘存储的数据，依次迁移至第二硬盘集合的硬盘中。

在第二方面的第二种可能的实现方式中，所述第一硬盘子集合中，同一层级包括至少一个硬盘，且同一层级中各硬盘的IO访问频率差值不大于预先设置的分级步长值。

在第二方面的第三种可能的实现方式中，进一步包括：迁移触发单元，其中，

所述迁移触发单元，用于在检测到有新的硬盘加入时，或者在接收到用户的均衡指令时，向所述迁移处理单元发送触发指令；

所述迁移处理单元，在接收到触发指令后，执行所述将所述第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

本发明实施例中，由于第一硬盘子集合中的硬盘同时满足空间利用率高于第一阈值且IO访问频率低于第二阈值，这样，只迁移第一硬盘子集合中硬盘的数据，则同时考虑了硬盘的空间利用率以及硬盘的IO访问频率，避免了现有技术中一个硬盘既要频繁地响应IO访问，同时还需要进行数据迁移的问题，减轻了数据所在硬盘的负荷，从而提升了系统整体性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例所应用在的存储系统的示意图；

图2是本发明实施例1中数据迁移方法的流程图；

图3是本发明实施例2中数据迁移方法的流程图；

图4是本发明实施例2中硬盘组划分示意图；

图5是本发明实施例3中数据迁移装置的一种基本结构示意图；

图6是本发明实施例3中数据迁移装置的一种优选结构示意图；

图7是本发明实施例3中数据迁移装置的另一种优选结构示意图；

图8是本发明实施例4中包括数据迁移装置的存储设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供数据迁移方法，该方法可以在存储系统上实现，如图1所示，该存储系统包括主机、存储设备和连接设备。

主机可以包括当前技术已知的任何计算设备，如服务器、台式计算机等等。在主机内部，安装有操作系统以及其他应用程序。

存储设备可以包括当前技术已知的存储设备，如独立磁盘冗余阵列（Redundant Arrays of Independent Disks，RAID）、磁盘簇（Just a Bunch Of Disks,JBOD）、直接存取存储器（Direct Access Storage Device，DASD）的一个或多个互连的磁盘驱动器，诸如磁带库、一个或多个存储单元的磁带存储设备。

连接设备可以包括当前技术已知的存储设备和主机之间的任何接口，如光纤交换机，或者其他现有的交换机。

实施例1：

本实施例提出了一种数据迁移的方法，应用于存储设备中，该存储设备包括至少一个硬盘组，每个硬盘组包括多个硬盘，参见图2，该方法包括如下步骤：

步骤201：将每个硬盘组中的多个硬盘划分为第一硬盘集合和第二硬盘集合，其中，第一硬盘集合中的每个硬盘的空间利用率高于第一阈值。

步骤202：将第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值。

步骤203：将第一硬盘子集合中的硬盘中存储的数据迁移至第二硬盘集合的硬盘中。

由上述图2所示流程可以看出，在本发明实施例中，由于第一硬盘子集合中的硬盘同时满足空间利用率高于第一阈值且IO访问频率低于第二阈值，这样，只迁移第一硬盘子集合中硬盘的数据，则同时考虑了硬盘的空间利用率以及硬盘的IO访问频率，避免了现有技术中一个硬盘既要频繁地响应IO访问，同时还需要进行数据迁移的问题，减轻了数据所在硬盘的负荷，从而提升了系统整体性能。

为了进一步保证数据迁移的有序性，便于迁移过程的管理和维护，本实施例中，还可以进一步根据IO访问频率的大小，预先将第一硬盘子集合中的各个硬盘划分为从高至低的不同层级，其中，高层级的硬盘的IO访问频率大于低层级的硬盘的IO访问频率；这样，上述步骤203的一种实现过程为：按照从低层级至高层级的顺序，将第一硬盘子集合中的硬盘存储的数据，依次迁移至第二硬盘集合的硬盘中。

当然，在采用上述划分层级的做法时，在第一硬盘子集合中，同一层级可以包括至少一个硬盘，且同一层级中各硬盘的IO访问频率差值不大于预先设置的分级步长值。

由于硬盘的空间率和IO访问频率都可能是实时变化的，因此，为了保证数据迁移的准确性，上述步骤201中，可以实时地将每个硬盘组中的多个硬盘划分为第一硬盘集合和第二硬盘集合；并且，在上述步骤202中，可以实时地将第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合。

在本实施例的一种实现中，可以是在检测到有新的硬盘加入时，执行上述图1所示处理。在本实施例的另一种实现中，可以由存储设备接收到用户的均衡指令时，执行上述图1所示处理。

实施例2：

本实施例提出了另一种数据迁移的方法，应用于存储设备中，以该存储设备中包括硬盘组1，硬盘组1中包括10个硬盘为例，参见图3和图4，该方法包括如下步骤：

步骤301：实时地将硬盘组1中的10个硬盘划分为硬盘集合1和硬盘集合2，其中，硬盘集合1中的每个硬盘的空间利用率高于阈值1，硬盘集合2中的每个硬盘的空间利用率不高于阈值1。

本步骤中，阈值1的大小可以根据硬盘存储容量的大小、存储的数据量的大小等因素进行设定。该阈值1可以是预先设置的一个静态的值，也可以是根据需求同步动态设定的值。

由于硬盘的空间利用率可能是实时变化的，因此，本步骤中的划分可以是实时进行的。

本步骤中，例如，参见图4，硬盘1至硬盘5的空间利用率高于阈值1，被划分在硬盘集合1中，硬盘6至硬盘7的空间利用率不高于阈值1，被划分在硬盘集合2中。

步骤302：实时地统计各硬盘的IO访问频率。

IO访问为通过输入、输出设备或总线对硬盘进行的读、写、删除、修改等操作。IO访问频率为单位时间内IO访问次数，实时计算每一个硬盘的IO访问频率，从而可以知道每一个硬盘中有多少IO请求进入。IO访问频率高，说明硬盘的IO访问请求多，IO访问频率低，说明硬盘的IO访问请求少。

步骤303：实时地将硬盘集合1划分为硬盘子集合1和硬盘子集合2，硬盘子集合1中的每个硬盘的IO访问频率低于阈值2，硬盘子集合2中的每个硬盘的IO访问频率不低于阈值2。

执行到本步骤，硬盘子集合1中的硬盘是空间利用率高于阈值1且IO访问频率低于阈值2的硬盘，后续对硬盘子集合1中硬盘的数据进行迁移，则能够保证在对硬盘的数据进行迁移时，不会由于硬盘IO访问频率高的缘故而增加硬盘的负荷，从而能够保证系统的整体性能。

本步骤中，阈值2的大小可以根据硬盘存储容量的大小、历史IO访问频率均值等因素进行设定。该阈值2可以是预先设置的一个静态的值，也可以是根据需求同步动态设定的值。

由于硬盘的IO访问频率可能是实时变化的，因此，本步骤中的划分可以是实时进行的。

例如，本步骤中，参见图4，硬盘集合1中的硬盘1至硬盘3的IO访问频率低于阈值2，则被划分在硬盘子集合1中，硬盘4至硬盘5的IO访问频率不低于阈值2，则被划分在硬盘子集合2中。

步骤304：根据实时统计的IO访问频率的大小，将硬盘子集合1中的各个硬盘划分为从高至低的不同层级，其中，高层级的硬盘的IO访问频率大于低层级的硬盘的IO访问频率。

在本步骤中，硬盘子集合1中，同一层级可以包括至少一个硬盘，且同一层级中各硬盘的IO访问频率差值不大于预先设置的分级步长值。

例如，硬盘子集合1中，硬盘1至硬盘3的IO访问频率依次增大，且硬盘2和硬盘3之间的IO访问频率差值不大于预先设置的分级步长值，这样，通过本步骤的处理，参见图4，则将硬盘子集合1划分为两个层级，层级1为低层级，包括硬盘1，层级2为高层级，包括硬盘2和硬盘3。

步骤305：检测到有新的硬盘加入或者接收到用户的均衡指令。

步骤306：按照从低层级至高层级的顺序，将硬盘子集合1中的硬盘存储的数据，依次迁移至硬盘集合2的硬盘中。

例如，本步骤中，参见图4，先将硬盘子集合1中，低层级的硬盘1中的数据迁移至硬盘集合2中的硬盘，然后再将硬盘子集合1中高层级的硬盘2和硬盘3中的数据迁移至硬盘集合2中的硬盘。

实施例3：

本实施例提出了一种数据迁移装置，参见图5，包括：集合划分单元501、迁移处理单元502，

集合划分单元501，用于将硬盘组划分为第一硬盘集合和第二硬盘集合，第一硬盘集合中的每个硬盘的空间利用率高于第一阈值；以及将第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值；

迁移处理单元502，用于将第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

为了进一步保证数据迁移的有序性，便于迁移过程的管理和维护，本实施例中，参见图6，进一步包括：层级划分单元601，其中，

层级划分单元601，用于根据IO访问频率的大小，将第一硬盘子集合中的各个硬盘划分为从高至低的不同层级，其中，高层级的硬盘的IO访问频率大于低层级的硬盘的IO访问频率；

迁移处理单元502，按照根据层级划分单元601划分的层级信息，从低层级至高层级的顺序，将第一硬盘子集合中的硬盘中存储的数据迁移至第二硬盘集合的硬盘中。

对于图6所示的数据迁移装置，第一硬盘子集合中，同一层级包括至少一个硬盘，且同一层级中各硬盘的IO访问频率差值不大于预先设置的分级步长值。

参见图7，在本实施例提出的存储设备中，在图6所示的存储设备的结构基础上还可以进一步包括：迁移触发单元701，其中，

迁移触发单元701，用于在检测到有新的硬盘加入时，或者在接收到用户的均衡指令时，向所述迁移处理单元502发送触发指令；

迁移处理单元502，在接收到触发指令后，执行将将第一硬盘子集合中的硬盘中存储的数据迁移至第二硬盘集合的硬盘中。

当然，需要说明的是，在本实施例提出的存储设备中，图7只是一种可行的实现方式，在其他实现方式中，图7所示的存储设备中也可以不包括层级划分单元601。

实施例4：

请参考图8，本发明实施例4提供了一种存储设备800的示意图。存储设备800可以包括当前技术已知的存储设备，本发明具体实施例并不对存储设备800的具体实现做限定。存储设备800包括：

处理器(processor)810，通信接口(Communications Interface)820，存储器(memory)830，通信总线840。

处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。

通信接口820，用于与网元通信，比如与主机或者交换机等通信。

处理器810，用于执行程序832。

具体地，程序832可以包括程序代码，所述程序代码包括计算机操作指令。

处理器810可能是一个中央处理器CPU，或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器830，用于存放程序832。存储器830可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序832具体可以包括：

集合划分单元501，用于将硬盘组划分为第一硬盘集合和第二硬盘集合，第一硬盘集合中的每个硬盘的空间利用率高于第一阈值；以及将第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值；

迁移处理单元502，将第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

程序832中各单元的具体实现可以参见图5所示实施例中的相应单元，在此不赘述。

本领域普通技术人员将会理解，本发明的各个方面、或各个方面的可能实现方式可以被具体实施为系统、方法或者计算机程序产品。因此，本发明的各方面、或各个方面的可能实现方式可以采用完全硬件实施例、完全软件实施例(包括固件、驻留软件等等)，或者组合软件和硬件方面的实施例的形式，在这里都统称为“电路”、“单元”或者“系统”。此外，本发明的各方面、或各个方面的可能实现方式可以采用计算机程序产品的形式，计算机程序产品是指存储在计算机可读介质中的计算机可读程序代码。

计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质包含但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或者装置，或者前述的任意适当组合，如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者快闪存储器)、光纤、便携式只读存储器(CD-ROM)。

计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在流程图中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。

计算机可读程序代码可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为单独的软件包、部分在用户的计算机上并且部分在远程计算机上，或者完全在远程计算机或者服务器上执行。也应该注意，在某些替代实施方案中，在流程图中各步骤、或框图中各块所注明的功能可能不按图中注明的顺序发生。例如，依赖于所涉及的功能，接连示出的两个步骤、或两个块实际上可能被大致同时执行，或者这些块有时候可能被以相反顺序执行。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种数据迁移方法，所述数据迁移方法应用于存储设备中，所述存储设备包括至少一个硬盘组，每个硬盘组包括多个硬盘，其特征在于，包括：

将所述多个硬盘划分为第一硬盘集合和第二硬盘集合，所述第一硬盘集合中的每个硬盘的空间利用率高于第一阈值；

将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，所述第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值；

将所述第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

2.根据权利要求1所述的数据迁移方法，其特征在于，

该方法进一步包括：根据IO访问频率的大小，将第一硬盘子集合中的各个硬盘划分为从高至低的不同层级，其中，高层级的硬盘的IO访问频率大于低层级的硬盘的IO访问频率；

所述将第一硬盘子集合中的硬盘中存储的数据迁移至第二硬盘集合的硬盘中包括：按照从低层级至高层级的顺序，将第一硬盘子集合中硬盘存储的数据，依次迁移至第二硬盘集合的硬盘中。

3.根据权利要求2所述的数据迁移方法，其特征在于，所述第一硬盘子集合中，同一层级包括至少一个硬盘，且同一层级中各硬盘的IO访问频率差值不大于预先设置的分级步长值。

4.根据权利要求1所述的数据迁移方法，其特征在于，所述将所述多个硬盘划分为第一硬盘集合和第二硬盘集合包括：实时地将所述多个硬盘划分为第一硬盘集合和第二硬盘集合；

所述将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合包括：实时地将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合。

5.根据权利要求1至4中任一所述的数据迁移方法，其特征在于，

在检测到有新的硬盘加入时，或者在接收到用户的均衡指令时，执行所述划分和迁移的步骤。

6.一种数据迁移装置，其特征在于，包括：集合划分单元、迁移处理单元，

所述集合划分单元，用于将硬盘组划分为第一硬盘集合和第二硬盘集合，所述第一硬盘集合中的每个硬盘的空间利用率高于第一阈值；以及将所述第一硬盘集合划分为第一硬盘子集合和第二硬盘子集合，所述第一硬盘子集合中的每个硬盘的IO访问频率低于第二阈值；

所述迁移处理单元，将所述第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

7.根据权利要求6所述的数据迁移装置，其特征在于，进一步包括：层级划分单元，其中，

所述层级划分单元，用于根据IO访问频率的大小，将第一硬盘子集合中的各个硬盘划分为从高至低的不同层级，其中，高层级的硬盘的IO访问频率大于低层级的硬盘的IO访问频率；所述层级划分单元将划分的层级信息发送给所述迁移处理单元；

所述迁移处理单元，根据接收到的层级信息，按照从低层级至高层级的顺序，将第一硬盘子集合中各个硬盘存储的数据，依次迁移至第二硬盘集合的硬盘中。

8.根据权利要求6所述的数据迁移装置，其特征在于，所述第一硬盘子集合中，同一层级包括至少一个硬盘，且同一层级中各硬盘的IO访问频率差值不大于预先设置的分级步长值。

9.根据权利要求6至8中任一所述的数据迁移装置，其特征在于，进一步包括：迁移触发单元，其中，

所述迁移触发单元，用于在检测到有新的硬盘加入时，或者在接收到用户的均衡指令时，向所述迁移处理单元发送触发指令；

所述迁移处理单元，在接收到触发指令后，执行所述将所述第一硬盘子集合中硬盘存储的数据迁移至第二硬盘集合的硬盘中。

Images