CN107506500A

CN107506500A - 一种数据迁移的控制方法及相关装置

Info

Publication number: CN107506500A
Application number: CN201710930466.5A
Authority: CN
Inventors: 王帅阳
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-10-09
Filing date: 2017-10-09
Publication date: 2017-12-22

Abstract

本发明公开了一种数据迁移的控制方法，所述方法包括获取数据迁移指令；获取系统当前的带宽；当所述带宽满足预先设置的条件时，确定所述系统处于繁忙状态；当所述系统处于繁忙状态时，在经过预先设置的延迟时间后，根据所述数据迁移指令对数据进行迁移；上述控制方法可以通过预设的条件确定出当前系统是否处于繁忙状态，若是，则将数据迁移的任务向后延迟预设的时间，以此来减少当前系统中由于数据迁移所占用整个系统的带宽，从而保证用户正常的业务具有足够的带宽来运行，以此来避免数据迁移对用户当前业务的进行；本发明还提供了相关装置，同样具有上述有益效果。

Description

一种数据迁移的控制方法及相关装置

技术领域

本发明涉及数据迁移领域，特别是涉及一种数据迁移的控制方法及相关装置。

背景技术

随着近年来科技不断的进步，分布式系统的应用越来越广泛。而分布式系统通常需要使用分布式文件系统对整个系统存储的文件进行管理。

随着分布式文件系统功能的不断强大，现阶段分布式文件系统都可以对数据进行分级，通常是将不经常访问的数据存储到高容量的非在线存储设备中，而将常用的数据存储到在线存储设备之中。而在读取数据的时候就会应用到数据迁移技术，即在不同的存储设备中将数据进行转移。

在现有技术中，当分布式文件系统开启文件分级功能后，通常会在后台无节制的进行数据迁移，即只要达到预先设置的条件，就会对数据进行转移。

但是在现有技术中，如果后台无节制的进行数据迁移，会影响用户正常业务的进行。

发明内容

本发明的目的是提供一种数据迁移的控制方法，可以避免数据迁移对用户当前业务的进行；本发明的另一目的在于提供一种控制数据迁移的相关装置，可以避免数据迁移对用户当前业务的进行。

为解决上述技术问题，本发明提供一种数据迁移的控制方法，所述方法包括：

获取数据迁移指令；

获取系统当前的带宽；

当所述带宽满足预先设置的条件时，确定所述系统处于繁忙状态；

当所述系统处于繁忙状态时，在经过预先设置的延迟时间后，根据所述数据迁移指令对数据进行迁移。

可选的，所述当所述带宽满足预先设置的条件时，确定所述系统处于繁忙状态包括：

判断所述带宽是否大于预先设置的标志值，若是，则确定所述系统处于繁忙状态。

可选的，在所述判断所述带宽是否大于预先设置的标志值之后，所述方法还包括：

若否，则确定所述系统处于空闲状态；

当所述系统处于空闲状态时，根据所述数据迁移指令对所述数据进行迁移。

可选的，所述在经过预先设置的延迟时间后，根据所述数据迁移指令对数据进行迁移包括：

判断所述根据所述数据迁移指令对数据进行迁移的间隔是否达到预先设置的间隔时间，若是，则根据所述数据迁移指令对所述数据进行迁移。

本发明还提供了一种数据迁移的控制装置，所述装置包括：

指令获取模块：用于获取数据迁移指令；

带宽获取模块：用于获取系统当前的带宽；

状态确定模块：用于当所述带宽满足预先设置的条件时，确定所述系统处于繁忙状态；

延迟迁移模块：用于当所述系统处于繁忙状态时，在经过预先设置的延迟时间后，根据所述数据迁移指令对数据进行迁移。

可选的，所述状态确定模块具体用于：

可选的，所述状态确定模块还用于：

若否，则确定所述系统处于空闲状态；

所述装置还包括：

迁移模块：用于当所述系统处于空闲状态时，根据所述数据迁移指令对所述数据进行迁移。

可选的，所述延迟迁移模块具体用于：

当所述系统处于繁忙状态时，判断获取所述数据迁移指令的间隔是否达到预先设置的间隔时间，若是，则根据所述数据迁移指令对所述数据进行迁移。

本发明还提供了一种数据迁移的控制设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序时实现上述任一项所述数据迁移的控制方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述数据迁移的控制方法的步骤。

本发明所提供的一种数据迁移的控制方法，可以通过预设的条件确定出当前系统是否处于繁忙状态，若是，则将数据迁移的任务向后延迟预设的时间，以此来减少当前系统中由于数据迁移所占用整个系统的带宽，从而保证用户正常的业务具有足够的带宽来运行，以此来避免数据迁移对用户当前业务的进行。

本发明还提供了一种数据迁移的控制装置、一种数据迁移的控制设备和一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种数据迁移控制方法的流程图；

图2为本发明实施例所提供的二种数据迁移控制方法的流程图；

图3为本发明实施例提供的一种数据迁移的控制装置的结构框图；

图4为本发明实施例提供的一种数据迁移的控制设备的结构框图。

具体实施方式

本发明的核心是提供一种数据迁移的控制方法。在现有技术中，当分布式文件系统开启文件分级功能后，通常会在后台无节制的进行数据迁移，即只要达到预先设置的条件，就会对数据进行转移。在对数据进行迁移时必然会占据整个系统一定的带宽。然而一般情况下，整个系统的带宽通常具有最大值。如果后台无节制的进行数据迁移，必然会占据整个系统的一部分带宽，使得用户正常执行业务时可用的带宽下降，从而会影响用户正常业务的进行。

而本发明所提供的一种数据迁移的控制方法，可以通过预设的条件确定出当前系统是否处于繁忙状态，若是，则将数据迁移的任务向后延迟预设的时间，以此来减少当前系统中由于数据迁移所占用整个系统的带宽，从而保证用户正常的业务具有足够的带宽来运行，以此来避免数据迁移对用户当前业务的进行。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的一种数据迁移控制方法的流程图，该方法包括：

S101：获取数据迁移指令。

发送出数据迁移指令的条件有很多种，例如一个文件在预设的时间范围内被访问的次数超过了预先设置的次数之后，就会发出数据迁移指令，以通过下述步骤来对数据进行迁移。发送数据迁移指令的条件通常是上层调动，有关所述数据迁移指令的发送条件在本发明实施例中不进行具体限定。

在本发明实施例中，当需要对数据进行迁移时，需要根据所述数据迁移指令执行下述各个步骤。有关数据迁移指令的具体内容和具体形式在本发明实施例中均不作具体限定。当需要对数据进行迁移时，通常均会发送出数据迁移指令。

S102：获取系统当前的带宽。

针对分布式文件系统，通常均会设置有用于监视器获取整个集群的状态信息，其中就会包括有整个系统当前的宽带。在本步骤中，是通过获取系统当前的宽带来判断当前系统是否处于繁忙状态，以此来决定是否需要对数据迁移进行适当的控制。

在本发明实施例中，获取系统当前的带宽的方法有很多，例如通过上述监视器获取系统当前的带宽等等，对于如何获取所述带宽在本发明实施例中不做具体限定，只要能获取到所述带宽均在本申请的保护范围之中。

S103：当带宽满足预先设置的条件时，确定系统处于繁忙状态。

在本发明实施例中，当在S102中获取的宽带达到一定条件时，即可认为当前系统处于繁忙状态，即当前系统可能正在执行需要占用整个系统较大带宽的业务，或者是若立即执行占用整个系统较大带宽的业务时，整个系统的带宽将不够用。为了保证用户业务的正常运行，需要对数据迁移进行控制，以降低数据迁移时做占用的带宽，以保证用户业务有足够的带宽可以运行。

上述预先设置的条件通常是判断当前所述带宽是否大于预先设置的标志值，若是，则确定所述系统处于繁忙状态。所述标志值通常为预先设置的带宽阈值，即在S102中获取的带宽达到预先设置的阈值时，则确定系统处于繁忙状态。

对于上述标志值的具体取值并没有一个具体的数据或者具体的范围。因为针对不同分布式系统，其节点数根据实际情况的不同，通常会有很大的差异，从而导致整个系统的最高带宽也有很大的差异。所欲通常情况下，所述标志值会根据所处系统的最高带宽的不同而做出相应的改变。通常情况下，所述标志值为当前系统最高带宽的3％。当然，所述标志值还可以去其他的数值，在本发明实施例中不做具体限定。

在本步骤中，若在判断当前所述带宽是否大于预先设置的标志值这一步骤中，其判断结果为否，则确定所述系统处于空闲状态。即当前系统没有正在执行需要占用整个系统较大带宽的业务，或者是若立即执行占用整个系统较大带宽的业务时，整个系统也有足够的带宽来执行用户的业务。所述此时可以随意的进行数据迁移，而不用担心会用户的业务没有足够的带宽去运行。

S104：当系统处于繁忙状态时，在经过预先设置的延迟时间后，根据数据迁移指令对数据进行迁移。

在本步骤中，当系统处于繁忙状态时，可以在接收到数据迁移指令之后，先经过一段预先设置的延迟时间之后，再对数据进行数据迁移。即将对数据进行迁移这一步骤向后推迟预先设置的延迟时间，以避过用户的正常业务所占用整个系统带宽的高峰期。通常情况下，上述预先设置的延迟时间通常为10ms。当然，上述预先设置的延迟时间还可以是其他具体的数据，在本发明实施例中不做具体限定，视具体的情况而定。

当然，若上述需要占用系统大量带宽的业务的执行时间还比较长，超过了上述预先设置的延迟时间，那么此时在进行数据迁移依然会影响到用户业务的执行。

为了更均衡的降低数据迁移所占用的带宽，上述在经过预先设置的延迟时间后，根据所述数据迁移指令对数据进行迁移这一步骤，可以具体为：

上述步骤通俗的讲，就是判断两次数据迁移的时间间隔是否达到预先设置的间隔时间，若是，则代表着这本次数据迁移与上一次数据迁移之间已经经过了较长的时间，可以再次进行数据迁移。通过设置间隔时间，可以将整个系统中进行数据迁移的频率降低，从而降低在某一段时间内执行数据迁移所占用系统的带宽。

需要特别指出的是，在本发明实施例中，上述判断两次数据迁移的时间间隔是否达到预先设置的间隔时间并不是仅仅判断针对某一份具体的数据进行迁移这个动作的时间间隔是否达到预先设置的间隔时间，而是判断整个系统中，对数据进行迁移这个动作的时间间隔是否达到预先设置的间隔时间。

上述预先设置的间隔时间的具体数值视具体的情况而定，在本发明实施例中不做具体限定。

在本发明实施例中，若在判断所述根据所述数据迁移指令对数据进行迁移的间隔是否达到预先设置的间隔时间这一步骤中，其判断结果为否，则可以重复本判断步骤，直到其判断结果为是，在根据所述数据迁移指令对所述数据进行迁移。

在本发明实施例中，当所述系统处于空闲状态时，意味着此时整个系统有足够的带宽来执行用户的业务，可以直接根据所述数据迁移指令对所述数据进行迁移，而不用像上述内容中，当系统处于繁忙状态时，需要将数据迁移这一步骤向后推迟预先设置的时间。

进一步的，在本发明实施例中，上述S104所执行的动作可以在S103之后执行，也可以在S103之前执行，还可以通过其他的线程与S103同时进行，而不用等到S103执行完成之后在执行S104。

请参考图2，图2为本发明实施例所提供的二种数据迁移控制方法的流程图。

在本发明实施例中，所述获取系统当前的带宽，以及所述根据系统当前的带宽确定所述系统处于何种状态可以在一个线程中执行；所述获取数据迁移指令，以及根据系统不同的状态使用不同的策略对数据进行迁移可以在另一个线程中执行。即下述步骤中S201至S204可以在第一线程中执行，而S205至S208可以在第二线程中执行，而所述第一个线程、第二个线程可以同时执行。

在本发明实施例中，该方法包括：

S201：经过预先设置的延迟时间后，获取系统当前的带宽。

S202：判断带宽是否大于预先设置的标志值，若是，则执行S203；若否，则执行S204。

S203：确定系统处于繁忙状态。

S204：确定系统处于空闲状态。

在本发明实施例中，在确定完当前系统的状态之后，即在S203与S204之后，会重复执行S201至S204，以不断的确定当前系统是处于繁忙状态或者是空闲状态。上述预先设置的第一延迟时间通常为1秒，当然所述第一延迟时间还可以为其他的时间，在本发明实施例中不做具体限定。

S205：获取数据迁移指令。

S206：判断当前系统是否处于繁忙状态，若是，则执行S207；若否，则执行S208。

S207：判断根据数据迁移指令对数据进行迁移的间隔是否达到预先设置的间隔时间，若是，则执行S208；若否，则执行S207。

S208：根据数据迁移指令对数据进行迁移。

在本发明实施例中，其中关于各个步骤的详细内容已在上述发明实施例中做详细说明，在此不再进行赘述。

下面对本发明实施例提供的一种数据迁移的控制装置进行介绍，下文描述的数据迁移的控制装置与上文描述的数据迁移的控制方法可相互对应参照。

图3为本发明实施例提供的一种数据迁移的控制装置的结构框图，参照图3，该控制装置可以包括：

指令获取模块100：用于获取数据迁移指令。

带宽获取模块200：用于获取系统当前的带宽。

状态确定模块300：用于当所述带宽满足预先设置的条件时，确定所述系统处于繁忙状态。

延迟迁移模块400：用于当所述系统处于繁忙状态时，在经过预先设置的延迟时间后，根据所述数据迁移指令对数据进行迁移。

在本发明实施例中，所述状态确定模块300可以具体用于：

在本发明实施例中，所述状态确定模块300还用于：

若否，则确定所述系统处于空闲状态。

所述装置可以还包括：

迁移模块500：用于当所述系统处于空闲状态时，根据所述数据迁移指令对所述数据进行迁移。

在本发明实施例中，所述延迟迁移模块400可以具体用于：

本实施例的数据迁移的控制装置用于实现前述的数据迁移的控制方法，因此数据迁移的控制装置中的具体实施方式可见前文中的数据迁移的控制方法的实施例部分，例如，指令获取模块100，带宽获取模块200，状态确定模块300，延迟迁移模块400，分别用于实现上述数据迁移的控制方法中步骤S101，S102，S103和S104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

下面对本发明实施例提供的一种数据迁移的控制设备进行介绍，下文描述的控制设备与上文描述的控制方法以及控制装置可相互对应参照。

图4为本发明实施例提供的一种数据迁移的控制设备的结构框图，参照图4，该控制设备可以包括处理器600和存储器700。

所述存储器700用于存储计算机程序；所述处理器600用于执行所述计算机程序时实现上述发明实施例中所述的控制方法。

本实施例的控制设备中处理器600用于安装上述发明实施例中所述的控制装置，同时处理器600与存储器700相结合可以实现上述发明实施例中所述的控制方法。因此控制设备中的具体实施方式可见前文中的控制方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述发明实施例中所介绍的控制方法。其余内容可以参照现有技术，在此不再进行展开描述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种数据迁移的控制方法及相关装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种数据迁移的控制方法，其特征在于，所述方法包括：

获取数据迁移指令；

获取系统当前的带宽；

2.根据权利要求1所述的方法，其特征在于，所述当所述带宽满足预先设置的条件时，确定所述系统处于繁忙状态包括：

3.根据权利要求2所述的方法，其特征在于，在所述判断所述带宽是否大于预先设置的标志值之后，所述方法还包括：

若否，则确定所述系统处于空闲状态；

4.根据权利要求1至3任一项权利要求所述的方法，其特征在于，所述在经过预先设置的延迟时间后，根据所述数据迁移指令对数据进行迁移包括：

5.一种数据迁移的控制装置，其特征在于，所述装置包括：

指令获取模块：用于获取数据迁移指令；

带宽获取模块：用于获取系统当前的带宽；

6.根据权利要求5所述的装置，其特征在于，所述状态确定模块具体用于：

7.根据权利要求6所述的装置，其特征在于，所述状态确定模块还用于：

若否，则确定所述系统处于空闲状态；

所述装置还包括：

8.根据权利要求5至7任一项权利要求所述的装置，其特征在于，所述延迟迁移模块具体用于：

9.一种数据迁移的控制设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序时实现如权利要求1至4任一项所述数据迁移的控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据迁移的控制方法的步骤。