CN113032369A - 一种数据迁移方法、装置及介质 - Google Patents

一种数据迁移方法、装置及介质 Download PDF

Info

Publication number
CN113032369A
CN113032369A CN202110326012.3A CN202110326012A CN113032369A CN 113032369 A CN113032369 A CN 113032369A CN 202110326012 A CN202110326012 A CN 202110326012A CN 113032369 A CN113032369 A CN 113032369A
Authority
CN
China
Prior art keywords
migration
current
data
speed
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110326012.3A
Other languages
English (en)
Inventor
解志阳
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110326012.3A priority Critical patent/CN113032369A/zh
Publication of CN113032369A publication Critical patent/CN113032369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据迁移方法、装置及介质，其中方法包括：获取当前业务繁忙程度，依据各业务繁忙程度与各迁移速度的对应关系确定与当前业务繁忙程度对应的目标迁移速度，并控制待迁移数据按目标迁移速度进行迁移。由于预先设置了各业务繁忙程度与各迁移速度的对应关系，因此在待迁移数据进行迁移的过程中，数据迁移的速度能够根据业务的繁忙程度进行选择和调整，因此能够避免在业务繁忙的情况下较多的生产环境资源被数据迁移所消耗，提高了生产环境中业务的处理速度，此外，还能够在业务较为清闲的情况下提高数据迁移的效率。

Description

一种数据迁移方法、装置及介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据迁移方法、装置及介质。
背景技术
随着科技的发展，存储系统已成为生产实践中必不可少的一部分，生产实践中相关文件和数据主要通过存储系统进行存储，为了提高存储系统的可靠性、可用性和存取效率，常通过分布式存储系统将数据存储在多台独立的设备上，同时为了在生产环境中提高数据的读写速度以及降低存储系统的成本，通常在一个分布式存储系统中配置由数据读写速度快的存储硬盘(例如：固态硬盘)组成的快速池、以及由成本低的普通存储硬盘组成的慢速池，在数据读写过程中将所有数据写入快速池，再从数据中选取访问频率低的数据，并将访问频率低的数据从快速池迁移至慢速池，以此保证快速池的空间不会被占满能够继续写入新数据。
目前，在将访问频率低的数据从快速池迁移至慢速池的过程中，是按照固定的数据迁移速度进行迁移，即数据迁移的速度无法根据业务繁忙程度进行调节，使得在业务繁忙的情况下，系统仍分配较多的资源以实现数据的迁移，降低了业务的处理速度。
由此可见，如何提高生产环境中业务的处理速度是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据迁移方法，用以提高生产环境中业务的处理速度。本申请的目的是还提供一种数据迁移装置及介质。
为解决上述技术问题，本申请提供一种数据迁移方法，包括：
预先设置用于表征业务繁忙程度的业务处理量与迁移速度的对应关系；
获取当前业务处理量；
依据所述对应关系确定与所述当前业务处理量对应的目标迁移速度；
控制待迁移数据按所述目标迁移速度进行迁移。
优选的，所述获取当前业务处理量，具体包括：
获取当前消息队列的目标队列长度；
根据所述目标队列长度确定所述当前业务处理量。
优选的，所述根据所述目标队列长度确定所述当前业务处理量前，还包括：
获取当前CPU使用率和当前内存占用率；
则，所述根据所述目标队列长度确定所述当前业务处理量，具体为：
根据所述目标队列长度、所述当前CPU使用率和所述当前内存占用率确定所述当前业务处理量。
优选的，所述获取当前业务处理量前，还包括：
获取当前时刻和预设要求；其中，所述预设要求包括预设时间段和对应的预设迁移速度；
在所述当前时刻处于所述预设时间段内的情况下，按所述预设迁移速度控制所述待迁移数据进行迁移；
在所述当前时刻未处于所述预设时间段的情况下，进入所述获取当前业务处理量业务处理量的步骤。
优选的，在接收到迁移中断信号的情况下，还包括：
解析所述迁移中断信号得到参考迁移速度；
按所述参考迁移速度控制所述待迁移数据进行迁移；
在接收到解除所述迁移中断信号的情况下，进入所述获取当前业务处理量的步骤。
优选的，所述获取当前时刻具体为：按第一预设周期获取所述当前时刻；
所述获取当前业务处理量具体为：按第二预设周期获取所述当前业务处理量。
优选的，所述迁移速度具体通过最大任务数和单任务最大文件数设置。
为解决上述技术问题，本申请还提供一种数据迁移装置，包括：
设置模块，用于预先设置用于表征业务繁忙程度的业务处理量与迁移速度的对应关系；
第一获取模块，用于获取当前业务处理量；
第一确定模块，用于依据所述对应关系确定与所述当前业务处理量对应的目标迁移速度；
第一控制模块，用于控制待迁移数据按所述目标迁移速度进行迁移。
为解决上述技术问题，本申请还提供一种数据迁移装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的数据迁移方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据迁移方法的步骤。
本申请所提供的数据迁移方法，由于预先设置了各业务处理量与各迁移速度的对应关系，因此在待迁移数据进行迁移的过程中，数据迁移的速度能够根据业务的繁忙程度进行选择和调整，因此能够避免在业务繁忙的情况下较多的生产环境资源被数据迁移所消耗，提高了生产环境中业务的处理速度，此外，还能够在业务较为清闲的情况下提高数据迁移的效率。
此外，本申请提供的一种数据迁移装置及介质，与上述数据迁移方法对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据迁移方法的流程图；
图2为本申请实施例提供的一种数据迁移装置的结构示意图；
图3为本申请实施例提供的另一种数据迁移装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种数据迁移方法，用以提高生产环境中业务的处理速度。本申请的核心是还提供一种数据迁移装置及介质。
为了便于理解，下面将对本申请所适用的系统架构进行介绍，本申请所提供的方法适用于文件系统，文件系统包括服务器、由数据读写速度快的存储硬盘组成的快速池、以及由成本低的普通存储硬盘组成的慢速池。
服务器通过其自身安装的元数据服务(Meta Data Service，MDS)和迁移客户端(Backend)完成访问频率低的数据从快速池迁移至慢速池，为了使得数据迁移的速度能够根据业务的繁忙程度进行选择和调整，服务器用于获取预先设置的表征业务繁忙程度的业务处理量与迁移速度的对应关系和当前业务处理量后，根据对应关系确定对应的目标迁移速度，以便于根据目标迁移速度控制迁移数据进行迁移。其中，具体迁移过程如下：安装于服务器的MDS获取目标迁移速度以及从磁盘加载扫描包含有待迁移文件的索引表，并根据索引表将待迁移文件和目标迁移速度发送给安装于服务器的Backend，由Backend根据目标迁移速度将待迁移文件从快速池拷贝至慢速池，并向MDS发送更新池子的请求，MDS更新快速池和慢速池属性后向Backend回复应答信号，以便于Backend根据应答信号从快速池中删除待迁移文件，至此服务器完成控制待迁移数据按所述目标迁移速度进行迁移。可以理解的是，服务器包括但不限于云服务器、物理服务器和虚拟服务器等。还需说明的是，当文件系统具体为分布式文件系统时，则上述服务器实现的功能可由节点实现，从而降低分布式文件系统中服务器的工作量，其中节点可以是物理节点、也可以是虚拟节点。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的一种数据迁移方法的流程图。如图1所示，应用于上述服务器或上述节点，该方法包括：
S10：预先设置用于表征业务繁忙程度的业务处理量与迁移速度的对应关系。
本申请实施例中，可根据每一迁移速度设定对应的业务处理量，还可以根据每段迁移速度设定对应的业务处理量。可以理解的是，当根据每一迁移速度设定对应的业务处理量时，能够更加精准的对迁移速度进行控制，从而进一步提高了生产环境中业务的处理速度；当根据每段迁移速度设定对应的业务处理量，能够提高数据迁移的效率。在具体实施中，业务处理量与迁移速度的对应关系按用户要求设置即可，例如可将迁移速度设置为四挡，分别为：高速、中速、低速和暂停，则对应的业务量分别为业务量低谷、业务量正常、业务量高峰和业务量积压。
S11：获取当前业务处理量。
可以理解的是，当前业务处理量可以根据服务器或节点在预设时间段内业务完成量进行确定。
S12：依据对应关系确定与当前业务处理量对应的目标迁移速度。
S13：控制待迁移数据按目标迁移速度进行迁移。
在具体实施中，由安装于服务器的MDS获取目标迁移速度以及从磁盘加载扫描包含有待迁移文件的索引表，并根据索引表将待迁移文件和目标迁移速度发送给安装于服务器的Backend，由Backend根据目标迁移速度将待迁移文件从快速池拷贝至慢速池，并向MDS发送更新池子的请求，MDS更新快速池和慢速池属性后向Backend回复应答信号，以便于Backend根据应答信号从快速池中删除待迁移文件。其中，索引表中待迁移数据均通过文件在访问创建、读写等过程中匹配迁移策略，而迁移策略具体是根据文件分级功能判断目标文件是否属于访问率低的文件，如果是，则将目标文件写入索引表后，等待服务器通过MDS和Backend将其从快速池迁移至慢速池。
本申请实施例所提供的数据迁移方法，获取当前业务繁忙程度，依据各业务繁忙程度与各迁移速度的对应关系确定与当前业务繁忙程度对应的目标迁移速度，并控制待迁移数据按目标迁移速度进行迁移。由于预先设置了各业务繁忙程度与各迁移速度的对应关系，因此在待迁移数据进行迁移的过程中，数据迁移的速度能够根据业务的繁忙程度进行选择和调整，因此能够避免在业务繁忙的情况下较多的生产环境资源被数据迁移所消耗，提高了生产环境中业务的处理速度，此外，还能够在业务较为清闲的情况下提高数据迁移的效率。
在上述实施例的基础上，S11具体包括：获取当前消息队列的目标队列长度，根据目标队列长度确定当前业务处理量。
可以理解的是，由于在客户终端向服务器或节点发送业务请求时，会将相应业务对应的数据放在消息队列中，故消息队列的队列长度与业务处理量呈正相关，因此服务器或节点可以通过获取的当前消息队列的目标队列长度确定当前业务处理量，从而确定对应的迁移速度。同时，通过队列长度确定当前业务处理量的方法方便、简洁，进一步提高了数据迁移的效率。
在具体实施中，根据目标队列长度确定当前业务处理量，可以按如下规则进行确定：
当目标队列长度在0至30时，当前业务量为低谷段；当目标队列长度在30至200时，当前业务量为正常段；当目标队列长度在200至1000时，当前业务量为高峰段；当目标队列长度超过1000时，当前业务量为积压段。
进一步的，为了进一步提高确定当前业务处理量的准确性，还包括：获取当前中央处理器(Central Processing Unit，CPU)使用率和当前内存占用率，则根据目标队列长度确定当前业务处理量具体为：根据目标队列长度、当前CPU使用率和当前内存占用率确定当前业务处理量。
在具体实施中，可通过对目标队列长度、当前CPU使用率和当前内存占用率进行加权的方式确定当前业务处理量，例如，目标队列长度对确定当前业务处理量的影响较大，则目标队列长度对应的权重较大；还可以分别根据目标队列长度确定当前业务处理量、根据当前CPU使用率确定当前业务处理量、根据当前内存占用率确定当前业务处理量后取平均等。
在上述实施例的基础上，S11前，还包括：
获取当前时刻和预设要求，其中，预设要求包括预设时间段和对应的预设迁移速度。
在当前时刻处于预设时间段内的情况下，按预设迁移速度控制待迁移数据进行迁移。在当前时刻未处于预设时间段的情况下，进入S11。
可以理解的是，由于在大部分生产环境中业务处理量存在规律变化，例如每天固定在6点至9点或17点至20点是业务处理量高峰甚至积压时间段，因为相较于上述实施例中复杂的获取当前业务处理量的方法，利用大部分生产环境中业务处理量规律性的变化，通过简单的获取当前时刻即可实现数据迁移的速度能够根据业务的繁忙程度进行选择和调整，同时还能够减少服务器或节点的工作量。
进一步的，除了设置业务处理量高峰时间段或积压时间段及对应的迁移速度，还能够设置业务处理量低谷时间段(例如0点至5点或22点至0点等)及其对应的迁移速度，进一步减少了服务器或节点的工作量。
此外，作为优选的实施例，可以按第一预设周期获取当前时刻，以及按第二预设周期获取当前业务处理量。需要说明的是，第一预设周期与第二预设周期不做具体限制，两者可以不相同，也可以相同，在具体实施中，第一预设周期和第二预设周期可均为10秒。
在上述实施例的基础上，在接收到迁移中断信号的情况下，还包括：
解析迁移中断信号得到参考迁移速度，按参考迁移速度控制待迁移数据进行迁移。
在接收到解除迁移中断信号的情况下，进入S11。
可以理解的是，在生产环境中突然接收到紧急、大量的数据时，为了及时对紧急情况进行迁移速度的调控，可通过迁移中断信号打断上述实施例中数据迁移方法，服务器或节点直接根据迁移中断信号中包含的参考迁移速度对数据进行迁移，在接收到解除迁移中断信号的情况下，在重新恢复上述实施例中数据迁移方法，例如在接收到解除迁移中断信号的情况下，重新获取当前业务处理量；或在接收到解除迁移中断信号的情况下，重新获取当前时刻和预设要求。
在具体实施中，迁移中断信号可以只包含参考迁移速度，还可以包含参考迁移速度和中断时长，当迁移中断信号包含有考迁移速度和中断时长时，则无需接收解除迁移中断信号，在中断时长结束后，进入S11即可。
本申请实施例所提供的数据迁移方法，由于还包括在接收到迁移中断信号的情况下，按照迁移终端信号中包含的参考迁移速度控制待迁移数据进行迁移，因此能够在突发业务处理量激增或激减的情况下，能够及时对迁移速度的调控，提高了用户的使用体验感。
在上述实施例的基础上，迁移速度具体通过最大任务数和单任务最大文件数设置。
表1为本申请实施例提供的一种迁移速度与最大任务数和单任务最大文件数的对应关系。
表1
迁移速度 最大任务数 单任务最大文件数
高速 32 32
中速 16 32
低速 4 16
暂停 0 0
如表1所示，最大任务数和单任务最大文件数与迁移速度呈正相关。
在具体实施中，可以单独通过最大任务数设置迁移速度，也可以单独通过单任务最大文件数设置迁移速度，还可以根据最大任务数和单任务最大文件数综合设置迁移速度。可以理解的是，通过最大任务数和单任务最大文件数综合设置迁移速度时，能够更加准确的控制数据迁移的速度，提高了根据业务的繁忙程度对数据迁移速度进行调控的准确性。
在上述实施例中，对于数据迁移方法进行了详细描述，本申请还提供数据迁移装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图2为本申请实施例提供的一种数据迁移装置的结构示意图。如图2所示，基于功能模块的角度，该装置包括：
设置模块10，用于预先设置用于表征业务繁忙程度的业务处理量与迁移速度的对应关系。
第一获取模块11，用于获取当前业务处理量。
第一确定模块12，用于依据对应关系确定与当前业务处理量对应的目标迁移速度。
第一控制模块13，用于控制待迁移数据按目标迁移速度进行迁移。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
作为优选的实施例，第一获取模块11包括：
第二获取模块，用于获取当前消息队列的目标队列长度。
第二确定模块，用于根据目标队列长度确定当前业务处理量。
第一获取模块11还包括：
第三获取模块，用于获取当前CPU使用率和当前内存占用率。
则第二确定模块具体为：第三确定模块，用于根据所述目标队列长度、所述当前CPU使用率和所述当前内存占用率确定所述当前业务处理量。
作为优选的实施例，还包括：
第四获取模块，用于获取当前时刻和预设要求，其中，预设要求包括预设时间段和对应的预设迁移速度。
第二控制模块，用于在当前时刻处于预设时间段内的情况下，按预设迁移速度控制待迁移数据进行迁移。
第一进入模块，用于在当前时刻未处于预设时间段的情况下，进入获取当前业务处理量业务处理量的步骤。
还包括：
解析模块，用于解析迁移中断信号得到参考迁移速度。
第三控制模块，用于按参考迁移速度控制待迁移数据进行迁移。
第二进入模块，用于在接收到解除迁移中断信号的情况下，进入获取当前业务处理量的步骤。
本申请实施例所提供的数据迁移装置，获取当前业务繁忙程度，依据各业务繁忙程度与各迁移速度的对应关系确定与当前业务繁忙程度对应的目标迁移速度，并控制待迁移数据按目标迁移速度进行迁移。由于预先设置了各业务繁忙程度与各迁移速度的对应关系，因此在待迁移数据进行迁移的过程中，数据迁移的速度能够根据业务的繁忙程度进行选择和调整，因此能够避免在业务繁忙的情况下较多的生产环境资源被数据迁移所消耗，提高了生产环境中业务的处理速度，此外，还能够在业务较为清闲的情况下提高数据迁移的效率。
图3为本申请实施例提供的另一种数据迁移装置的结构示意图。如图3所示，基于硬件结构的角度，该装置包括：
存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例中数据迁移方法的步骤。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序201被处理器21加载并执行之后，能够实现前述任一实施例公开的数据迁移方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于数据迁移方法中涉及的数据等。
在一些实施例中，数据迁移装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图3中示出的结构并不构成对数据迁移装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的数据迁移装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：获取当前业务繁忙程度，依据各业务繁忙程度与各迁移速度的对应关系确定与当前业务繁忙程度对应的目标迁移速度，并控制待迁移数据按目标迁移速度进行迁移。由于预先设置了各业务繁忙程度与各迁移速度的对应关系，因此在待迁移数据进行迁移的过程中，数据迁移的速度能够根据业务的繁忙程度进行选择和调整，因此能够避免在业务繁忙的情况下较多的生产环境资源被数据迁移所消耗，提高了生产环境中业务的处理速度，此外，还能够在业务较为清闲的情况下提高数据迁移的效率。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的计算机可读存储介质，该介质上存储有计算机程序，计算机程序被处理器执行时，能够实现如下方法：获取当前业务繁忙程度，依据各业务繁忙程度与各迁移速度的对应关系确定与当前业务繁忙程度对应的目标迁移速度，并控制待迁移数据按目标迁移速度进行迁移。由于预先设置了各业务繁忙程度与各迁移速度的对应关系，因此在待迁移数据进行迁移的过程中，数据迁移的速度能够根据业务的繁忙程度进行选择和调整，因此能够避免在业务繁忙的情况下较多的生产环境资源被数据迁移所消耗，提高了生产环境中业务的处理速度，此外，还能够在业务较为清闲的情况下提高数据迁移的效率。
以上对本申请所提供的一种数据迁移方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：
预先设置用于表征业务繁忙程度的业务处理量与迁移速度的对应关系；
获取当前业务处理量；
依据所述对应关系确定与所述当前业务处理量对应的目标迁移速度；
控制待迁移数据按所述目标迁移速度进行迁移。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述获取当前业务处理量，具体包括：
获取当前消息队列的目标队列长度；
根据所述目标队列长度确定所述当前业务处理量。
3.根据权利要求2所述的数据迁移方法，其特征在于，所述根据所述目标队列长度确定所述当前业务处理量前，还包括：
获取当前CPU使用率和当前内存占用率；
则，所述根据所述目标队列长度确定所述当前业务处理量，具体为：
根据所述目标队列长度、所述当前CPU使用率和所述当前内存占用率确定所述当前业务处理量。
4.根据权利要求1至3任意一项所述的数据迁移方法，其特征在于，所述获取当前业务处理量前，还包括：
获取当前时刻和预设要求；其中，所述预设要求包括预设时间段和对应的预设迁移速度；
在所述当前时刻处于所述预设时间段内的情况下，按所述预设迁移速度控制所述待迁移数据进行迁移；
在所述当前时刻未处于所述预设时间段的情况下，进入所述获取当前业务处理量业务处理量的步骤。
5.根据权利要求1至3任意一项所述的数据迁移方法，其特征在于，在接收到迁移中断信号的情况下，还包括：
解析所述迁移中断信号得到参考迁移速度；
按所述参考迁移速度控制所述待迁移数据进行迁移；
在接收到解除所述迁移中断信号的情况下，进入所述获取当前业务处理量的步骤。
6.根据权利要求4所述的数据迁移方法，其特征在于，所述获取当前时刻具体为：按第一预设周期获取所述当前时刻；
所述获取当前业务处理量具体为：按第二预设周期获取所述当前业务处理量。
7.根据权利要求1所述的数据迁移方法，其特征在于，所述迁移速度具体通过最大任务数和单任务最大文件数设置。
8.一种数据迁移装置，其特征在于，包括：
设置模块，用于预先设置用于表征业务繁忙程度的业务处理量与迁移速度的对应关系；
第一获取模块，用于获取当前业务处理量；
第一确定模块，用于依据所述对应关系确定与所述当前业务处理量对应的目标迁移速度；
第一控制模块，用于控制待迁移数据按所述目标迁移速度进行迁移。
9.一种数据迁移装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的数据迁移方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的数据迁移方法的步骤。
CN202110326012.3A 2021-03-26 2021-03-26 一种数据迁移方法、装置及介质 Pending CN113032369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110326012.3A CN113032369A (zh) 2021-03-26 2021-03-26 一种数据迁移方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110326012.3A CN113032369A (zh) 2021-03-26 2021-03-26 一种数据迁移方法、装置及介质

Publications (1)

Publication Number Publication Date
CN113032369A true CN113032369A (zh) 2021-06-25

Family

ID=76474326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110326012.3A Pending CN113032369A (zh) 2021-03-26 2021-03-26 一种数据迁移方法、装置及介质

Country Status (1)

Country Link
CN (1) CN113032369A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490566A (zh) * 2021-12-10 2022-05-13 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506500A (zh) * 2017-10-09 2017-12-22 郑州云海信息技术有限公司 一种数据迁移的控制方法及相关装置
CN107943572A (zh) * 2017-11-16 2018-04-20 平安科技（深圳）有限公司 数据迁移方法、装置、计算机设备和存储介质
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN109992408A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 一种资源分配方法、装置、电子设备和存储介质
CN110209345A (zh) * 2018-12-27 2019-09-06 中兴通讯股份有限公司 数据存储的方法及装置
CN112181727A (zh) * 2020-09-28 2021-01-05 苏州浪潮智能科技有限公司 一种动态调整存储卷镜像同步速率的实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506500A (zh) * 2017-10-09 2017-12-22 郑州云海信息技术有限公司 一种数据迁移的控制方法及相关装置
CN107943572A (zh) * 2017-11-16 2018-04-20 平安科技（深圳）有限公司 数据迁移方法、装置、计算机设备和存储介质
CN109992408A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 一种资源分配方法、装置、电子设备和存储介质
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN110209345A (zh) * 2018-12-27 2019-09-06 中兴通讯股份有限公司 数据存储的方法及装置
CN112181727A (zh) * 2020-09-28 2021-01-05 苏州浪潮智能科技有限公司 一种动态调整存储卷镜像同步速率的实现方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490566A (zh) * 2021-12-10 2022-05-13 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN114490566B (zh) * 2021-12-10 2024-01-30 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
EP3129880B1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
CN112346829B (zh) 一种用于任务调度的方法及设备
US20240289173A1 (en) Task processing method and apparatus, device, and medium
CN106406987B (zh) 一种集群中的任务执行方法及装置
US9454407B2 (en) Service resource allocation
US8424007B1 (en) Prioritizing tasks from virtual machines
WO2020134364A1 (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
CN110781145B (zh) 一种文件系统任务调度方法、装置、设备及可读存储介质
CN115562843B (zh) 一种容器集群算力调度方法及相关装置
CN112148430A (zh) 一种虚拟网络功能的虚拟机在线安全迁移的方法
US9645841B2 (en) Dynamic virtual machine storage usage monitoring, provisioning, and migration
CN104182278A (zh) 一种判定计算机硬件资源繁忙程度的方法和装置
CN110674064B (zh) 一种数据传输方法、装置、设备及计算机可读存储介质
CN115599300A (zh) 一种任务分配方法、装置、设备及介质
CN113032369A (zh) 一种数据迁移方法、装置及介质
CN113535087B (zh) 数据迁移过程中的数据处理方法、服务器及存储系统
CN115016735A (zh) 一种分布式缓存系统的控制方法、装置及介质
WO2024148864A1 (zh) 虚拟机内存的调整方法和装置、非易失性可读存储介质及电子装置
CN107018163B (zh) 一种资源配置方法和装置
CN114924848A (zh) Io调度方法、装置及设备
CN114721876A (zh) 一种数据备份方法、装置、介质
CN110401652B (zh) 一种基于超融合存储的数字媒体数据处理方法
CN113703678A (zh) 一种存储桶索引重分裂的方法、装置、设备和介质
CN112905119A (zh) 一种分布式存储系统的数据写入控制方法、装置及设备
CN112882714A (zh) SonarQube服务器集群扩容方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625

RJ01 Rejection of invention patent application after publication