CN113741810B - 一种数据迁移方法及装置 - Google Patents

一种数据迁移方法及装置 Download PDF

Info

Publication number
CN113741810B
CN113741810B CN202110875103.2A CN202110875103A CN113741810B CN 113741810 B CN113741810 B CN 113741810B CN 202110875103 A CN202110875103 A CN 202110875103A CN 113741810 B CN113741810 B CN 113741810B
Authority
CN
China
Prior art keywords
migration
data unit
data
index
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110875103.2A
Other languages
English (en)
Other versions
CN113741810A (zh
Inventor
张孙旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202110875103.2A priority Critical patent/CN113741810B/zh
Publication of CN113741810A publication Critical patent/CN113741810A/zh
Application granted granted Critical
Publication of CN113741810B publication Critical patent/CN113741810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据迁移方法及装置。在对第一数据单元进行迁移的过程中，可以先获取第一数据单元在多个迁移周期内的性能统计参数。着，可以根据第一数据单元在多个迁移周期内的性能统计参数计算第一数据单元的迁移指数。具体地，在计算迁移指数时，迁移周期距离当前时刻越近，该迁移周期的性能统计参数对迁移指数的影响越大。这样，不同时间段的性能统计参数对迁移指数的影响不同，充分考虑到了数据的时效性，使得迁移策略更加合理，提高了存储系统整体的读写性能。

Description

一种数据迁移方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据迁移方法及装置。
背景技术
在大数据时代，分级存储系统得到了广泛的应用。在分级存储系统中，可以将利用率较高的数据存储到读写速度较快的存储设备中，将利用率较低是数据存储到读写速度较慢的存储设备中。例如，在包括闪存(Flash)、固态硬盘(Solid State Drive，SSD)和硬盘驱动器(Hard Disk Drive，HDD)的三层存储系统上，FLASH的读写速度高于SSD的读写速度，而SSD的读写速度高于HDD的读写速度。基于此，可以将利用率较高的数据块存储到Flash中，将利用率中等的数据块存储到SSD中，将利用率较低的数据块存储到HDD中。
随着数据不断被调用，数据的利用率可能出现改变。因此，为了提高读取数据的效率，可以在处理数据的过程中实时监测数据的利用率，从而将利用率较高的数据块迁移到读写速度较高的存储设备中。但是，传统的数据迁移方法大多只根据调用次数对数据进行迁移，数据迁移效果不好。
发明内容
有鉴于此，本申请实施例提供了一种数据迁移方法及装置，旨在提供一种高效的数据迁移方法。
第一方面，本申请实施例提供了一种数据迁移方法，所述方法包括：
获取第一数据单元在多个迁移周期内的性能统计参数，所述性能统计参数包括所述第一数据单元在一个迁移周期内被读写的次数，所述多个迁移周期包括第一迁移周期和第二迁移周期，所述第一迁移周期早于所述第二迁移周期；
根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数，所述第一迁移周期的性能统计参数对所述迁移指数的影响小于所述第二迁移周期的性能统计参数对所述迁移指数的影响；
根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移。
可选地，所述第一数据单元在迁移之前存储于第一存储池，所述根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移包括：
获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；
对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；
响应于所述多个数据单元中目标数据单元的数量高于第一数量阈值，将所述第一数据单元从所述第一存储池迁移到第二存储池，所述目标数据单元的迁移指数低于所述第一数据单元的迁移指数，所述第二存储池的数据读写速度高于所述第一存储池。
可选地，所述第一数据单元在迁移之前存储于第一存储池，所述根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移包括：
获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；
对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；
响应于所述多个数据单元中目标数据单元的数量高于第二数量阈值，将所述第一数据单元从所述第一存储池迁移到第三存储池，所述目标数据单元的迁移指数高于所述第一数据单元的迁移指数，所述第三存储池的数据读写速度高于所述第一存储池。
可选地，所述根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数包括：
根据所述第一数据单元在多个迁移周期中每个迁移周期的性能统计参数和与所述性能统计参数所属的迁移周期对应的影响因子确定所述第一数据单元的迁移指数，属于不同迁移周期的性能统计参数对应的影响因子不同。
可选地，所述方法由第一进程通过调用第一资源池的处理资源执行；所述获取第一数据单元在多个迁移周期内的性能统计参数包括：
监测第二进程对第一数据单元调用情况，得到所述第一数据单元的性能统计参数，所述第二进程用于通过调用第二资源池的处理进程对第一数据单元进行处理。
第二方面，本申请实施例提供了一种数据迁移装置，所述装置包括：
获取单元，用于获取第一数据单元在多个迁移周期内的性能统计参数，所述性能统计参数包括所述第一数据单元在一个迁移周期内被读写的次数，所述多个迁移周期包括第一迁移周期和第二迁移周期，所述第一迁移周期早于所述第二迁移周期；
确定单元，用于根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数，所述第一迁移周期的性能统计参数对所述迁移指数的影响小于所述第二迁移周期的性能统计参数对所述迁移指数的影响；
迁移单元，用于根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移。
可选地，所述第一数据单元在迁移之前存储于第一存储池，
所述迁移单元，用于获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；响应于所述多个数据单元中目标数据单元的数量高于第一数量阈值，将所述第一数据单元从所述第一存储池迁移到第二存储池，所述目标数据单元的迁移指数低于所述第一数据单元的迁移指数，所述第二存储池的数据读写速度高于所述第一存储池。
可选地，所述第一数据单元在迁移之前存储于第一存储池，
所述迁移单元，用于获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；响应于所述多个数据单元中目标数据单元的数量高于第二数量阈值，将所述第一数据单元从所述第一存储池迁移到第三存储池，所述目标数据单元的迁移指数高于所述第一数据单元的迁移指数，所述第三存储池的数据读写速度高于所述第一存储池。
可选地，所述确定单元，用于根据所述第一数据单元在多个迁移周期中每个迁移周期的性能统计参数和与所述性能统计参数所属的迁移周期对应的影响因子确定所述第一数据单元的迁移指数，属于不同迁移周期的性能统计参数对应的影响因子不同。
可选地，所述方法由第一进程通过调用第一资源池的处理资源执行；
所述获取单元，用于监测第二进程对第一数据单元调用情况，得到所述第一数据单元的性能统计参数，所述第二进程用于通过调用第二资源池的处理进程对第一数据单元进行处理。
第三方面，本申请实施例还提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述存储器存储的所述指令，以使所述设备执行前述第一方面所述的数据迁移方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储机制用于存储计算机程序，所述计算机程序用于控制计算机执行前述第一方面所述的数据迁移方法。
本申请实施例提供了一种数据迁移方法及装置。在对第一数据单元进行迁移的过程中，可以先获取第一数据单元在多个迁移周期内的性能统计参数。其中，性能统计参数可以包括第一数据单元在单个迁移周期内被读写的次数。接着，可以根据第一数据单元在多个迁移周期内的性能统计参数计算第一数据单元的迁移指数。具体地，在计算迁移指数时，迁移周期距离当前时刻越近，该迁移周期的性能统计参数对迁移指数的影响越大。即，对于第一迁移周期和第二迁移周期，如果第一迁移周期早于第二迁移周期，那么第一迁移周期的性能统计参数对迁移指数的影响小于第二迁移周期的性能统计参数对迁移指数的影响。接着，可以根据第一数据单元的迁移指数对第一数据单元进行迁移，例如可以将第一数据单元迁移至读写速率更高或更低的存储设备中。这样，不同时间段的性能统计参数对迁移指数的影响不同，充分考虑到了数据的时效性，使得迁移策略更加合理，提高了存储系统整体的读写性能。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据迁移方法的方法流程图；
图2为本申请实施例提供的数据迁移装置的一种结构示意图。
具体实施方式
分级存储系统可以包括多个存储池。构成同一个存储池的存储介质相同，不同存储池对应的存储介质不同。由于存储介质不同，从存储池中读写数据的速率也不同。目前，可以将读写速率较快的存储介质所构成的存储池称为高级存储池，将读写速率较慢的存储介质所构成的存储池称为低级存储池。这样，可以将冷数据存储在低级存储池中，将热数据存储在高级存储池中。
随着计算机或服务器对数据的处理，冷数据和热数据之间可能发生变化。某些冷数据可能随着计算机或服务器的调用变为热数据，而数据也可能随着时间的推移变为冷数据。为此，分级存储系统可以对数据的读写情况进行监控。例如，假设分级存储系统确定计算机或服务器对属于冷数据的数据块A的调用次数小于预设阈值，那么可以认为该数据块A在后续处理中被调用的概率较大，进而将数据块A确定为热数据，进而从数据块A从低级存储池中转移到高级存储池中。这个过程又可以被称为数据迁移。
但是，传统的数据迁移方法，只考虑到了数据块的读写频率，没有考虑到数据的时效性，无法准确地找到近期调用频繁的数据块，无法较好地对数据进行迁移。
为了给出能够结合数据读写次数和时效性对数据进行迁移的方法，本申请实施例提供了一种数据迁移方法。以下结合说明书附图，从数据迁移进程的角度对本申请实施例提供的数据迁移方法进行说明。需要说明的是，所述数据迁移进程可以是分级存储系统中运行的进程，也可以是运行于其他计算机或服务器的软件或软件模块，本申请实施例对此不作限定。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的数据迁移方法的方法流程图，包括：
S101：获取第一数据单元在多个迁移周期内的性能统计参数。
为了对第一数据单元进行迁移，数据迁移进程可以先获取第一数据单元在多个迁移周期内的性能统计参数。其中，第一数据单元为分级存储系统中存储的数据单元，例如可以是一个或多个数据文件。在本申请实施例中，数据单元为数据迁移和数据处理的基本单位。即，在一次数据迁移或数据处理过程中，可以对一个数据单元进行迁移或处理。可选地，分级存储系统汇总可以存储有多个数据单元。
迁移周期为数据迁移进程获取性能统计参数的间隔时间。即，数据迁移进程每隔迁移周期获取一次性能统计参数。在本申请实施例中，可以在多个迁移周期后再对数据进行迁移。例如，数据迁移进程可以每隔24小时进行一次数据迁移。在24小时内，数据迁移进程可以每隔5分钟获取一次数据单元的性能统计参数。相应地，迁移周期为5分钟。
第一数据单元的性能统计参数能够体现第一数据单元在一个迁移周期内被读写的情况。例如可以包括第一数据单元在单个迁移周期内被读写的次数。可选地，第一数据单元的性能统计参数还可以包括第一数据单元在单个迁移周期内被读写的时长等相关参数。
在传统的分层存储系统中，数据处理任务和数据迁移任务由同一进程中两个不同的线程执行。由于相同进程的不同线程可以共用同一个资源池，数据迁移任务可能影响数据处理任务的执行，导致分层存储系统的数据读写速度或数据处理速度较慢。其中，资源可以指计算资源和/或网络资源等资源。
为了解决这一问题，在本申请实施例中，数据迁移进程可以是独立与存储系统主进程以外的其他进程。即，分层存储系统中可以同时运行有主进程和数据迁移进程。其中，主进程用于读写数据，并对数据进行处理或将数据发送给其他设备进行处理；分层存储进程用于对数据进行迁移。由于不同的进程所使用的资源池不同，分层存储进程不会占用主进程的资源池，因此数据迁移任务不会对数据处理或数据读写任务产生影响。
也就是说，分层存储系统可以包括第一进程和第二进程。本申请实施例提供的数据迁移方法由第一进程通过调用第一资源池中的资源执行，而其余数据处理任务或数据读写任务则由第二进程通过调用第二资源池中的资源执行。这样，第一资源池和第二资源池相对独立，可以减轻数据迁移过程中占用过多资源而对存储系统主业务产生的影响。
在本申请实施例中，数据迁移进程可以通过与主进程之间的进程间通信接口获取第一数据单元在多个迁移周期内的性能统计参数。
S102：根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数。
在得到第一数据单元在多个迁移周期中每个迁移周期内的性能统计参数之后，数据迁移进程可以根据性能统计参数确定第一数据单元的迁移指数。迁移指数能够体现数据单元需要被迁移的程度。迁移指数越高，说明数据单元越需要进行数据迁移。
其中，不同迁移周期的性能统计参数对迁移指数的影响情况不同。假设多个迁移周期包括第一迁移周期和第二迁移周期，且第一迁移周期早于第二迁移周期，那么第一数据单元在第一迁移周期内的性能统计参数对迁移指数的影响小于第一数据单元在第二迁移周期内的性能统计参数对迁移指数的影响。
在本申请实施例中，可以为不同迁移周期内的性能统计参数设置不同的权重，进而结合权重与性能统计参数确定迁移指数。具体地，可以采用如下公式进行计算：
A(n)＝aP(n)+a(1-a)P(n-1)+a(1-a)2P(n-2)+…+a(1-a)n-1P(n)
其中，A(n)为根据n个迁移周期的性能统计参数得到的迁移指数，P(n)表示第n个迁移周期的性能统计参数，a为预设权重。
S103：根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移。
在得到第一数据单元的迁移指数之后，可以根据第一数据单元的迁移指数对第一数据单元进行迁移。具体地，可以根据第一数据单元的迁移指数在多个数据单元的迁移指数中的顺序，判断第一数据单元是否需要进行数据迁移，以及需要迁移到哪个存储池。
具体地，假设第一数据单元在进行迁移之前存储在第一存储池中，且第一存储池共包括X个数据单元。那么在进行数据迁移的过程中，可以分别计算这X个数据单元的迁移指数。接着，可以从这X个数据单元中选择迁移指数最高的M个数据单元，将这M个数据单元从第一存储池迁移到第二存储池；并以从这X个数据单元中选择迁移指数最低的N个数据单元，将这N个数据单元从第一存储池迁移到第三存储池。其中，第一存储池的读写速率小于第二存储池的读写速率，第三存储池的读写速率小于第一存储池的读写速率。M又称第一数量阈值，表示数据迁移进程一次性向上级存储池迁移的数据单元的数量，N又称第二数量阈值，表示数据迁移进程一次性向下级存储池迁移的数据单元的数量。
在一些可能的实现中，数据迁移进程也可以为第一存储池划分多个桶，并通过排序的方式进行数据迁移。例如，数据迁移进程可以设置为12个桶。将无法迁移的数据单元放入12号桶中，并将剩余的数据单元进行桶排列，并分别放入1-11号桶中。其中，0-8号桶内的数据单元可以再进行堆排序并升序排列，，9-11号桶内的数据单元可以再进行堆排序并降序排列。
在进行数据迁移的过程中，数据迁移进程可以按顺序先从0号桶中提取数据单元，并将其迁移至高级存储池中。待0号桶中的数据单元被提取完毕之后，数据迁移进程可以按顺序从1号桶中提取数据，并依次类推。另外，数据迁移进程还可以按顺序先从11号桶中提取数据单元，并将其迁移至低级存储池中。待11号桶中的数据单元被提取完毕之后，数据迁移进程可以按顺序从10号桶中提取数据，并依次类推。
本申请实施例提供了一种数据迁移方法。在对第一数据单元进行迁移的过程中，可以先获取第一数据单元在多个迁移周期内的性能统计参数。其中，性能统计参数可以包括第一数据单元在单个迁移周期内被读写的次数。接着，可以根据第一数据单元在多个迁移周期内的性能统计参数计算第一数据单元的迁移指数。具体地，在计算迁移指数时，迁移周期距离当前时刻越近，该迁移周期的性能统计参数对迁移指数的影响越大。即，对于第一迁移周期和第二迁移周期，如果第一迁移周期早于第二迁移周期，那么第一迁移周期的性能统计参数对迁移指数的影响小于第二迁移周期的性能统计参数对迁移指数的影响。接着，可以根据第一数据单元的迁移指数对第一数据单元进行迁移，例如可以将第一数据单元迁移至读写速率更高或更低的存储设备中。这样，不同时间段的性能统计参数对迁移指数的影响不同，充分考虑到了数据的时效性，使得迁移策略更加合理，提高了存储系统整体的读写性能。
以上为本申请实施例提供数据迁移方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍。
参见图2所示的数据迁移装置的结构示意图，该装置200包括：
获取单元210，用于获取第一数据单元在多个迁移周期内的性能统计参数，所述性能统计参数包括所述第一数据单元在一个迁移周期内被读写的次数，所述多个迁移周期包括第一迁移周期和第二迁移周期，所述第一迁移周期早于所述第二迁移周期。
确定单元220，用于根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数，所述第一迁移周期的性能统计参数对所述迁移指数的影响小于所述第二迁移周期的性能统计参数对所述迁移指数的影响。
迁移单元230，用于根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移。
本申请实施例提供了一种数据迁移装置。在对第一数据单元进行迁移的过程中，可以先获取第一数据单元在多个迁移周期内的性能统计参数。其中，性能统计参数可以包括第一数据单元在单个迁移周期内被读写的次数。接着，可以根据第一数据单元在多个迁移周期内的性能统计参数计算第一数据单元的迁移指数。具体地，在计算迁移指数时，迁移周期距离当前时刻越近，该迁移周期的性能统计参数对迁移指数的影响越大。即，对于第一迁移周期和第二迁移周期，如果第一迁移周期早于第二迁移周期，那么第一迁移周期的性能统计参数对迁移指数的影响小于第二迁移周期的性能统计参数对迁移指数的影响。接着，可以根据第一数据单元的迁移指数对第一数据单元进行迁移，例如可以将第一数据单元迁移至读写速率更高或更低的存储设备中。这样，不同时间段的性能统计参数对迁移指数的影响不同，充分考虑到了数据的时效性，使得迁移策略更加合理，提高了存储系统整体的读写性能。
可选地，在一些可能的实现中，所述第一数据单元在迁移之前存储于第一存储池，所述迁移单元230，用于获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；响应于所述多个数据单元中目标数据单元的数量高于第一数量阈值，将所述第一数据单元从所述第一存储池迁移到第二存储池，所述目标数据单元的迁移指数低于所述第一数据单元的迁移指数，所述第二存储池的数据读写速度高于所述第一存储池。
可选地，在一些可能的实现中，所述第一数据单元在迁移之前存储于第一存储池，所述迁移单元230，用于获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；响应于所述多个数据单元中目标数据单元的数量高于第二数量阈值，将所述第一数据单元从所述第一存储池迁移到第三存储池，所述目标数据单元的迁移指数高于所述第一数据单元的迁移指数，所述第三存储池的数据读写速度高于所述第一存储池。
可选地，在一些可能的实现中，所述确定单元220，用于根据所述第一数据单元在多个迁移周期中每个迁移周期的性能统计参数和与所述性能统计参数所属的迁移周期对应的影响因子确定所述第一数据单元的迁移指数，属于不同迁移周期的性能统计参数对应的影响因子不同。
可选地，在一些可能的实现中，所述方法由第一进程通过调用第一资源池的处理资源执行；所述获取单元210，用于监测第二进程对第一数据单元调用情况，得到所述第一数据单元的性能统计参数，所述第二进程用于通过调用第二资源池的处理进程对第一数据单元进行处理。
此外，本申请实施例还提供了对应的设备和计算机存储介质，用于实现本申请实施例提供的任意一种数据迁移方法。
本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims (10)

1.一种数据迁移方法，其特征在于，所述方法包括：
获取第一数据单元在多个迁移周期内的性能统计参数，所述性能统计参数包括所述第一数据单元在一个迁移周期内被读写的次数，所述多个迁移周期包括第一迁移周期和第二迁移周期，所述第一迁移周期早于所述第二迁移周期；
根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数，所述第一迁移周期的性能统计参数对所述迁移指数的影响小于所述第二迁移周期的性能统计参数对所述迁移指数的影响；其中，所述迁移指数用于表征数据单元被迁移的程度；
根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移。
2.根据权利要求1所述的方法，其特征在于，所述第一数据单元在迁移之前存储于第一存储池，所述根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移包括：
获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；
对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；
响应于所述多个数据单元中目标数据单元的数量高于第一数量阈值，将所述第一数据单元从所述第一存储池迁移到第二存储池，所述目标数据单元的迁移指数低于所述第一数据单元的迁移指数，所述第二存储池的数据读写速度高于所述第一存储池。
3.根据权利要求1所述的方法，其特征在于，所述第一数据单元在迁移之前存储于第一存储池，所述根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移包括：
获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；
对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；
响应于所述多个数据单元中目标数据单元的数量高于第二数量阈值，将所述第一数据单元从所述第一存储池迁移到第三存储池，所述目标数据单元的迁移指数高于所述第一数据单元的迁移指数，所述第三存储池的数据读写速度高于所述第一存储池。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数包括：
根据所述第一数据单元在多个迁移周期中每个迁移周期的性能统计参数和与所述性能统计参数所属的迁移周期对应的影响因子确定所述第一数据单元的迁移指数，属于不同迁移周期的性能统计参数对应的影响因子不同。
5.根据权利要求1所述的方法，其特征在于，所述方法由第一进程通过调用第一资源池的处理资源执行；所述获取第一数据单元在多个迁移周期内的性能统计参数包括：
监测第二进程对第一数据单元调用情况，得到所述第一数据单元的性能统计参数，所述第二进程用于通过调用第二资源池的处理进程对第一数据单元进行处理。
6.一种数据迁移装置，其特征在于，所述装置包括：
获取单元，用于获取第一数据单元在多个迁移周期内的性能统计参数，所述性能统计参数包括所述第一数据单元在一个迁移周期内被读写的次数，所述多个迁移周期包括第一迁移周期和第二迁移周期，所述第一迁移周期早于所述第二迁移周期；
确定单元，用于根据所述第一数据单元在多个迁移周期内的性能统计参数确定所述第一数据单元的迁移指数，所述第一迁移周期的性能统计参数对所述迁移指数的影响小于所述第二迁移周期的性能统计参数对所述迁移指数的影响；其中，所述迁移指数用于表征数据单元被迁移的程度；
迁移单元，用于根据所述第一数据单元的迁移指数对所述第一数据单元进行迁移。
7.根据权利要求6所述的装置，其特征在于，所述第一数据单元在迁移之前存储于第一存储池，
所述迁移单元，用于获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；响应于所述多个数据单元中目标数据单元的数量高于第一数量阈值，将所述第一数据单元从所述第一存储池迁移到第二存储池，所述目标数据单元的迁移指数低于所述第一数据单元的迁移指数，所述第二存储池的数据读写速度高于所述第一存储池。
8.根据权利要求6所述的装置，其特征在于，所述第一数据单元在迁移之前存储于第一存储池，
所述迁移单元，用于获取多个数据单元的迁移指数，所述多个数据单元包括所述第一数据单元；对所述多个数据单元的迁移指数按照从高到低的顺序进行排序；响应于所述多个数据单元中目标数据单元的数量高于第二数量阈值，将所述第一数据单元从所述第一存储池迁移到第三存储池，所述目标数据单元的迁移指数高于所述第一数据单元的迁移指数，所述第三存储池的数据读写速度高于所述第一存储池。
9.根据权利要求6-8任一项所述的装置，其特征在于，
所述确定单元，用于根据所述第一数据单元在多个迁移周期中每个迁移周期的性能统计参数和与所述性能统计参数所属的迁移周期对应的影响因子确定所述第一数据单元的迁移指数，属于不同迁移周期的性能统计参数对应的影响因子不同。
10.根据权利要求6所述的装置，其特征在于，由第一进程通过调用第一资源池的处理资源执行所述装置相应的方法；
所述获取单元，用于监测第二进程对第一数据单元调用情况，得到所述第一数据单元的性能统计参数，所述第二进程用于通过调用第二资源池的处理进程对第一数据单元进行处理。
CN202110875103.2A 2021-07-30 2021-07-30 一种数据迁移方法及装置 Active CN113741810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110875103.2A CN113741810B (zh) 2021-07-30 2021-07-30 一种数据迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110875103.2A CN113741810B (zh) 2021-07-30 2021-07-30 一种数据迁移方法及装置

Publications (2)

Publication Number Publication Date
CN113741810A CN113741810A (zh) 2021-12-03
CN113741810B true CN113741810B (zh) 2023-08-11

Family

ID=78729621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110875103.2A Active CN113741810B (zh) 2021-07-30 2021-07-30 一种数据迁移方法及装置

Country Status (1)

Country Link
CN (1) CN113741810B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122126A (zh) * 2016-12-22 2017-09-01 华为技术有限公司 数据的迁移方法、装置和系统
CN110795034A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 存储系统的数据迁移方法、装置、设备及可读存储介质
CN111142788A (zh) * 2019-11-29 2020-05-12 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和计算机可读存储介质
CN112015347A (zh) * 2020-08-28 2020-12-01 北京浪潮数据技术有限公司 一种数据迁移方法、装置及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122126A (zh) * 2016-12-22 2017-09-01 华为技术有限公司 数据的迁移方法、装置和系统
WO2018113317A1 (zh) * 2016-12-22 2018-06-28 华为技术有限公司 数据的迁移方法、装置和系统
CN110795034A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 存储系统的数据迁移方法、装置、设备及可读存储介质
CN111142788A (zh) * 2019-11-29 2020-05-12 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和计算机可读存储介质
CN112015347A (zh) * 2020-08-28 2020-12-01 北京浪潮数据技术有限公司 一种数据迁移方法、装置及相关设备

Also Published As

Publication number Publication date
CN113741810A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN111381928B (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
CN110515539A (zh) 基于云存储的云磁盘挂载方法、装置、设备和存储介质
CN105491117B (zh) 面向实时数据分析的流式图数据处理系统及方法
CN103077197A (zh) 一种数据存储方法装置
CN108574645B (zh) 一种队列调度方法及装置
CN110737717B (zh) 一种数据库迁移方法及装置
CN115543577A (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
US20120054762A1 (en) Scheduling apparatus and method for a multicore device
CN116244085A (zh) Kubernetes集群容器组调度方法、装置及介质
US11403026B2 (en) Method, device and computer program product for managing storage system
US20200293543A1 (en) Method and apparatus for transmitting data
CN115774622B (zh) 资源调度方法、装置、电子设备和存储介质
CN117251275A (zh) 多应用异步i/o请求的调度方法及系统、设备及介质
CN113741810B (zh) 一种数据迁移方法及装置
CN108664322A (zh) 数据处理方法及系统
CN114327862B (zh) 一种内存分配方法、装置、电子设备及存储介质
CN115221174A (zh) 基于人工智能的数据分级存储方法、装置、设备及介质
CN111930299B (zh) 分配存储单元的方法及相关设备
CN109828718B (zh) 一种磁盘存储负载均衡方法及装置
CN112446490A (zh) 一种网络训练的数据集缓存方法、装置、设备及存储介质
CN112540842A (zh) 动态调整系统资源的方法及装置
CN116069263B (zh) 文件系统的优化方法、装置、服务器、设备及存储介质
CN113672673B (zh) 数据采集方法及装置、存储介质及电子设备
CN110636058B (zh) 基于大数据的信息安全系统和方法
CN113312208B (zh) 一种基于系统资源的均衡集中备份方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant