CN109542347A - 一种数据迁移方法、装置、设备及可读存储介质 - Google Patents

一种数据迁移方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109542347A
CN109542347A CN201811375968.7A CN201811375968A CN109542347A CN 109542347 A CN109542347 A CN 109542347A CN 201811375968 A CN201811375968 A CN 201811375968A CN 109542347 A CN109542347 A CN 109542347A
Authority
CN
China
Prior art keywords
data
metadata
target data
disks
access request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811375968.7A
Other languages
English (en)
Other versions
CN109542347B (zh
Inventor
朱行武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201811375968.7A priority Critical patent/CN109542347B/zh
Publication of CN109542347A publication Critical patent/CN109542347A/zh
Application granted granted Critical
Publication of CN109542347B publication Critical patent/CN109542347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据迁移方法，包括：当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；若是，则获取存储节点的缓存设备中的目标数据，并按照目标数据的存储路径迁移目标数据至对应的数据盘；若否，则判断存储节点是否接收到访问请求；当存储节点接收到访问请求时，确定访问请求对应的元数据和存储元数据的数据盘，将元数据从存储元数据的数据盘迁移至缓存设备。该方法在切换缓存配置时，能够基于不同的切换方向确定数据迁移方向，从而完成了数据的自动转移，提高了数据迁移效率，降低了失误率。相应地，本发明公开的一种数据迁移装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据迁移方法、装置、设备及可读存储介质
技术领域
本发明涉及分布式集群技术领域，更具体地说，涉及一种数据迁移方法、装置、设备及可读存储介质。
背景技术
在分布式存储集群中，需要根据业务的不同改变存储节点的缓存配置。其中，缓存配置一般包括：SSD缓存模式和无缓存模式。
在切换缓存配置时，需要进行数据转移。例如：将缓存配置由缓存模式切换为无缓存模式时，需要将当前使用的缓存设备中的数据拷贝至数据盘，以避免数据遗失；反之，将缓存配置由无缓存模式切换为缓存模式时，需要将数据盘中的数据拷贝至缓存设备，以提高响应效率。
在现有技术中，一般由技术人员手动实现数据在缓存设备和数据盘之间的转移，期间还需要对数据文件进行重命名等操作，不仅工作效率低，还容易出错。尤其是需要转移的数据量较大时，数据迁移效率更为低下。
因此，如何在切换缓存配置时，提高数据迁移效率，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种数据迁移方法、装置、设备及可读存储介质，以实现在切换缓存配置时，提高数据迁移效率。
为实现上述目的，本发明实施例提供了如下技术方案：
一种数据迁移方法，包括：
当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；
若是，则获取所述存储节点的缓存设备中的目标数据，并按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘；
若否，则判断所述存储节点是否接收到访问请求；当所述存储节点接收到访问请求时，确定所述访问请求对应的元数据和存储所述元数据的数据盘，将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备。
其中，所述获取所述存储节点的缓存设备中的目标数据，包括：
获取所述目标数据，并按照所述目标数据对应的数据盘的存储要求对所述目标数据进行处理。
其中，所述按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘之前，还包括：
获取所述目标数据的名称，解析所述名称，得到所述目标数据的存储路径。
其中，所述按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘，包括：
根据所述缓存设备的数量，以及所述目标数据对应的数据盘的数量生成多个迁移任务；
并行执行所述多个迁移任务。
其中，所述将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备，包括：
从存储所述元数据的数据盘中获取所述元数据，并按照所述缓存设备的存储要求对所述元数据进行处理。
其中，当所述存储节点接收到访问请求时，还包括：
判断所述访问请求是否为多个；
若是，则根据所述访问请求的数量生成对应的迁移任务并同时执行。
一种数据迁移装置，包括：
判断模块，用于当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；
第一迁移模块，用于当前将缓存配置由缓存模式切换为无缓存模式时，获取所述存储节点的缓存设备中的目标数据，并按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘；
第二迁移模块，用于当前将缓存配置由无缓存模式切换为缓存模式时，判断所述存储节点是否接收到访问请求；当所述存储节点接收到访问请求时，确定所述访问请求对应的元数据和存储所述元数据的数据盘，将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备。
其中，所述第一迁移模块具体用于：
获取所述目标数据，并按照所述目标数据对应的数据盘的存储要求对所述目标数据进行处理。
一种数据迁移设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意一项所述的数据迁移方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据迁移方法的步骤。
通过以上方案可知，本发明实施例提供的一种数据迁移方法，包括：当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；若是，则获取所述存储节点的缓存设备中的目标数据，并按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘；若否，则判断所述存储节点是否接收到访问请求；当所述存储节点接收到访问请求时，确定所述访问请求对应的元数据和存储所述元数据的数据盘，将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备。
上述方案在切换缓存配置时，能够基于不同的切换方向确定数据迁移方向，从而完成了数据的自动转移。其中，当将缓存配置由缓存模式切换为无缓存模式时，获取存储节点的缓存设备中的目标数据，并按照目标数据的存储路径迁移目标数据至对应的数据盘；当将缓存配置由无缓存模式切换为缓存模式且接收到访问请求时，确定访问请求对应的元数据和存储元数据的数据盘，将元数据从存储元数据的数据盘迁移至缓存设备，从而提高了数据迁移效率，降低了失误率。
相应地，本发明实施例提供的一种数据迁移装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据迁移方法流程图；
图2为本发明实施例公开的另一种将数据从缓存设备迁移至数据盘的数据迁移示意图；
图3为本发明实施例公开的一种将元数据从数据盘迁移至缓存设备的数据迁移示意图；
图4为本发明实施例公开的一种数据迁移装置示意图；
图5为本发明实施例公开的一种数据迁移设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种数据迁移方法、装置、设备及可读存储介质，以实现在切换缓存配置时，提高数据迁移效率。
参见图1，本发明实施例提供的一种数据迁移方法，包括：
S101、当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；若是，则执行S102；若否，则执行S103；
S102、获取存储节点的缓存设备中的目标数据，并按照目标数据的存储路径迁移目标数据至对应的数据盘；
优选地，所述获取所述存储节点的缓存设备中的目标数据，包括：获取所述目标数据，并按照所述目标数据对应的数据盘的存储要求对所述目标数据进行处理。
具体的，所述目标数据包括具体数据和元数据。且由于数据或元数据在缓存设备中的存储方式和在数据盘中的存储方式不一样，例如命名方式、路径结构等，甚至有些缓存设备中的多个数据文件需要存储到数据盘的同一个文件中的不同位置。因此，在将缓存设备中的目标数据迁移至数据盘时，需要将目标数据整合成符合数据盘存储方式的形式。
其中，所述按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘之前，还包括：获取所述目标数据的名称，解析所述名称，得到所述目标数据的存储路径。
具体的，缓存设备中的数据文件的命名方式一般包含其在数据盘中的存储路径信息，以及其在某个文件中的偏移信息，因此可以根据数据的名称解析出其在数据盘的存储路径和相应的偏移信息。也就是说，所述按照目标数据的存储路径迁移目标数据至对应的数据盘中的“数据盘”与“目标数据的存储路径”相对应。
优选地，所述按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘，包括：根据所述缓存设备的数量，以及所述目标数据对应的数据盘的数量生成多个迁移任务；并行执行所述多个迁移任务。
具体的，根据缓存设备的数量和数据盘的数量生成相应的迁移任务，这样各存储介质中的数据便可以并行迁移，可以最大限度的利用每个存储介质的读写性能，从而提高迁移效率。可以一个存储介质对应一个迁移任务。
S103、判断存储节点是否接收到访问请求；若是，则执行S104；若否，无操作；
S104、确定访问请求对应的元数据和存储元数据的数据盘，将元数据从存储元数据的数据盘迁移至缓存设备。
其中，向缓存设备迁移数据时，只需要迁移元数据，这样既可以保证上层服务快速根据缓存设备中的元数据了解数据的全貌，又可以避免大量数据的迁移问题。为了避免无谓的数据迁移操作，在确定接收到访问请求时，才迁移相应的元数据。
优选地，所述将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备，包括：从存储所述元数据的数据盘中获取所述元数据，并按照所述缓存设备的存储要求对所述元数据进行处理。
具体的，由于元数据在缓存设备中的存储方式和在数据盘中的存储方式不一样，例如命名方式、路径结构等。因此，在将数据盘中的元数据迁移至缓存设备时，需要将元数据整合成符合存储设备存储方式的形式。
所述，确定访问请求对应的元数据和存储元数据的数据盘，包括：根据访问请求对应的元数据的名称确定存储元数据的数据盘。因为元数据的名称中一般包含元数据的存储路径信息，以及其在某个文件中的偏移信息。
可见，本实施例提供了一种数据迁移方法，所述方法在切换缓存配置时，能够基于不同的切换方向确定数据迁移方向，从而完成了数据的自动转移。其中，当将缓存配置由缓存模式切换为无缓存模式时，获取存储节点的缓存设备中的目标数据，并按照目标数据的存储路径迁移目标数据至对应的数据盘；当将缓存配置由无缓存模式切换为缓存模式且接收到访问请求时，确定访问请求对应的元数据和存储元数据的数据盘，将元数据从存储元数据的数据盘迁移至缓存设备，从而提高了数据迁移效率，降低了失误率。
基于上述实施例，需要说明的是，当所述存储节点接收到访问请求时，还包括：判断所述访问请求是否为多个；若是，则根据所述访问请求的数量生成对应的迁移任务并同时执行。
具体的，假设存储节点接收到五个访问请求，则针对每个访问请求生成迁移任务并同时执行，以实现同时将每个访问请求对应的元数据从数据盘迁移至缓存设备，提高访问请求的响应效率。
本发明实施例公开了另一种数据迁移方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。
本实施例根据设定的数据迁移模式(即缓存配置)判断进行缓存设备数据迁移还是进行数据盘数据迁移；并根据数据盘及缓存设备数量启动多个任务，读取相应数据并进行数据迁移。
请参见图2，当进行缓存设备数据迁移(即将数据从缓存设备迁移至数据盘)时，包括：
(1)确定数据迁移模式为缓存设备迁移；
(2)获取当前集群节点的数据盘数量及缓存设备数量，并分别启动相应的迁移任务；
(3)每个任务从缓存设备中读取数据以及元数据，并根据数据盘的数据存储要求进行数据处理；
(4)对步骤3中处理后的数据及元数据根据其在缓存设备中的存储路径判断其在数据盘中的存储路径；
(5)将处理后的数据及元数据分别迁移至数据盘中；
当所有迁移任务执行完成后，即完成了缓存设备数据迁移。
请参见图3，当进行数据盘数据迁移时(即将元数据从数据盘迁移至缓存设备)，包括：
(1)确定数据迁移模式为数据盘迁移；
(2)获取当前集群节点的数据盘数量及缓存设备数量，并分别启动相应的迁移任务；
(3)由于向缓存设备迁移时，只需要迁移元数据，每个任务从数据盘中只读取元数据，并根据缓存设备的存储要求进行相应处理；
(4)对步骤3中处理后的元数据根据其在数据盘中的存储路径判断其在缓存设备中的存储路径；
(5)将处理后的元数据迁移至缓存设备；
当所有迁移任务执行完成后，即完成了数据盘数据迁移。
可见，本实施例实现数据在缓存设备与数据盘之间的双向迁移，并根据数据盘的数量进行并行数据迁移。与手动迁移数据相比，数据迁移准确率得到了保障，也可充分发挥各数据盘的性能，迁移效率大大提升。
下面对本发明实施例提供的一种数据迁移装置进行介绍，下文描述的一种数据迁移装置与上文描述的一种数据迁移方法可以相互参照。
参见图4，本发明实施例提供的一种数据迁移装置，包括：
判断模块401，用于当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；
第一迁移模块402，用于当前将缓存配置由缓存模式切换为无缓存模式时，获取所述存储节点的缓存设备中的目标数据，并按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘；
第二迁移模块403，用于当前将缓存配置由无缓存模式切换为缓存模式时，判断所述存储节点是否接收到访问请求；当所述存储节点接收到访问请求时，确定所述访问请求对应的元数据和存储所述元数据的数据盘，将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备。
其中，所述第一迁移模块具体用于：
获取所述目标数据，并按照所述目标数据对应的数据盘的存储要求对所述目标数据进行处理。
其中，还包括：
解析模块，用于获取所述目标数据的名称，解析所述名称，得到所述目标数据的存储路径。
其中，所述第一迁移模块具体用于：
根据所述缓存设备的数量，以及所述目标数据对应的数据盘的数量生成多个迁移任务；并行执行所述多个迁移任务。
其中，所述第二迁移模块具体用于：
从存储所述元数据的数据盘中获取所述元数据，并按照所述缓存设备的存储要求对所述元数据进行处理。
其中，还包括：
接收模块，用于当所述存储节点接收到访问请求时，判断所述访问请求是否为多个；
执行模块，用于当所述访问请求为多个时，根据所述访问请求的数量生成对应的迁移任务并同时执行。
可见，本实施例提供了一种数据迁移装置，包括：判断模块、第一迁移模块以及第二迁移模块。当切换存储节点的缓存配置时，由判断模块判断当前是否将缓存配置由缓存模式切换为无缓存模式；若当前将缓存配置由缓存模式切换为无缓存模式，则由第一迁移模块获取存储节点的缓存设备中的目标数据，并按照目标数据的存储路径迁移目标数据至对应的数据盘；若当前将缓存配置由无缓存模式切换为缓存模式，则由第二迁移模块，判断存储节点是否接收到访问请求；当存储节点接收到访问请求时，确定访问请求对应的元数据和存储元数据的数据盘，将元数据从存储元数据的数据盘迁移至缓存设备。如此各个模块之间分工合作，各司其职，从而提高了数据迁移效率，降低了失误率。
下面对本发明实施例提供的一种数据迁移设备进行介绍，下文描述的一种数据迁移设备与上文描述的一种数据迁移方法及装置可以相互参照。
参见图5，本发明实施例提供的一种数据迁移设备，包括：
存储器501，用于存储计算机程序；
处理器502，用于执行所述计算机程序时实现上述任意实施例所述的数据迁移方法的步骤。
下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据迁移方法、装置及设备可以相互参照。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据迁移方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：
当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；
若是，则获取所述存储节点的缓存设备中的目标数据，并按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘；
若否，则判断所述存储节点是否接收到访问请求；当所述存储节点接收到访问请求时，确定所述访问请求对应的元数据和存储所述元数据的数据盘，将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述获取所述存储节点的缓存设备中的目标数据，包括：
获取所述目标数据，并按照所述目标数据对应的数据盘的存储要求对所述目标数据进行处理。
3.根据权利要求2所述的数据迁移方法，其特征在于，所述按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘之前，还包括：
获取所述目标数据的名称，解析所述名称，得到所述目标数据的存储路径。
4.根据权利要求3所述的数据迁移方法，其特征在于，所述按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘，包括：
根据所述缓存设备的数量，以及所述目标数据对应的数据盘的数量生成多个迁移任务；
并行执行所述多个迁移任务。
5.根据权利要求1所述的数据迁移方法，其特征在于，所述将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备，包括：
从存储所述元数据的数据盘中获取所述元数据，并按照所述缓存设备的存储要求对所述元数据进行处理。
6.根据权利要求5所述的数据迁移方法，其特征在于，当所述存储节点接收到访问请求时，还包括：
判断所述访问请求是否为多个；
若是，则根据所述访问请求的数量生成对应的迁移任务并同时执行。
7.一种数据迁移装置，其特征在于，包括：
判断模块，用于当切换存储节点的缓存配置时，判断当前是否将缓存配置由缓存模式切换为无缓存模式；
第一迁移模块，用于当前将缓存配置由缓存模式切换为无缓存模式时，获取所述存储节点的缓存设备中的目标数据，并按照所述目标数据的存储路径迁移所述目标数据至对应的数据盘；
第二迁移模块，用于当前将缓存配置由无缓存模式切换为缓存模式时，判断所述存储节点是否接收到访问请求；当所述存储节点接收到访问请求时，确定所述访问请求对应的元数据和存储所述元数据的数据盘，将所述元数据从存储所述元数据的数据盘迁移至所述缓存设备。
8.根据权利要求7所述的数据迁移装置，其特征在于，所述第一迁移模块具体用于：
获取所述目标数据，并按照所述目标数据对应的数据盘的存储要求对所述目标数据进行处理。
9.一种数据迁移设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-6任意一项所述的数据迁移方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的数据迁移方法的步骤。
CN201811375968.7A 2018-11-19 2018-11-19 一种数据迁移方法、装置、设备及可读存储介质 Active CN109542347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811375968.7A CN109542347B (zh) 2018-11-19 2018-11-19 一种数据迁移方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811375968.7A CN109542347B (zh) 2018-11-19 2018-11-19 一种数据迁移方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109542347A true CN109542347A (zh) 2019-03-29
CN109542347B CN109542347B (zh) 2022-02-18

Family

ID=65847968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811375968.7A Active CN109542347B (zh) 2018-11-19 2018-11-19 一种数据迁移方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109542347B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028728A1 (en) * 2001-07-31 2003-02-06 Mitsubishi Denki Kabushiki Kaisha Cache memory control device
CN101753282A (zh) * 2008-12-22 2010-06-23 大唐移动通信设备有限公司 一种进程缓存的配置和处理的方法及系统
CN103595653A (zh) * 2013-11-18 2014-02-19 福建星网锐捷网络有限公司 一种缓存分配方法、装置及设备
CN105095495A (zh) * 2015-08-21 2015-11-25 浪潮(北京)电子信息产业有限公司 一种分布式文件系统缓存管理方法和系统
CN105573682A (zh) * 2016-02-25 2016-05-11 浪潮(北京)电子信息产业有限公司 一种san存储系统及其数据读写方法
CN107111615A (zh) * 2014-05-28 2017-08-29 北京大学深圳研究生院 一种用于分布式存储系统的数据缓存方法及装置
CN107707619A (zh) * 2017-08-28 2018-02-16 北京小米移动软件有限公司 分布式存储方法及装置
CN108132889A (zh) * 2017-12-20 2018-06-08 东软集团股份有限公司 内存管理方法、装置、计算机可读存储介质及电子设备
CN108600382A (zh) * 2018-04-28 2018-09-28 广州联欣信息科技有限公司 一种在网络离线时app内容缓存的方法和计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028728A1 (en) * 2001-07-31 2003-02-06 Mitsubishi Denki Kabushiki Kaisha Cache memory control device
CN101753282A (zh) * 2008-12-22 2010-06-23 大唐移动通信设备有限公司 一种进程缓存的配置和处理的方法及系统
CN103595653A (zh) * 2013-11-18 2014-02-19 福建星网锐捷网络有限公司 一种缓存分配方法、装置及设备
CN107111615A (zh) * 2014-05-28 2017-08-29 北京大学深圳研究生院 一种用于分布式存储系统的数据缓存方法及装置
CN105095495A (zh) * 2015-08-21 2015-11-25 浪潮(北京)电子信息产业有限公司 一种分布式文件系统缓存管理方法和系统
CN105573682A (zh) * 2016-02-25 2016-05-11 浪潮(北京)电子信息产业有限公司 一种san存储系统及其数据读写方法
CN107707619A (zh) * 2017-08-28 2018-02-16 北京小米移动软件有限公司 分布式存储方法及装置
CN108132889A (zh) * 2017-12-20 2018-06-08 东软集团股份有限公司 内存管理方法、装置、计算机可读存储介质及电子设备
CN108600382A (zh) * 2018-04-28 2018-09-28 广州联欣信息科技有限公司 一种在网络离线时app内容缓存的方法和计算机可读存储介质

Also Published As

Publication number Publication date
CN109542347B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN102523279B (zh) 一种分布式文件系统及其热点文件存取方法
US9858322B2 (en) Data stream ingestion and persistence techniques
JP6371859B2 (ja) 分散格納システムにおけるセッション管理
CN102831120B (zh) 一种数据处理方法及系统
US9794135B2 (en) Managed service for acquisition, storage and consumption of large-scale data streams
JP6259532B2 (ja) 分散格納システムにおける名前空間管理
US9372726B2 (en) Gang migration of virtual machines using cluster-wide deduplication
US9276959B2 (en) Client-configurable security options for data streams
Annamalai et al. Sharding the shards: managing datastore locality at scale with Akkio
CN106302607B (zh) 应用于云计算的块存储系统及方法
US20150269239A1 (en) Storage device selection for database partition replicas
CN102156738B (zh) 数据块处理方法、数据块存储设备及系统
US11075984B1 (en) Workload management at streaming data service supporting persistent connections for reads
Srinivasan et al. Aerospike: Architecture of a real-time operational dbms
JP2017511541A (ja) 可変ストライプサイズを使用するファイル格納
JP2017510002A (ja) 複数エクステント動作のための原子書き込み
CN111078121A (zh) 一种分布式存储系统数据迁移方法、系统、及相关组件
CN109582686B (zh) 分布式元数据管理一致性保证方法、装置、系统及应用
CN106446159B (zh) 一种存储文件的方法、第一虚拟机及名称节点
JPS63201743A (ja) データ処理システム・ネットワークのためのキャッシング方法
CN104050250A (zh) 一种分布式键-值查询方法和查询引擎系统
CN104111804A (zh) 一种分布式文件系统
CN103918239A (zh) 负载均衡方法、装置、系统及计算机可读介质
CN109254958A (zh) 分布式数据读写方法、设备及系统
CN109840247B (zh) 文件系统及数据布局方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant