CN110032339A - 数据迁移方法、装置、系统、设备和存储介质 - Google Patents
数据迁移方法、装置、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN110032339A CN110032339A CN201910295471.2A CN201910295471A CN110032339A CN 110032339 A CN110032339 A CN 110032339A CN 201910295471 A CN201910295471 A CN 201910295471A CN 110032339 A CN110032339 A CN 110032339A
- Authority
- CN
- China
- Prior art keywords
- migrated
- file
- hard disk
- verification
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据迁移方法、装置、系统、设备和存储介质，应用于数据迁移系统，其中数据迁移系统包括挂载在迁移设备上的固态硬盘，包括：根据待迁移文件列表，获取迁出指令，并根据上述迁出指令将待迁移文件顺序迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中，进而将待迁移文件和传输信息发送给目标集群。使得待迁移文件的数据迁移是根据迁移指令顺序迁移的，同时，将根据迁移指令顺序迁移数据时产生的传输信息存储至固态硬盘中，并将迁移文件和传输信息发送给目标集群设备，使得机械硬盘在读写文件时，均可以是顺序进行的，避免了机械硬盘随机读写寻址效率低的情况，进而避免了数据迁移效率低的问题。
Description
技术领域
本发明涉及通讯技术领域，特别是涉及了一种数据迁移方法、装置、系统、设备和存储介质。
背景技术
分布式对象存储系统是一种常用的大规模数据存储方案，在一些常见的运维场景，如集群搬迁、添加新集群扩容等场景中，常常有拍字节(petabyte，PB)级或以上数据需要进行搬迁。在数据迁移的过程中，需要保障100％的文件不丢失不损坏地添加到目标集群的对象存储服务系统中。
常用的数据迁移方法是通过将一定量的大容量机械硬盘挂载到迁出集群的机器上，将待迁出的文件按照预设的划分方案划分给各机械硬盘，迁出集群按照上述划分方案，将待迁移文件迁出至对应的机械硬盘中，并将待迁移文件的路径记录下来，存储在目录树中。然后将存储了待迁移文件的机械硬盘挂载到目标集群的机器上，目标集群根据目录树，将上述待迁移文件上传到目标集群的机器上，完成数据迁移。
然而，分布式对象存储系统常常会存储大量小文件，将待迁移文件传输至机械硬盘时，向机械硬盘上的文件系统带来大量小文件的写入，并在将待迁移文件下载至目标集群时，需要对机械硬盘进行大量小文件的读取。由于机械硬盘对小文件的读写能力低下，进而导致数据迁移的效率低。
发明内容
基于此，有必要针对数据迁移效率低的问题，提供了一种数据迁移方法、装置、系统、设备和存储介质。
第一方面，一种数据迁移方法，该方法应用于数据迁移系统，其中数据迁移系统包括与挂载在迁移设备上的固态硬盘，该方法包括：
根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件；
根据上述迁出指令将待迁移文件顺序迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
将待迁移文件和传输信息发送给目标集群设备。
在其中一个实施例中，上述根据迁出指令将待迁移文件迁移至对应的各机械硬盘，包括：
根据迁出指令，确定迁移文件的迁移顺序；
根据迁移顺序，调用各所述机械硬盘对应的进程，将待迁移文件迁移至机械硬盘中的上一个待迁移文件的末尾。
在其中一个实施例中，上述固态硬盘中的数据库为Sqlite3数据库。
在其中一个实施例中，该方法还包括：
通过所述Sqlite3数据库判断各待迁移文件的迁出校验和是否正确；
若待迁移文件的迁出校验和正确，则该待迁移文件未损坏；
若待迁移文件的迁出校验和错误，则该待迁移文件损坏。
在其中一个实施例中，上述待迁移文件损坏之后，该方法还包括：
将损坏的待迁移文件对应的初始待迁移文件加入待迁移文件列表中；
根据上述迁出指令，将该待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。
第二方面，一种数据迁移方法，该方法应用于数据迁移系统，数据迁移系统包括与迁移设备挂载的固态硬盘；该方法包括：
从固态硬盘中获取待迁移文件的传输信息；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；上述迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
根据上述传输信息，从对应的机械硬盘中顺序下载待迁移文件。
在其中一个实施例中，该方法还包括：
获取上述待迁移文件的下载校验和；其中下载校验和为待迁移文件从对应的机械硬盘中下载时的校验和；
根据上述下载校验和，及上述迁出校验和，判断各待迁移文件是否损坏。
第三方面，一种数据迁移装置，该装置包括：
第一获取模块，用于根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件；
迁移模块，用于根据上述迁出指令将待迁移文件迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；其中，迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
发送模块，用于将待迁移文件和传输信息发送给目标集群。
第四方面，一种数据迁移装置，该装置包括：
第二获取模块，用于从固态硬盘中获取待迁移文件的传输信息；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；上述迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
下载模块，用于根据上述传输信息，从对应的机械硬盘中顺序下载待迁移文件。
第五方面，一种数据迁移系统，该系统包括：迁出集群设备、目标集群设备、机械硬盘和固态硬盘；上述迁出集群设备用于执行如第一方面任一项方法，上述目标集群设备用于执行如第二方面任一项方法。
第六方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面和第二方面实施例提供的任一项的方法步骤。
第七方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面和第二方面实施例提供的任一项方法步骤。
上述数据迁移方法、装置、系统、设备和存储介质，应用于数据迁移系统，其中数据迁移系统包括与挂载在迁移设备上的固态硬盘，包括：根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件，并根据上述迁出指令将待迁移文件顺序迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中，其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和，迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和，进而将待迁移文件和传输信息发送给目标集群设备。使得待迁移文件的数据迁移是根据迁移指令顺序迁移的，同时，将根据迁移指令顺序迁移数据时产生的传输信息存储至固态硬盘中，并将迁移文件和传输信息发送给目标集群设备，使得机械硬盘在读写文件时，均可以是顺序进行的，避免了机械硬盘随机读写寻址效率低的情况，进而避免了数据迁移效率低的问题。
附图说明
图1为一个实施例中数据迁移方法的应用环境的示意图；
图2为一个实施例中数据迁移方法的流程示意图；
图3为另一个实施例中数据迁移方法的流程示意图；
图4为另一个实施例中数据迁移方法的流程示意图；
图5为另一个实施例中数据迁移方法的流程示意图；
图6为一个实施例中数据迁移方法的流程示意图；
图7为另一个实施例中数据迁移方法的流程示意图；
图8为一个实施例中提供的数据迁移装置的结构示意图；
图9为另一个实施例中提供的数据迁移装置的结构示意图；
图10为另一个实施例中提供的数据迁移装置的结构示意图；
图11为一个实施例中提供的数据迁移装置的结构示意图；
图12为另一个实施例中提供的数据迁移装置的结构示意图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
本申请提供的数据迁移方法、装置、设备和存储介质，旨在解决分布式对象存储系统数据迁移效率低的问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本实施例提供的数据迁移方法，可以适用于如图1所示的应用环境中。其中迁出集群设备102与目标集群设备104通过网络进行通讯，机械硬盘106和固态硬盘108挂载在迁出集群设备102上，机械硬盘106获取迁出集群设备102上的待迁移文件之后，与目标集群设备104连接，使目标集群设备104下载上述待迁移文件。迁出集群设备102与目标集群设备104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
需要说明的是，本申请实施例提供的数据迁移方法，图2-图5的执行主体为迁出集群设备，图6-图7的执行主体为目标集群设备，其中，图2-图7的各执行主体均还可以是数据迁移装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为数据迁移终端的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
图2为一个实施例中数据迁移方法的流程示意图。该方法应用于数据迁移系统，上述数据迁移系统包括挂载在迁移设备上的固态硬盘，本实施例涉及的是通过迁出指令将待迁移文件顺序迁移至对应的各机械硬盘上的具体过程。如图2所示，该方法包括以下步骤：
S101、根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件。
具体地，待迁移文件可以指迁出集群设备中存储的待迁移至目标集群设备的文件，其可以包括大量的文件，在一些常见的运维场景中，如集群搬迁或添加新集群扩容等场景中，常常会产生PB级及以上数据量的待迁移文件。在将待迁移文件进行迁移时，可以使用多个机械硬盘作为待迁移文件的载体，来实现待迁移文件的迁移。待迁移文件列表可以是将上述待迁移文件的目录，其可以包括各待迁移文件与各机械硬盘的对应关系，及各待迁移文件的迁移顺序。终端可以根据上述待迁移文件列表，确定迁出指令，其中，迁出指令可以用于指示按照预设的顺序迁出上述待迁移文件。在具体地根据待迁移文件列表，获取迁出指令时，可以根据各待迁移文件的位置信息，确定迁出指令，使得同一区域内存储的待迁移文件，迁移至同一机械硬盘。也可以根据待迁移文件的大小，分配待迁移文件对应的机械硬盘。本申请实施例对此不做限制。同时，迁出指令中还包括了各待迁移文件的迁移顺序，使得待迁移文件根据该迁移顺序，迁移至对应的机械硬盘。
S102、根据迁出指令将待迁移文件顺序迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和。
具体地，在上述实施例的基础上，根据迁出指令将待迁移文件顺序迁移至对应的机械硬盘时，可以通过记录迁移时的信息，获得待迁移文件的传输信息。其中，传输信息可以包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和。待迁移文件的原始路径可以表示待迁移文件在迁出集群设备中的地址信息，可以在从迁出集群设备中迁移待迁移文件时，记录其在迁出集群设备中的地址信息，获得待迁移文件的原始路径。各待迁移文件在机械硬盘的地址信息可以通过其在机械硬盘中的内容文件的起始位置的偏移量来表示，可以在将待迁移文件迁移至对应的机械硬盘时，记录其相对于起始位置的偏移量来记录。校验和在数据处理和数据通信领域中，用于校验目的地一组数据项的和，这些数据项可以是数字或在计算检验的过程中看作数字的其它字符串。校验和是指传输位数的累加，当传输结束时，接收者可以根据这个数值判断是否接到了所有的数据，如果数值匹配，那么说明传送已经完成。迁出校验和可以是指待迁移文件迁移至各机械硬盘时产生的校验和。当根据迁出指令将待迁移文件顺序迁移至对应的各机械硬盘时，产生上述待迁移文件的传输信息，迁出集群设备记录到上述传输信息时，可以将上述待迁移文件的传输信息存储在挂载在迁出集群设备上的固态硬盘中。一般来说，上述传输信息的数据量远远小于待迁移文件的数据量，因此所需的固态硬盘的存储量远远小于机械硬盘的存储量。
S103、将待迁移文件和传输信息发送给目标集群设备。
具体地，在上述实施例的基础上，在将待迁移文件迁移至对应的各机械硬盘时，可以通过上述各机械硬盘将待迁移文件发送给对应的目标集群设备。上述传输信息存储在挂载的迁出集群设备上的固态硬盘中，可以通过上述固态硬盘，通过无线传输或有线传输的方式，将上述传输信息发送给目标集群设备。
上述数据迁移方法，应用于数据迁移系统，其中数据迁移系统包括挂载在迁移设备的固态硬盘，包括：根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件，并根据上述迁出指令将待迁移文件顺序迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中，其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和，迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和，进而将待迁移文件和传输信息发送给目标集群。使得待迁移文件的数据迁移是根据迁移指令顺序迁移的，同时，将根据迁移指令顺序迁移数据时产生的传输信息存储至固态硬盘中，并将迁移文件和传输信息发送给目标集群设备，使得机械硬盘在读写文件时，均可以是顺序进行的，避免了机械硬盘随机读写寻址效率低的情况，进而避免了数据迁移效率低的问题。
在具体地将待迁移文件迁移至机械硬盘时，可以将迁移至同一个机械硬盘的所有待迁移文件视为一个大的文件，各待迁移文件在机械硬盘中顺序存储，下面通过图3所示实施例来详细说明各待迁移文件如何存储在对应机械硬盘中。
图3为另一个实施例中数据迁移方法的流程示意图。本实施例涉及的是如何将待迁移文件迁移至机械硬盘的具体过程，如图3所示，上述S102“根据迁出指令将待迁移文件迁移至对应的各机械硬盘”一种可能的实现方法包括以下步骤：
S201、根据迁出指令，确定待迁移文件的迁移顺序。
具体地，在上述实施例的基础上，根据待迁移文件列表，确定了迁出指令，其中迁出指令用于指示按照预设的顺序迁出待迁移文件，其中包括了待迁移文件的迁移顺序。在具体的根据迁出指令，迁出待迁移文件时，可以根据迁移指令中的预设的顺序，确定待迁移文件的迁移顺序。
S202、根据迁移顺序，调用各机械硬盘对应的进程，将待迁移文件迁移至机械硬盘中的上一个待迁移文件的末尾。
具体地，各机械硬盘对应的进程可以是每个机械硬盘对应一个单独的进程，也可以是多个机械硬盘对应一个进程，本申请实施例对此不作限制。在上述实施例的基础上，获得待迁移文件的迁移顺序后，通过调用待迁移文件对应的机械硬盘的进程，将该待迁移文件迁移至机械硬盘中上一个待迁移文件的末尾，使得在机械硬盘中存储的各待迁移文件可以视为一个大文件。各待迁移文件距离该机械硬盘中存储的第一个待迁移文件的偏移量，可以视为各待迁移文件的地址。
上述数据迁移方法，终端根据迁出指令，确定待迁移文件的迁移顺序，进而根据迁移顺序，调用各机械硬盘对应的进程，将待迁移文件迁移至机械硬盘中的上一个待迁移文件的末尾。使得待迁移文件是按照迁移顺序迁移至对应的机械硬盘的，同时各待迁移文件在机械硬盘上的存储也是按顺序存储的，进而使得机械硬盘读、写文件均是按照顺序进行的，避免了机械硬盘随机读写寻址效率低的情况，进而避免了数据迁移效率低的问题。
可选地，固态硬盘中的数据库为Sqlite3数据库。
具体地，Sqlite数据库是一款轻型的数据库，是专门针对嵌入式开发的数据库软件，占用资源非常少，仅需几百K内存即可，处理速度快，而且可以直接使用C语言编程，同时也可以配合C#、PHP、Java等其他语言。其最新版本的SQLite3数据库，一经推出即成为了最流行的嵌入式数据库软件。如上述实施例中所描述的，一般来说，传输信息的数据量远远小于待迁移文件的数据量，所需的固态硬盘的存储量远远小于机械硬盘的存储量，采用上述Sqlite3数据库即可满足存储传输信息的需求。在上述实施例的基础上，当待迁移文件迁移至对应的机械硬盘时，其对应的传输信息存储在Sqlite3数据库。传输信息包括了待迁移文件的迁出校验和，因此，可以通过存储在Sqlite3数据库的迁出校验和确定待迁移文件是否损坏。
图4为另一个实施例中数据迁移方法的流程示意图。本实施例涉及的是如何通过存储在Sqlite3数据库中待迁移文件的迁出校验和，判断待迁移文件是否损坏的具体过程，如图4所示，该方法还包括以下步骤：
S301、通过Sqlite3数据库判断各待迁移文件的迁出校验和是否正确。若是，则执行S302，若否，则执行S303。
S302、待迁移文件未损坏。
S303、待迁移文件损坏。
具体地，迁出校验和可以是指待迁移文件迁移至对应的机械硬盘时，传输位数的累加和，其可以表示机械硬盘接收到的待迁移文件的数据量。迁出校验和正确可以是指迁出校验和与待迁移文件的数据字节之和匹配，迁出校验和不正确可以是指迁出校验和与待迁移文件的数据字节之和不匹配。例如，待迁移文件的数据字节数为100MB，而迁出校验和为80MB，则说明迁出校验和与待迁移文件的数据字节数不匹配，迁出校验和不正确。
上述数据迁移方法，终端通过Sqlite3数据库判断各待迁移文件的迁出校验和是否正确，若待迁移文件的迁出校验和正确，则待迁移文件未损坏，若待迁移文件的迁出校验和错误，则待迁移文件损坏。使得在待迁移文件迁移至机械硬盘时，即判断待迁移文件是否损坏，确保了存储在机械硬盘上的待迁移文件的准确性，提高了数据迁移的安全性。
在上述实施例的基础上，当确定了待迁移文件损坏之后，可以重新迁移该待迁移文件。下面通过图5所示实施例来详细说明。
图5为另一个实施例中数据迁移方法的流程示意图。本实施例涉及的是如何重传损坏的待迁移文件的具体过程，如图5所示，该方法还包括以下步骤：
S401、将损坏的待迁移文件对应的初始待迁移文件加入待迁移文件列表中。
具体地，初始待迁移文件可以是损坏的待迁移文件对应的存储在迁出集群设备中的待迁移文件。在上述实施例的基础上，确定了损坏的待迁移文件时，可以确定该损坏的待迁移文件对应的初始待迁移文件，进而可以通过更新待迁移文件列表，将该初始待迁移文件的信息加入待迁移文件列表中。其可以是确定了损坏的待迁移文件时，立即将初始待迁移文件的信息加入待迁移文件列表中，也可以是间隔预设的时间周期，将损坏的待迁移文件对应的初始待迁移文件的信息加入待迁移文件列表，本申请实施例对此不做限制。
S402、根据迁出指令，将待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。
具体地，在上述实施例的基础上，将初始待迁移文件加入待迁移文件列表中，使得根据待迁移文件列表确定的迁出指令中包括上述初始待迁移文件。进而可以根据迁出指令，将待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。
上述数据迁移方法，终端将损坏的待迁移文件对应的初始待迁移文件加入待迁移文件列表中，进而根据迁出指令，将待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。使得在数据迁移过程中损坏的待迁移文件重新加入了待迁移文件列表，确保了数据迁移时数据的完整性。
在上述实施例的基础上，当迁出集群设备将待迁移的文件迁移至各机械硬盘之后，各机械硬盘通过与目标集群设备连接，目标集群设备下载上述待迁移文件，完成待迁移文件的数据迁移。下面通过图6-图7所示实施例来详细描述。
图6为一个实施例中数据迁移方法的流程示意图。该数据迁移方法应用于数据迁移系统，上述数据迁移系统包括挂载在迁移设备上的固态硬盘。本实施例涉及的是如何通过待迁移文件的传输信息，从对应的机械硬盘中顺序下载待迁移文件的具体过程，如图6所示，该方法包括以下步骤：
S501、从固态硬盘中获取待迁移文件的传输信息；传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和。
具体地，待迁移文件在迁移至机械硬盘时，将传输信息存储在固态硬盘中。固态硬盘可以通过无线传输的方式，将上述传输信息发送至目标集群设备中。其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和。
S502、根据传输信息，从对应的机械硬盘中顺序下载待迁移文件。
具体地，上述传输信息中包括了各待迁移文件在机械硬盘中的地址信息，因此可以根据传输信息中包括的地址信息，顺序的下载各待迁移文件。终端可以根据传输信息，生成下载指令，该下载指令用于指示按照各待迁移文件在机械硬盘中的顺序，下载各待迁移文件；也可以直接根据传输信息中各待迁移文件在机械硬盘中的地址信息，顺序下载各待迁移文件；本申请实施例对此不作限制。
上述数据迁移方法，终端从固态硬盘中获取待迁移文件的传输信息；其中传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和，并根据传输信息，从对应的机械硬盘中顺序下载待迁移文件。使得从机械硬盘中下载待迁移文件时，是根据传输信息顺序下载的，避免了机械硬盘随机读寻址效率低的情况，进而避免了数据迁移效率低的问题。
在上述实施例的基础上，还可以通过下载校验和和迁出校验和来判断待迁移文件是否损坏。下面通过图7来详细描述。
图7为另一个实施例中数据迁移方法的流程示意图，如图7所示，该方法还包括以下步骤：
S601、获取待迁移文件的下载校验和；下载校验和为待迁移文件从对应的机械硬盘中下载时的校验和。
具体地，下载校验和为待迁移文件从对应的机械硬盘中下载时的校验和。目标集群设备在下载待迁移文件时，可以记录所下载的文件的传输位数的累加和，即获得了待迁移文件的下载校验和。
S602、根据下载校验和，及迁出校验和，判断各待迁移文件是否损坏。
具体地，在上述实施例的基础上，获取了待迁移文件的下载校验和，并通过传输信息获得待迁移文件的迁出校验和，可以通过对比上述下载校验和和迁出校验和是否匹配，来判断各待迁移文件是否损坏。若上述下载校验和与上述迁出校验和匹配，则待迁移文件未损坏；若上述下载校验和与上述迁出校验和不匹配，则待迁移文件损坏。
上述数据迁移方法，终端获取待迁移文件的下载校验和，其中，下载校验和为待迁移文件从对应的机械硬盘中下载时的校验和，进而根据下载校验和，及迁出校验和，判断各待迁移文件是否损坏。使得终端可以根据下载校验和和迁出校验和，判断各迁移文件是否损坏，提高了数据迁移的准确性。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示，依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例中提供的数据迁移装置的结构示意图，如图8所示，该数据迁移装置包括：第一获取模块110、迁移模块120和发送模块130，其中：
第一获取模块110，用于根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件；
迁移模块120，用于根据上述迁出指令将待迁移文件迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；其中，迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
发送模块130，用于将待迁移文件和传输信息发送给目标集群。
在一个实施例中，迁移模块120具体用于根据迁出指令，确定迁移文件的迁移顺序；根据迁移顺序，调用各所述机械硬盘对应的进程，将待迁移文件迁移至机械硬盘中的上一个待迁移文件的末尾。
在一个实施例中，上述固态硬盘中的数据库为Sqlite3数据库。
本发明实施例提供的数据迁移装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图9为另一个实施例中提供的数据迁移装置的结构示意图，在图8所示实施例的基础上，如图9所示，数据迁移装置还包括：判断模块140，其中：
判断模块140具体用于通过Sqlite3数据库判断各待迁移文件的迁出校验和是否正确；若待迁移文件的迁出校验和正确，则该待迁移文件未损坏；若待迁移文件的迁出校验和错误，则该待迁移文件损坏。
本发明实施例提供的数据迁移装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图10为另一个实施例中提供的数据迁移装置的结构示意图，在图8或图9所示实施例的基础上，如图10所示，数据迁移装置还包括：重传模块150，其中：
重传模块150具体用于将损坏的待迁移文件对应的初始待迁移文件加入待迁移文件列表中；根据上述迁出指令，将该待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。
本发明实施例提供的数据迁移装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，图10是基于图9的基础上进行示出的，当然图10也可以基于图8的结构进行示出，这里仅是一种示例。
本发明实施例提供的数据迁移装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图11为另一个实施例中提供的数据迁移装置的结构示意图，如图11所示，该数据迁移装置还包括：第二获取模块210和下载模块220，其中：
第二获取模块210，用于从固态硬盘中获取待迁移文件的传输信息；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；上述迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
下载模块220，用于根据上述传输信息，从对应的机械硬盘中顺序下载待迁移文件。
本发明实施例提供的数据迁移装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图12为另一个实施例中提供的数据迁移装置的结构示意图，在图11所示实施例的基础上，如图12所示，数据迁移装置还包括：验证模块230，其中：
验证模块230具体用于获取上述待迁移文件的下载校验和；其中下载校验和为待迁移文件从对应的机械硬盘中下载时的校验和；根据上述下载校验和，及上述迁出校验和，判断各待迁移文件是否损坏。
本发明实施例提供的数据迁移装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于一种数据迁移装置的具体限定可以参见上文中对数据迁移方法的限定，在此不再赘述。上述数据迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例还提供了一种数据迁移系统，如图1所示，该系统包括：迁出集群设备102、目标集群设备104、机械硬盘106和固态硬盘108；上述迁出集群设备102用于执行如图2-图5任一项实施例所示方法，上述目标集群设备104用于执行如图6-图7任一项实施例所示方法。
本发明实施例提供的数据迁移系统，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据迁移方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件；
根据上述迁出指令将待迁移文件顺序迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
将待迁移文件和传输信息发送给目标集群设备。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据迁出指令，确定迁移文件的迁移顺序；根据迁移顺序，调用各所述机械硬盘对应的进程，将待迁移文件迁移至机械硬盘中的上一个待迁移文件的末尾。
在一个实施例中，上述固态硬盘中的数据库为Sqlite3数据库。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过Sqlite3数据库判断各待迁移文件的迁出校验和是否正确；若待迁移文件的迁出校验和正确，则该待迁移文件未损坏；若待迁移文件的迁出校验和错误，则该待迁移文件损坏。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将损坏的待迁移文件对应的初始待迁移文件加入待迁移文件列表中；根据上述迁出指令，将该待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。
本实施例提供的终端设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从固态硬盘中获取待迁移文件的传输信息；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；上述迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
根据上述传输信息，从对应的机械硬盘中顺序下载待迁移文件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取上述待迁移文件的下载校验和；其中下载校验和为待迁移文件从对应的机械硬盘中下载时的校验和；根据上述下载校验和，及上述迁出校验和，判断各待迁移文件是否损坏。
本实施例提供的终端设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据待迁移文件列表，获取迁出指令；其中，迁出指令用于指示按照预设的顺序迁出待迁移文件；
根据上述迁出指令将待迁移文件顺序迁移至对应的各机械硬盘，并将待迁移文件的传输信息存储在固态硬盘中；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
将待迁移文件和传输信息发送给目标集群设备。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：根据迁出指令，确定迁移文件的迁移顺序；根据迁移顺序，调用各所述机械硬盘对应的进程，将待迁移文件迁移至机械硬盘中的上一个待迁移文件的末尾。
在一个实施例中，上述固态硬盘中的数据库为Sqlite3数据库。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：通过Sqlite3数据库判断各待迁移文件的迁出校验和是否正确；若待迁移文件的迁出校验和正确，则该待迁移文件未损坏；若待迁移文件的迁出校验和错误，则该待迁移文件损坏。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：将损坏的待迁移文件对应的初始待迁移文件加入待迁移文件列表中；根据上述迁出指令，将该待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从固态硬盘中获取待迁移文件的传输信息；其中，传输信息包括待迁移文件的原始路径、各待迁移文件在机械硬盘的地址信息和待迁移文件的迁出校验和；上述迁出校验和为待迁移文件迁移至对应的各机械硬盘时的校验和；
根据上述传输信息，从对应的机械硬盘中顺序下载待迁移文件。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取上述待迁移文件的下载校验和；其中下载校验和为待迁移文件从对应的机械硬盘中下载时的校验和；根据上述下载校验和，及上述迁出校验和，判断各待迁移文件是否损坏。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种数据迁移方法，其特征在于，所述方法应用于数据迁移系统，所述数据迁移系统包括挂载在迁移设备上的固态硬盘；所述方法包括：
根据待迁移文件列表，获取迁出指令；所述迁出指令用于指示按照预设的顺序迁出所述待迁移文件；
根据所述迁出指令将所述待迁移文件顺序迁移至对应的各机械硬盘，并将所述待迁移文件的传输信息存储在所述固态硬盘中；所述传输信息包括所述待迁移文件的原始路径、各所述待迁移文件在机械硬盘的地址信息和所述待迁移文件的迁出校验和；所述迁出校验和为所述待迁移文件迁移至对应的各机械硬盘时的校验和；
将所述待迁移文件和所述传输信息发送给目标集群设备。
2.根据权利要求1所述方法，其特征在于，所述根据所述迁出指令将所述待迁移文件迁移至对应的各机械硬盘，包括：
根据所述迁出指令，确定所述待迁移文件的迁移顺序；
根据所述迁移顺序，调用各所述机械硬盘对应的进程，将所述待迁移文件迁移至所述机械硬盘中的上一个待迁移文件的末尾。
3.根据权利要求1或2所述方法，其特征在于，所述固态硬盘中的数据库为Sqlite3数据库。
4.根据权利要求3所述方法，其特征在于，所述方法还包括：
通过所述Sqlite3数据库判断各所述待迁移文件的迁出校验和是否正确；
若所述待迁移文件的迁出校验和正确，则所述待迁移文件未损坏；
若所述待迁移文件的迁出校验和错误，则所述待迁移文件损坏。
5.根据权利要求4所述方法，其特征在于，所述待迁移文件损坏之后，所述方法还包括：
将损坏的待迁移文件对应的初始待迁移文件加入待迁移文件列表中；
根据所述迁出指令，将所述待迁移文件列表中初始待迁移文件顺序迁移至对应的各机械硬盘。
6.一种数据迁移方法，其特征在于，所述方法应用于数据迁移系统，所述数据迁移系统包括挂载在迁移设备上的固态硬盘；所述方法包括：
从所述固态硬盘中获取待迁移文件的传输信息；所述传输信息包括所述待迁移文件的原始路径、各所述待迁移文件在机械硬盘的地址信息和所述待迁移文件的迁出校验和；所述迁出校验和为所述待迁移文件迁移至对应的各机械硬盘时的校验和；
根据所述传输信息，从对应的机械硬盘中顺序下载所述待迁移文件。
7.根据权利要求6所述方法，其特征在于，所述方法还包括：
获取所述待迁移文件的下载校验和；所述下载校验和为所述待迁移文件从对应的机械硬盘中下载时的校验和；
根据所述下载校验和，及所述迁出校验和，判断各待迁移文件是否损坏。
8.一种数据迁移装置，其特征在于，所述装置包括：
第一获取模块，用于根据待迁移文件列表，获取迁出指令；所述迁出指令用于指示按照预设的顺序迁出所述待迁移文件；
迁移模块，用于根据所述迁出指令将所述待迁移文件迁移至对应的各机械硬盘，并将所述待迁移文件的传输信息存储在所述固态硬盘中；所述传输信息包括所述待迁移文件的原始路径、各所述待迁移文件在机械硬盘的地址信息和所述待迁移文件的迁出校验和；所述迁出校验和为所述待迁移文件迁移至对应的各机械硬盘时的校验和；
发送模块，用于将所述待迁移文件和所述传输信息发送给目标集群。
9.一种数据迁移装置，其特征在于，所述装置包括：
第二获取模块，用于从所述固态硬盘中获取待迁移文件的传输信息；所述传输信息包括所述待迁移文件的原始路径、各所述待迁移文件在机械硬盘的地址信息和所述待迁移文件的迁出校验和；所述迁出校验和为所述待迁移文件迁移至对应的各机械硬盘时的校验和；
下载模块，用于根据所述传输信息，从对应的机械硬盘中顺序下载所述待迁移文件。
10.一种数据迁移系统，其特征在于，所述系统包括：迁出集群设备、目标集群设备、机械硬盘和固态硬盘；所述迁出集群设备用于执行如权利要求1-5任一项所述方法，所述目标集群设备用于执行如权利要求6或7所述方法。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910295471.2A CN110032339B (zh) | 2019-04-12 | 2019-04-12 | 数据迁移方法、装置、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910295471.2A CN110032339B (zh) | 2019-04-12 | 2019-04-12 | 数据迁移方法、装置、系统、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110032339A true CN110032339A (zh) | 2019-07-19 |
| CN110032339B CN110032339B (zh) | 2022-11-04 |
Family
ID=67238302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910295471.2A Active CN110032339B (zh) | 2019-04-12 | 2019-04-12 | 数据迁移方法、装置、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032339B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597144A (zh) * | 2020-05-19 | 2020-08-28 | 上海鸿翼软件技术股份有限公司 | 一种文件迁移方法、装置及设备 |
| CN111680004A (zh) * | 2020-06-08 | 2020-09-18 | 中国银行股份有限公司 | 核对非结构化影像文件迁移准确性的方法和装置 |
| CN112131128A (zh) * | 2020-09-29 | 2020-12-25 | 网易（杭州）网络有限公司 | 数据测试方法、装置、存储介质和电子装置 |
| CN113157645A (zh) * | 2021-04-21 | 2021-07-23 | 平安科技（深圳）有限公司 | 集群数据迁移方法、装置、设备及存储介质 |
| CN113608673A (zh) * | 2021-06-23 | 2021-11-05 | 南京科海智博信息技术有限公司 | 电子文件长期保存系统 |
| CN113821458A (zh) * | 2021-09-18 | 2021-12-21 | 日立楼宇技术（广州）有限公司 | 一种数据操作方法、装置、计算机设备和存储介质 |
| CN115543221A (zh) * | 2022-11-29 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 固态硬盘的数据迁移方法、装置、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102419766A (zh) * | 2011-11-01 | 2012-04-18 | 西安电子科技大学 | 基于hdfs分布式文件系统的数据冗余及文件操作方法 |
| CN102831088A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据迁移方法和装置 |
| CN103186350A (zh) * | 2011-12-31 | 2013-07-03 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
| CN104166520A (zh) * | 2013-05-20 | 2014-11-26 | 深圳先进技术研究院 | 分布式硬盘系统及在其中进行数据迁移的方法 |
| US9003144B1 (en) * | 2014-06-04 | 2015-04-07 | Pure Storage, Inc. | Mechanism for persisting messages in a storage system |
| US20160274819A1 (en) * | 2015-03-16 | 2016-09-22 | Samsung Electronics Co., Ltd. | Memory system including host and a plurality of storage devices and data migration method thereof |
| US20170131940A1 (en) * | 2015-11-09 | 2017-05-11 | International Business Machines Corporation | Migration of data to sequential access medium |
| CN106951301A (zh) * | 2017-04-27 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 文件预读方法及装置 |
| CN107239569A (zh) * | 2017-06-27 | 2017-10-10 | 郑州云海信息技术有限公司 | 一种分布式文件系统子树存储方法及装置 |
| US20180004441A1 (en) * | 2016-06-30 | 2018-01-04 | Fujitsu Limited | Information processing apparatus, computer-readable recording medium having storage control program stored therein, and method of controlling storage |
| CN107967172A (zh) * | 2017-12-21 | 2018-04-27 | 深圳大学 | 一种面向异构存储的Spark任务动态迁移方法和系统 |
| CN207337378U (zh) * | 2017-10-10 | 2018-05-08 | 深圳市比一比网络科技有限公司 | 数据混合存储装置及计算机系统 |
-
2019
- 2019-04-12 CN CN201910295471.2A patent/CN110032339B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102419766A (zh) * | 2011-11-01 | 2012-04-18 | 西安电子科技大学 | 基于hdfs分布式文件系统的数据冗余及文件操作方法 |
| CN103186350A (zh) * | 2011-12-31 | 2013-07-03 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
| CN102831088A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据迁移方法和装置 |
| CN104166520A (zh) * | 2013-05-20 | 2014-11-26 | 深圳先进技术研究院 | 分布式硬盘系统及在其中进行数据迁移的方法 |
| US9003144B1 (en) * | 2014-06-04 | 2015-04-07 | Pure Storage, Inc. | Mechanism for persisting messages in a storage system |
| US20160274819A1 (en) * | 2015-03-16 | 2016-09-22 | Samsung Electronics Co., Ltd. | Memory system including host and a plurality of storage devices and data migration method thereof |
| US20170131940A1 (en) * | 2015-11-09 | 2017-05-11 | International Business Machines Corporation | Migration of data to sequential access medium |
| US20180004441A1 (en) * | 2016-06-30 | 2018-01-04 | Fujitsu Limited | Information processing apparatus, computer-readable recording medium having storage control program stored therein, and method of controlling storage |
| CN106951301A (zh) * | 2017-04-27 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 文件预读方法及装置 |
| CN107239569A (zh) * | 2017-06-27 | 2017-10-10 | 郑州云海信息技术有限公司 | 一种分布式文件系统子树存储方法及装置 |
| CN207337378U (zh) * | 2017-10-10 | 2018-05-08 | 深圳市比一比网络科技有限公司 | 数据混合存储装置及计算机系统 |
| CN107967172A (zh) * | 2017-12-21 | 2018-04-27 | 深圳大学 | 一种面向异构存储的Spark任务动态迁移方法和系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597144A (zh) * | 2020-05-19 | 2020-08-28 | 上海鸿翼软件技术股份有限公司 | 一种文件迁移方法、装置及设备 |
| CN111597144B (zh) * | 2020-05-19 | 2022-09-16 | 上海鸿翼软件技术股份有限公司 | 一种文件迁移方法、装置及设备 |
| CN111680004A (zh) * | 2020-06-08 | 2020-09-18 | 中国银行股份有限公司 | 核对非结构化影像文件迁移准确性的方法和装置 |
| CN111680004B (zh) * | 2020-06-08 | 2023-09-22 | 中国银行股份有限公司 | 核对非结构化影像文件迁移准确性的方法和装置 |
| CN112131128A (zh) * | 2020-09-29 | 2020-12-25 | 网易（杭州）网络有限公司 | 数据测试方法、装置、存储介质和电子装置 |
| CN112131128B (zh) * | 2020-09-29 | 2023-08-22 | 网易（杭州）网络有限公司 | 数据测试方法、装置、存储介质和电子装置 |
| CN113157645A (zh) * | 2021-04-21 | 2021-07-23 | 平安科技（深圳）有限公司 | 集群数据迁移方法、装置、设备及存储介质 |
| CN113157645B (zh) * | 2021-04-21 | 2023-12-19 | 平安科技（深圳）有限公司 | 集群数据迁移方法、装置、设备及存储介质 |
| CN113608673A (zh) * | 2021-06-23 | 2021-11-05 | 南京科海智博信息技术有限公司 | 电子文件长期保存系统 |
| CN113821458A (zh) * | 2021-09-18 | 2021-12-21 | 日立楼宇技术（广州）有限公司 | 一种数据操作方法、装置、计算机设备和存储介质 |
| CN113821458B (zh) * | 2021-09-18 | 2023-09-05 | 日立楼宇技术（广州）有限公司 | 一种数据操作方法、装置、计算机设备和存储介质 |
| CN115543221A (zh) * | 2022-11-29 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 固态硬盘的数据迁移方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110032339B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032339A (zh) | 数据迁移方法、装置、系统、设备和存储介质 | |
| CN107506221A (zh) | 应用程序升级方法、装置及设备 | |
| CN103475682B (zh) | 文件迁移方法及设备 | |
| WO2015013348A1 (en) | Virtual synchronization with on-demand data delivery | |
| US20130227085A1 (en) | Terminal and method for using cloud services | |
| CN103577210B (zh) | 移动终端之间挂载的系统和方法 | |
| CN105487881A (zh) | 一种软件安装包打包方法、装置及系统 | |
| US8578359B2 (en) | Method and apparatus for reliable in-place update | |
| TWI775616B (zh) | 差分包產生方法，差分包產生設備，更新方法，及嵌入式系統 | |
| CN105474177B (zh) | 分布式处理系统、设备、方法和记录介质 | |
| WO2021143845A1 (zh) | 扩展系统分区的方法、装置、存储介质和计算机设备 | |
| CN109513213A (zh) | 一种手游分包下载技术方法 | |
| CN110209420A (zh) | 一种更新引导加载程序的方法及装置 | |
| CN110474959A (zh) | 数据交互方法、装置、计算机设备和存储介质 | |
| CN110213326A (zh) | 元数据节点集群的扩容方法、系统、设备和存储介质 | |
| CN111309432B (zh) | 一种故障演练方法、装置及系统 | |
| CN110297812A (zh) | 文件存储方法、文件同步的方法、计算机设备及存储介质 | |
| CN109462661A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
| CN105871971A (zh) | 数据存储、获取方法、装置及系统 | |
| CN106527979B (zh) | 数据迁移方法及装置 | |
| JP6812826B2 (ja) | 格納方法、格納装置及び格納プログラム | |
| CN110704051B (zh) | 一种Unity的界面绑定数据方法 | |
| CN107861739A (zh) | ReactNative应用调整方法、客户端及系统 | |
| CN105447043B (zh) | 数据库及其数据访问方法 | |
| CN110286936A (zh) | 热修复方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |