CN110019208A - 一种数据迁移方法、装置和介质 - Google Patents

一种数据迁移方法、装置和介质 Download PDF

Info

Publication number
CN110019208A
CN110019208A CN201711122980.2A CN201711122980A CN110019208A CN 110019208 A CN110019208 A CN 110019208A CN 201711122980 A CN201711122980 A CN 201711122980A CN 110019208 A CN110019208 A CN 110019208A
Authority
CN
China
Prior art keywords
storage system
data file
cloud storage
target cloud
service server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711122980.2A
Other languages
English (en)
Inventor
王娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201711122980.2A priority Critical patent/CN110019208A/zh
Publication of CN110019208A publication Critical patent/CN110019208A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据迁移方法、装置和介质，用以在保持业务服务不间断的同时实现云存储数据的迁移。业务服务器存储有数据文件存储目录树结构，所述目录树结构中存储有各个数据文件的存储位置信息；所述数据迁移方法，包括：在启动数据迁移时，所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件；将当前周期查找到的数据文件迁移至目标云存储系统中；以及在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。

Description

一种数据迁移方法、装置和介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据迁移方法、装置和介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着云计算和大数据时代的到来，越来越多的用户数据存储在云存储系统中。云存储系统为应用或用户提供数据存储池，保证应用或用户能随时随地访问到所需的数据。
目前有很多服务商能提供公有云的云存储服务。一些业务在预研阶段或者刚上线时可能处于验证期或发展期，需存储数据规模较少，此时租用公有云的云存储服务即可。随着业务的发展，需要存储的数据规模量越来越大，同时有新的存储性能或数据安全等需求，此时采用私有云来满足业务需求。此时业务数据需要从公有云的云存储系统迁移到私有云的云存储系统中，即云存储间的数据迁移。业务也可能会存在从一个公有云的云存储服务迁移到另一个公有云的云存储服务、或者从一个私有云的云存储服务迁移到另一个私有云的云存储服务的需求，此时也涉及到云存储间的数据迁移。
因此，如何在保持业务不间断对外提供服务的同时，将数据从一个云存储迁移至另一个云存储成为现有技术中亟待解决的技术问题之一。
发明内容
本发明实施例提供一种数据迁移方法、装置和介质，用以在保持业务服务不间断的同时实现云存储数据的迁移。
第一方面，提供一种数据迁移方法，业务服务器存储有数据文件存储目录树结构，所述目录树结构中存储有各个数据文件的存储位置信息；
所述方法，包括：
在启动数据迁移时，所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件；
将当前周期查找到的数据文件迁移至目标云存储系统中；以及
在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
可选地，在启动数据迁移时，在所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件之前，还包括：
所述业务服务器与所述目标云存储系统同步所述目录树结构；以及
在数据迁移过程中，所述所述业务服务器按照设定的周期与所述目标云存储系统同步所述目录树结构。
可选地，在数据迁移过程中，如果有新的数据文件写入，则所述方法，还包括：
所述业务服务器将新的数据文件写入所述目标云存储系统中；
在所述目录树结构中添加新的数据文件存储位置信息为目标云存储系统。
可选地，将当前周期查找到的数据文件迁移至目标云存储系统中，具体包括：
所述业务服务器读取当前周期查找到的数据文件并写入目标云存储系统；或者
所述业务服务器向目标云存储系统发送迁移命令，由所述目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。
所述业务服务器读取当前周期查找到的数据文件并写入目标云存储系统，具体包括：
如果业务服务器本地存储有当前周期查找到的数据文件，所述业务服务器从本地读取当前周期查找到的数据文件并写入目标云存储系统中；
如果业务服务器本地未存储当前周期查找到的数据文件，所述业务服务器从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统中。
可选地，在所述业务服务器从本地或者从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统之前，还包括：
所述业务服务器确定自身负荷不超过预设负荷阈值。
第二方面，提供一种数据迁移装置，包括：
存储单元，用于存储数据文件存储目录树结构，所述目录树结构中存储有各个数据文件的存储位置信息；
查找单元，用于在启动数据迁移时，按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件；
数据迁移单元，用于将当前周期查找到的数据文件迁移至目标云存储系统中；
更新单元，用于在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
可选地，所述数据迁移装置，还包括：
同步单元，用于在启动数据迁移时，在所述查找单元按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件之前，与所述目标云存储系统同步所述目录树结构；以及在数据迁移过程中，按照设定的周期与所述目标云存储系统同步所述目录树结构。
可选地，所述数据迁移装置，还包括：
写入单元，用于在数据迁移过程中，如果有新的数据文件写入，则将新的数据文件写入所述目标云存储系统中；
添加单元，用于在所述目录树结构中添加新的数据文件存储位置信息为目标云存储系统。
可选地，所述数据迁移单元，具体用于读取当前周期查找到的数据文件并写入目标云存储系统；或者向目标云存储系统发送迁移命令，由所述目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。
可选地，所述数据迁移单元，具体用于如果业务服务器本地存储有当前周期查找到的数据文件，所述业务服务器从本地读取当前周期查找到的数据文件并写入目标云存储系统中；如果业务服务器本地未存储当前周期查找到的数据文件，所述业务服务器从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统中。
可选地，所述数据迁移装置，还包括：
确定单元，用于在所述数据迁移单元从本地或者从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统之前，确定业务服务器负荷不超过预设负荷阈值。
第三方面，提供一种计算装置，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一方法所述的步骤。
第四方面，提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述任一方法所述的步骤。
本发明实施例提供的数据迁移方法、装置和介质中，通过在业务服务器本地存储数据文件存储目录树结构，其中存储有各个数据文件的存储位置信息，初始时，各个数据文件的存储位置信息为源云存储系统，在进行数据迁移过程中，如果数据文件被迁移到目标云存储系统，则修改存储可以根据目录树结构中的存储位置信息为目标云存储系统，这样，可以在提供业务服务的同时进行数据迁移，互不干扰。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例的应用场景示意图；
图2为本发明实施例中，业务服务器存储的第一种目录树结构示意图；
图3为本发明实施例中，数据迁移方法的实施流程示意图；
图4为本发明实施例中，业务服务器存储的第二种目录树结构示意图；
图5为本发明实施例中，业务服务器存储的第三种目录树结构示意图；
图6为本发明实施例中，业务服务器存储的第四种目录树结构示意图；
图7为本发明实施例中，数据迁移装置的结构示意图；
图8为根据本发明实施方式的计算装置的结构示意图。
具体实施方式
为了在保持业务服务不间断的同时实现云存储数据的迁移，本发明实施例提供了一种数据迁移方法、装置和介质。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本发明实施例的应用场景示意图，包括业务服务器11，源云存储系统(即旧云存储系统)12和目标云存储系统(即新云存储系统)13。初始时，数据文件存储于源云存储系统(即旧云存储系统)12中。业务服务器11根据业务执行过程中产生的数据文件的存储位置信息生成目录树结构并存储于业务服务器11本地，如图2所示，其为业务服务器11存储的目录树结构一种可能的示意图。其中文件/d2/f1和/d3/f2的位置记录均为源云存储系统(sys_old)。
如果需要将源云存储系统12中存储的数据文件迁移到目标云存储系统，根据本发明实施例，其可以按照图3所示的流程实施，包括以下步骤：
S31、在启动数据迁移时，所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件。
S32、将当前周期查找到的数据文件迁移至目标云存储系统中。
S33、在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
具体实施时，在启动数据迁移时，业务服务器周期性的查找存储位置信息为源云存储系统(sys_old)的数据文件，假设业务服务器存储的目录树结构如图2所示，第一次查找到数据文件/d2/f1满足该条件，业务服务器将数据文件/d2/f1迁移到目标云存储系统中。
具体实施时，业务服务器可以按照以下任一方式将数据文件迁移至目标云存储系统中：
第一种实施方式、由业务服务器将数据文件迁移至目标云存储系统中。
这种实施方式下，由业务服务器读取当前周期查找到的数据文件并写入目标云存储系统。具体地，如果业务服务器本地存储有当前周期查找到的数据文件，所述业务服务器从本地读取当前周期查找到的数据文件并写入目标云存储系统中；如果业务服务器本地未存储当前周期查找到的数据文件，所述业务服务器从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统中。即业务服务器先从sys_old将该文件读取到业务服务器上缓存、再将该文件从业务服务器写入到sys_new。
较佳地，为了保证业务服务器的服务性能，本发明实施例中，业务服务器在读取当前周期查找到的文件并写入目标云存储系统之前，可以首先判断自身负荷是否超过预设负荷阈值，例如，业务服务器自身的CPU(中央处理单元)和内存利用率是否超过预设的利用率阈值等等，如果自身负荷不超过预设负荷阈值，则可以由业务服务器从本地或者源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统中。如果自身负荷超过预设负荷阈值，则可以按照第二种实施方式实施，即通知目标云存储系统，由目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。
第二种实施方式、由目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。即业务服务器将迁移命令发给sys_new、由sys_new负责将文件数据从sys_old读出并写入到sys_new中
这种实施方式下，如果业务服务器本地未存储有当前周期查找到的数据文件或者业务服务器负荷超过预设负荷阈值，则业务服务器向目标云存储系统发送迁移命令，由所述目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。
具体地，以业务服务器在目录树结构中查找到为例，业务服务器将该数据文件迁移到目标云存储服务器中，其中，业务服务器可以按照上述任一实施方式将该数据文件迁移到目标云存储服务器中，待迁移完成后修改业务服务器上业务存储文件的目录树结构，修改后的目录树结构如图4所示。
在数据迁移过程中，如果有产生了新的数据文件需要存储，则业务服务器将新的数据文件写入所述目标云存储系统中；在所述目录树结构中添加新的数据文件存储位置信息为目标云存储系统。假设在数据迁移过程中，有业务写入新的目录/d4和文件/d4/f3，此时，业务服务器上存储的目录树结构如图5所示。
在下一查找周期，业务服务器继续从本地存储的目录树结构中查找存储位置信息为源云存储系统的数据文件，假设本次业务服务器查找到数据文件/d3/f2，业务服务器将本次查找到的数据文件利用上述任一方式迁移到目标云存储系统中，具体地，若业务服务器上有该数据文件，则由业务服务器将该文件从业务服务器写入到sys_new；若业务服务器上无该文件，且业务服务器负载轻，则可由业务服务器先从sys_old将该文件读取到业务服务器上缓存，再将该文件从业务服务器写入到sys_new；若业务服务器上无该文件，且业务服务器负载较重，则由业务服务器将迁移命令发给sys_new、由sys_new负责将文件数据从sys_old读出并写入到sys_new中，在该方法中可将多个需要迁移的此类文件累积到一起一并发迁移命令给sys_new由其处理。迁移完成后，业务服务器修改本地存储的目录树结构中相应文件的存储位置信息，修改后的目录树结构如图6所示。
重复上述过程中，直至根据目录树结构中存储的存储位置信息确定所有数据文件的存储位置均为目标云存储系统为止。
较佳地，为了使得新系统实时了解数据迁移进度，同时也为了对业务服务器存储的目录树结构进行备份，本发明实施例中，在启动数据迁移时，在所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件之前，所述业务服务器与所述目标云存储系统同步所述目录树结构；以及在数据迁移过程中，所述所述业务服务器按照设定的周期与所述目标云存储系统同步所述目录树结构。
本发明实施例提供的数据迁移方法，通过在业务服务器本地存储数据文件存储目录树结构，其中存储有各个数据文件的存储位置信息，初始时，各个数据文件的存储位置信息为源云存储系统，在进行数据迁移过程中，如果数据文件被迁移到目标云存储系统，则修改存储可以根据目录树结构中的存储位置信息为目标云存储系统，这样，可以在提供业务服务的同时进行数据迁移，互不干扰。
基于同一发明构思，本发明实施例中还提供了一种数据迁移装置，由于上述装置解决问题的原理与数据迁移方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图7所示，其为本发明实施例提供的数据迁移装置的结构示意图，可以包括：
存储单元71，用于存储数据文件存储目录树结构，所述目录树结构中存储有各个数据文件的存储位置信息；
查找单元72，用于在启动数据迁移时，按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件；
数据迁移单元73，用于将当前周期查找到的数据文件迁移至目标云存储系统中；
更新单元74，用于在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
可选地，所述数据迁移装置，还包括：
同步单元，用于在启动数据迁移时，在所述查找单元按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件之前，与所述目标云存储系统同步所述目录树结构；以及在数据迁移过程中，按照设定的周期与所述目标云存储系统同步所述目录树结构。
可选地，所述数据迁移装置，还包括：
写入单元，用于在数据迁移过程中，如果有新的数据文件写入，则将新的数据文件写入所述目标云存储系统中；
添加单元，用于在所述目录树结构中添加新的数据文件存储位置信息为目标云存储系统。
可选地，所述数据迁移单元73，具体用于读取当前周期查找到的数据文件并写入目标云存储系统；或者向目标云存储系统发送迁移命令，由所述目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。
可选地，所述数据迁移单元73，具体用于如果业务服务器本地存储有当前周期查找到的数据文件，所述业务服务器从本地读取当前周期查找到的数据文件并写入目标云存储系统中；如果业务服务器本地未存储当前周期查找到的数据文件，所述业务服务器从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统中。
可选地，所述数据迁移装置，还包括：
确定单元，用于在所述数据迁移单元从本地或者从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统之前，确定业务服务器负荷不超过预设负荷阈值。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本发明示例性实施方式的数据迁移方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述描述的根据本发明各种示例性实施方式的数据迁移的方法中的步骤。例如，所述处理单元可以执行如图3中所示的步骤S31、在启动数据迁移时，所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件，和步骤S32、将当前周期查找到的数据文件迁移至目标云存储系统中，以及步骤S33、在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
下面参照图8来描述根据本发明的这种实施方式的计算装置80。图8显示的计算装置80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算装置80以通用计算设备的形式表现。计算装置80的组件可以包括但不限于：上述至少一个处理单元81、上述至少一个存储单元82、连接不同系统组件(包括存储单元82和处理单元81)的总线83。
总线83表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元82可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)821和/或高速缓存存储器822，还可以进一步包括只读存储器(ROM)823。
存储单元82还可以包括具有一组(至少一个)程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置80也可以与一个或多个外部设备84(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置80交互的设备通信，和/或与使得该计算装置80能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口85进行。并且，计算装置80还可以通过网络适配器86与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器86通过总线83与用于计算装置80的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本发明提供的数据迁移方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的数据迁移方法中的步骤，例如，所述计算机设备可以执行如图3中所示的步骤S31、在启动数据迁移时，所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件，和步骤S32、将当前周期查找到的数据文件迁移至目标云存储系统中，以及步骤S33、在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于数据迁移的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种数据迁移方法，其特征在于，业务服务器存储有数据文件存储目录树结构，所述目录树结构中存储有各个数据文件的存储位置信息；
所述方法，包括：
在启动数据迁移时，所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件；
将当前周期查找到的数据文件迁移至目标云存储系统中；以及
在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
2.如权利要求1所述的方法，其特征在于，在启动数据迁移时，在所述业务服务器按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件之前，还包括：
所述业务服务器与所述目标云存储系统同步所述目录树结构；以及
在数据迁移过程中，所述所述业务服务器按照设定的周期与所述目标云存储系统同步所述目录树结构。
3.如权利要求1所述的方法，其特征在于，在数据迁移过程中，如果有新的数据文件写入，则所述方法，还包括：
所述业务服务器将新的数据文件写入所述目标云存储系统中；
在所述目录树结构中添加新的数据文件存储位置信息为目标云存储系统。
4.如权利要求1所述的方法，其特征在于，将当前周期查找到的数据文件迁移至目标云存储系统中，具体包括：
所述业务服务器读取当前周期查找到的数据文件并写入目标云存储系统；或者
所述业务服务器向目标云存储系统发送迁移命令，由所述目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。
5.如权利要求4所述的方法，其特征在于，所述业务服务器读取当前周期查找到的数据文件并写入目标云存储系统，具体包括：
如果业务服务器本地存储有当前周期查找到的数据文件，所述业务服务器从本地读取当前周期查找到的数据文件并写入目标云存储系统中；
如果业务服务器本地未存储当前周期查找到的数据文件，所述业务服务器从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统中。
6.如权利要求5所述的方法，其特征在于，在所述业务服务器从本地或者从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统之前，还包括：
所述业务服务器确定自身负荷不超过预设负荷阈值。
7.一种数据迁移装置，其特征在于，包括：
存储单元，用于存储数据文件存储目录树结构，所述目录树结构中存储有各个数据文件的存储位置信息；
查找单元，用于在启动数据迁移时，按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件；
数据迁移单元，用于将当前周期查找到的数据文件迁移至目标云存储系统中；
更新单元，用于在当前周期查找到的数据文件迁移完成之后，修改存储的目录树结构中当前周期查找到的数据文件的存储位置信息为目标云存储系统。
8.如权利要求7所述的装置，其特征在于，还包括：
同步单元，用于在启动数据迁移时，在所述查找单元按照所述目录结构树周期性的查找存储位置信息为源存储系统的数据文件之前，与所述目标云存储系统同步所述目录树结构；以及在数据迁移过程中，按照设定的周期与所述目标云存储系统同步所述目录树结构。
9.如权利要求7所述的装置，其特征在于，还包括：
写入单元，用于在数据迁移过程中，如果有新的数据文件写入，则将新的数据文件写入所述目标云存储系统中；
添加单元，用于在所述目录树结构中添加新的数据文件存储位置信息为目标云存储系统。
10.如权利要求7所述的装置，其特征在于，
所述数据迁移单元，具体用于读取当前周期查找到的数据文件并写入目标云存储系统；或者向目标云存储系统发送迁移命令，由所述目标云存储系统从源云存储系统读取当前周期查找到的数据文件并写入所述目标云存储系统中。
11.如权利要求10所述的装置，其特征在于，
所述数据迁移单元，具体用于如果业务服务器本地存储有当前周期查找到的数据文件，所述业务服务器从本地读取当前周期查找到的数据文件并写入目标云存储系统中；如果业务服务器本地未存储当前周期查找到的数据文件，所述业务服务器从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统中。
12.如权利要求11所述的装置，其特征在于，还包括：
确定单元，用于在所述数据迁移单元从本地或者从源云存储系统中读取当前周期查找到的数据文件并写入目标云存储系统之前，确定业务服务器负荷不超过预设负荷阈值。
13.一种计算装置，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～6任一权利要求所述方法的步骤。
14.一种计算机可读介质，其特征在于，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行权利要求1～6任一所述方法的步骤。
CN201711122980.2A 2017-11-14 2017-11-14 一种数据迁移方法、装置和介质 Pending CN110019208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711122980.2A CN110019208A (zh) 2017-11-14 2017-11-14 一种数据迁移方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711122980.2A CN110019208A (zh) 2017-11-14 2017-11-14 一种数据迁移方法、装置和介质

Publications (1)

Publication Number Publication Date
CN110019208A true CN110019208A (zh) 2019-07-16

Family

ID=67186743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711122980.2A Pending CN110019208A (zh) 2017-11-14 2017-11-14 一种数据迁移方法、装置和介质

Country Status (1)

Country Link
CN (1) CN110019208A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569231A (zh) * 2019-09-09 2019-12-13 江苏满运软件科技有限公司 数据迁移方法、装置、设备和介质
CN111787045A (zh) * 2020-01-10 2020-10-16 北京京东尚科信息技术有限公司 从私有云到公有云的迁移方法和装置
CN112559537A (zh) * 2019-09-25 2021-03-26 阿里巴巴集团控股有限公司 云存储区间更新方法、装置、电子设备及计算机存储介质
CN113050890A (zh) * 2021-03-26 2021-06-29 北京沃东天骏信息技术有限公司 一种数据迁移方法和装置
CN113297132A (zh) * 2020-02-21 2021-08-24 阿里巴巴集团控股有限公司 迁移文件列表的生成方法、装置、电子设备及计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385633A (zh) * 2011-12-13 2012-03-21 方正国际软件有限公司 虚拟存储目录的文件管理系统
CN103312489A (zh) * 2013-06-29 2013-09-18 华为技术有限公司 一种终端与服务器进行同步的方法和装置
US8589504B1 (en) * 2006-06-29 2013-11-19 Emc Corporation Full array non-disruptive management data migration
CN105138632A (zh) * 2015-08-20 2015-12-09 浪潮(北京)电子信息产业有限公司 一种文件数据组织管理方法及文件管理服务器
CN106878354A (zh) * 2015-12-11 2017-06-20 中国电信股份有限公司 用于多云存储系统间文件互传的方法、装置和系统
CN107315652A (zh) * 2016-04-27 2017-11-03 中国移动通信集团山西有限公司 一种数据备份方法及云hdfs系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589504B1 (en) * 2006-06-29 2013-11-19 Emc Corporation Full array non-disruptive management data migration
CN102385633A (zh) * 2011-12-13 2012-03-21 方正国际软件有限公司 虚拟存储目录的文件管理系统
CN103312489A (zh) * 2013-06-29 2013-09-18 华为技术有限公司 一种终端与服务器进行同步的方法和装置
CN105138632A (zh) * 2015-08-20 2015-12-09 浪潮(北京)电子信息产业有限公司 一种文件数据组织管理方法及文件管理服务器
CN106878354A (zh) * 2015-12-11 2017-06-20 中国电信股份有限公司 用于多云存储系统间文件互传的方法、装置和系统
CN107315652A (zh) * 2016-04-27 2017-11-03 中国移动通信集团山西有限公司 一种数据备份方法及云hdfs系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569231A (zh) * 2019-09-09 2019-12-13 江苏满运软件科技有限公司 数据迁移方法、装置、设备和介质
CN110569231B (zh) * 2019-09-09 2022-10-14 江苏满运软件科技有限公司 数据迁移方法、装置、设备和介质
CN112559537A (zh) * 2019-09-25 2021-03-26 阿里巴巴集团控股有限公司 云存储区间更新方法、装置、电子设备及计算机存储介质
CN112559537B (zh) * 2019-09-25 2022-04-29 阿里巴巴集团控股有限公司 云存储区间更新方法、装置、电子设备及计算机存储介质
CN111787045A (zh) * 2020-01-10 2020-10-16 北京京东尚科信息技术有限公司 从私有云到公有云的迁移方法和装置
CN113297132A (zh) * 2020-02-21 2021-08-24 阿里巴巴集团控股有限公司 迁移文件列表的生成方法、装置、电子设备及计算机可读介质
CN113297132B (zh) * 2020-02-21 2024-05-03 阿里巴巴集团控股有限公司 迁移文件列表的生成方法、装置、电子设备及计算机可读介质
CN113050890A (zh) * 2021-03-26 2021-06-29 北京沃东天骏信息技术有限公司 一种数据迁移方法和装置

Similar Documents

Publication Publication Date Title
CN110019208A (zh) 一种数据迁移方法、装置和介质
US8949182B2 (en) Continuous and asynchronous replication of a consistent dataset
CN109726174A (zh) 数据归档方法、系统、设备以及存储介质
JP2015504202A (ja) クラスタ・ファイルシステムを横断する同期更新方法、システム、およびコンピュータ・プログラム
CN102938784A (zh) 应用于分布式存储系统中的数据存储方法和系统
US10042627B2 (en) Cloud infrastructure for reducing storage facility code load suspend rate by redundancy check
US20160140141A1 (en) File lookup in a distributed file system
US20200082026A1 (en) Graph data processing
JP5780377B2 (ja) 情報処理システム、及びアプリケーションの移転方法
US20180060178A1 (en) Accelerated deduplication block replication
US20210303594A1 (en) Recovering from a failure of an asynchronous replication node
US10984190B2 (en) Atom-based sensible synchronization for information indexing
JP2020532803A (ja) 同期入出を介して生成されたキャッシュ・ヒットに応答してメタデータ・トラックの非同期更新をする方法、システム、コンピュータ・プログラムおよび記憶制御装置
CN116569141A (zh) 工作流修补
US9696987B2 (en) Complex computer environment installation
US10831621B2 (en) Policy-driven high availability standby servers
US11176097B2 (en) Accelerated deduplication block replication
US11487542B2 (en) Instruction cache behavior and branch prediction
US20170220936A1 (en) Identifying Linguistically Related Content for Corpus Expansion Management
JP2016071725A (ja) ワークフロー制御プログラム、ワークフロー制御方法及び情報処理装置
CN110442373A (zh) 版权信息的添加方法、装置和介质
CN108694102A (zh) 一种基于Nexus服务的数据操作方法、设备、系统和介质
US20230393860A1 (en) Automatic application configuration synchronization based on data analytics
US10719483B2 (en) Remote copy with data deduplication functionality
US11630735B2 (en) Advanced object replication using reduced metadata in object storage environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716