CN107704550B - 文件迁移方法、装置以及计算机可读存储介质 - Google Patents

文件迁移方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN107704550B
CN107704550B CN201710886869.4A CN201710886869A CN107704550B CN 107704550 B CN107704550 B CN 107704550B CN 201710886869 A CN201710886869 A CN 201710886869A CN 107704550 B CN107704550 B CN 107704550B
Authority
CN
China
Prior art keywords
cluster
standby
data
main
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710886869.4A
Other languages
English (en)
Other versions
CN107704550A (zh
Inventor
卢道和
陈晓峰
杨军
钱碧伟
黎君
胡思文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201710886869.4A priority Critical patent/CN107704550B/zh
Publication of CN107704550A publication Critical patent/CN107704550A/zh
Application granted granted Critical
Publication of CN107704550B publication Critical patent/CN107704550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种文件迁移方法,包括:控制第一主集群与第一备集群同时进行全量数据同步,以供第一主集群同步至第二主集群、第一备集群同步至第二备集群;当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关;当增量数据同步进行至预置时刻时,开启第二主集群和第二备集群的同步开关,以供同步第一备集群存储在链式同步的队列中的数据。本发明还公开了一种文件迁移装置以及可读存储介质。本发明实现了在文件迁移过程中不需要进行停机处理,使得文件迁移更加方便合理。

Description

文件迁移方法、装置以及计算机可读存储介质
技术领域
本发明涉及计算机网络技术领域,尤其涉文件迁移方法、装置以及计算机可读存储介质。
背景技术
在目前的文件迁移过程中,进行数据迁移同步的方法主要是在需要进行数据迁移时,机房停止工作并将此时所有的数据文件进行同步,并在迁移完成之后再启动机房,或者是先对所有数据进行同步,然后机房停止工作并将后续增加的数据进行同步,在迁移完成之后再启动机房。
现有技术中,在进行数据文件迁移的过程中,机房均存在一定的停机时间,然而,这对于现在的服务系统来说,是有一定的不便之处,特别是当该系统为基础服务系统时。
发明内容
本发明的主要目的在于提供一种文件迁移方法、装置以及计算机可读存储介质,旨在解决如何在跨机房数据迁移同步过程中服务器需要停止服务的技术问题。
为实现上述目的,本发明提供一种文件迁移方法,所述文件迁移方法包括以下步骤:
控制第一主集群与第一备集群同时进行全量数据同步,以供所述第一主集群同步至第二主集群、所述第一备集群同步至第二备集群;
当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关;
当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据。
优选地,所述第一备集群中的全量数据是所述第一主集群在接收数据时全量备份至所述第一备集群中而得到的。
优选地,所述当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关的步骤还包括:
当开启所述第一备集群到所述第二主集群的链式同步开关时,控制所述第一备集群接收所述第一主集群在进行增量同步时所接收的数据,并将所述数据存储在链式同步的队列中,以供在开启所述第二主集群和所述第二备集群的同步开关时将所述数据同步至所述第二主集群和所述第二备集群。
优选地,所述当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据的步骤包括:
当所述增量数据同步进行至预置时刻时,开启所述第二主集群到所述第二备集群的同步开关,以供所述第二主集群接收所述第一备集群存储至所述链式同步的队列中的数据、所述第二备集群接收所述第二主集群存储的链式同步的队列中的数据。
此外,为实现上述目的,本发明还提供一种文件迁移装置,所述文件迁移装置包括:
存储有文件迁移程序的存储器;
处理器,配置为执行所述文件迁移程序以执行下述操作:
控制第一主集群与第一备集群同时进行全量数据同步,以供所述第一主集群同步至第二主集群、所述第一备集群同步至第二备集群;
当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关;
当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据。
优选地,所述第一备集群中的全量数据是所述第一主集群在接收数据时全量备份至所述第一备集群中而得到的。
优选地,执行当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关的操作还包括:
当开启所述第一备集群到所述第二主集群的链式同步开关时,控制所述第一备集群接收所述第一主集群在进行增量同步时所接收的数据,并将所述数据存储在链式同步的队列中,以供在开启所述第二主集群和所述第二备集群的同步开关时将所述数据同步至所述第二主集群和所述第二备集群。
优选地,执行所述当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据的操作包括:
当所述增量数据同步进行至预置时刻时,开启所述第二主集群到所述第二备集群的同步开关,以供所述第二主集群接收所述第一备集群存储至所述链式同步的队列中的数据、所述第二备集群接收所述第二主集群存储的链式同步的队列中的数据。
进一步地,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有文件迁移程序,所述文件迁移程序被处理器执行时实现如上述任一项所述的文件迁移方法的步骤。
本发明提出的一种文件迁移方法,在进行文件迁移时,首先将所有数据进行同步,由于在进行全量数据同步时,机房没有停止工作,所以仍然会接收一定量的数据,所以在全量数据同步完成后进行增量数据同步,并在进行增量数据同步时启动链式同步,用于接收时刻接收的数据,实现了在文件迁移过程中不需要进行停机处理,使得文件迁移更加方便合理。
附图说明
图1是本发明实施例方案涉及的设备硬件运行环境的结构示意图;
图2为本发明文件迁移方法一实施例的流程示意图;
图3为本发明文件迁移方法一较佳实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的设备硬件运行环境的结构示意图。
本发明实施例文件迁移装置可以是PC机、服务器。
如图1所示,该文件迁移装置可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解,图1中示出的文件迁移装置的硬件结构并不构成对文件迁移装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序,比如文件迁移程序。其中,操作系统是管理和控制文件迁移装置与软件资源的程序,支持网络通信模块、用户接口模块、文件迁移程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1002;用户接口模块用于管理和控制用户接口1003。
在图1所示的文件迁移装置硬件结构中,网络接口1004主要用于连接系统后台,与系统后台进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;文件迁移装置通过处理器1001调用存储器1005中存储的文件迁移程序,以执行以下操作:
控制第一主集群与第一备集群同时进行全量数据同步,以供所述第一主集群同步至第二主集群、所述第一备集群同步至第二备集群;
当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关;
当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据。
进一步地,所述文件迁移装置通过处理器1001调用存储器1005中存储的文件迁移程序,以执行以下操作:
当开启所述第一备集群到所述第二主集群的链式同步开关时,控制所述第一备集群接收所述第一主集群在进行增量同步时所接收的数据,并将所述数据存储在链式同步的队列中,以供在开启所述第二主集群和所述第二备集群的同步开关时将所述数据同步至所述第二主集群和所述第二备集群。
进一步地,所述文件迁移装置通过处理器1001调用存储器1005中存储的文件迁移程序,以执行以下操作:
当所述增量数据同步进行至预置时刻时,开启所述第二主集群到所述第二备集群的同步开关,以供所述第二主集群接收所述第一备集群存储至所述链式同步的队列中的数据、所述第二备集群接收所述第二主集群存储的链式同步的队列中的数据。
基于上述文件迁移装置硬件结构,提出本发明文件迁移方法的各个实施例。
实施例一:
参照图2,图2为本发明文件迁移方法一实施例的流程示意图,所述文件迁移方法包括:
步骤S10,控制第一主集群与第一备集群同时进行全量数据同步,以供所述第一主集群同步至第二主集群、所述第一备集群同步至第二备集群;
本实施例中,当需要进行的文件迁移时,首先进行全量数据的同步,其中全量数据的同步的过程包括:将第一主集群中的所有数据全量同步至第二主集群,将第一备集群中的所有数据全量同步至第二备集群。由于进行全量数据同步的时间较长,同时,进行全量数据同步时,第一主集群必然会接收新的数据,因此,在需要进行文件迁移时,可以选取一个较为空闲的时间段进行全量数据的同步,这样可以避免在高峰时间段进行同步而增加的不必要的工作量,也可以相对减少第一主集群在进行全量数据同步时所接收到的新的数据。
本实施例中,对于进行全量同步的时间不设限制,具体情况依实际情况而定。比如将进行全量数据同步的时间选择在晚上,此时相对来说工作负载不会很大,而且在此时间段第一主集群所接收到的新的数据信息相对也可能会较少,具体地,假定将进行全量数据同步的时间设置为晚上10点整,而全量同步所需时间为10小时,则会在第二天早上8点时完成全量数据的同步,并且全量数据同步所同步的数据为晚上10及之前第一主集群所接收的数据。
本实施例中,第一备集群中的全量数据是第一主集群在接收到数据时全量备份至第一备集群中而得到的。
步骤S20,当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关;
本实施例中,由于在进行全量数据同步时,第一主集群仍然会接收新的数据信息,同时第一主集群在此阶段所接收的新增数据也会备份至第一备集群,所以在全量数据同步完成时,第一主集群中的数据并未全部同步至第二主集群,于是在全量数据同步完成时,进行增量数据的同步,将在进行全量数据同步时第一主集群新接收的增量数据同步至第二主集群,同时增量数据的同步也会在第一备集群和第二备集群之间进行。通过增量数据的同步,尽可能多的将第一主集群中的增量数据同步至第二主集群中。
本实施例中,由于在进行增量数据同步时,第一主集群仍然还是会接收一定数量的新的数据信息,为保证在不暂停第一主集群的情况下完成数据的迁移,因此在进行增量数据同步时,开启第一备集群到第二主集群的链式同步开关,用于接收在进行增量数据同步时第一主集群所接收的新增数据,并将接收到的新增数据存储在链式同步队列中,以供在开启第二主集群和第二备集群的链式同步开关时将存储在链式同步队列中的数据同步至第二主集群和第二备集群中。
具体地,继续以上述所说的同步时间为例,在进行全量数据同步的10个小时之间,第一主集群会接收新的数据,并且这段时间内所接收到的数据并未同步至第二主集群,于是在全量数据同步完成而进行增量数据的同步时,此时所同步的数据为在这个时间段内第一主集群所接收的新的数据。同理,由于第一主集群服务器没有停止工作,并且增量同步也需要一定的时间来完成,假定增量同步所用时间为2小时,所以在进行增量数据同步时,第一主集群仍然还是会接收一定量的新数据,为了保证在不暂停第一主集群的情况下使第一主集群所接收的数据能够全部的同步至第二主集群中,所以在进行增量数据同步时,开启第一备集群中的链式同步开关以供第一备集群接收第一主集群在这两小时内所接收的新增数据,其中,链式同步开启的时间时实际情况而定,为了更好解释,本实施例中设定链式同步开启的时间为全量数据同步结束时,也就是第二天早上8点整。
步骤S30,当增量数据同步进行至预置时刻时,开启第二主集群和第二备集群的同步开关,以供同步第一备集群存储在链式同步的队列中的数据。
本实施例中,当增量数据同步进行至预置时刻时,比如当第二主集群和第二备集群都启动起来时,即可开启第二主集群和第二备集群中的同步开关,用于同步第一备集群存储在链式同步队列中的数据。当链式同步队列中的所有数据均同步至第二主集群中后,第二备集群将继续从第二主集群中同步第二主集群存储的链式同步的队列中的数据,需要说明的是,链式同步属于增量同步的一部分。
具体地,进行增量数据同步的时间为2小时,时间段为8点至10点,为了便于解释,假定预置时刻为9点40分,也就是在9点40分时第二主集群开启同步开关,并接收第一备集从8点起所开始接收并存储在链式同步队列中的数据,同时,由于第二备集群也开启了同步开关,所以同步至第二主集群中的链式同步队列中的数据也会同步至第二备集群中。
由于在进行链式同步时,第一主集群仍然会接收数据,但是由于链式同步所接收的数据较少,同步所需的时间较短,所以进行链式同步时第一主集群的新增数据较少,同时新增数据也会直接在链式同步的队列中或者正在第一主集群中并准备进入同步队列。
本实施例中,在进行链式同步时,第一主集群中会存储有较少的新增数据,如果在进行迁移的过程中,用户在进行数据的查询下载时,没有在第二主集群中找到相应的数据文件,此时第二主集群会到第一主集群中去下载相应的数据,然后再反馈给用户端。简单的说,就是同步数据文件是异步的,第一主集群上的数据可能还没有同步到第二备集群上,这时若有用户端到第二主集群上查询或下载时,并且数据不存在,则第二主集群会到第一主集群上去下载,然后再反馈给用户端。
本实施例中,当进行数据的迁移同步时,将数据的同步进行一个分步处理,包括有全量数据同步和增量数据同步,并在进行增量数据同步时启动链式同步,全量数据同步将会同步大部分的数据,而增量数据同步会同步在进行全量数据同步时所接收的较少部分的数据,由于在进行增量数据同步时,仍然会接收新增数据,于是通过链式同步的方式将在进行增量同步所接收的新增数据同步至目的集群,以到达在服务器不停机的情况下实现数据的迁移。
基于实施例一,可以发现,在进行数据文件的迁移时,通过链式同步的方式,不仅可以实现同机房的不停机的数据迁移,也可以使文件在跨机房迁移的情况下实现不停机的迁移。
实施例二:
进一步的,基于实施例一,步骤S30之后还包括:
步骤S40,验证第二主集群与第二备集群中迁移数据是否完整准确、是否可以正常对外提供服务,若迁移数据完整准确且可以正常对外提供服务,则完成从第一主集群与第一备集群到第二主集群与第二备集群的系统切换;
步骤S50,在系统切换并运行预设时间后,若系统运行正常,则删除第一主集群和第一备集群中的存储数据。
本实施例中,当数据的迁移同步接近完成时,会选取某一时刻对所迁移同步的数据进行验证,类似一个快照选取抽样数据,同时,对于链式同步过程中所同步的数据,其过程会对所同步的数据进行验证,其中,进行验证主要是验证数据的正确性、准确性以及此时迁移后的服务器能否准确执行相应的功能等,并且在数据验证正确并可正常提供服务时,完成系统的切换,也即系统服务从原来的第一主集群与第一备集群切换为第二主集群与第二备集群。
本实施例中,当验证数据无误时,将第一主集群中的数据同步节点切换到新集群中,并在链式同步的数据同步完成时,完成系统的切换,之后的数据接收则在新集群上实现。
本实施例中,通过对同步数据的验证,确保了数据同步的准确性,并当验证无误时完成系统的切换,使得在数据同步完成时,所有的操作,包括新数据的接收、数据查询及下载等,均会在新集群上进行。
实施例三:
参照图3,图3为本发明文件迁移方法一较佳实施例的流程示意图。
进一步地,为了辅助理解本发明文件迁移方法,在此提供对文件进行迁移一较佳实施例,文件迁移方法包括:
1、同步HDFS全量数据,从1主到2主,1备到2备(时间较长,可以在空闲时间完成);
2、启动1备集群的链式同步方式,总体的同步方向为1主->1备->2主->2备(这个时候2主、2备还未启动,但是1备从1主同步过来的文件都会记录在同步队列中,等2主起来之后就可以进行增量同步);
3、增量同步数据:同步1主集群数据到2主集群(时间较短):增量同步HDFS以及同步HBase,同时从1备往2备同步数据;
4、启动2主的FPS,开始从1备中接收同步文件;
5、启动2备的FPS,提供同步服务;
6、验证数据,并验证服务及性能;
7、等待1主file_queue中文件比较少,将原FPS节点(剩下一台FPS-Server节点,用于同步文件)切换到新的Hadoop集群中,至此完成切换;
8、等待1主的FPS同步完成(file_queue为空),将剩下的那台机器也切换到新的Hadoop集群中,至此,完成系统切换;
9、运行一段时间后,无问题后,将原FPS数据删除。
本实施例中,通过在文件迁移过程中加入链式同步,使得在完成数据迁移的过程中,即使主机房出现问题,也会有备机房完成数据迁移,会很大程度的降低RTO,使文件迁移更为合理,同时实现了文件迁移时不需要进行停机处理。
本发明实施例还提出一种计算机可读存储介质。
本发明实施例还提出一种计算机可读存储介质,计算机可读存储介质上存储有文件迁移程序,所述文件迁移程序被处理器执行时实现上述的文件迁移方法的步骤。
本实施例提出的文件迁移方法,当进行数据的迁移同步时,首先对数据进行全量同步,并在全量同步完成时进行增量同步,而增量同步所同步的数据为进行全量同步时所接收到的数据,并且在进行增量数据同步时,启动链式同步,将在进行增量同步时所接收到的数据进行同步,通过在文件迁移过程中加入链式同步,使得在完成数据迁移的过程中,即使主机房出现问题,也会有备机房完成数据迁移,会很大程度的降低RTO,使文件迁移更为合理。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种文件迁移方法,其特征在于,所述文件迁移方法包括以下步骤:
控制第一主集群与第一备集群同时进行全量数据同步,以供所述第一主集群同步至第二主集群、所述第一备集群同步至第二备集群;
当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关;
当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据,其中,所述预置时刻包括当所述第二主集群和所述第二备集群都启动起来时;
其中,所述当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关的步骤还包括:
当开启所述第一备集群到所述第二主集群的链式同步开关时,控制所述第一备集群接收所述第一主集群在进行增量同步时所接收的数据,并将所述数据存储在链式同步的队列中,以供在开启所述第二主集群和所述第二备集群的同步开关时将所述数据同步至所述第二主集群和所述第二备集群。
2.如权利要求1所述的文件迁移方法,其特征在于,所述第一备集群中的全量数据是所述第一主集群在接收数据时全量备份至所述第一备集群中而得到的。
3.如权利要求1至2中任一项所述的文件迁移方法,其特征在于,所述当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据的步骤包括:
当所述增量数据同步进行至预置时刻时,开启所述第二主集群到所述第二备集群的同步开关,以供所述第二主集群接收所述第一备集群存储至所述链式同步的队列中的数据、所述第二备集群接收所述第二主集群存储的链式同步的队列中的数据。
4.一种文件迁移装置,其特征在于,所述文件迁移装置包括:
存储有文件迁移程序的存储器;
处理器,配置为执行所述文件迁移程序以执行下述操作:
控制第一主集群与第一备集群同时进行全量数据同步,以供所述第一主集群同步至第二主集群、所述第一备集群同步至第二备集群;
当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关;
当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据,其中,所述预置时刻包括当所述第二主集群和所述第二备集群都启动起来时;
其中,执行当所述全量数据同步完成时,控制所述第一主集群与所述第二主集群之间、所述第一备集群与所述第二备集群之间同时进行增量数据同步,并在进行增量数据同步时,开启所述第一备集群到所述第二主集群的链式同步开关的操作还包括:
当开启所述第一备集群到所述第二主集群的链式同步开关时,控制所述第一备集群接收所述第一主集群在进行增量同步时所接收的数据,并将所述数据存储在链式同步的队列中,以供在开启所述第二主集群和所述第二备集群的同步开关时将所述数据同步至所述第二主集群和所述第二备集群。
5.如权利要求4所述的文件迁移装置,其特征在于,所述第一备集群中的全量数据是所述第一主集群在接收数据时全量备份至所述第一备集群中而得到的。
6.如权利要求4至5中任一项所述的文件迁移装置,其特征在于,执行所述当所述增量数据同步进行至预置时刻时,开启所述第二主集群和所述第二备集群的同步开关,以供同步所述第一备集群存储在链式同步的队列中的数据的操作包括:
当所述增量数据同步进行至预置时刻时,开启所述第二主集群到所述第二备集群的同步开关,以供所述第二主集群接收所述第一备集群存储至所述链式同步的队列中的数据、所述第二备集群接收所述第二主集群存储的链式同步的队列中的数据。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有文件迁移程序,所述文件迁移程序被处理器执行时实现如权利要求1至3中任一项所述的文件迁移方法的步骤。
CN201710886869.4A 2017-09-26 2017-09-26 文件迁移方法、装置以及计算机可读存储介质 Active CN107704550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710886869.4A CN107704550B (zh) 2017-09-26 2017-09-26 文件迁移方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710886869.4A CN107704550B (zh) 2017-09-26 2017-09-26 文件迁移方法、装置以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107704550A CN107704550A (zh) 2018-02-16
CN107704550B true CN107704550B (zh) 2021-04-30

Family

ID=61174958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710886869.4A Active CN107704550B (zh) 2017-09-26 2017-09-26 文件迁移方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107704550B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733808B (zh) * 2018-05-21 2022-09-20 试金石信用服务有限公司 大数据软件系统切换方法、系统、终端设备及存储介质
CN108769212B (zh) * 2018-05-31 2023-04-07 康键信息技术(深圳)有限公司 数据同步方法、装置、计算机设备和存储介质
CN109284339A (zh) * 2018-11-30 2019-01-29 安徽继远软件有限公司 一种数据库数据实时同步的方法和装置
CN113206757B (zh) * 2021-04-25 2022-04-19 烽火通信科技股份有限公司 流式同步网管配置全量数据和增量数据的方法及电子设备
CN113806295B (zh) * 2021-09-17 2024-02-23 济南浪潮数据技术有限公司 一种文件迁移方法、系统、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833310A (zh) * 2012-07-03 2012-12-19 中山大学 一种基于虚拟化技术的工作流引擎集群系统
CN102917072A (zh) * 2012-10-31 2013-02-06 北京奇虎科技有限公司 用于数据服务器集群之间进行数据迁移的设备、系统及方法
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN106776997A (zh) * 2016-12-02 2017-05-31 国家电网公司 一种数据库的迁移方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108575B2 (en) * 2009-02-03 2012-01-31 International Business Machines Corporation Methods of multi-server application synchronization without stopping I/O

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833310A (zh) * 2012-07-03 2012-12-19 中山大学 一种基于虚拟化技术的工作流引擎集群系统
CN102917072A (zh) * 2012-10-31 2013-02-06 北京奇虎科技有限公司 用于数据服务器集群之间进行数据迁移的设备、系统及方法
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN106776997A (zh) * 2016-12-02 2017-05-31 国家电网公司 一种数据库的迁移方法

Also Published As

Publication number Publication date
CN107704550A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN107704550B (zh) 文件迁移方法、装置以及计算机可读存储介质
CN110389900B (zh) 一种分布式数据库集群测试方法、装置及存储介质
CN108074177B (zh) 数据对账方法、系统和计算机可读存储介质
CN103167041A (zh) 一种支持云环境应用集群自动化部署的系统及方法
US10671376B2 (en) Server program hot upgrading method and device
CN104182255A (zh) 一种系统应用的库文件升级方法及终端
CN103077034B (zh) 混合虚拟化平台java应用迁移方法与系统
EP2866143A1 (en) Graceful shutdown method and system for virtual system
CN111796838B (zh) Mpp数据库自动部署方法及装置
EP2187695A1 (en) Method, device and system for realizing task in cluster environment
CN107704310B (zh) 一种实现容器集群管理的方法、装置和设备
CN108108119B (zh) 一种可扩展的存储集群事物的配置方法及装置
CN111274325B (zh) 平台自动化测试方法及系统
CN114546588A (zh) 任务的部署方法、装置、存储介质及电子装置
CN110119279B (zh) 一种应用及其升级的方法和装置
CN112751693B (zh) 分布式存储系统的数据处理方法、装置及电子设备
CN106301877A (zh) 一种虚拟网元的升级方法和装置
CN112069152A (zh) 一种数据库集群升级方法、装置、设备以及存储介质
CN111736950A (zh) 一种虚拟机的加速器资源添加方法及相关装置
CN107203392B (zh) 一种小系统终端产品的多规约实现方法
CN102946403B (zh) 一种用于云存储系统的解决文件冲突的方法及装置
CN114115920A (zh) 操作系统部署方法、系统、设备及计算机可读存储介质
CN111158794B (zh) 一种面向OpenStack的API接口组合优化方法及装置
CN109445717B (zh) 一种双机备份时的数据存储方法及装置
CN112199161A (zh) 一种云平台服务管理方法、装置及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant