CN112035444A - 异构系统间影像数据不停机迁移方法及装置 - Google Patents
异构系统间影像数据不停机迁移方法及装置 Download PDFInfo
- Publication number
- CN112035444A CN112035444A CN202010914916.3A CN202010914916A CN112035444A CN 112035444 A CN112035444 A CN 112035444A CN 202010914916 A CN202010914916 A CN 202010914916A CN 112035444 A CN112035444 A CN 112035444A
- Authority
- CN
- China
- Prior art keywords
- migration
- data packet
- image
- migration data
- modification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种异构系统间影像数据不停机迁移方法及装置,其中该方法包括:打包迁移数据包;在修改时间在迁移启动时间先的迁移数据包上打上第一标签,修改时间在后的打上第二标签;将第一标签的迁移数据包直接迁移至迁入系统缓存中;将第二标签的迁移数据包中的影像标识与迁入系统缓存中迁移数据包中的影像标识进行比对;如果存在相同影像标识,利用第二标签的迁移数据包替换缓存中相同影像标识的迁移数据包;如果不存在相同影像标识,将第二标签的迁移数据包直接迁移至缓存中;所有影像迁移至迁入系统的缓存中后,按照迁入系统的存储规则,将迁移数据包存储至目标存储位置。本发明可以实现异构系统间影像数据在不停机情况下的准确迁移。
Description
技术领域
本发明涉及数据迁移技术领域,尤其涉及一种异构系统间影像数据不停机迁移方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在银行IT系统的建设和发展过程中,往往会经历若干次系统改造替换及历史海量数据迁移,特别是像影像数据这样的非结构化数据。影像数据包括影像的元数据和影像文件,其中,元数据为影像文件的描述信息,其存储于Sql关系型数据库中,影像文件为影像本身,存放在NoSql非关系型数据库中,同时由于
(1)迁入系统和迁出系统使用异构的存储介质,涉及到影像元数据的表结构设计发生变化及存储影像文件的存储介质也发生变化,使得数据的迁移不是简单的数据导出及导入。
(2)海量存量数据使得迁移无法在短时间(24h)内完成,可能需要数天或数月完成,并且,迁移数据的过程银行IT系统不停机,也即迁移数据的过程是在银行不处理业务的休息时段(如晚上)进行,在银行处理业务的工作时段(如白天)仍然会向迁出系统中存入影像数据或修改当前存储的影像数据,也就是说在向迁入系统进行数据迁移过程中,迁出系统中的影像数据是动态变化的。
综上两点,需要更加准确的迁移方法以保证影像数据顺利迁移。
发明内容
本发明实施例提供一种异构系统间影像数据不停机迁移方法,用以实现异构系统间影像数据在不停机情况下的准确迁移,该方法包括:
从迁出系统获取影像的元数据、影像文件,以及元数据与影像文件的关联关系;
根据所述关联关系,将关联的元数据和影像文件打包成迁移数据包;
按照修改时间与迁移启动时间的先后关系,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签;其中,修改时间为元数据中记载的影像数据最后一次修改的时间;
针对第一标签的迁移数据包,将迁移数据包直接迁移至迁入系统缓存中;
针对第二标签的迁移数据包,将迁移数据包中的影像标识与迁入系统缓存中迁移数据包中的影像标识进行比对;如果存在相同影像标识,则利用第二标签的迁移数据包替换迁入系统缓存中相同影像标识的迁移数据包;如果不存在相同影像标识,则将第二标签的迁移数据包直接迁移至迁入系统缓存中;
当迁出系统所有影像迁移至迁入系统的缓存中后,按照迁入系统的存储规则,将迁移数据包存储至目标存储位置。
本发明实施例还提供一种异构系统间影像数据不停机迁移装置,用以实现异构系统间影像数据在不停机情况下的准确迁移,该装置包括:
获取模块,用于从迁出系统获取影像的元数据、影像文件,以及元数据与影像文件的关联关系;
打包模块,用于根据获取模块获取的所述关联关系,将关联的元数据和影像文件打包成迁移数据包;
标签模块,用于按照修改时间与迁移启动时间的先后关系,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签;其中,修改时间为元数据中记载的影像数据最后一次修改的时间;
针对第一标签的迁移数据包,迁移模块,用于将迁移数据包直接迁移至迁入系统缓存中;
针对第二标签的迁移数据包,迁移模块,用于将迁移数据包中的影像标识与迁入系统缓存中迁移数据包中的影像标识进行比对;如果存在相同影像标识,则利用第二标签的迁移数据包替换迁入系统缓存中相同影像标识的迁移数据包;如果不存在相同影像标识,则将第二标签的迁移数据包直接迁移至迁入系统缓存中;
存储模块,用于当迁出系统所有影像迁移至迁入系统的缓存中后,按照迁入系统的存储规则,将迁移数据包存储至目标存储位置。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述异构系统间影像数据不停机迁移方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述异构系统间影像数据不停机迁移方法的计算机程序。
本发明实施例中,先在迁出系统中获取元数据与影像文件的关联关系,根据该关联关系将元数据与影像文件打包成迁移数据包,将迁移数据包迁移至迁入系统中,再进行存储,避免直接迁移过程中出现破坏元数据与影像文件之间关联关系,导致无法将元数据与影像文件之间相对应的情况;并且,本发明实施例中,针对迁移启动时间前后修改的影像数据采取不同的迁移措施,这样当影像数据被迁移至迁入系统之后,如果后续其被修改,将其与迁入系统缓存中已迁入的数据包进行比对,以确定是否将旧版本的影像数据迁入,如果将旧版本的影像数据迁入,则利用新修改的迁移数据包替换旧版本的迁移数据包,这样一来,就不会出现将同一个影像数据不同修改时间修改的影像数据都迁入迁移系统,也就避免了数据冗余,实现异构系统间海量影像数据在不停机情况下的准确迁移。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中一种异构系统间影像数据不停机迁移方法的流程图;
图2为本发明实施例中另一种异构系统间影像数据不停机迁移方法的流程图;
图3为本发明实施例中一种异构系统间影像数据不停机迁移装置的结构示意图;
图4为本发明实施例中另一种异构系统间影像数据不停机迁移装置的结构示意图;
图5为本发明实施例中另一种异构系统间影像数据不停机迁移装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
对于同构系统而言,由于两系统的存储介质与表结构设计相同,影像数据可以直接进行迁移,迁移后的影像的元数据与影像文件之间仍然存在关联,根据该关联可以确定元数据与对应的影像文件。但是,对于异构系统而言,由于表结构设计、存储介质等均发生变化,直接将影像数据迁移至迁入系统并进行存储,会破坏元数据与影像文件之间的关联关系,这样就无法将元数据与影像文件对应起来。
基于此,本发明实施例提供了一种异构系统间影像数据不停机迁移方法,如图1所示,该方法包括步骤101至步骤:
步骤101、从迁出系统获取影像的元数据、影像文件,以及元数据与影像文件的关联关系。
步骤102、根据关联关系,将关联的元数据和影像文件打包成迁移数据包。
除了包含元数据与影像文件之外,迁移数据包中还可以包含所有影像文件标识的清单文件,以便于根据清单文件判断当前迁移数据包中的影像文件是否存在缺失。
可以将一组关联的元数据与影像文件打包成一个迁移数据包。但考虑到元数据和影像文件的数量巨大,将每组元数据与影像文件打包成一个迁移数据包将会耗费大量时间打包,同时数据包的数量过多,为了节省打包时间,提高处理效率,可以将多组元数据与影像文件打包成一个迁移数据包,这样在清单文件中则包含用于区分不同组元数据与影像文件的标识,以及每组元数据与影像文件的影像文件标识,示例性的,迁移数据包中打包了2组元数据与影像文件,第1组中包含a、b两个影像文件,第2组包含c、d、e三个影像文件,则清单文件中包含“1——a、b”、“2——c、d、e”。
迁移数据包采用压缩文件的格式,一方面便于通过文件传输协议(File TransferProtocol,FTP)网络迁移至迁入系统,另一方面迁入系统解压缩若失败可作为文件是否完整的校验。
步骤103、按照修改时间与迁移启动时间的先后关系,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签。
其中,修改时间为元数据中记载的影像数据最后一次修改的时间;迁移启动时间为开始迁移影像数据的时间,比如说,在8月10日开始迁移影像数据,则将8月10日确定为迁移启动时间。
由于影像数据的迁移是“复制粘贴”过程,而非“剪切粘贴”过程,在向迁入系统存入迁移数据包的同时,迁出系统仍保留迁移的影像数据,为了便于判断迁移数据包的进度和提高迁移效率,在本发明实施例中,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签之后,还可以按照修改时间由先至后的顺序,将迁移数据包进行排序,其中,修改时间在先的迁移数据包的顺序在前,修改时间在后的迁移数据包的顺序在后;按照迁移数据包由前至后的顺序,分批次将迁移数据包迁移至迁入系统。也就是说,先迁移修改时间早的迁移数据包,再迁移修改时间晚的迁移数据包。
同时,由于银行中往往在休息时段处理数据迁移,休息时段结束后的工作时段仍会正常向迁出系统中存入新的影像数据或者修改原有的影像数据,海量的影像数据难以在一个休息时段迁移完成,因此,将迁移数据包分批次在多个休息时段中,按照第一标签和第二标签不同的迁移规则迁移至迁入系统。
需要说明的是,第一个休息时段中打包的迁移数据包中的影像数据,可能在第二个休息时段中被修改,若被修改则需要将修改后的影像数据迁移至迁入系统,因此需要在每个休息时段中重新打包迁移数据包,以使每次导入迁入系统中的影像数据都是当前最新数据。
在按照迁移数据包由前至后的顺序,分批次将迁移数据包迁移至迁入系统之后,还可以获取当前日期;将与当前日期相同修改日期的所有迁移数据包迁移至迁入系统的缓存中时,确定迁出系统所有影像迁移至迁入系统,其中,修改日期为元数据中记载的影像最后一次修改的日期。
也就是说,在按照时间顺序分批次迁移影像数据时,如果当前日期是8月20日,当最后一次修改时间为8月20日的影像数据被全部迁移至迁入系统(修改日期在8月20日之前的数据已全部被迁移)之后,表明所有影像数据已全部被迁移至迁入系统。
步骤104、针对第一标签的迁移数据包,将迁移数据包直接迁移至迁入系统缓存中。
修改时间在迁移启动时间之前,表明在迁移启动之后影像数据一直没有被修改过,该部分影像数据不会造成迁入系统的数据冗余,可以直接将其迁移至迁入系统缓存中。
在向迁入系统导入迁移数据包时可采用多线程并行运算,从而提高单包处理效率;还可以多节点部署迁移装置,并行执行,提高整体迁移处理效率。需要注意的是,如果多节点部署迁移装置同时进行数据迁移时,需要利用清单文件同步来保证多节点不会将同一影像数据重复导入迁入系统。此外,如果采用多线程方式,需要对该包元数据进行合理分组,以保证同一关键元数据属性值的数据放在同一线程中处理,降低元数据入库时发生碰撞冲突的机率。
步骤105、针对第二标签的迁移数据包,将迁移数据包中的影像标识与迁入系统缓存中迁移数据包中的影像标识进行比对;如果存在相同影像标识,则利用第二标签的迁移数据包替换迁入系统缓存中相同影像标识的迁移数据包;如果不存在相同影像标识,则将第二标签的迁移数据包直接迁移至迁入系统缓存中。
也就是说,第二标签的迁移数据包可能在修改前被迁移至迁入系统,在修改后又再次被迁移至迁入系统;或者在前一次修改后迁移至迁入系统,再次被修改又被迁移至迁入系统,为了避免这样的冗余,在本发明实施例中,比对迁入系统缓存中是否存在第二标签的迁移数据包,存在则利用第二标签的迁移数据包替换缓存中已存在的迁移数据包,不存在则直接存入迁入系统缓存。
影像标识用于区分不同的影像数据,比如说,如果影像的名称、编号唯一,可以将影像的名称或标号作为影像标识,该影像标识可以是元数据中携带的信息,也可以是在迁移时由迁移装置为每个影像设置的。
步骤106、当迁出系统所有影像迁移至迁入系统的缓存中后,按照迁入系统的存储规则,将迁移数据包存储至目标存储位置。
具体的,迁入系统在接收到所有迁移数据包后,执行对影像数据的格式验证、业务规则验证、元数据解析、元数据入库及影像入库的多线程并发处理、元数据与影像文件的入库一致性事务管理,并在过程中利用报错机制、补偿重跑机制等将元数据与影像文件分别存储至目标存储位置。由于按照存储规则存储数据是本领域的常用技术手段,对于如何将迁移数据包存储至目标存储位置,在此不做赘述。
在本发明实施例另一种实现方式中,如图2所示,还可以执行如下步骤201:
步骤201、如果在将迁移数据包迁移至迁入系统缓存的过程中报错,则从报错时正在处理的迁移数据包中获取该迁移数据包中元数据记载的影像最后一次修改的修改日期;迁移修改时间在该修改日期当天的迁移数据包,待报错解决后,继续处理其他修改时间的迁移数据包。
也就是说,如果处理过程报错,为了保证数据的准确性,可继续处理与报错数据包的修改日期在同一天修改的其他数据包,对于修改日期之后的数据包则不处理,需要等待错误包解决完毕(通过补充重跑机制解决、报警后人工干预解决等)后才可继续自动执行。
在一种实现方式中,可以预设不同的报错类型对应不同的解决方案,以使得当有异常或错误发生时,能够根据不同类型的问题进行相应的补偿解决或运维报警。
本发明实施例中,先在迁出系统中获取元数据与影像文件的关联关系,根据该关联关系将元数据与影像文件打包成迁移数据包,将迁移数据包迁移至迁入系统中,再进行存储,避免直接迁移过程中出现破坏元数据与影像文件之间关联关系,导致无法将元数据与影像文件之间相对应的情况;并且,本发明实施例中,针对迁移启动时间前后修改的影像数据采取不同的迁移措施,这样当影像数据被迁移至迁入系统之后,如果后续其被修改,将其与迁入系统缓存中已迁入的数据包进行比对,以确定是否将旧版本的影像数据迁入,如果将旧版本的影像数据迁入,则利用新修改的迁移数据包替换旧版本的迁移数据包,这样一来,就不会出现将同一个影像数据不同修改时间修改的影像数据都迁入迁移系统,也就避免了数据冗余,实现异构系统间海量影像数据在不停机情况下的准确迁移。
本发明实施例中还提供了一种异构系统间影像数据不停机迁移装置,如下面的实施例所述。由于该装置解决问题的原理与异构系统间影像数据不停机迁移方法相似,因此该装置的实施可以参见异构系统间影像数据不停机迁移方法的实施,重复之处不再赘述。
如图3所示,该装置300包括获取模块301、打包模块302、标签模块303、迁移模块304和存储模块305。
其中,获取模块301,用于从迁出系统获取影像的元数据、影像文件,以及元数据与影像文件的关联关系;
打包模块302,用于根据获取模块301获取的关联关系,将关联的元数据和影像文件打包成迁移数据包;
标签模块303,用于按照修改时间与迁移启动时间的先后关系,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签;其中,修改时间为元数据中记载的影像数据最后一次修改的时间;
针对第一标签的迁移数据包,迁移模块304,用于将迁移数据包直接迁移至迁入系统缓存中;
针对第二标签的迁移数据包,迁移模块304,用于将迁移数据包中的影像标识与迁入系统缓存中迁移数据包中的影像标识进行比对;如果存在相同影像标识,则利用第二标签的迁移数据包替换迁入系统缓存中相同影像标识的迁移数据包;如果不存在相同影像标识,则将第二标签的迁移数据包直接迁移至迁入系统缓存中;
存储模块305,用于当迁出系统所有影像迁移至迁入系统的缓存中后,按照迁入系统的存储规则,将迁移数据包存储至目标存储位置。
在本发明实施例的一种实现方式中,如图4所示,装置300还包括:
排序模块406,用于按照修改时间由先至后的顺序,将迁移数据包进行排序,其中,修改时间在先的迁移数据包的顺序在前,修改时间在后的迁移数据包的顺序在后;
迁移模块304,用于按照迁移数据包由前至后的顺序,分批次将迁移数据包迁移至迁入系统。
在本发明实施例的一种实现方式中,如图5所示,装置300还包括确定模块507。
其中,获取模块301,还用于获取当前日期;
确定模块507,用于将与当前日期相同修改日期的所有迁移数据包迁移至迁入系统的缓存中时,确定迁出系统所有影像迁移至迁入系统,其中,修改日期为元数据中记载的影像最后一次修改的日期。
在本发明实施例的一种实现方式中,获取模块301,还用于当在将迁移数据包迁移至迁入系统缓存的过程中报错时,从报错时正在处理的迁移数据包中获取该迁移数据包中元数据记载的影像最后一次修改的修改日期;
迁移模块304,还用于迁移修改时间在该修改日期当天的迁移数据包,待报错解决后,继续处理其他修改时间的迁移数据包。
本发明实施例中,先在迁出系统中获取元数据与影像文件的关联关系,根据该关联关系将元数据与影像文件打包成迁移数据包,将迁移数据包迁移至迁入系统中,再进行存储,避免直接迁移过程中出现破坏元数据与影像文件之间关联关系,导致无法将元数据与影像文件之间相对应的情况;并且,本发明实施例中,针对迁移启动时间前后修改的影像数据采取不同的迁移措施,这样当影像数据被迁移至迁入系统之后,如果后续其被修改,将其与迁入系统缓存中已迁入的数据包进行比对,以确定是否将旧版本的影像数据迁入,如果将旧版本的影像数据迁入,则利用新修改的迁移数据包替换旧版本的迁移数据包,这样一来,就不会出现将同一个影像数据不同修改时间修改的影像数据都迁入迁移系统,也就避免了数据冗余,实现异构系统间海量影像数据在不停机情况下的准确迁移。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述异构系统间影像数据不停机迁移方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述异构系统间影像数据不停机迁移方法的计算机程序。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种异构系统间影像数据不停机迁移方法,其特征在于,所述方法包括:
从迁出系统获取影像的元数据、影像文件,以及元数据与影像文件的关联关系;
根据所述关联关系,将关联的元数据和影像文件打包成迁移数据包;
按照修改时间与迁移启动时间的先后关系,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签;其中,修改时间为元数据中记载的影像数据最后一次修改的时间;
针对第一标签的迁移数据包,将迁移数据包直接迁移至迁入系统缓存中;
针对第二标签的迁移数据包,将迁移数据包中的影像标识与迁入系统缓存中迁移数据包中的影像标识进行比对;如果存在相同影像标识,则利用第二标签的迁移数据包替换迁入系统缓存中相同影像标识的迁移数据包;如果不存在相同影像标识,则将第二标签的迁移数据包直接迁移至迁入系统缓存中;
当迁出系统所有影像迁移至迁入系统的缓存中后,按照迁入系统的存储规则,将迁移数据包存储至目标存储位置。
2.根据权利要求1所述的方法,其特征在于,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签之后,所述方法还包括:
按照修改时间由先至后的顺序,将迁移数据包进行排序,其中,修改时间在先的迁移数据包的顺序在前,修改时间在后的迁移数据包的顺序在后;
按照迁移数据包由前至后的顺序,分批次将迁移数据包迁移至迁入系统。
3.根据权利要求2所述的方法,其特征在于,在按照迁移数据包由前至后的顺序,分批次将迁移数据包迁移至迁入系统之后,所述方法还包括:
获取当前日期;
将与当前日期相同修改日期的所有迁移数据包迁移至迁入系统的缓存中时,确定迁出系统所有影像迁移至迁入系统,其中,修改日期为元数据中记载的影像最后一次修改的日期。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
如果在将迁移数据包迁移至迁入系统缓存的过程中报错,则从报错时正在处理的迁移数据包中获取该迁移数据包中元数据记载的影像最后一次修改的修改日期;
迁移修改时间在该修改日期当天的迁移数据包,待报错解决后,继续处理其后修改时间的迁移数据包。
5.一种异构系统间影像数据不停机迁移装置,其特征在于,所述装置包括:
获取模块,用于从迁出系统获取影像的元数据、影像文件,以及元数据与影像文件的关联关系;
打包模块,用于根据获取模块获取的所述关联关系,将关联的元数据和影像文件打包成迁移数据包;
标签模块,用于按照修改时间与迁移启动时间的先后关系,在修改时间在先的迁移数据包上打上第一标签,在修改时间在后的迁移数据包上打上第二标签;其中,修改时间为元数据中记载的影像数据最后一次修改的时间;
针对第一标签的迁移数据包,迁移模块,用于将迁移数据包直接迁移至迁入系统缓存中;
针对第二标签的迁移数据包,迁移模块,用于将迁移数据包中的影像标识与迁入系统缓存中迁移数据包中的影像标识进行比对;如果存在相同影像标识,则利用第二标签的迁移数据包替换迁入系统缓存中相同影像标识的迁移数据包;如果不存在相同影像标识,则将第二标签的迁移数据包直接迁移至迁入系统缓存中;
存储模块,用于当迁出系统所有影像迁移至迁入系统的缓存中后,按照迁入系统的存储规则,将迁移数据包存储至目标存储位置。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
排序模块,用于按照修改时间由先至后的顺序,将迁移数据包进行排序,其中,修改时间在先的迁移数据包的顺序在前,修改时间在后的迁移数据包的顺序在后;
迁移模块,用于按照迁移数据包由前至后的顺序,分批次将迁移数据包迁移至迁入系统。
7.根据权利要求6所述的装置,其特征在于,
获取模块,还用于获取当前日期;
确定模块,用于将与当前日期相同修改日期的所有迁移数据包迁移至迁入系统的缓存中时,确定迁出系统所有影像迁移至迁入系统,其中,修改日期为元数据中记载的影像最后一次修改的日期。
8.根据权利要求5至7任一项所述的装置,其特征在于,
获取模块,还用于当在将迁移数据包迁移至迁入系统缓存的过程中报错时,从报错时正在处理的迁移数据包中获取该迁移数据包中元数据记载的影像最后一次修改的修改日期;
迁移模块,还用于迁移修改时间在该修改日期当天的迁移数据包,待报错解决后,继续处理其后修改时间的迁移数据包。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010914916.3A CN112035444B (zh) | 2020-09-03 | 2020-09-03 | 异构系统间影像数据不停机迁移方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010914916.3A CN112035444B (zh) | 2020-09-03 | 2020-09-03 | 异构系统间影像数据不停机迁移方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112035444A true CN112035444A (zh) | 2020-12-04 |
CN112035444B CN112035444B (zh) | 2023-09-19 |
Family
ID=73591805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010914916.3A Active CN112035444B (zh) | 2020-09-03 | 2020-09-03 | 异构系统间影像数据不停机迁移方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112035444B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113448978A (zh) * | 2021-07-14 | 2021-09-28 | 中国银行股份有限公司 | 同名影像文件替换操作中保证数据一致性的方法及装置 |
CN113961625A (zh) * | 2021-10-27 | 2022-01-21 | 北京科杰科技有限公司 | 一种异构大数据管理平台任务迁移方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090300081A1 (en) * | 2008-05-28 | 2009-12-03 | Atsushi Ueoka | Method, apparatus, program and system for migrating nas system |
CN106970921A (zh) * | 2016-01-14 | 2017-07-21 | 阿里巴巴集团控股有限公司 | 一种数据迁移方法及装置 |
-
2020
- 2020-09-03 CN CN202010914916.3A patent/CN112035444B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090300081A1 (en) * | 2008-05-28 | 2009-12-03 | Atsushi Ueoka | Method, apparatus, program and system for migrating nas system |
CN106970921A (zh) * | 2016-01-14 | 2017-07-21 | 阿里巴巴集团控股有限公司 | 一种数据迁移方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113448978A (zh) * | 2021-07-14 | 2021-09-28 | 中国银行股份有限公司 | 同名影像文件替换操作中保证数据一致性的方法及装置 |
CN113448978B (zh) * | 2021-07-14 | 2024-04-16 | 中国银行股份有限公司 | 同名影像文件替换操作中保证数据一致性的方法及装置 |
CN113961625A (zh) * | 2021-10-27 | 2022-01-21 | 北京科杰科技有限公司 | 一种异构大数据管理平台任务迁移方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112035444B (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112612675B (zh) | 微服务架构下的分布式大数据日志链路跟踪方法及系统 | |
US8938421B2 (en) | Method and a system for synchronizing data | |
US9201738B2 (en) | Method, computer readable storage medium and computer system for obtaining snapshots of data | |
CN112035444B (zh) | 异构系统间影像数据不停机迁移方法及装置 | |
CN104216948B (zh) | 一种数据模型的差异控制方法 | |
CN109376196B (zh) | 一种redo日志批量同步方法及装置 | |
CN111475517B (zh) | 数据更新方法、装置、计算机设备及存储介质 | |
CN110019138B (zh) | 一种基于Zabbix的传输表空间自动迁移方法和系统 | |
CN105677465B (zh) | 应用于银行跑批处理的数据处理方法及装置 | |
CN109840251B (zh) | 一种大数据聚合查询方法 | |
US10733084B2 (en) | Early test breakage detection using presubmit runs | |
CN108431808A (zh) | 对分区的数据存储空间当中的结构化数据记录的提醒处理 | |
CN109445928A (zh) | 一种访问请求处理方法、装置、设备及可读存储介质 | |
CN108431807A (zh) | 分区数据存储空间中结构化数据记录的复制 | |
CN111694750A (zh) | 一种软件测试环境的构建方法及装置 | |
CN114780370A (zh) | 基于日志的数据修正方法、装置、电子设备及存储介质 | |
WO2020244445A1 (zh) | 一种覆盖信息获取方法及装置 | |
CN106155838A (zh) | 一种数据库备份数据恢复方法及装置 | |
CN109150596B (zh) | 一种scada系统实时数据转储方法和装置 | |
CN113792026B (zh) | 数据库脚本的部署方法、装置及计算机可读存储介质 | |
CN114385188A (zh) | 一种代码工作量统计方法、装置和电子设备 | |
CN112256202B (zh) | 一种分布式存储系统和分布式存储系统中卷的删除方法 | |
JP2009181495A (ja) | ジョブ処理システムおよびジョブ管理方法 | |
CN109408571B (zh) | 对象列举方法、设备及计算机存储介质 | |
US10970176B2 (en) | Managing data with restoring from purging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |