CN115827788B - 一种数据迁移方法、装置、电子设备及可读存储介质 - Google Patents
一种数据迁移方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN115827788B CN115827788B CN202310123247.1A CN202310123247A CN115827788B CN 115827788 B CN115827788 B CN 115827788B CN 202310123247 A CN202310123247 A CN 202310123247A CN 115827788 B CN115827788 B CN 115827788B
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization packet
- data synchronization
- cache pool
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000005012 migration Effects 0.000 title claims abstract description 38
- 238000013508 migration Methods 0.000 title claims abstract description 38
- 238000009825 accumulation Methods 0.000 claims abstract description 83
- 230000001360 synchronised effect Effects 0.000 claims abstract description 15
- 230000000875 corresponding effect Effects 0.000 claims description 53
- 230000001186 cumulative effect Effects 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 26
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种数据迁移方法、装置、电子设备及可读存储介质,涉及计算机技术领域,包括:根据目标生成时间生成至少一个数据同步包;将所有的数据同步包发送至数据缓存池;在数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新数据缓存池中的数据同步包,获得更新后数据同步包;将数据缓存池中的包括更新后数据同步包的所有数据同步包发送至目标服务器集群,以实现将本地服务器集群上的数据迁移到目标服务器集群上,且当网络状况差时,同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源。
Description
技术领域
本申请属于计算机技术领域,具体涉及一种数据迁移方法、装置、电子设备及可读存储介质。
背景技术
为了实现本地服务器集群上的数据实时备份,需要将本地服务器集群上的数据迁移到目标服务器集群上,这就需要一种数据迁移方法。
在先技术中,通常采用的方法是将本地服务器集群上的数据按照发送时间的先后顺序发送至目标服务器集群上,如果数据有更新,则将更新的数据发送至目标服务器集群上,以实现将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份。
在实现本申请过程中,发明人发现在先技术中至少存在如下问题:由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费。
发明内容
本申请旨在提供一种数据迁移方法、装置、电子设备及可读存储介质,至少解决在先技术中由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种数据迁移方法,所述方法包括:
根据目标生成时间,生成至少一个数据同步包;所述数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合;
将所有的所述数据同步包发送至数据缓存池;
在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包;
将所述数据缓存池中的包括更新后数据同步包的所有数据同步包发送至所述目标服务器集群。
可选地,所述数据同步包包括至少一个数据;所述数据同步包中的每个数据有各自对应的索引;所述同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包,包括:在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包;所述第一时刻早于所述第二时刻。
可选地,所述在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包,包括:将所述数据缓存池在第一时刻接收的数据同步包中的所有数据和所述数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中;剔除在所述融合集合中,索引相同的所有数据中的在第一时刻进入所述数据缓存池中的数据同步包对应的数据,获得更新后集合;根据所述更新后集合,获取所述更新后数据同步包;所述更新后数据同步包含有所述更新后集合中的所有数据。
可选地,在所述根据目标生成时间,生成至少一个数据同步包之前,所述方法还包括:获取所述累积速度;根据所述累积速度和预设生成时间,获取所述目标生成时间。
可选地,所述获取所述累积速度,包括:根据所述数据缓存池在预设时间内增加的净增数据量和所述预设时间,获取所述累积速度。
可选地,所述累积速度与所述净增数据量的关系为正相关;所述累积速度与所述预设时间的关系为负相关。
可选地,所述目标生成时间与所述累积速度的关系为正相关;所述目标生成时间与预设生成时间的关系为正相关。
可选地,所述在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包之前,所述方法还包括:根据所述数据缓存池的剩余数据容量和所述目标生成时间,获取所述累积速度阈值。
可选地,在所述将所有的所述数据同步包发送至数据缓存池之后,所述方法还包括:在所述累积速度小于或等于所述累积速度阈值的情况下,确定网络状况良好,并将所述数据缓存池中的数据同步包发送至所述目标服务器集群。
可选地,所述数据同步包的数据量与所述目标生成时间的关系为正相关。
第二方面,本申请实施例还提供了一种数据迁移装置,所述装置包括:
生成模块,用于生成至少一个数据同步包;所述数据同步包为根据目标生成时间生成的本地服务器集群的需要传输的待传输数据;
第一发送模块,用于将所有的所述数据同步包发送至数据缓存池;
同步更新模块,用于在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包;
第二发送模块,用于将所述数据缓存池中的更新后数据同步包和未进行同步更新的操作的数据同步包发送至目标服务器集群。
可选地,所述数据同步包包括至少一个数据;所述数据同步包中的每个数据有各自对应的索引;所述同步更新模块,具体用于在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包;所述第一时刻早于所述第二时刻。
可选地,所述同步更新模块,具体包括:预处理模块,用于将所述数据缓存池在第一时刻接收的数据同步包中的所有数据和所述数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中;剔除模块,用于剔除在所述融合集合中,索引相同的所有数据中的在第一时刻进入所述数据缓存池中的数据同步包对应的数据,获得更新后集合;获取模块,用于根据所述更新后集合,获取所述更新后数据同步包;所述更新后数据同步包含有所述更新后集合中的所有数据。
第三方面,本申请实施例还提供了一种电子设备,该电子设备包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例还提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中,通过根据目标生成时间,生成至少一个数据同步包;数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合;将所有的数据同步包发送至数据缓存池;在数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新数据缓存池中的数据同步包,获得更新后数据同步包;将数据缓存池中的包括更新后数据同步包的所有数据同步包发送至目标服务器集群,以实现将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源,解决了在先技术中由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费的问题。
附图说明
图1是本申请实施例提供的一种数据迁移方法的步骤流程图;
图2是本申请实施例提供的一种数据迁移方法的具体步骤流程图;
图3是本申请实施例提供的一种数据迁移方法对应的数据迁移系统的结构示意图;
图4是本申请实施例提供的一种数据迁移方法对应的数据迁移系统对数据同步包的调整过程的示意图;
图5是本申请实施例提供的一种数据迁移装置的框图;
图6是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的数据迁移方法进行详细地说明。
图1是本申请实施例提供的一种数据迁移方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、根据目标生成时间,生成至少一个数据同步包。
其中,所述数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合。
在该步骤中,通过根据目标生成时间,生成至少一个数据同步包,对本地服务器集群的需要向目标服务器集群传输的数据的集合进行传输前的预处理,作为进一步的处理的依据。
具体地,在一些实施例中,目标生成时间为数据同步包生成所需的时间,即经过目标生成时间的时间间隔,生成数据同步包;数据同步包具体为本地服务器集群上对应的服务器上存储的需要向目标服务器集群传输的数据的集合;本地服务器集群的各个服务器之间是时钟同步的。
步骤102、将所有的所述数据同步包发送至数据缓存池。
在该步骤中,数据缓存池作为将数据同步包向目标服务器集群传输前的进行数据的主要处理的部分,通过将所有的数据同步包发送至数据缓存池,以利于对数据同步包的进一步处理。
具体地,在一些实施例中,数据缓存池设置在本地服务器集群,数据缓存池接收来自根据本地服务器集群的需要向目标服务器集群传输的数据的集合生成的数据同步包,同时将在数据缓存池中已存在的数据同步包发送至目标服务器集群,因此,数据缓存池中的数据量和数据同步包的数量都是动态变化的。
步骤103、在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包。
在该步骤中,在数据缓存池中的数据的累积速度大于累积速度阈值的情况下,此时数据缓存池中的数据同步包向目标服务器集群的传输速度缓慢,从而确定当前的网络状况差,为了充分利用本地服务器的计算和存储资源,此时进行同步更新数据缓存池中的数据同步包,获得更新后数据同步包,以避免较早发送的含有旧数据的数据同步包和较晚发送的用来替换旧数据的含有新数据的数据同步包都拥塞在本地服务器集群上,节省了本地服务器的计算和存储资源。
具体地,在一些实施例中,累积速度为数据缓存池中的数据在单位时间内的净增量,当净增量为正的时候,累积速度是正值,当净增量为负的时候,累积速度是负值。数据的净增量取决于进入数据缓存池的数据与送出数据缓存池的数据的差值以及数据缓存池中已有的数据经过处理之后产生的变化量,例如经过同步更新所述数据缓存池中的数据同步包之后,数据缓存池中已有的数据减少;更新后数据同步包与发送进入数据缓存池中的数据同步包都称为在数据缓存池中的数据同步包,即更新后数据同步包与发送进入数据缓存池中的数据同步包都为本地服务器集群的需要向目标服务器集群传输的数据的集合。
步骤104、将所述数据缓存池中的包括更新后数据同步包的所有数据同步包发送至所述目标服务器集群。
在该步骤中,在网络状况差的情况下,先将数据缓存池中的数据同步包进行同步更新,之后再将数据缓存池中的包括更新后数据同步包的所有数据同步包发送至目标服务器集群,以实现将本地服务器集群上的数据迁移到目标服务器集群上,同时也减少了目标服务器集群进行数据同步包的同步更新的操作。
具体地,在一些实施例中,目标服务器集群可以为云端的服务器集群,也可以为远端的服务器集群;目标服务器集群作为对本地服务器集群的数据进行实时备份的服务器集群。
针对步骤101至步骤104,具体地,在一些实施例中,每经过目标生成时间的时间间隔,生成至少一个数据同步包,这些数据同步包为本地服务器集群中同一个时间区间中生成的待传输的数据,然后将这些数据同步包发送至数据缓存池,在数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新数据缓存池中的数据同步包,获得更新后数据同步包,将数据缓存池中的包括更新后数据同步包的所有数据同步包发送至目标服务器集群。例如,本地服务器集群包括服务器A、服务器B、服务器C,在早上九点开始传输数据,早上九点的目标生成时间为1小时,在早上10点,服务器A上需要传输的数据生成了数据同步包a1,服务器B上需要传输的数据生成了数据同步包b1,服务器C上需要传输的数据生成了数据同步包c1,然后将数据同步包a1、数据同步包b1和数据同步包c1传输至数据缓存池中,早上十点的目标生成时间为0.5小时,在早上10点30分,服务器A上需要传输的数据生成了数据同步包a2,服务器B上需要传输的数据生成了数据同步包b2,服务器C上无需要传输的数据,然后将数据同步包a2、数据同步包b2传输至数据缓存池中,早上10点30分的生成时间为1.5小时,在中午12点,服务器A上需要传输的数据生成了数据同步包a3,服务器B上需要传输的数据生成了数据同步包b3,服务器C上需要传输的数据生成了数据同步包c3,然后将数据同步包a3、数据同步包b3、数据同步包c3传输至数据缓存池中,此时数据缓存池中的数据的累积速度大于累积速度阈值,确定当前网络状况差,假设数据缓存池中数据同步包a1、数据同步包a2、数据同步包a3均含有相同名称的数据,则将数据同步包a1、数据同步包a2、数据同步包a3进行同步更新,获得更新后数据同步包r,最后将数据同步包r、数据同步包b1、数据同步包b2和数据同步包c1、数据同步包c3发送至目标服务器集群。
通过本申请实施例可以实现,根据目标生成时间,生成至少一个数据同步包;数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合;将所有的数据同步包发送至数据缓存池;在数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新数据缓存池中的数据同步包,获得更新后数据同步包;将数据缓存池中的包括更新后数据同步包的所有数据同步包发送至目标服务器集群,以实现将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源,解决了在先技术中由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费的问题。
图2是本申请实施例提供的一种数据迁移方法的具体步骤流程图,如图2示,该方法可以包括:
步骤201、根据目标生成时间,生成至少一个数据同步包。
其中,所述数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合。
本步骤的实现方式与上述“步骤101”实现过程类似,此处不再赘述。
可选地,在一些实施例中,在“步骤201”之前,所述方法还包括:
步骤200、获取所述目标生成时间。
在该步骤中,通过获取目标生成时间,可以据此获取数据同步包。
需要说明的是,目标生成时间作为调整数据同步包的数据量大小的依据,可以实现,在不同时刻,根据不同的目标生成时间,生成不同数据量大小的数据同步包,可以为根据网络状况调整数据缓存池中的数据量的大小做准备。
具体地,在一些实施例中,步骤200包括如下步骤(步骤2001至步骤2002):
步骤2001、获取所述累积速度。
在该步骤中,通过获取累积速度,即获取此时数据缓存池中的数据的累积速度,可以作为进一步获取目标生成时间的依据。
需要说明的是,累积速度反映了数据缓存池中的数据量的增加速度,进而可以根据累积速度来调整目标生成时间,根据目标生成时间来调整数据同步包的数据量的大小,并根据累积速度与累积速度阈值的关系,判断网络状况,由于在网络状况差的情况下,与在网络状况良好的情况相比,从数据缓存池中送出数据的速度减小,单位时间内数据缓存池中减少的数据量降低,则反过来说,此时数据缓存池中累积的数据量增加,累积速度增大,据此可知,如果设置累积速度阈值,在累积速度增加到大于累积速度阈值的时候,判断此时的网络状况差,在判断网络状况差以后,可以对数据同步包进行进一步的处理,即在网络状况差的情况下,对数据同步包进行融合,最后将包括更新后数据同步包的所有数据同步包发送至目标服务器集群。在此过程中,可以达到良好地适应网络状况而节约本地服务器集群的计算和存储的资源的目的。
可选地,在一些实施例中,步骤2001包括如下步骤(步骤2001a):
步骤2001a、根据所述数据缓存池在预设时间内增加的净增数据量和所述预设时间,获取所述累积速度。
在该步骤中,先获取到在预设时间内数据缓存池增加的净增数据量,然后根据数据缓存池在预设时间内增加的净增数据量和预设时间,获取累积速度,作为调整目标生成时间的依据。
具体地,在一些实施例中,预设时间为预先设置的时间,例如5分钟、10分钟、20分钟、30分钟、40分钟、50分钟、60分钟等;在预设时间内数据缓存池增加的净增数据量为在预设时间内,数据缓存池接收的数据量减去送出的数据量的差值,再加上数据缓存池中现存的数据量的变化量。
例如,在预设时间内,数据缓存池接收的数据量为X(为正值),数据缓存池送出的数据量为Y(为正值),经过对数据缓存池的数据同步包进行同步更新后,数据缓存池中现存的数据量的变化量为Z(为负值),则在预设时间内数据缓存池增加的净增数据量为X-Y+Z。
可选地,在一些实施例中,按照如下数学表达式计算获得数据缓存池中的数据的累积速度:
步骤2002、根据所述累积速度和预设生成时间,获取所述目标生成时间。
在该步骤中,根据累积速度和预设生成时间,来共同调整目标生成时间,从而可以进一步调整生成的数据同步包的数据量大小。
具体地,在一些实施例中,预设生成时间为预先设置的数据同步包的生成时间,可以为0.5小时、1小时、2小时、3小时、4小时、5小时等。
可选地,在一些实施例中,按照如下数学表达式计算获得目标生成时间:
需要说明的是,根据当前时刻的网络状况调整当前时刻的累积速度,通过当前时刻的累积速度调整目标生成时间,通过目标生成时间调整数据同步包的生成速度,从而调整数据同步包进入数据缓存池的速度,进而反过来调整下一时刻的数据缓存池中数据的累积速度,实现对数据缓存池的数据量大小的动态调整,即可以避免数据缓存池的数据量达到数据容量阈值,又可以节约本地服务器集群的计算和存储的资源。
例如,当前时刻的网络状况差,则当前时刻的累积速度增大,当前时刻的数据缓存池的数据量向数据容量阈值不断接近,当前时刻的目标生成时间增大,下一时刻的数据同步包的生成速度减小,下一时刻的数据同步包进入数据缓存池的速度减小,下一时刻的数据缓存池中数据的累积速度减小,下一时刻的数据缓存池的数据量向数据容量阈值不断远离或保持不变;当前时刻的网络状况良好,则当前时刻的累积速度减小,当前时刻的数据缓存池的数据量向数据容量阈值不断远离,当前时刻的目标生成时间减小,下一时刻的数据同步包的生成速度增大,下一时刻的数据同步包进入数据缓存池的速度增大,下一时刻的数据缓存池中数据的累积速度增大,下一时刻的数据缓存池的数据量向数据容量阈值不断接近或保持不变。
通过执行步骤2001至步骤2002可以实现,获取目标生成时间,可以据此生成数据同步包,作为进一步对数据缓存池中的数据量调整的基础。
可选地,在一些实施例中,所述累积速度与所述净增数据量的关系为正相关;所述累积速度与所述预设时间的关系为负相关。
由于累积速度与数据缓存池在预设时间内的净增数据量的关系为正相关,累积速度与预设时间的关系为负相关,则可以通过调整累积速度,来使得数据缓存池中的数据量适应网络状况,以实现节约本地服务器集群的计算和存储的资源,具体分析过程见前述,此处不再赘述。
可选地,在一些实施例中,所述目标生成时间与所述累积速度的关系为正相关;所述目标生成时间与预设生成时间的关系为正相关。
由于目标生成时间与累积速度的关系为正相关;目标生成时间与预设生成时间的关系为正相关,则可以通过目标生成时间,来使得数据缓存池中的数据量适应网络状况,以实现节约本地服务器集群的计算和存储的资源,具体分析过程见前述,此处不再赘述。
步骤202、将所有的所述数据同步包发送至数据缓存池。
本步骤的实现方式与上述“步骤102”实现过程类似,此处不再赘述。
步骤203、在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包。
本步骤的实现方式与上述“步骤103”实现过程类似,此处不再赘述。
需要说明的是,累积速度的获取过程与前述类似,此处不再赘述。
可选地,在一些实施例中,在步骤203之前,所述方法还包括:
步骤205、根据所述数据缓存池的剩余数据容量和所述目标生成时间,获取所述累积速度阈值。
具体地,在一些实施例中,数据缓存池的剩余数据容量为数据缓存池的数据容量减去数据缓存池的现有的数据量的差值。
可选地,在一些实施例中,当前时刻的数据缓存池的预估充满时间为按照当前时刻的累积速度,从当前时刻到数据缓存池的剩余数据容量为0的时刻所需要的时间,按照如下数学表达式计算获得当前时刻的数据缓存池的预估充满时间:
可选地,在一些实施例中,当前时刻的累积速度大于累积速度阈值,即当前时刻的数据缓存池的预估充满时间小于当前时刻的目标生成时间,说明此时的网络状况差,如果不采取任何措施,则当前时刻的数据同步包还没有生成时,数据缓存池的数据容量就已经占满,在当前时刻的数据同步包生成并发送至数据缓存池之后,数据缓存池的数据将会超过数据缓存池的数据容量;当前时刻的累积速度小于累积速度阈值,即当前时刻的数据缓存池的预估充满时间大于当前时刻的目标生成时间,说明此时的网络状况良好,如果不采取任何措施,当前时刻的数据同步包生成时,数据缓存池的数据容量还没有占满,在当前时刻的数据同步包发送至数据缓存池之后,数据缓存池的数据将不会超过数据缓存池的数据容量;累积速度达到累积速度阈值,即当前时刻的数据缓存池的预估充满时间等于当前时刻的目标生成时间,按照如下数学表达式计算获得累积速度阈值:
通过本步骤可以实现,获取累积速度阈值,从而可以根据累积速度与累积速度阈值的比较,来判断下一时刻数据缓存池的数据会不会超过数据容量,进而据此判断网络状况,具体分析见前述,此处不再赘述。
可选地,在一些实施例中,所述数据同步包包括至少一个数据;所述数据同步包中的每个数据有各自对应的索引;所述同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包,包括:
步骤2031、在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包。
其中,所述第一时刻早于所述第二时刻。
具体地,在一些实施例中,数据同步包包括至少一个本地服务器集群的需要向目标服务器集群传输的数据,每个数据具有对应的索引。
需要说明的是,如果在数据缓存池中存在两个以上的数据同步包相似,即这些数据同步包中的每个数据同步包中的至少一个数据对应的索引与其他的至少一个数据同步包的数据对应的索引相同,需要将这些数据同步包进行融合,获得更新后数据同步包,即将这些数据同步包融合后形成了一个更新后数据同步包。
通过本申请实施例可以实现,在网络状况差的情况下,对数据缓存池中的数据同步包进行同步更新,即如果数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同,则将数据缓存池在第一时刻接收的数据同步包与数据缓存池在第二时刻接收的数据同步包进行融合,获得更新后数据同步包,可以避免在后续步骤中,将数据缓存池在第一时刻接收的数据同步包与数据缓存池在第二时刻接收的数据同步包发送至目标服务器集群,而与之替代的是,将更新后数据同步包发送至目标服务器集群,同时可以避免较早发送的含有旧数据的数据同步包和较晚发送的用来替换旧数据的含有新数据的数据同步包都拥塞在本地服务器集群上,节省了本地服务器的计算和存储资源。
可选地,在一些实施例中,“步骤2031”具体包括如下步骤(步骤2031a至步骤2031c):
步骤2031a、将所述数据缓存池在第一时刻接收的数据同步包中的所有数据和所述数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中。
在该步骤中,通过将数据缓存池在第一时刻接收的数据同步包中的所有数据和数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中,利于下一步对数据进行处理,进而获得更新后数据同步包。
步骤2031b、剔除在所述融合集合中,索引相同的所有数据中的在第一时刻进入所述数据缓存池中的数据同步包对应的数据,获得更新后集合;
在该步骤中,通过剔除在融合集合中,索引相同的所有数据中的在第一时刻进入数据缓存池中的数据同步包对应的数据,可以剔除索引相同的所有数据中含有旧数据的数据,保留索引相同的所有数据中含有用来替换旧数据的新数据的数据,从而使得后续步骤获得的更新后数据同步包含有的数据都含有最新数据,并且由于同步更新后数据总数减少,数据量也随之减少,则数据缓存池中的数据量减少,节约了本地服务器集群的计算和存储的资源。
步骤2031c、根据所述更新后集合,获取所述更新后数据同步包。
其中,所述更新后数据同步包含有所述更新后集合中的所有数据。
在该步骤中,根据更新后集合,可以获取更新后数据同步包,更新后数据同步包的所有数据内的数据都是最新的数据,同时实现了将数据缓存池在第一时刻接收的数据同步包和数据缓存池在第二时刻接收的数据同步包融合称为一个更新后数据同步包,相对于数据缓存池在第一时刻接收的数据同步包和数据缓存池在第二时刻接收的数据同步包的数据总数,更新后数据同步包的数据总数减少,进而数据量随之减少,节约了本地服务器集群的计算和存储的资源。
针对步骤2031a至步骤2031c,具体地,在一些实施例中,数据缓存池中存在多组相似的数据同步包,即在每一组都存在多个数据同步包相似,即这些数据同步包中的每个数据同步包中的至少一个数据对应的索引与其他的至少一个数据同步包的数据对应的索引相同,需要将这些数据同步包进行融合,获得更新后数据同步包,即将这些数据同步包融合后形成了一个更新后数据同步包,即每一组的数据同步包最终融合成一个更新后数据同步包,每组数据同步包的融合过程与步骤2031a至步骤2031c类似。
例如,本地服务器集群包括服务器A、服务器B、服务器C,在早上九点开始传输数据,早上九点的目标生成时间为1小时,在早上10点,服务器A上需要传输的数据生成了数据同步包a1,数据同步包a1包括数据1、数据2,服务器B上需要传输的数据生成了数据同步包b1,数据同步包b1包括数据3,服务器C上需要传输的数据生成了数据同步包c1,数据同步包c1包括数据4、数据5、数据6,然后将数据同步包a1、数据同步包b1和数据同步包c1传输至数据缓存池中,早上十点的目标生成时间为0.5小时,在早上10点30分,服务器A上需要传输的数据生成了数据同步包a2,数据同步包a2包括数据1、数据2、数据6,服务器B上需要传输的数据生成了数据同步包b2,数据同步包b2包括数据7,服务器C上无需要传输的数据,然后将数据同步包a2、数据同步包b2传输至数据缓存池中,早上10点30分的生成时间为1.5小时,在中午12点,服务器A上需要传输的数据生成了数据同步包a3,数据同步包a3包括数据2、数据6、数据8,服务器B上需要传输的数据生成了数据同步包b3,数据同步包b3包括数据3,服务器C上需要传输的数据生成了数据同步包c3,数据同步包c3包括数据4、数据5、数据6,然后将数据同步包a3、数据同步包b3、数据同步包c3传输至数据缓存池中,此时数据缓存池中的数据的累积速度大于累积速度阈值,确定当前网络状况差,假设此时数据缓存池中的数据同步包b1已经发送至目标服务器集群,则将剩下的数据同步包进行融合,融合的步骤如下:
将数据同步包a1的数据1和数据2,数据同步包a2的数据1、数据2和数据6,数据同步包a3的数据2、数据6和数据8输入至融合集合1中;将数据同步包c1的数据4、数据5和数据6,数据同步包c3的数据4、数据5和数据6输入至融合集合2中;
先剔除融合集合1中的数据同步包a1的数据1和数据2,然后剔除融合集合1中的数据同步包a2的数据2和数据6,获得更新后集合1,更新后集合1中含有数据同步包a2的数据1,数据同步包a3的数据2、数据6和数据8;剔除融合集合2中的数据同步包c1的数据4、数据5和数据6,获得更新后集合2,更新后集合2中含有数据同步包c3的数据4、数据5和数据6;
根据更新后集合1,获取更新后数据同步包1,更新后数据同步包1中含有数据同步包a2的数据1,数据同步包a3的数据2、数据6和数据8;根据更新后集合2,获取更新后数据同步包2,更新后数据同步包2中含有数据同步包c3的数据4、数据5和数据6。
此时,数据缓存池含有的数据同步包包括更新后数据同步包1、更新后数据同步包2、数据同步包b2、数据同步包b3,显然,与同步更新前的数据缓存池相比,含有的数据数量减少,进而含有数据量减少,节约了本地服务器集群的计算和存储的资源。
在后续的步骤中,将数据缓存池中的更新后数据同步包1、更新后数据同步包2、数据同步包b2、数据同步包b3发送至目标服务器集群。
上述例子中,为方便描述,数据的名称代表着数据对应的索引,数据的名称相同即数据对应的索引相同,如数据同步包a1中的“数据1”对应的索引与数据同步包a2中的“数据1”对应的索引相同。
需要说明的是,在索引相同的所有数据中,在较晚时刻生成的数据同步包对应的数据中的数据内容比在较早时刻生成的数据同步包对应的数据中的数据内容新,为了实现本地服务器集群的数据的实时备份,在索引相同的所有数据中,需要将在较早时刻生成的数据同步包对应的数据更新为在较晚时刻生成的数据同步包对应的数据。
通过执行步骤2031a至步骤2031c可以实现,在网络状况差的情况下,对数据缓存池中的数据同步包进行同步更新,即如果数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同,则将数据缓存池在第一时刻接收的数据同步包与数据缓存池在第二时刻接收的数据同步包进行融合,获得更新后数据同步包,可以避免较早发送的含有旧数据的数据同步包和较晚发送的用来替换旧数据的含有新数据的数据同步包都拥塞在本地服务器集群上,节省了本地服务器的计算和存储资源。
需要说明的是,数据同步包中的每个数据对应的索引是识别该数据的依据,通过索引可以方便地更新与索引对应的数据,不同的数据的类型对应的索引的类型不同,例如,来自存储系统中的数据对应的索引为数据的逻辑地址;来自数据库中的数据(即主键的数据)对应的索引为主键。
步骤204、将所述数据缓存池中的包括更新后数据同步包的所有数据同步包发送至所述目标服务器集群。
本步骤的实现方式与上述“步骤104”实现过程类似,此处不再赘述。
可选地,在一些实施例中,在步骤202之后,所述方法还包括:
步骤206、在所述累积速度小于或等于所述累积速度阈值的情况下,确定网络状况良好,并将所述数据缓存池中的数据同步包发送至所述目标服务器集群。
本步骤中,在累积速度小于或等于累积速度阈值的情况下,可以确定网络状况良好,此时将数据缓存池中的数据同步包发送至目标服务器集群,以实现将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,具体分析见前述,此处不再赘述。
可选地,在一些实施例中,所述数据同步包的数据量与所述目标生成时间的关系为正相关。
通过本申请实施例可以实现,数据同步包的数据量与目标生成时间的关系为正相关,从而可以通过调整目标生成时间,调整数据同步包的数据量的大小,进而实现节约本地服务器集群的计算和存储的资源,具体分析见前述,此处不再赘述。
可选地,在一些实施例中,参照图3,本申请实施例的数据迁移方法对应的数据迁移系统结构包括存储服务器模块和数据同步包处理服务器模块,存储服务器模块包括多个服务器(例如服务器1、服务器2、服务器n等),负责数据的存储以及各个服务器数据同步包的创建,相较于异地服务器之间的网络环境,本地服务器集群中服务器之间的网络环境稳定,各个服务器的数据同步包可以很顺利上传到数据同步包处理服务器模块上,且由于各个服务器之间已经时钟同步,采用定期生成数据同步包的策略,这样整个本地服务器集群上的各个服务器生成的数据同步包的时间是统一的,保证整个本地服务器集群数据的时间一致性;数据同步包处理服务器模块包括数据缓存池监测模块、数据同步包融合模块和数据同步包调整模块。数据缓存池监测模块负责收集数据缓存池的累积速度等信息,并将收集的信息发送给数据同步包融合模块和数据同步包调整模块,无需监控本地服务器集群与远端的目标服务器集群的异地之间的网络信息以及各服务器的性能状况信息等众多复杂指标;数据同步包融合模块负责根据数据缓存池监测模块发送的累积速度等信息来融合来自同一服务器的数据同步包数据,减小数据缓存池的累积速度;数据同步包调整模块负责数据缓存池监测模块发送的累积速度等信息计算数据同步包的目标生成时间,并将目标生成时间发送至存储服务器模块,当网络状况变差时,累积速度大于0,增大目标生成时间,反之,减小目标生成时间,从而动态调节数据同步包的生成,调节数据同步包的数据量的大小,以实现将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源。
可选地,在一些实施例中,参照图4,本申请实施例的数据迁移方法对应的数据迁移系统对数据同步包的调整过程为:在将本地服务器集群的数据发送至目标服务器集群的过程中,当网络环境状况变差时,通过数据同步包融合模块将数据缓存池中的数据同步包进行融合,当网络环境状况恢复良好时,通过数据同步包调整模块对生成的数据同步包的数据量的大小进行调整,使得数据同步包的数据量变小,生成时间加快,向数据缓存池发送数据同步包的速度加快,保证了数据缓存池中有足够的数据同步包发送至目标服务器,充分利用良好的网络环境,与前述分析同理,这样可以实现将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源。
综上所述,在本申请实施例中,通过根据目标生成时间,生成至少一个数据同步包;数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合;将所有的数据同步包发送至数据缓存池;在数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新数据缓存池中的数据同步包,获得更新后数据同步包;将数据缓存池中的包括更新后数据同步包的所有数据同步包发送至目标服务器集群,以实现将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源,解决了在先技术中由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费的问题。
图5是本申请实施例提供的一种数据迁移装置的框图,如图5所示,该装置300包括:
生成模块301,用于生成至少一个数据同步包;所述数据同步包为根据目标生成时间生成的本地服务器集群的需要传输的待传输数据;
第一发送模块302,用于将所有的所述数据同步包发送至数据缓存池;
同步更新模块303,用于在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包;
第二发送模块304,用于将所述数据缓存池中的更新后数据同步包和未进行同步更新的操作的数据同步包发送至目标服务器集群。
可选地,所述数据同步包包括至少一个数据;所述数据同步包中的每个数据有各自对应的索引;同步更新模块303,具体用于在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包;所述第一时刻早于所述第二时刻。
可选地,同步更新模块303,具体包括:
预处理模块,用于将所述数据缓存池在第一时刻接收的数据同步包中的所有数据和所述数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中;
剔除模块,用于剔除在所述融合集合中,索引相同的所有数据中的在第一时刻进入所述数据缓存池中的数据同步包对应的数据,获得更新后集合;
获取模块,用于根据所述更新后集合,获取所述更新后数据同步包;所述更新后数据同步包含有所述更新后集合中的所有数据。
可选地,该装置300还包括:
第一获取模块,用于获取所述累积速度。
第二获取模块,用于根据所述累积速度和预设生成时间,获取所述目标生成时间。
可选地,第一获取模块,具体用于根据所述数据缓存池在预设时间内增加的净增数据量和所述预设时间,获取所述累积速度
可选地,所述累积速度与所述净增数据量的关系为正相关;所述累积速度与所述预设时间的关系为负相关。
可选地,所述目标生成时间与所述累积速度的关系为正相关;所述目标生成时间与预设生成时间的关系为正相关。
可选地,该装置300还包括:
第三获取模块,用于在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包之前,根据所述数据缓存池的剩余数据容量和所述目标生成时间,获取所述累积速度阈值。
可选地,该装置300还包括:
在所述将所有的所述数据同步包发送至数据缓存池之后,在所述累积速度小于或等于所述累积速度阈值的情况下,确定网络状况良好,并将所述数据缓存池中的数据同步包发送至所述目标服务器集群。
可选地,所述数据同步包的数据量与所述目标生成时间的关系为正相关。
本申请实施例中的数据迁移装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的数据迁移装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的数据迁移装置能够实现图1的方法实施例中数据迁移装置实现的各个过程,为避免重复,这里不再赘述。
通过本申请实施例可以实现,将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源,解决了在先技术中由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费的问题。
可选地,本申请实施例还提供一种电子设备,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的程序或指令,该程序或指令被处理器执行时实现上述数据迁移方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备400包括但不限于:射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。
本领域技术人员可以理解,电子设备400还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器410,用于根据目标生成时间,生成至少一个数据同步包;所述数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合;
将所有的所述数据同步包发送至数据缓存池;
在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包;
将所述数据缓存池中的包括更新后数据同步包的所有数据同步包发送至所述目标服务器集群。
通过本申请实施例可以实现,将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源,解决了在先技术中由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费的问题。
可选地,所述数据同步包包括至少一个数据;所述数据同步包中的每个数据有各自对应的索引;处理器410,还用于在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包;所述第一时刻早于所述第二时刻。
可选地,处理器410,还用于将所述数据缓存池在第一时刻接收的数据同步包中的所有数据和所述数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中;剔除在所述融合集合中,索引相同的所有数据中的在第一时刻进入所述数据缓存池中的数据同步包对应的数据,获得更新后集合;根据所述更新后集合,获取所述更新后数据同步包;所述更新后数据同步包含有所述更新后集合中的所有数据。
可选地,处理器410,还用于在所述根据目标生成时间,生成至少一个数据同步包之前,所述方法还包括:获取所述累积速度;根据所述累积速度和预设生成时间,获取所述目标生成时间。
可选地,处理器410,还用于根据所述数据缓存池在预设时间内增加的净增数据量和所述预设时间,获取所述累积速度。
可选地,所述累积速度与所述净增数据量的关系为正相关;所述累积速度与所述预设时间的关系为负相关。
可选地,所述目标生成时间与所述累积速度的关系为正相关;所述目标生成时间与预设生成时间的关系为正相关。
可选地,处理器410,还用于所述在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包之前,根据所述数据缓存池的剩余数据容量和所述目标生成时间,获取所述累积速度阈值。
可选地,处理器410,还用于在所述将所有的所述数据同步包发送至数据缓存池之后,在所述累积速度小于或等于所述累积速度阈值的情况下,确定网络状况良好,并将所述数据缓存池中的数据同步包发送至所述目标服务器集群。
可选地,所述数据同步包的数据量与所述目标生成时间的关系为正相关。
通过本申请实施例可以实现,将本地服务器集群上的数据迁移到目标服务器集群上,进而实现本地服务器集群上的数据实时备份,且在此过程中,在网络状况差的情况下,在数据缓存池中同步更新数据同步包,以避免较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,节约了本地服务器集群的计算和存储的资源,解决了在先技术中由于当网络状况差的时候,较早发送的旧数据和较晚发送的用来替换旧数据的新数据都拥塞在本地服务器集群上,造成本地服务器集群的计算和存储资源的浪费的问题。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述数据迁移方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述数据迁移方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (14)
1.一种数据迁移方法,其特征在于,所述方法包括:
根据目标生成时间,生成至少一个数据同步包;所述数据同步包为本地服务器集群的需要向目标服务器集群传输的数据的集合;
将所有的所述数据同步包发送至数据缓存池;所述数据缓存池设置在所述本地服务器集群;
在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包;
将所述数据缓存池中的包括更新后数据同步包的所有数据同步包发送至所述目标服务器集群;
在所述累积速度小于或等于所述累积速度阈值的情况下,确定网络状况良好,并将所述数据缓存池中的数据同步包发送至所述目标服务器集群。
2.根据权利要求1所述的方法,其特征在于,所述数据同步包包括至少一个数据;所述数据同步包中的每个数据有各自对应的索引;
所述同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包,包括:
在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包;所述第一时刻早于所述第二时刻。
3.根据权利要求2所述的方法,其特征在于,所述在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包,包括:
将所述数据缓存池在第一时刻接收的数据同步包中的所有数据和所述数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中;
剔除在所述融合集合中,索引相同的所有数据中的在第一时刻进入所述数据缓存池中的数据同步包对应的数据,获得更新后集合;
根据所述更新后集合,获取所述更新后数据同步包;所述更新后数据同步包含有所述更新后集合中的所有数据。
4.根据权利要求1所述的方法,其特征在于,在所述根据目标生成时间,生成至少一个数据同步包之前,所述方法还包括:
获取所述累积速度;
根据所述累积速度和预设生成时间,获取所述目标生成时间。
5.根据权利要求4所述的方法,其特征在于,所述获取所述累积速度,包括:
根据所述数据缓存池在预设时间内增加的净增数据量和所述预设时间,获取所述累积速度。
6.根据权利要求5所述的方法,其特征在于,所述累积速度与所述净增数据量的关系为正相关;所述累积速度与所述预设时间的关系为负相关。
7.根据权利要求4所述的方法,其特征在于,所述目标生成时间与所述累积速度的关系为正相关;所述目标生成时间与预设生成时间的关系为正相关。
8.根据权利要求1所述的方法,其特征在于,所述在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包之前,所述方法还包括:
根据所述数据缓存池的剩余数据容量和所述目标生成时间,获取所述累积速度阈值。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述数据同步包的数据量与所述目标生成时间的关系为正相关。
10.一种数据迁移装置,其特征在于,所述装置包括:
生成模块,用于生成至少一个数据同步包;所述数据同步包为根据目标生成时间生成的本地服务器集群的需要传输的待传输数据;
第一发送模块,用于将所有的所述数据同步包发送至数据缓存池;所述数据缓存池设置在所述本地服务器集群;
同步更新模块,用于在所述数据缓存池中的数据的累积速度大于累积速度阈值的情况下,确定当前网络状况差,并同步更新所述数据缓存池中的数据同步包,获得更新后数据同步包;
第二发送模块,用于将所述数据缓存池中的更新后数据同步包和未进行同步更新的操作的数据同步包发送至目标服务器集群;
第三发送模块,用于在所述累积速度小于或等于所述累积速度阈值的情况下,确定网络状况良好,并将所述数据缓存池中的数据同步包发送至所述目标服务器集群。
11.根据权利要求10所述的装置,其特征在于,所述数据同步包包括至少一个数据;所述数据同步包中的每个数据有各自对应的索引;
所述同步更新模块,具体用于在所述数据缓存池在第一时刻接收的数据同步包中的至少一个数据对应的索引,与所述数据缓存池在第二时刻接收的数据同步包中的数据对应的索引相同的情况下,将所述数据缓存池在第一时刻接收的数据同步包与所述数据缓存池在第二时刻接收的数据同步包进行融合,获得所述更新后数据同步包;所述第一时刻早于所述第二时刻。
12.根据权利要求11所述的装置,其特征在于,所述同步更新模块,具体包括:
预处理模块,用于将所述数据缓存池在第一时刻接收的数据同步包中的所有数据和所述数据缓存池在第二时刻接收的数据同步包中的所有数据输入至融合集合中;
剔除模块,用于剔除在所述融合集合中,索引相同的所有数据中的在第一时刻进入所述数据缓存池中的数据同步包对应的数据,获得更新后集合;
获取模块,用于根据所述更新后集合,获取所述更新后数据同步包;所述更新后数据同步包含有所述更新后集合中的所有数据。
13.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至9中任一项所述的数据迁移方法的步骤。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至9中任一项所述的数据迁移方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310123247.1A CN115827788B (zh) | 2023-02-16 | 2023-02-16 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
PCT/CN2023/139972 WO2024169383A1 (zh) | 2023-02-16 | 2023-12-19 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310123247.1A CN115827788B (zh) | 2023-02-16 | 2023-02-16 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115827788A CN115827788A (zh) | 2023-03-21 |
CN115827788B true CN115827788B (zh) | 2023-06-23 |
Family
ID=85521626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310123247.1A Active CN115827788B (zh) | 2023-02-16 | 2023-02-16 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115827788B (zh) |
WO (1) | WO2024169383A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115827788B (zh) * | 2023-02-16 | 2023-06-23 | 天翼云科技有限公司 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
CN117349301B (zh) * | 2023-10-10 | 2024-08-13 | 天翼数字生活科技有限公司 | 移动终端应用程序数据更新方法、系统及存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521038B (zh) * | 2011-12-06 | 2014-04-09 | 北京航空航天大学 | 基于分布式文件系统的虚拟机迁移方法和装置 |
CN102917072B (zh) * | 2012-10-31 | 2016-07-13 | 北京奇虎科技有限公司 | 用于数据服务器集群之间进行数据迁移的设备、系统及方法 |
CN105162820B (zh) * | 2015-06-25 | 2019-02-05 | Oppo广东移动通信有限公司 | 一种数据同步方法和设备 |
CN106502576B (zh) * | 2015-09-06 | 2020-06-23 | 中兴通讯股份有限公司 | 迁移策略调整方法及装置 |
CN106357808B (zh) * | 2016-10-25 | 2019-09-24 | Oppo广东移动通信有限公司 | 一种数据同步方法和装置 |
CN110674108A (zh) * | 2019-08-30 | 2020-01-10 | 中国人民财产保险股份有限公司 | 数据处理方法及装置 |
CN113448946B (zh) * | 2021-07-05 | 2024-01-12 | 北京星辰天合科技股份有限公司 | 数据迁移方法及装置、电子设备 |
CN115061630A (zh) * | 2022-06-29 | 2022-09-16 | 济南浪潮数据技术有限公司 | 一种数据迁移方法、装置、设备及介质 |
CN115576924A (zh) * | 2022-10-20 | 2023-01-06 | 国网江苏省电力有限公司镇江供电分公司 | 一种数据迁移的方法 |
CN115827788B (zh) * | 2023-02-16 | 2023-06-23 | 天翼云科技有限公司 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
-
2023
- 2023-02-16 CN CN202310123247.1A patent/CN115827788B/zh active Active
- 2023-12-19 WO PCT/CN2023/139972 patent/WO2024169383A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN115827788A (zh) | 2023-03-21 |
WO2024169383A1 (zh) | 2024-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115827788B (zh) | 一种数据迁移方法、装置、电子设备及可读存储介质 | |
CN110990138B (zh) | 资源调度方法、装置、服务器及存储介质 | |
CN103761309A (zh) | 一种运营数据处理方法及系统 | |
CN106815254B (zh) | 一种数据处理方法和装置 | |
CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
CN112579304A (zh) | 基于分布式平台的资源调度方法、装置、设备及介质 | |
CN111142942A (zh) | 窗口数据的处理方法、装置、服务器及存储介质 | |
CN112751726A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
CN114185675A (zh) | 资源管理方法、装置、电子设备及存储介质 | |
CN116107503A (zh) | 数据传输方法、装置及电子设备 | |
CN111158999A (zh) | 一种格式化时间的计算方法和装置 | |
CN106407636B (zh) | 集成结果统计方法及装置 | |
WO2024169138A1 (zh) | 一种资源调度方法、装置、设备及存储介质 | |
CN114661563B (zh) | 基于流处理框架的数据处理方法以及系统 | |
CN112817687A (zh) | 一种数据同步方法和装置 | |
CN109150593B (zh) | 云数据系统中资源的管理方法和装置 | |
CN114301922B (zh) | 一种具延迟感知负载平衡的反向代理方法和存储设备 | |
CN107710168A (zh) | 信息处理装置和信息处理方法 | |
CN108989088A (zh) | 一种日志上传方法和通信设备 | |
CN115118475A (zh) | 密码设备集群调度方法、装置、设备及介质 | |
CN117149399A (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
CN104503846B (zh) | 一种基于云计算系统的资源管理系统 | |
CN116074331A (zh) | 区块数据同步方法及相关产品 | |
CN115442272B (zh) | 一种检测丢失数据的方法、装置、设备及存储介质 | |
CN113364863B (zh) | 一种行为数据会话id分配的方法、系统及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Patentee after: Tianyiyun Technology Co.,Ltd. Address before: 100093 Floor 4, Block E, Xishan Yingfu Business Center, Haidian District, Beijing Patentee before: Tianyiyun Technology Co.,Ltd. |