CN112732679A - 数据迁移方法、装置、电子设备及可读存储介质 - Google Patents
数据迁移方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112732679A CN112732679A CN202110077789.0A CN202110077789A CN112732679A CN 112732679 A CN112732679 A CN 112732679A CN 202110077789 A CN202110077789 A CN 202110077789A CN 112732679 A CN112732679 A CN 112732679A
- Authority
- CN
- China
- Prior art keywords
- data
- copy
- data copy
- target
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013508 migration Methods 0.000 title claims abstract description 53
- 230000005012 migration Effects 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013481 data capture Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本申请公开了一种数据迁移方法、装置、电子设备及可读存储介质，属于数据处理技术领域。所述方法包括：在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；将所述目标数据迁移至所述第一数据副本中。本申请可以提高数据迁移速度，节省数据迁移耗时，且减少了集群内部节点的I/O压力。
Description
技术领域
本申请属于数据处理技术领域，具体涉及一种数据迁移方法、装置、电子设备及可读存储介质。
背景技术
消息中间件(Message Oriented Middleware)是指支持与保障分布式应用程序之间同步/异步收发消息的中间件。消息中间件是一种独立的系统软件或服务程序，它在计算系统中是一个关键软件，位于用户应用和操作系统及网络软件之间，为应用提供了公用的通信手段。消息中间件为开发者提供了公用于所有环境的应用程序接口，当应用程序中嵌入其函数调用，便可利用其运行的特定操作系统和网络环境的功能，为应用执行通信功能。
在有新节点加入消息中间件集群时，或集群内部各节点上的数据流量分布不均匀，导致部分节点负载过高，则消息中间件集群内部需要进行数据迁移实现整个集群的负载均衡，而在进行数据同步时，通常是从副本中保存数据的最早的位置开始，而当副本内的单个存储分区数量较大时，全量数据同步的过程耗时较长，且同步读取硬盘数据的过程会导致集群内部节点的I/O(Input/Output)压力过大。
发明内容
本申请实施例的目的是提供一种数据迁移方法、装置、电子设备及可读存储介质，能够解决现有技术中的数据同步方案耗时较长，且导致集群内部节点的I/O压力过大的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种数据迁移方法，该方法包括：
在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；
获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；
将所述目标数据迁移至所述第一数据副本。
第二方面，本申请实施例提供了一种数据迁移装置，该装置包括：
第一位置标识获取模块，用于在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；
第二位置标识获取模块，用于获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；
目标数据迁移模块，用于将所述目标数据迁移至所述第一数据副本。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的数据迁移方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的数据迁移方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的数据迁移方法。
在本申请实施例中，通过在启动第一数据副本之后，获取第一位置标识，第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识，获取第二位置标识，第二位置标识为第二数据副本中目标数据对应的位置标识，目标数据的写入时间晚于第一位置标识对应的数据的写入时间，将目标数据迁移至第一数据副本，本申请实施例在数据迁移过程中，不需要读取历史数据，因此，数据迁移速度较快，能够节省数据迁移耗时，且减少了集群内部节点的I/O压力。
附图说明
图1为本申请实施例提供的一种数据迁移方法的步骤流程图；
图2为本申请实施例提供的一种获取位置标识的示意图；
图3为本申请实施例提供的一种数据迁移过程的示意图；
图4为本申请实施例提供的一种数据迁移装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图；
图6为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的数据迁移方法进行详细地说明。
参照图1，示出了本申请实施例提供的一种数据迁移方法的步骤流程图，如图1所示，该数据迁移方法具体可以包括如下步骤：
步骤101：在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识。
本申请实施例可以应用于对集群内某个服务节点中的数据进行迁移的场景中。
第一数据副本是指在集群中新创建的数据副本，数据副本可以用于存储服务器集群中产生的数据。在具体实现中，数据副本可以分为数据存储副本和数据备份副本，其中，数据存储副本可以用于存储服务器集群中产生的数据，而数据备份副本可以用于备份对应的数据存储副本中的数据，以避免数据存储副本出现异常时，导致数据丢失。
第二数据副本是指预先在服务器集群中建立的数据副本。在本示例中，第二数据副本的数量可以为一个或多个，具体地，可以根据业务需求而定，本实施例对此不加以限制。
位置标识是指第二副本中存储数据的标识，在本示例中，位置标识可以为一个数据标识，如1、2、...、n(n为正整数)，当然，位置标识也可以为其它可以用于表示数据存储先后顺序的标识，如字符标识，a、b、c、..等等，对于位置标识。如图2所示，在将数据保存于副本中之后，即会对数据分配一个位置标识，每个数据的位置标识是按照顺序排列的，如1、2、....、n(n为大于等于1的正整数)，且在数据副本中数据的位置标识是根据保存于数据副本中的数据的先后顺序进行分配的，例如，第二数据副本中保存的数据包括数据a、数据b和数据c，这三个数据的保存顺序按照从先到后的顺序依次为：数据b、数据a和数据c，那么为数据b分配的位置标识为位置1、为数据a分配的位置标识为位置2，为数据c分配的位置标识为位置3。
第一位置标识是指第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识，如图2所示，11、12为第二数据副本中预先保存的数据的位置标识，13为新产生的数据1000000003的位置标识，此时，可以将位置标识13作为第一位置标识。
可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
在创建新的第一数据副本之后，可以启动第一数据副本，此时可以获取预先生成的第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识，即第一位置标识。
在获取第一位置标识之后，执行步骤102。
步骤102：获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间。
第二位置标识是指第二数据副本中目标数据所对应的位置标识，目标数据是指第二数据副本中写入时间晚于第一位置标识对应的数据的写入时间的数据，例如，如图3所示，获取的第二数据副本中数据1000000003的第一位置标识为位置标识13，在后续过程中，在第二副本中新保存的数据为1000000004、1000000005、....，数据1000000004、1000000005、....的写入时间晚于数据1000000003的写入时间，此时可以将数据1000000004、1000000005、....对应的位置标识作为第二位置标识。
可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
在获取第一位置标识之后，随着时间的推移，在第二数据副本中不断的有数据的添加，进而可以为第二数据副本中后续添加的目标数据分配位置标识，此时，可以获取第二数据副本中的数据写入时间晚于第一位置标识对应的数据的写入时间的目标数据，并将目标数据对应的位置标识作为第二位置标识。
在获取第二位置标识之后，执行步骤103。
步骤103：将所述目标数据迁移至所述第一数据副本。
在获取第二位置标识之后，可以获取第二位置标识对应的目标数据，并将目标数据迁移至第一数据副本。如图3所示，第二位置标识对应的目标数据为：数据1000000004、1000000005、....，此时，可以将数据1000000004、1000000005、....迁移至新副本中，即将数据1000000004、1000000005、....迁移至第一数据副本。
本申请实施例在数据迁移过程中，无需对历史数据进行迁移，进而可以大幅提高数据的迁移速度。
在本实施例中，可以通过对第二数据副本中的数据位置标识进行遍历，并根据遍历结果获取第二位置标识，具体地，可以结合下述具体实现方式进行详细描述。
在本申请的一种具体实现方式中，上述步骤102可以包括：
子步骤A1：每隔预设时长，对所述第二数据副本中的数据的位置标识进行一次遍历。
在本实施例中，预设时长是指由业务人员预先设置的用于对第二数据副本中的数据的位置进行遍历的时长，预设时长可以为5min、10min等，具体地，可以根据业务需求而定，本实施例对此不加以限制。
在获取第二数据副本中的第一位置标识之后，可以每隔预设时长，对第二数据副本中的数据的位置标识进行一次遍历，以获取位置标识的遍历结果。
在每隔预设时长，对第二数据副本中的数据的位置标识进行一次遍历之后，执行子步骤A2。
子步骤A2：根据遍历结果，获取所述第二数据副本中写入时间晚于所述第一位置标识对应的数据写入时间的定位数据。
定位数据是指第二数据副本中写入时间晚于第一位置标识对应的数据的写入时间的数据，例如，第一位置标识对应的数据的写入时间为“2021年1月18日12：00”，在写入时间为“2021年1月18日12：00”之后的第二数据副本中的数据均作为定位数据。
在每隔预设时长对第二数据副本中的数据的位置标识进行一次遍历之后，可以根据遍历结果获取第二数据副本中写入时间晚于第一位置标识对应的数据的写入时间的定位数据。
在获取第二数据副本中写入时间晚于第一位置标识对应的数据写入时间的定位数据之后，执行子步骤A3。
子步骤A3：获取所述定位数据对应的位置标识，并将该位置标识作为所述第二位置标识。
在获取第二数据副本中写入时间晚于第一位置标识对应的数据的写入时间的定位数据之后，可以获取定位数据对应的位置标识，并将定位数据的位置标识作为第二位置标识。
本申请实施例通过预设时长对第二数据副本进行一次遍历，可以实现数据的及时迁移，避免第二数据副本中数据超量的问题。
在本实施例中，对于目标数据的迁移过程可以结合下述具体实现方式进行详细描述。
在本申请的另一种具体实现方式中，上述步骤103可以包括：
子步骤B1：根据所述第一数据副本中预先启动的数据抓取线程，获取所述目标数据。
在本实施例中，在服务器集群的每个数据副本中均预先设置有数据抓取线程，该数据抓取线程可以用于进行数据抓取。
在启动第一数据副本之后，即启动第一数据副本中的数据抓取线程，在获取第二数据副本中的第二位置标识之后，可以通过第一数据副本中启动的数据抓取线程从第二数据副本中抓取第二位置标识对应的目标数据。
在获取第二位置标识对应的目标数据之后，执行子步骤B2。
子步骤B2：将所述目标数据添加至所述第一数据副本中，并在所述第二数据副本中删除所述目标数据。
在获取目标数据之后，则将目标数据添加至第一数据副本中，并在第二数据副本中删除目标数据。
本申请实施例通过预先添加于新创建的数据副本中的数据抓取线程，可以实时获取第二数据副本中的数据，以实现数据迁移过程。
在本实施例中，在将目标数据添加至第一数据副本中之后，还可以将目标数据同步至第一数据副本对应的备份副本，实现目标数据的备份，具体地，可以结合下述具体实现方式进行详细描述。
在本申请的另一种具体实现方式中，在上述步骤103之后，还可以包括：
步骤C1：获取与所述第一数据副本对应的备份数据副本。
在本实施例中，备份数据副本是指用于对第一数据副本中的数据进行备份的数据副本。
在创建第一数据副本时，会同时创建第一数据副本的备份数据副本。
在将目标数据添加至第一数据副本之后，可以获取与第一数据副本对应的备份数据副本，进而，执行步骤C2。
步骤C2：将所述目标数据同步至所述备份数据副本。
在获取备份数据副本之后，可以将目标数据同步至备份数据副本，以实现对第一数据副本中的数据的备份，避免在第一数据副本出现异常时，造成数据丢失的情况。
在本申请实施例中，在第一数据副本中写入数据的数据量大于或等于设定数据量阈值，或者第一数据副本的启动市场大于或等于设定时长时，可以将第一数据副本添加至副本集群列表，具体地，可以结合下述具体实现方式进行详细描述。
在本申请的另一种具体实现方式中，在上述步骤103之后，还可以包括：
步骤D1：在所述第一数据副本中写入数据的数据量大于或等于设定数据量阈值的情况下，将所述第一数据副本添加至副本集群列表。
在本申请实施例中，设定数据量阈值是指由业务人员预先设定的用于将新创建的数据副本添加至副本集群列表中的写入数据量，对于设定数据量阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。
在将目标数据迁移至第一数据副本中之后，可以实时检测第一数据副本中写入数据的数据量，在第一数据副本中写入数据的数据量大于或等于设定数据量阈值的情况下，可以将第一数据副本添加至副本集群列表。
步骤D2：在所述第一数据副本的启动时长大于或等于设定时长的情况下，将所述第一数据副本添加至副本集群列表。
设定时长是指由业务人员预先设定的用于将新创建的数据副本添加至副本集群列表中的副本启动时长，对于设定时长的具体数值可以根据业务需求而定，本实施例对此不加以限制。
在将目标数据迁移至第一数据副本中之后，可以实时监控第一数据副本的启动时长。在第一数据副本的启动时长大于或等于设定时长的情况下，则可以将第一数据副本添加至副本集群列表中。
在将第一数据副本添加至副本集群列表之后，第一数据副本可以作为数据副本集群中的一个节点，进而可以从其它节点拉取数据，实现数据的同步。
本申请实施例提供的数据迁移方法，通过在启动第一数据副本之后，获取第一位置标识，第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识，获取第二位置标识，第二位置标识为第二数据副本中目标数据对应的位置标识，目标数据的写入时间晚于第一位置标识对应的数据的写入时间，将目标数据迁移至第一数据副本，本申请实施例在数据迁移过程中，不需要读取历史数据，因此，数据迁移速度较快，能够节省数据迁移耗时，且减少了集群内部节点的I/O压力。
需要说明的是，本申请实施例提供的数据迁移方法，执行主体可以为数据迁移装置，或者该数据迁移装置中的用于执行数据迁移方法的控制模块。本申请实施例中以数据迁移装置执行数据迁移方法为例，说明本申请实施例提供的数据迁移装置。
参照图4，示出了本申请实施例提供的数据迁移装置的结构示意图，如图4所示，该数据迁移装置400具体可以包括如下模块：
第一位置标识获取模块410，用于在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；
第二位置标识获取模块420，用于获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；
目标数据迁移模块430，用于将所述目标数据迁移至所述第一数据副本。
可选地，所述第二位置标识获取模块420包括：
位置标识遍历单元，用于每隔预设时长，对所述第二数据副本中的数据的位置标识进行一次遍历；
定位数据获取单元，用于根据遍历结果，获取所述第二数据副本中写入时间晚于所述第一位置标识对应的数据写入时间的定位数据；
第二位置标识获取单元，用于获取所述定位数据对应的位置标识，并将该位置标识作为所述第二位置标识。
可选地，所述目标数据迁移模块430包括：
目标数据获取单元，用于根据所述第一数据副本中预先启动的数据抓取线程，获取所述目标数据；
目标数据添加单元，用于将所述目标数据添加至所述第一数据副本中，并从所述第二数据副本中删除所述目标数据。
可选地，还包括：
备份数据副本获取模块，用于获取与所述第一数据副本对应的备份数据副本；
目标数据同步模块，用于将所述目标数据同步至所述备份数据副本。
可选地，还包括：
第一数据副本添加模块，用于在所述第一数据副本中写入数据的数据量大于或等于设定数据量阈值的情况下，将所述第一数据副本添加至副本集群列表；
第二数据副本添加模块，用于在所述第一数据副本的启动时长大于或等于设定时长的情况下，将所述第一数据副本添加至副本集群列表。
本申请实施例提供的数据迁移装置，通过在启动第一数据副本之后，获取第一位置标识，第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识，获取第二位置标识，第二位置标识为第二数据副本中目标数据对应的位置标识，目标数据的写入时间晚于第一位置标识对应的数据的写入时间，将目标数据迁移至第一数据副本，本申请实施例在数据迁移过程中，不需要读取历史数据，因此，数据迁移速度较快，能够节省数据迁移耗时，且减少了集群内部节点的I/O压力。
本申请实施例中数据迁移装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的数据迁移装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的数据迁移装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图5所示，本申请实施例还提供一种电子设备500，包括处理器501，存储器502，存储在存储器502上并可在所述处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述数据迁移方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。
本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器610，用于在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；将所述目标数据迁移至所述第一数据副本。
本申请实施例在数据迁移过程中，不需要读取历史数据，因此，数据迁移速度较快，能够节省数据迁移耗时，且减少了集群内部节点的I/O压力。
可选地，处理器610，还用于每隔预设时长，对所述第二数据副本中的数据的位置标识进行一次遍历；根据遍历结果，获取所述第二数据副本中写入时间晚于所述第一位置标识对应的数据写入时间的定位数据；获取所述定位数据对应的位置标识，并将该位置标识作为所述第二位置标识。
可选地，处理器610，还用于根据所述第一数据副本中预先启动的数据抓取线程，获取所述目标数据；将所述目标数据添加至所述第一数据副本中，并从所述第二数据副本中删除所述目标数据。
可选地，处理器610，还用于获取与所述第一数据副本对应的备份数据副本；将所述目标数据同步至所述备份数据副本。
可选地，处理器610，还用于在所述第一数据副本中写入数据的数据量大于或等于设定数据量阈值的情况下，将所述第一数据副本添加至副本集群列表；在所述第一数据副本的启动时长大于或等于设定时长的情况下，将所述第一数据副本添加至副本集群列表。
本公开的实施例还可以实现新创建数据副本中的数据备份，避免数据副本出现故障导致数据丢失的问题。
应理解的是，本申请实施例中，输入单元604可以包括图形处理器(GraphicsProcessing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071，也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器609可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据迁移方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述数据迁移方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种数据迁移方法，其特征在于，包括：
在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；
获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；
将所述目标数据迁移至所述第一数据副本。
2.根据权利要求1所述的方法，其特征在于，所述获取第二位置标识，包括：
每隔预设时长，对所述第二数据副本中的数据的位置标识进行一次遍历；
根据遍历结果，获取所述第二数据副本中写入时间晚于所述第一位置标识对应的数据写入时间的定位数据；
获取所述定位数据对应的位置标识，并将该位置标识作为所述第二位置标识。
3.根据权利要求1所述的方法，其特征在于，所述将所述目标数据迁移至所述第一数据副本，包括：
根据所述第一数据副本中预先启动的数据抓取线程，获取所述目标数据；
将所述目标数据添加至所述第一数据副本中，并从所述第二数据副本中删除所述目标数据。
4.根据权利要求1所述的方法，其特征在于，在所述将所述目标数据迁移至所述第一数据副本之后，还包括：
获取与所述第一数据副本对应的备份数据副本；
将所述目标数据同步至所述备份数据副本。
5.根据权利要求1所述的方法，其特征在于，在所述将所述目标数据迁移至所述第一数据副本之后，还包括：
在所述第一数据副本中写入数据的数据量大于或等于设定数据量阈值的情况下，将所述第一数据副本添加至副本集群列表；
在所述第一数据副本的启动时长大于或等于设定时长的情况下，将所述第一数据副本添加至副本集群列表。
6.一种数据迁移装置，其特征在于，包括：
第一位置标识获取模块，用于在启动第一数据副本之后，获取第一位置标识，所述第一位置标识为写入第二数据副本中的数据中写入时间距离当前时间最短的数据对应的位置标识；
第二位置标识获取模块，用于获取第二位置标识，所述第二位置标识为所述第二数据副本中目标数据对应的位置标识，所述目标数据的写入时间晚于所述第一位置标识对应的数据的写入时间；
目标数据迁移模块，用于将所述目标数据迁移至所述第一数据副本。
7.根据权利要求6所述的装置，其特征在于，所述第二位置标识获取模块包括：
位置标识遍历单元，用于每隔预设时长，对所述第二数据副本中的数据的位置标识进行一次遍历；
定位数据获取单元，用于根据遍历结果，获取所述第二数据副本中写入时间晚于所述第一位置标识对应的数据写入时间的定位数据；
第二位置标识获取单元，用于获取所述定位数据对应的位置标识，并将该位置标识作为所述第二位置标识。
8.根据权利要求6所述的装置，其特征在于，所述目标数据迁移模块包括：
目标数据获取单元，用于根据所述第一数据副本中预先启动的数据抓取线程，获取所述目标数据；
目标数据添加单元，用于将所述目标数据添加至所述第一数据副本中，并从所述第二数据副本中删除所述目标数据。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的数据迁移方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5中任一项所述的数据迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110077789.0A CN112732679A (zh) | 2021-01-20 | 2021-01-20 | 数据迁移方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110077789.0A CN112732679A (zh) | 2021-01-20 | 2021-01-20 | 数据迁移方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112732679A true CN112732679A (zh) | 2021-04-30 |
Family
ID=75594557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110077789.0A Pending CN112732679A (zh) | 2021-01-20 | 2021-01-20 | 数据迁移方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112732679A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117086A (zh) * | 2018-07-16 | 2019-01-01 | 北京百度网讯科技有限公司 | 存储设备数据位置的处理方法、装置、设备及存储介质 |
| CN110162570A (zh) * | 2019-04-17 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 区块链数据的分次获取方法和装置 |
| CN110647579A (zh) * | 2019-08-16 | 2020-01-03 | 北京百度网讯科技有限公司 | 数据同步方法及装置、计算机设备与可读介质 |
| CN111190883A (zh) * | 2019-12-03 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 数据迁移方法、装置、计算机可读存储介质和计算机设备 |
| CN111339061A (zh) * | 2020-02-12 | 2020-06-26 | 杭州涂鸦信息技术有限公司 | 一种分布式数据库的数据迁移方法及系统 |
| CN111913663A (zh) * | 2020-07-29 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 存储卷在线迁移的方法、装置和存储卷在线迁移的系统 |
| CN112015816A (zh) * | 2020-08-27 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 数据同步方法、装置、介质及电子设备 |
| CN112035298A (zh) * | 2020-09-10 | 2020-12-04 | 北京城市网邻信息技术有限公司 | 一种数据备份方法、装置、电子设备及存储介质 |
| CN112182104A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 一种数据同步方法、装置、设备及存储介质 |
-
2021
- 2021-01-20 CN CN202110077789.0A patent/CN112732679A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117086A (zh) * | 2018-07-16 | 2019-01-01 | 北京百度网讯科技有限公司 | 存储设备数据位置的处理方法、装置、设备及存储介质 |
| CN110162570A (zh) * | 2019-04-17 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 区块链数据的分次获取方法和装置 |
| CN110647579A (zh) * | 2019-08-16 | 2020-01-03 | 北京百度网讯科技有限公司 | 数据同步方法及装置、计算机设备与可读介质 |
| CN111190883A (zh) * | 2019-12-03 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 数据迁移方法、装置、计算机可读存储介质和计算机设备 |
| CN111339061A (zh) * | 2020-02-12 | 2020-06-26 | 杭州涂鸦信息技术有限公司 | 一种分布式数据库的数据迁移方法及系统 |
| CN111913663A (zh) * | 2020-07-29 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 存储卷在线迁移的方法、装置和存储卷在线迁移的系统 |
| CN112015816A (zh) * | 2020-08-27 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 数据同步方法、装置、介质及电子设备 |
| CN112035298A (zh) * | 2020-09-10 | 2020-12-04 | 北京城市网邻信息技术有限公司 | 一种数据备份方法、装置、电子设备及存储介质 |
| CN112182104A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 一种数据同步方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11164278B2 (en) | Screen capture method, terminal, and storage medium employing both parent application program and sub-application program | |
| KR102323333B1 (ko) | 애플리케이션 데이터 프로세싱 방법 및 장치, 및 저장 매체 | |
| CN110083399B (zh) | 小程序运行方法、计算机设备及存储介质 | |
| CN111800462A (zh) | 微服务实例处理方法、装置、计算机设备及存储介质 | |
| CN112269508A (zh) | 显示方法、装置和电子设备 | |
| CN105404547A (zh) | 一种操作系统的融合方法及装置 | |
| CN113535364A (zh) | 任务调度方法及装置 | |
| CN109569214B (zh) | 分屏模式下的应用显示方法及装置、显示设备 | |
| CN107710211A (zh) | 智能终端系统启动方法、装置及智能终端 | |
| CN112764611A (zh) | 应用程序控制方法、装置和电子设备 | |
| CN112181724A (zh) | 大数据容灾方法、装置和电子设备 | |
| CN112732679A (zh) | 数据迁移方法、装置、电子设备及可读存储介质 | |
| CN110908644A (zh) | 状态节点的配置方法、装置、计算机设备和存储介质 | |
| WO2022083190A1 (zh) | 数据下载方法、装置、计算机设备和存储介质 | |
| CN111880701B (zh) | 页面切换方法、装置及电子设备 | |
| CN113901033A (zh) | 数据迁移方法、装置、设备及介质 | |
| CN110262856B (zh) | 一种应用程序数据采集方法、装置、终端及存储介质 | |
| CN113037871A (zh) | 会议通话的恢复方法、装置、系统、电子设备和可读存储介质 | |
| CN113687942A (zh) | 检测方法、装置及电子设备 | |
| CN115037595B (zh) | 网络恢复方法、装置、设备及存储介质 | |
| CN112860719B (zh) | 数据处理方法、装置及电子设备 | |
| KR20130141259A (ko) | 화면 분할에 의한 실행영상 처리 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체 | |
| US20240031434A1 (en) | Marking information processing method and device, and storage medium | |
| CN116346761A (zh) | 会话内容处理方法、装置、电子设备及介质 | |
| CN116991605A (zh) | 进程处理方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |