CN117171262A - 数据同步的方法、装置、存储介质及电子设备 - Google Patents
数据同步的方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117171262A CN117171262A CN202311005256.7A CN202311005256A CN117171262A CN 117171262 A CN117171262 A CN 117171262A CN 202311005256 A CN202311005256 A CN 202311005256A CN 117171262 A CN117171262 A CN 117171262A
- Authority
- CN
- China
- Prior art keywords
- data
- changed
- source
- target
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008859 change Effects 0.000 claims abstract description 64
- 238000004590 computer program Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 abstract description 20
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 230000010354 integration Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种数据同步的方法、装置、存储介质及电子设备；通过获取源数据库的数据变更信息；确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；根据所述增量数据，生成待变更数据；将所述待变更数据同步至目标数据库；通过上述技术方案，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。
Description
技术领域
本公开涉及数据库技术领域，具体地，涉及一种数据同步的方法、装置、存储介质及电子设备。
背景技术
在大数据技术中，需要对不同系统的数据进行同步处理，从而实现不同数据库之间的数据同步。现有技术中，可以每天同步一次全量数据，但是这种同步方法的时效性较低，且在抽取数据的过程中，会出现源端数据库负载不稳定的情况，进而影响数据库的正常运行。
发明内容
本公开的目的是提供一种数据同步的方法、装置、存储介质及电子设备，用于提高不同数据库之间数据同步的效率。
为了实现上述目的，第一方面，本公开提供一种数据同步的方法，所述方法包括：
获取源数据库的数据变更信息；
确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；
根据所述增量数据，生成待变更数据；
将所述待变更数据同步至目标数据库。
可选地，所述源数据库包括一个或多个源数据表；所述将所述待变更数据同步至目标数据库，包括：
在所述目标数据库中建立与一个或多个所述源数据表对应的目标数据表；
将所述源数据表的所述待变更数据同步至所述目标数据库。
可选地，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：
在所述目标数据库中建立待定数据表；
将所述待变更数据同步至所述待定数据表；
删除所述源数据表对应的所述目标数据表，并通过预设命名机制变更所述待定数据表的名称，得到新的目标数据表。
可选地，所述数据变更信息包括标志位信息；所述标志位信息用于标记所述数据变更信息中指定时刻的信息；所述待变更数据通过以下方式得到：
获取所述标志位信息之前的目标数据变更信息；
将所述目标数据变更信息对应的所述增量数据作为所述待变更数据。
可选地，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：
将所述待变更数据同步至所述目标数据库的所述目标数据表。
可选地，所述源数据库包括一个或多个数据库；所述待变更数据通过以下方式得到：
从一个或多个所述源数据库中获取多个指定源数据表；每个所述指定源数据表包括同一数据内容的不同部分；
将多个所述指定源数据表组合成候选数据表；
将所述候选数据表作为所述待变更数据。
可选地，所述根据所述增量数据，生成待变更数据，包括：
响应于接收到用户的控制指令，根据所述增量数据，生成所述待变更数据。
第二方面，本公开提供一种数据同步的装置，所述装置包括：
获取模块，用于获取源数据库的数据变更信息；
确定模块，用于确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；
生成模块，用于根据所述增量数据，生成待变更数据；
同步模块，用于将所述待变更数据同步至目标数据库。
可选地，所述源数据库包括一个或多个源数据表；所述装置还包括：
第一同步模块，用于在所述目标数据库中建立与一个或多个所述源数据表对应的目标数据表；将所述源数据表的所述待变更数据同步至所述目标数据库。
可选地，所述装置还包括：
第二同步模块，用于在所述目标数据库中建立待定数据表；将所述待变更数据同步至所述待定数据表；删除所述源数据表对应的所述目标数据表，并通过预设命名机制变更所述待定数据表的名称，得到新的目标数据表。
可选地，所述数据变更信息包括标志位信息；所述标志位信息用于标记所述数据变更信息中指定时刻的信息；所述待变更数据通过以下方式得到：
获取所述标志位信息之前的目标数据变更信息；将所述目标数据变更信息对应的所述增量数据作为所述待变更数据。
可选地，所述装置还包括：
第三同步模块，用于将所述待变更数据同步至所述目标数据库的所述目标数据表。
可选地，所述源数据库包括一个或多个数据库；所述待变更数据通过以下方式得到：
从一个或多个所述源数据库中获取多个指定源数据表；每个所述指定源数据表包括同一数据内容的不同部分；将多个所述指定源数据表组合成候选数据表；将所述候选数据表作为所述待变更数据。
可选地，所述装置还包括：
响应模块，用于响应于接收到用户的控制指令，根据所述增量数据，生成所述待变更数据。
第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序被处理器执行时实现本公开第一方面所提供的数据同步的方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中所提供的数据同步的方法的步骤。
通过上述技术方案，将增量数据同步至目标数据库，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种数据同步的方法的流程图。
图2是根据一示例性实施例示出的另一种数据同步的方法的流程图。
图3是根据一示例性实施例示出的一种数据同步的装置的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
图5是根据一示例性实施例示出的另一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
首先，对本公开的应用场景进行介绍，本公开应用在不同数据库之间进行数据同步的场景下。在该场景下，需要将源数据库的数据同步至目标数据库，该源数据库可以是一个或多个，这样可以将不同数据库的数据同步至目标数据库。现有技术中，可以每天同步一次全量数据，由于全量数据的数据量较大，同步时间较长，造成数据同步的时效性较低，且在抽取数据的过程中，数据量过大会造成源数据库的CPU(Central Processing Unit，中央处理器)、内存或I/O(Input/Output，输入/输出)接口等资源出现过载现象，导致源数据库出现负载不稳定的情况，进而影响数据库的正常运行。
因此，本公开提供一种数据同步的方法、装置、存储介质及电子设备；通过获取源数据库的数据变更信息；确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；根据所述增量数据，生成待变更数据；将所述待变更数据同步至目标数据库；通过上述技术方案，将增量数据同步至目标数据库，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。
图1是根据一示例性实施例示出的一种数据同步的方法的流程图。如图1所示，所述方法可以包括以下步骤。
S101、获取源数据库的数据变更信息。
示例地，该数据变更信息可以是数据变更日志，用于记录源数据库中发生数据变更的数据；该数据变更信息中可以包括数据变更时间和数据变更内容。
S102、确定该数据变更信息对应的增量数据。
其中，该增量数据为该源数据库中发生数据变更的数据。示例地，该增量数据可以是对源数据库中的数据进行增加操作、删除操作和修改操作中的一种或多种得到的数据。
S103、根据该增量数据，生成待变更数据。
示例地，该数据变更信息可以包括标志位信息；该标志位信息用于标记该数据变更信息中指定时刻的信息；可以获取该标志位信息之前的目标数据变更信息；将该目标数据变更信息对应的该增量数据作为该待变更数据。
示例地，该源数据库包括一个或多个数据库；还可以从一个或多个该源数据库中获取多个指定源数据表；每个该指定源数据表包括同一数据内容的不同部分；将多个该指定源数据表组合成候选数据表；将该候选数据表作为该待变更数据。这样，可以通过对增量数据进行数据补偿和数据整合，得到待变更数据，从而提高数据同步的效率。
S104、将该待变更数据同步至目标数据库。
通过上述技术方案，将增量数据同步至目标数据库，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。
在一些实施例中，该源数据库可以包括一个或多个源数据表；该将该待变更数据同步至目标数据库，包括：在该目标数据库中建立与一个或多个该源数据表对应的目标数据表；将该源数据表的该待变更数据同步至该目标数据库。示例地，可以将该源数据表的该待变更数据同步至该目标数据库中的目标数据表。这样，可以快速实现数据同步，并且减少数据传输中的错误率。
在另一些实施例中，根据该增量数据生成待变更数据可以包括：响应于接收到用户的控制指令，根据该增量数据，生成该待变更数据。其中，该控制指令可以包括数据补偿指令、数据同步指令或数据组合指令。
示例地，可以响应于用户的数据补偿指令，进行数据补偿，并停止进行数据同步；也可以响应于用户的数据同步指令，停止进行数据补偿，并进行数据同步。这样，可以根据用户指令分别进行数据同步和数据补偿，从而实现对数据的及时修复。示例地，还可以响应于用户的数据组合指令，将源数据库中的数据表组合后同步至目标数据库，从而提高数据同步的效率。并且，可以根据用户指令进行操作，提高了数据同步的灵活性。
在一些实施例中，上述将该源数据表的该待变更数据同步至该目标数据库可以包括以下两种方式：
方式一、在该目标数据库中建立待定数据表；将该待变更数据同步至该待定数据表；删除该源数据表对应的该目标数据表，并通过预设命名机制变更该待定数据表的名称，得到新的目标数据表。
示例地，该预设命名机制可以是RENAME机制；可以通过RENAME机制将待定数据表的名称变更为目标数据表，从而完成对待变更数据的数据同步。这样，可以使得对目标数据表进行数据修复的过程中的访问不受影响。
在一些实施例中，可以响应于用户的数据补偿指令，在该目标数据库中建立待定数据表；将该待变更数据同步至该待定数据表；删除该源数据表对应的该目标数据表，并通过预设命名机制变更该待定数据表的名称，得到新的目标数据表。这样，可以根据用户指令进行数据补偿，减少了数据同步过程中的出错率。
在另一些实施例中，该数据变更信息可以包括标志位信息；该标志位信息用于标记该数据变更信息中指定时刻的信息；该待变更数据可以通过以下方式得到：获取该标志位信息之前的目标数据变更信息；将该目标数据变更信息对应的该增量数据作为该待变更数据。
示例地，该标志位信息可以是检查点；该指定时刻可以是当前时刻；可以通过标志位信息标记当前时刻处理的增量数据在数据变更信息中的位置，从而可以在数据补偿技术后，根据该标志位信息快速找到对应的增量数据，并进行数据同步，提高了数据同步的效率。
方式二、将该待变更数据同步至该目标数据库的该目标数据表。
在一些实施例中，该源数据库包括一个或多个数据库；该待变更数据可以通过以下方式得到：从一个或多个该源数据库中获取多个指定源数据表；每个该指定源数据表包括同一数据内容的不同部分；将多个该指定源数据表组合成候选数据表；将该候选数据表作为该待变更数据。
示例地，可以将该候选数据表同步至该目标数据库的该目标数据表。这样，可以将同一数据内容的指定源数据表进行组合后再进行数据同步，方便用户查找。
在另一些实施例中，可以响应于用户的数据组合指令，从一个或多个该源数据库中获取多个指定源数据表；每个该指定源数据表包括同一数据内容的不同部分；将多个该指定源数据表组合成候选数据表；将该候选数据表作为该待变更数据。这样，可以根据用户指令将多个数据表组合后再进行数据同步，提高了数据同步的效率。
图2是根据一示例性实施例示出的另一种数据同步的方法的流程图。如图2所示，该方法可以包括以下步骤。
S201、获取源数据库中的数据变更信息。
S202、确定该数据变更信息对应的增量数据。
其中，该增量数据为该源数据库中发生数据变更的数据。
S203、对该增量数据进行组装，得到第一数据。
其中，该第一数据可以是通用格式数据；该第一数据可以包括库名、表名、操作类型、字段名和值的键值对等信息。
S204、对该第一数据进行脱敏处理，得到第二数据。
示例地，目标数据库可以包括一个或多个；在目标数据库包括多个的情况下，可以通过消息中间件将该第一数据分发至不同的分区以方便并行处理，从而提高数据处理的效率；接着，通过多个分区并行的方式对该第一数据进行脱敏处理，得到该第二数据。例如，该消息中间件可以是RabbitMQ、RocketMQ或Kafka等。
S205、对该第二数据进行解析，得到目标数据。
其中，解析数据的方法可以根据目标数据的格式进行确定；该目标数据的格式可以是能够被目标数据库识别的数据格式，可以由用户进行设置，此处不作限定。
S206、根据所述目标数据，生成待变更数据。
示例地，根据所述目标数据生成待变更数据可以通过以下两种方式：
方式一、该数据变更信息包括标志位信息；该标志位信息用于标记该数据变更信息中指定时刻的信息；可以获取目标数据中该标志位信息之前的目标数据变更信息；将该目标数据变更信息对应的该增量数据作为该待变更数据。
方式二、该源数据库可以包括一个或多个数据库；可以从一个或多个该源数据库的目标数据中获取多个指定源数据表；每个该指定源数据表包括同一数据内容的不同部分；将多个该指定源数据表组合成候选数据表；将该候选数据表作为该待变更数据。
S207、将该待变更数据通过预设数据连接方式同步至目标数据库。
其中，该预设数据连接方式可以是JDBC(Java Database Connect，Java数据库连接)方式。
示例地，该源数据库可以包括一个或多个源数据表；可以在该目标数据库中建立与一个或多个该源数据表对应的目标数据表；将该源数据表的该待变更数据通过预设数据连接方式同步至该目标数据库。
示例地，将该源数据表的该待变更数据通过预设数据连接方式同步至该目标数据库可以通过一下两种方式：
方式一、可以在该目标数据库中建立待定数据表；将该待变更数据同步至该待定数据表；删除该源数据表对应的该目标数据表，并通过预设命名机制变更该待定数据表的名称，得到新的目标数据表。
方式二、可以将该待变更数据同步至该目标数据库的该目标数据表。
通过上述技术方案，将增量数据同步至目标数据库，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。
图3是根据一示例性实施例示出的一种数据同步的装置的框图。如图3所示，该装置300包括获取模块310、确定模块320、生成模块330和同步模块340；
该获取模块310，用于获取源数据库的数据变更信息；
该确定模块320，用于确定该数据变更信息对应的增量数据；该增量数据为该源数据库中发生数据变更的数据；
该生成模块330，用于根据该增量数据，生成待变更数据；
该同步模块340，用于将该待变更数据同步至目标数据库。
通过上述技术方案，将增量数据同步至目标数据库，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。
可选地，该源数据库包括一个或多个源数据表；该装置还包括：
第一同步模块，用于在该目标数据库中建立与一个或多个该源数据表对应的目标数据表；将该源数据表的该待变更数据同步至该目标数据库。
可选地，该装置还包括：
第二同步模块，用于在该目标数据库中建立待定数据表；将该待变更数据同步至该待定数据表；删除该源数据表对应的该目标数据表，并通过预设命名机制变更该待定数据表的名称，得到新的目标数据表。
可选地，该数据变更信息包括标志位信息；该标志位信息用于标记该数据变更信息中指定时刻的信息；该待变更数据通过以下方式得到：
获取该标志位信息之前的目标数据变更信息；将该目标数据变更信息对应的该增量数据作为该待变更数据。
可选地，该装置还包括：
第三同步模块，用于将该待变更数据同步至该目标数据库的该目标数据表。
可选地，该源数据库包括一个或多个数据库；该待变更数据通过以下方式得到：
从一个或多个该源数据库中获取多个指定源数据表；每个该指定源数据表包括同一数据内容的不同部分；将多个该指定源数据表组合成候选数据表；将该候选数据表作为该待变更数据。
可选地，该装置还包括：
响应模块，用于响应于接收到用户的控制指令，根据该增量数据，生成该待变更数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开提供一种数据同步的方法、装置、存储介质及电子设备；通过获取源数据库的数据变更信息；确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；根据所述增量数据，生成待变更数据；将所述待变更数据同步至目标数据库；通过上述技术方案，将增量数据同步至目标数据库，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。
图4是根据一示例性实施例示出的一种电子设备400的框图。如图4所示，该电子设备400可以包括：处理器401，存储器402。该电子设备400还可以包括多媒体组件403，输入/输出接口404，以及通信组件405中的一者或多者。
其中，处理器401用于控制该电子设备400的整体操作，以完成上述的数据同步的方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该电子设备400的操作，这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402或通过通信组件405发送。音频组件还包括至少一个扬声器，用于输出音频信号。输入/输出接口404为处理器401和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件405用于该电子设备400与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件405可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的数据同步的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据同步的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器402，上述程序指令可由电子设备400的处理器401执行以完成上述的数据同步的方法。
图5是根据一示例性实施例示出的另一种电子设备500的框图。例如，电子设备500可以被提供为一服务器。参照图5，电子设备500包括处理器522，其数量可以为一个或多个，以及存储器532，用于存储可由处理器522执行的计算机程序。存储器532中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器522可以被配置为执行该计算机程序，以执行上述的数据同步的方法。
另外，电子设备500还可以包括电源组件526和通信组件550，该电源组件526可以被配置为执行电子设备500的电源管理，该通信组件550可以被配置为实现电子设备500的通信，例如，有线或无线通信。此外，该电子设备500还可以包括输入/输出接口558。电子设备500可以操作基于存储在存储器532的操作系统。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据同步的方法的步骤。例如，该非临时性计算机可读存储介质可以为上述包括程序指令的存储器532，上述程序指令可由电子设备500的处理器522执行以完成上述的数据同步的方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的数据同步的方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种数据同步的方法，其特征在于，所述方法包括：
获取源数据库的数据变更信息；
确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；
根据所述增量数据，生成待变更数据；
将所述待变更数据同步至目标数据库。
2.根据权利要求1所述的方法，其特征在于，所述源数据库包括一个或多个源数据表；所述将所述待变更数据同步至目标数据库，包括：
在所述目标数据库中建立与一个或多个所述源数据表对应的目标数据表；
将所述源数据表的所述待变更数据同步至所述目标数据库。
3.根据权利要求2所述的方法，其特征在于，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：
在所述目标数据库中建立待定数据表；
将所述待变更数据同步至所述待定数据表；
删除所述源数据表对应的所述目标数据表，并通过预设命名机制变更所述待定数据表的名称，得到新的目标数据表。
4.根据权利要求3所述的方法，其特征在于，所述数据变更信息包括标志位信息；所述标志位信息用于标记所述数据变更信息中指定时刻的信息；所述待变更数据通过以下方式得到：
获取所述标志位信息之前的目标数据变更信息；
将所述目标数据变更信息对应的所述增量数据作为所述待变更数据。
5.根据权利要求2所述的方法，其特征在于，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：
将所述待变更数据同步至所述目标数据库的所述目标数据表。
6.根据权利要求5所述的方法，其特征在于，所述源数据库包括一个或多个数据库；所述待变更数据通过以下方式得到：
从一个或多个所述源数据库中获取多个指定源数据表；每个所述指定源数据表包括同一数据内容的不同部分；
将多个所述指定源数据表组合成候选数据表；
将所述候选数据表作为所述待变更数据。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述增量数据，生成待变更数据，包括：
响应于接收到用户的控制指令，根据所述增量数据，生成所述待变更数据。
8.一种数据同步的装置，其特征在于，所述装置包括：
获取模块，用于获取源数据库的数据变更信息；
确定模块，用于确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；
生成模块，用于根据所述增量数据，生成待变更数据；
同步模块，用于将所述待变更数据同步至目标数据库。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005256.7A CN117171262A (zh) | 2023-08-09 | 2023-08-09 | 数据同步的方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005256.7A CN117171262A (zh) | 2023-08-09 | 2023-08-09 | 数据同步的方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117171262A true CN117171262A (zh) | 2023-12-05 |
Family
ID=88938474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311005256.7A Pending CN117171262A (zh) | 2023-08-09 | 2023-08-09 | 数据同步的方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171262A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241174A (zh) * | 2018-06-26 | 2019-01-18 | 东软集团股份有限公司 | 数据同步方法、装置、可读存储介质和电子设备 |
| CN109885581A (zh) * | 2019-03-14 | 2019-06-14 | 苏州达家迎信息技术有限公司 | 数据库的同步方法、装置、设备及存储介质 |
| CN114036241A (zh) * | 2021-12-06 | 2022-02-11 | 上证所信息网络有限公司 | 一种基于多表关联查询的数据增量同步的方法 |
| CN115408391A (zh) * | 2022-08-24 | 2022-11-29 | 京东科技信息技术有限公司 | 一种数据库表变更方法、装置、设备和存储介质 |
| WO2023029519A1 (zh) * | 2021-08-30 | 2023-03-09 | 康键信息技术（深圳）有限公司 | 一种数据同步方法及装置、计算机设备、存储介质 |
-
2023
- 2023-08-09 CN CN202311005256.7A patent/CN117171262A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241174A (zh) * | 2018-06-26 | 2019-01-18 | 东软集团股份有限公司 | 数据同步方法、装置、可读存储介质和电子设备 |
| CN109885581A (zh) * | 2019-03-14 | 2019-06-14 | 苏州达家迎信息技术有限公司 | 数据库的同步方法、装置、设备及存储介质 |
| WO2023029519A1 (zh) * | 2021-08-30 | 2023-03-09 | 康键信息技术（深圳）有限公司 | 一种数据同步方法及装置、计算机设备、存储介质 |
| CN114036241A (zh) * | 2021-12-06 | 2022-02-11 | 上证所信息网络有限公司 | 一种基于多表关联查询的数据增量同步的方法 |
| CN115408391A (zh) * | 2022-08-24 | 2022-11-29 | 京东科技信息技术有限公司 | 一种数据库表变更方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298194B (zh) | 基于区块链的文件处理方法、装置、设备及存储介质 | |
| US9680692B2 (en) | Method and system for using a recursive event listener on a node in hierarchical data structure | |
| US11122110B2 (en) | Blockchain-based file processing method, apparatus, and device, and storage medium | |
| CN113839977A (zh) | 消息推送方法、装置、计算机设备及存储介质 | |
| CN111064626B (zh) | 配置更新方法、装置、服务器及可读存储介质 | |
| US20200403850A1 (en) | Facilitating resilient and fault tolerant asynchronous messaging | |
| CN114676135A (zh) | 数据存储方法、可读介质和电子设备 | |
| CN113407560B (zh) | 更新消息处理方法、数据同步方法、配置信息配置方法 | |
| CN108959294B (zh) | 一种访问搜索引擎的方法和装置 | |
| CN113127448A (zh) | 一种地域维度表生成方法、装置、服务器及存储介质 | |
| CN110704099B (zh) | 联盟链的构建方法、装置和电子设备 | |
| CN116841978A (zh) | 基于分布式文件系统的路径解析方法、装置及存储介质 | |
| CN117171262A (zh) | 数据同步的方法、装置、存储介质及电子设备 | |
| CN110806967A (zh) | 一种单元测试方法和装置 | |
| CN112559233B (zh) | 识别故障类型的方法、装置、设备和计算机可读介质 | |
| CN114328129A (zh) | 消息发送方法、装置、设备及存储介质 | |
| CN114253924A (zh) | 一种同步方法、设备和存储介质 | |
| CN114625716A (zh) | 数据库分库分表扩容方法、装置及计算机可读存储介质 | |
| CN109491699B (zh) | 应用程序的资源检查方法、装置、设备及存储介质 | |
| CN108304188B (zh) | 一种数据类型转换方法及终端 | |
| CN111080250A (zh) | 流程回退补偿方法、装置、存储介质及电子设备 | |
| CN113626409B (zh) | 一种测试资料处理方法、装置、设备及存储介质 | |
| CN111314457B (zh) | 设置虚拟私有云的方法和装置 | |
| CN117216159A (zh) | 数据同步方法、装置、存储介质及电子设备 | |
| WO2024099274A1 (zh) | 数据处理方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |