CN112667745A - 数据同步方法、装置、隔离网闸及数据同步系统 - Google Patents
数据同步方法、装置、隔离网闸及数据同步系统 Download PDFInfo
- Publication number
- CN112667745A CN112667745A CN202011618607.8A CN202011618607A CN112667745A CN 112667745 A CN112667745 A CN 112667745A CN 202011618607 A CN202011618607 A CN 202011618607A CN 112667745 A CN112667745 A CN 112667745A
- Authority
- CN
- China
- Prior art keywords
- information
- indication information
- update
- updating strategy
- indication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002955 isolation Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008859 change Effects 0.000 claims abstract description 67
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 11
- 230000037430 deletion Effects 0.000 claims description 11
- 230000002085 persistent effect Effects 0.000 claims description 9
- 238000003780 insertion Methods 0.000 claims description 8
- 230000037431 insertion Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据同步方法、装置、隔离网闸及数据同步系统。数据同步方法包括：在获取到源服务器发送的变更信息指示表格之后，对变更信息指示表格进行分阶段查询；针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息；在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器，以供目标服务器根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新。本申请实施例提供的数据同步方法能够提高数据同步效率。
Description
技术领域
本申请涉及网络隔离与安全传输领域，具体而言，涉及一种数据同步方法、装置、隔离网闸及数据同步系统。
背景技术
在网络隔离与安全传输领域中，数据库同步作为核心业务功能，其同步数据的效率越来越被用户广泛关注。目前，在隔离网闸的特定环境下，数据库同步的最常用方法是基于触发器法实现，也即，以源服务器中的数据库作为同步对象创建触发器，当对同步对象进行插入、变更和删除等操作时，触发器会被唤醒，以将变化记录的主键信息存储于变更信息指示表格中，再由隔离网闸定时扫描变更信息指示表格，以根据主键信息查询同步对象的完整数据记录，最后，将变化的数据记录传输到目标服务器中的数据库。
而数据库的事务提交方式分为自动提交，也即，每次对数据表进行插入、变更和删除等操作之后，都会立即完成数据的持久化更新，因此，在短时间内需要对目标服务器中的数据库进行大量的插入、变更和删除等操作，因此，同步数据的效率较低。
发明内容
本申请的目的在于，提供一种数据同步方法、装置、隔离网闸及数据同步系统，以解决上述问题。
第一方面，本申请实施例提供了一种数据同步方法，应用于隔离网闸，数据同步方法包括：
在获取到源服务器发送的变更信息指示表格之后，对变更信息指示表格进行分阶段查询，且每个阶段查询变更信息指示表格中包括的多条更新策略指示信息；
针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息；
在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器，以供目标服务器在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新。
结合第一方面，本申请实施例还提供了第一方面的第一种可选的实施方式，在获取到源服务器发送的变更信息指示表格之后，对变更信息指示表格进行分阶段查询，包括：
在获取到源服务器发送的变更信息指示表格之后，从变更信息指示表格中获取目标数量条更新策略指示信息，作为第一个阶段所需查询的目标更新策略指示信息集合；
在每完成一个阶段的查询之后，从变更信息指示表格中确定出未被查询过的剩余更新策略指示信息集合；
若剩余更新策略指示信息集合中更新策略指示信息的条数大于或等于目标数量，则从剩余更新策略指示信息集合中获取目标数量条更新策略指示信息，作为下一个阶段所需查询的目标更新策略指示信息集合；
若剩余更新策略指示信息集合中更新策略指示信息的条数小于目标数量，则将剩余更新策略指示信息集合作为下一个阶段所需查询的目标更新策略指示信息集合。
结合第一方面，本申请实施例还提供了第一方面的第二种可选的实施方式，针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息，包括：
针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从更新策略指示信息中提取出信息身份标识；
根据信息身份标识，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息。
结合第一方面，本申请实施例还提供了第一方面的第三种可选的实施方式，在每完成一个阶段的查询之后，生成任务提交指令，包括：
在每完成一个阶段的查询之后，针对阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，根据更新策略指示信息，以及与更新策略指示信息对应的待变更信息生成更新操作命令；
根据与多条更新策略指示信息一一对应的多条更新操作命令，生成任务提交指令。
结合第一方面的第三种可选的实施方式，本申请实施例还提供了第一方面的第四种可选的实施方式，更新操作命令为第一更新操作命令、第二更新操作命令和第三更新操作命令中的任意一者，根据更新策略指示信息，以及与更新策略指示信息对应的待变更信息生成更新操作命令，包括：
若更新策略指示信息为插入指示信息，则生成第一更新操作命令，用于指示将与更新策略指示信息对应的待变更信息插入到第二表格中；
若更新策略指示信息为变更指示信息，则生成第二更新操作命令，用于指示通过与更新策略指示信息对应的待变更信息替换第二表格中与更新策略指示信息对应的目标信息；
若更新策略指示信息为删除指示信息，则生成第三更新操作命令，用于指示将第二表格中与上述更新策略指示信息对应的目标信息删除。
结合第一方面的第四种可选的实施方式，本申请实施例还提供了第一方面的第五种可选的实施方式，若更新策略指示信息为删除指示信息，则生成一条更新操作命令，用于指示将第二表格中与上述更新策略指示信息对应的目标信息删除之后，数据同步方法还包括：
将更新策略指示信息从变更信息指示表格中删除。
第二方面，本申请实施例还提供提供了一种数据同步装置，应用于隔离网闸，数据同步装置包括：
查询模块，用于在获取到源服务器发送的变更信息指示表格之后，对变更信息指示表格进行分阶段查询，且每个阶段查询变更信息指示表格中包括的多条更新策略指示信息；
信息确定模块，用于针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息；
任务提交模块，用于在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器，以供目标服务器在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新。
第三方面，本申请实施例还提供了一种隔离网闸，包括处理器和存储器，存储器上存储有计算机程序，处理器用于执行计算机程序，以实现上述第一方面，或第一方面的任意一种可选的实施方式所提供的数据同步方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被执行时，实现上述第一方面，或第一方面的任意一种可选的实施方式所提供的数据同步方法。
第五方面，本申请实施例还提供了一种数据同步系统，包括源服务器、隔离网闸和目标服务器，隔离网闸分别与源服务器和目标服务器通信；
源服务器用于生成变更信息指示表格，并将变更信息指示表格发送给隔离网闸；
隔离网闸用于在获取变更信息指示表格之后，对变更信息指示表格进行分阶段查询，且每个阶段查询变更信息指示表格中包括的多条更新策略指示信息，针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息，在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器；
目标服务器用于在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新。
本申请实施例提供的数据同步方法主要通过对变更信息指示表格进行分阶段查询，且针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息，此外，在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器，以供目标服务器在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新，从而避免如现有技术般在短时间内需要对目标服务器中的数据库进行大量的插入、变更和删除等操作，以提高数据同步效率。
本申请实施例提供的数据同步增长、隔离网闸、计算机可读存储介质及数据同步系统具有与上述数据同步方法相同的有益效果，此处不作赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种隔离网闸的示意性结构框图。
图2为本申请实施例提供的一种数据同步方法的步骤流程图。
图3为本申请实施例提供的一种数据同步装置的示意性结构框图。
图4为本申请实施例提供的一种数据同步系统的示意性结构框图。
附图标记：10-数据同步系统；100-隔离网闸；110-存储器；120-处理器；200-数据同步装置；210-查询模块；220-信息确定模块；230-任务提交模块；300-源服务器；400-目标服务器。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。此外，应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1，为本申请实施例提供的一种隔离网闸100的示意性结构框图。本申请实施例中，隔离网闸100可以是终端设备，例如，电脑、个人数字助理(Personal DigitalAssistant，PAD)、移动上网设备(Mobile Internet Device，MID)等，还可以是服务器，本申请实施例对此不作具体限制。
在结构上，隔离网闸100可以包括处理器110和存储器120。
处理器110和存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。数据同步装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，数据同步装置所包括的软件功能模块及计算机程序等，以实现数据同步方法。
处理器110可以在接收到执行指令后，执行计算机程序。其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图，此外，通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。
应当理解，图2所示的结构仅为示意，本申请实施例提供的隔离网闸100还可以具有比图2更少或更多的组件，或是具有与图2所示不同的配置。此外，图2所示的各组件可以通过软件、硬件或其组合实现。
请参阅图2，为本申请实施例提供的数据同步方法的流程示意图，该方法应用于图1所示的隔离网闸100。需要说明的是，本申请实施例提供的数据同步方法不以图2及以下所示的顺序为限制，以下结合图2对数据同步方法的具体流程及步骤进行描述。
步骤S100，在获取到源服务器发送的变更信息指示表格之后，对变更信息指示表格进行分阶段查询，且每个阶段查询变更信息指示表格中包括的多条更新策略指示信息。
源服务器中需要进行数据同步的对象为第一表格中的数据，第一表格在被用户修改之后，在源服务器中触发器的作用下将数据变化的主键(也即，对应的信息身份标识)和具体操作行为(插入、变更和删除)等信息记录到变更信息指示表格中，并将变更信息指示表格发送给隔离网闸。此后，隔离网闸执行步骤S100，当然，执行步骤S100之前，隔离网闸需要分别与源服务器和目标服务器建立通信。
对于步骤S100，本申请实施例中，作为一种可选的实施方式，其可以在获取到源服务器发送的变更信息指示表格之后，从变更信息指示表格中获取目标数量条更新策略指示信息，作为第一个阶段所需查询的目标更新策略指示信息集合，此后，在每完成一个阶段的查询之后，从变更信息指示表格中确定出未被查询过的剩余更新策略指示信息集合，若剩余更新策略指示信息集合中更新策略指示信息的条数大于或等于目标数量，则从剩余更新策略指示信息集合中获取目标数量条更新策略指示信息，作为下一个阶段所需查询的目标更新策略指示信息集合，若剩余更新策略指示信息集合中更新策略指示信息的条数小于目标数量，则将剩余更新策略指示信息集合作为下一个阶段所需查询的目标更新策略指示信息集合。
此外，可以理解的是，本申请实施例中，目标数量可以根据实际需求设定，本申请实施对此不作具体限制。以下，将以目标数量为100为例，通过表1，对步骤S100中，分阶段查询对应的结构化查询语言(Structured Query Language，SQL)语句进行说明。
表1
需要说明的是，本申请实施例中，在第N阶段时，若剩余更新策略指示信息集合中更新策略指示信息的条数小于100，则将剩余更新策略指示信息集合整体作为下一个阶段所需查询的目标更新策略指示信息集合，例如，在第N阶段时，若剩余更新策略指示信息集合中更新策略指示信息的条数为80条，则将该80条更新策略指示信息整体作为下一个阶段所需查询的目标更新策略指示信息集合。
步骤S200，针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息。
本申请实施例中，针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从更新策略指示信息中提取出信息身份标识(也即，主键)，再根据信息身份标识，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息。
步骤S300，在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器，以供目标服务器在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新，也即，将第二表格从目标数据库的内存中更新到硬盘中。
本申请实施例中，可以在每完成一个阶段的查询之后，针对阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，根据更新策略指示信息，以及与更新策略指示信息对应的待变更信息生成更新操作命令，最后根据与多条更新策略指示信息一一对应的多条更新操作命令，生成任务提交指令。
实际实施时，更新操作命令为第一更新操作命令、第二更新操作命令和第三更新操作命令中的任意一者，基于此，根据更新策略指示信息，以及与更新策略指示信息对应的待变更信息生成更新操作命令可以包括以下三种情况。
(1)若更新策略指示信息为插入指示信息，则生成第一更新操作命令，用于指示将与更新策略指示信息对应的待变更信息插入到第二表格中，其中，第一更新操作命令实质为一条SQL语句。
(2)若更新策略指示信息为变更指示信息，则生成第二更新操作命令，用于指示通过与更新策略指示信息对应的待变更信息替换第二表格中与更新策略指示信息对应的目标信息，其中，第二更新操作命令实质为一条SQL语句。
(3)若更新策略指示信息为删除指示信息，则生成第三更新操作命令，用于指示将第二表格中与上述更新策略指示信息对应的目标信息删除，其中，第三更新操作命令实质为一条SQL语句。
进一步地，本申请实施例中，根据与多条更新策略指示信息一一对应的多条更新操作命令，生成任务提交指令之后，需要手动提交任务提交指令，也即，需要调用目标服务器中，数据库提供的sql_commit函数接口。
此外，需要说明的是，本申请实施例中，若更新策略指示信息为删除指示信息，则生成一条更新操作命令，用于指示将第二表格中与上述更新策略指示信息对应的目标信息删除之后，数据同步方法还包括：将更新策略指示信息从变更信息指示表格中删除。
通过本申请实施例提供的数据同步方法能够避免如现有技术般在短时间内需要对目标服务器中的数据库进行大量的插入、变更和删除等操作，以提高数据同步效率，具体到存在上万条待变更信息的情况，相对于现有技术，同步效率可以提高3～5倍。
请参阅图3，基于与上述数据同步方法同样的发明构思，本申请实施例还提供了一种数据同步装置200。请参阅图3，本申请实施例提供的数据同步装置200，包括查询模块210、信息确定模块220和任务提交模块230。
查询模块210，用于在获取到源服务器发送的变更信息指示表格之后，对变更信息指示表格进行分阶段查询，且每个阶段查询变更信息指示表格中包括的多条更新策略指示信息。
信息确定模块220，用于针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息。
任务提交模块230，用于在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器，以供目标服务器在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新。
由于本申请实施例提供的数据同步装置200是基于与上述数据同步方法同样的发明构思实现的，因此，数据同步装置200中，每个软件模块的具体描述，均可参见上述数据同步方法实施例中对应步骤的相关描述，此处不作赘述。
此外，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被执行时，实现上述方法实施例所提供的数据同步方法，具体可参见上述方法实施例，本申请实施例中对此不作赘述。
请参阅图4，基于与上述隔离网闸100同样的发明构思，本申请实施例还提供了一种数据同步系统10，包括源服务器300、隔离网闸100和目标服务器400，隔离网闸100分别与源服务器300和目标服务器400通信。
源服务器300用于生成变更信息指示表格，并将变更信息指示表格发送给隔离网闸100。
隔离网闸100用于在获取变更信息指示表格之后，对变更信息指示表格进行分阶段查询，且每个阶段查询变更信息指示表格中包括的多条更新策略指示信息，针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器300的第一表格中，确定出与更新策略指示信息对应的待变更信息，在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器400。
目标服务器400用于在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器400中的第二表格进行持久化更新。
由于本申请实施例提供的数据同步系统10是基于与上述隔离网闸100同样的发明构思实现的，因此，数据同步系统10中，源服务器300、隔离网闸100和目标服务器400的具体描述，均可参见上述隔离网闸100实施例中对应步骤的相关描述，此处不作赘述。
综上所述，本申请实施例提供的数据同步方法主要通过对变更信息指示表格进行分阶段查询，且针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到更新策略指示信息时，从存储于源服务器的第一表格中，确定出与更新策略指示信息对应的待变更信息，此外，在每完成一个阶段的查询之后，生成任务提交指令，并将任务提交指令发送给目标服务器，以供目标服务器在任务提交指令的控制作用下，根据阶段所查询的多条更新策略指示信息，以及与多条更新策略指示信息一一对应的多条待变更信息对存储于目标服务器中的第二表格进行持久化更新，从而避免如现有技术般在短时间内需要对目标服务器中的数据库进行大量的插入、变更和删除等操作，以提高数据同步效率。
本申请实施例提供的数据同步增长、隔离网闸、计算机可读存储介质及数据同步系统具有与上述数据同步方法相同的有益效果，此处不作赘述。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”、“设置”应做广义理解，例如，可以是机械上的固定连接、可拆卸连接或一体地连接，可以是电学上的电连接、通信连接，其中，通信连接又可以是有线通信连接或无线通信连接，此外，可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，对于本领域的技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
以上所述仅为本申请的部分实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据同步方法，其特征在于，应用于隔离网闸，所述数据同步方法包括：
在获取到源服务器发送的变更信息指示表格之后，对所述变更信息指示表格进行分阶段查询，且每个阶段查询所述变更信息指示表格中包括的多条更新策略指示信息；
针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到所述更新策略指示信息时，从存储于所述源服务器的第一表格中，确定出与所述更新策略指示信息对应的待变更信息；
在每完成一个阶段的查询之后，生成任务提交指令，并将所述任务提交指令发送给目标服务器，以供所述目标服务器在所述任务提交指令的控制作用下，根据所述阶段所查询的多条更新策略指示信息，以及与所述多条更新策略指示信息一一对应的多条待变更信息对存储于所述目标服务器中的第二表格进行持久化更新。
2.根据权利要求1所述的数据同步方法，其特征在于，所述在获取到源服务器发送的变更信息指示表格之后，对所述变更信息指示表格进行分阶段查询，包括：
在获取到源服务器发送的变更信息指示表格之后，从所述变更信息指示表格中获取目标数量条更新策略指示信息，作为第一个阶段所需查询的目标更新策略指示信息集合；
在每完成一个阶段的查询之后，从所述变更信息指示表格中确定出未被查询过的剩余更新策略指示信息集合；
若所述剩余更新策略指示信息集合中更新策略指示信息的条数大于或等于目标数量，则从所述剩余更新策略指示信息集合中获取目标数量条更新策略指示信息，作为下一个阶段所需查询的目标更新策略指示信息集合；
若所述剩余更新策略指示信息集合中更新策略指示信息的条数小于目标数量，则将所述剩余更新策略指示信息集合作为下一个阶段所需查询的目标更新策略指示信息集合。
3.根据权利要求1所述的数据同步方法，其特征在于，所述针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到所述更新策略指示信息时，从存储于所述源服务器的第一表格中，确定出与所述更新策略指示信息对应的待变更信息，包括：
针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到所述更新策略指示信息时，从所述更新策略指示信息中提取出信息身份标识；
根据所述信息身份标识，从存储于所述源服务器的第一表格中，确定出与所述更新策略指示信息对应的待变更信息。
4.根据权利要求1所述的数据同步方法，其特征在于，所述在每完成一个阶段的查询之后，生成任务提交指令，包括：
在每完成一个阶段的查询之后，针对所述阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，根据所述更新策略指示信息，以及与所述更新策略指示信息对应的待变更信息生成更新操作命令；
根据与所述多条更新策略指示信息一一对应的多条更新操作命令，生成所述任务提交指令。
5.根据权利要求4所述的数据同步方法，其特征在于，所述更新操作命令为第一更新操作命令、第二更新操作命令和第三更新操作命令中的任意一者，所述根据所述更新策略指示信息，以及与所述更新策略指示信息对应的待变更信息生成更新操作命令，包括：
若所述更新策略指示信息为插入指示信息，则生成所述第一更新操作命令，用于指示将与所述更新策略指示信息对应的待变更信息插入到所述第二表格中；
若所述更新策略指示信息为变更指示信息，则生成所述第二更新操作命令，用于指示通过与所述更新策略指示信息对应的待变更信息替换所述第二表格中与所述更新策略指示信息对应的目标信息；
若所述更新策略指示信息为删除指示信息，则生成所述第三更新操作命令，用于指示将所述第二表格中与上述更新策略指示信息对应的目标信息删除。
6.根据权利要求5所述的数据同步方法，其特征在于，所述若所述更新策略指示信息为删除指示信息，则生成一条更新操作命令，用于指示将所述第二表格中与上述更新策略指示信息对应的目标信息删除之后，所述数据同步方法还包括：
将所述更新策略指示信息从所述变更信息指示表格中删除。
7.一种数据同步装置，其特征在于，应用于隔离网闸，所述数据同步装置包括：
查询模块，用于在获取到源服务器发送的变更信息指示表格之后，对所述变更信息指示表格进行分阶段查询，且每个阶段查询所述变更信息指示表格中包括的多条更新策略指示信息；
信息确定模块，用于针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到所述更新策略指示信息时，从存储于所述源服务器的第一表格中，确定出与所述更新策略指示信息对应的待变更信息；
任务提交模块，用于在每完成一个阶段的查询之后，生成任务提交指令，并将所述任务提交指令发送给目标服务器，以供所述目标服务器在所述任务提交指令的控制作用下，根据所述阶段所查询的多条更新策略指示信息，以及与所述多条更新策略指示信息一一对应的多条待变更信息对存储于所述目标服务器中的第二表格进行持久化更新。
8.一种隔离网闸，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器用于执行所述计算机程序，以实现权利要求1～6中任意一项所述的数据同步方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时，实现权利要求1～6中任意一项所述的数据同步方法。
10.一种数据同步系统，其特征在于，包括源服务器、隔离网闸和目标服务器，所述隔离网闸分别与所述源服务器和所述目标服务器通信；
所述源服务器用于生成变更信息指示表格，并将所述变更信息指示表格发送给所述隔离网闸；
所述隔离网闸用于在获取所述变更信息指示表格之后，对所述变更信息指示表格进行分阶段查询，且每个阶段查询所述变更信息指示表格中包括的多条更新策略指示信息，针对每个阶段所查询的多条更新策略指示信息中的每条更新策略指示信息，在查询到所述更新策略指示信息时，从存储于所述源服务器的第一表格中，确定出与所述更新策略指示信息对应的待变更信息，在每完成一个阶段的查询之后，生成任务提交指令，并将所述任务提交指令发送给目标服务器；
所述目标服务器用于在所述任务提交指令的控制作用下，根据所述阶段所查询的多条更新策略指示信息，以及与所述多条更新策略指示信息一一对应的多条待变更信息对存储于所述目标服务器中的第二表格进行持久化更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011618607.8A CN112667745A (zh) | 2020-12-31 | 2020-12-31 | 数据同步方法、装置、隔离网闸及数据同步系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011618607.8A CN112667745A (zh) | 2020-12-31 | 2020-12-31 | 数据同步方法、装置、隔离网闸及数据同步系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112667745A true CN112667745A (zh) | 2021-04-16 |
Family
ID=75411519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011618607.8A Pending CN112667745A (zh) | 2020-12-31 | 2020-12-31 | 数据同步方法、装置、隔离网闸及数据同步系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667745A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114417390A (zh) * | 2022-03-30 | 2022-04-29 | 天津联想协同科技有限公司 | 一种网盘组织账户数据同步方法、装置、网盘及存储介质 |
| CN114500569A (zh) * | 2022-01-27 | 2022-05-13 | 中国工商银行股份有限公司 | 数据同步方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN110019512A (zh) * | 2017-10-11 | 2019-07-16 | 北京国双科技有限公司 | 一种数据处理方法及装置 |
| CN110413690A (zh) * | 2019-07-03 | 2019-11-05 | 杭州数梦工场科技有限公司 | 数据库的数据同步方法、服务器、电子设备、存储介质 |
| CN111177144A (zh) * | 2019-10-17 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 表同步方法、装置、设备、存储介质及系统 |
| CN111444175A (zh) * | 2020-02-27 | 2020-07-24 | 平安科技（深圳）有限公司 | 数据库表格变更方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-31 CN CN202011618607.8A patent/CN112667745A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN110019512A (zh) * | 2017-10-11 | 2019-07-16 | 北京国双科技有限公司 | 一种数据处理方法及装置 |
| CN110413690A (zh) * | 2019-07-03 | 2019-11-05 | 杭州数梦工场科技有限公司 | 数据库的数据同步方法、服务器、电子设备、存储介质 |
| CN111177144A (zh) * | 2019-10-17 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 表同步方法、装置、设备、存储介质及系统 |
| CN111444175A (zh) * | 2020-02-27 | 2020-07-24 | 平安科技（深圳）有限公司 | 数据库表格变更方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 谢建全: "《信息系统安全防护技术》", 31 July 2006, 中国宇航出版社, pages: 196 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500569A (zh) * | 2022-01-27 | 2022-05-13 | 中国工商银行股份有限公司 | 数据同步方法、装置、设备及存储介质 |
| CN114417390A (zh) * | 2022-03-30 | 2022-04-29 | 天津联想协同科技有限公司 | 一种网盘组织账户数据同步方法、装置、网盘及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103678556B (zh) | 列式数据库处理的方法和处理设备 | |
| US11593337B2 (en) | Data processing method, device, and a storage medium | |
| CN110399373B (zh) | 一种区块链账本存储系统、存储查询方法及删除方法 | |
| CN112667745A (zh) | 数据同步方法、装置、隔离网闸及数据同步系统 | |
| CN109086382B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN111143470A (zh) | 跨平台数据库数据同步比对方法及装置 | |
| US20190065551A1 (en) | Data providing apparatus and data providing method | |
| CN110795431B (zh) | 环境监测数据处理方法、装置、设备及存储介质 | |
| WO2022127866A1 (zh) | 数据处理方法、装置、电子设备、存储介质 | |
| CN114185991A (zh) | 基于分布式数据库实现数据同步的方法及相关装置 | |
| CN112286643B (zh) | 以太坊虚拟机的事务处理方法、装置、设备和介质 | |
| CN111831744B (zh) | Dapp的链上数据检索系统、方法及介质 | |
| US20210149870A1 (en) | Method, apparatus, and computer program product for improved tracking of state data | |
| CN112860802A (zh) | 数据库操作语句的处理方法、装置及电子设备 | |
| CN110263060B (zh) | 一种erp电子附件管理方法及计算机设备 | |
| CN112596956A (zh) | 一种文件系统管理方法、装置及相关组件 | |
| CN115687276A (zh) | 一种文件处理方法、装置、电子设备及存储介质 | |
| CN101639854A (zh) | 获取表名的方法、装置和服务器 | |
| CN111324614B (zh) | 一种表的配置方法、装置、终端设备以及存储介质 | |
| CN113312412A (zh) | 一种统计数据的获取方法、装置、电子设备及存储介质 | |
| CN112527900A (zh) | 一种数据库读多副本一致性的方法、装置、设备及介质 | |
| CN112286992B (zh) | 一种查询方法、分布式系统、设备及存储介质 | |
| CN117112583A (zh) | 实现数据库和缓存数据同步的方法、查询数据的方法 | |
| CN114996734A (zh) | 半透明加密列的数据管理方法、装置、设备及存储介质 | |
| CN115757378A (zh) | 数据表的数据删除方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |