CN113965387A - 数据同步方法、系统、可读存储介质及计算机设备 - Google Patents
数据同步方法、系统、可读存储介质及计算机设备 Download PDFInfo
- Publication number
- CN113965387A CN113965387A CN202111242473.9A CN202111242473A CN113965387A CN 113965387 A CN113965387 A CN 113965387A CN 202111242473 A CN202111242473 A CN 202111242473A CN 113965387 A CN113965387 A CN 113965387A
- Authority
- CN
- China
- Prior art keywords
- unique
- private network
- file
- database
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000001360 synchronised effect Effects 0.000 claims abstract description 42
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 33
- 238000002955 isolation Methods 0.000 claims abstract description 33
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 241000533950 Leucojum Species 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 5
- 238000013024 troubleshooting Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Abstract
本发明提供一种数据同步方法、系统、可读存储介质及计算机设备，该方法包括：互联网数据库以预设时间间隔检查是否存在有用户配置的同步任务；若是，互联网数据库导出同步任务的数据形成带有唯一ID的第一文件并上传到双向隔离网闸；专网数据库轮询到双向隔离网闸中存在带有唯一ID的第一文件时；获取带有唯一ID的第一文件并储存在指定位置；专网数据库解析出带有唯一ID的第一文件中的唯一ID的模式，并判断唯一ID的模式与预设在专网数据库中的专网同步配置表中的配置是否匹配；当唯一ID的模式与预设在专网数据库中的专网同步配置表中的配置不匹配时，专网数据库读取并加载带有唯一ID的第一文件，以使互联网数据库与专网数据库的数据同步。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据同步方法、系统、可读 存储介质及计算机设备。
背景技术
传统的数据同步通常是要在网络互通的情况下实时交互进行的，即网络是 互通的前提下。但是如今关基平台面临的问题是，网络不通，但是有网闸，数 据必须先进行打包，然后传输，进入专网后，获取数据并还原。这会带来如下 问题：互联网数据和专网数据不一致之后，无法识别哪些是外网数据，哪些是 内网数据，导致无法溯源。
针对相关技术中，互联网数据和专网数据不一致之后，无法识别哪些是外 网数据，哪些是内网数据，导致无法溯源的问题，目前还没有提出有效的解决 方案。
发明内容
本申请实施例提供了一种数据同步方法、系统、可读存储介质及计算机设 备，以至少解决上述相关技术中的不足。
第一方面，本申请实施例提供了一种数据同步方法，在专网数据库与互联 网数据库之间架设双向隔离网闸，所述数据同步方法包括：
互联网数据库以预设时间间隔检查是否存在有用户配置的同步任务；
若是，所述互联网数据库导出所述同步任务的数据形成带有唯一ID的第一 文件，并将所述带有唯一ID的第一文件上传到所述双向隔离网闸；
专网数据库轮询并判断到所述双向隔离网闸中所述带有唯一ID的第一文件 属于需要加载类型时，解析出所述带有唯一ID的第一文件中的唯一ID的模式；
所述专网数据库判断所述唯一ID的模式与预设在所述专网数据库中的专网 同步配置表中的配置是否匹配；
当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配 置匹配时，所述专网数据库获取所述带有唯一ID的第一文件并储存在指定位置， 同时读取并加载所述带有唯一ID的第一文件，以使所述互联网数据库与所述专 网数据库的数据同步。
在其中一些实施例中，所述专网数据库与所述互联网数据库中的同步配置 表的表名一致、且所述同步配置表中具有时间基准字段。
在其中一些实施例中，所述互联网数据库导出所述同步任务的数据形成带 有唯一ID的第一文件，并将所述带有唯一ID的第一文件上传到所述双向隔离 网闸的步骤包括：
所述互联网数据库格式化所述同步任务的数据，并将所述格式化后的数据 打包成带有唯一ID的加密Zip文件；
将所述带有唯一ID的加密Zip文件上传至所述双向隔离网闸。
在其中一些实施例中，所述专网数据库判断所述唯一ID的模式与预设在所 述专网数据库中的专网同步配置表中的配置是否匹配的步骤之后，所述方法还 包括：
当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配 置不匹配时，所述专网数据库覆盖或丢弃所述带有唯一ID的第一文件。
在其中一些实施例中，所述读取并加载所述带有唯一ID的第一文件的步骤 包括：
所述专网数据库解压所述带有唯一ID的第一文件，识别文件标识并同步更 新相应的数据库表。
第二方面，本申请实施例提供了一种数据同步系统，包括互联网数据库和 专网数据库，在所述专网数据库与所述互联网数据库之间架设双向隔离网闸：
所述互联网数据库包括：
检查模块，用于以预设时间间隔检查是否存在有用户配置的同步任务；
导出模块，用于当存在有用户配置的同步任务时，导出所述同步任务的数 据形成带有唯一ID的第一文件，并将所述带有唯一ID的第一文件上传到所述 双向隔离网闸；
所述专网数据库包括：
轮询模块，用于轮询并判断到所述双向隔离网闸中所述带有唯一ID的第一 文件属于需要加载类型时，解析出所述带有唯一ID的第一文件中的唯一ID的 模式；
判断模块，用于判断所述唯一ID的模式与预设在所述专网数据库中的专网 同步配置表中的配置是否匹配；
第一处理模块，用于当所述唯一ID的模式与预设在所述专网数据库中的专 网同步配置表中的配置匹配时，所述专网数据库获取所述带有唯一ID的第一文 件并储存在指定位置，同时读取并加载所述带有唯一ID的第一文件，以使所述 互联网数据库与所述专网数据库的数据同步。
在其中一些实施例中，所述导出模块具体用于：
格式化所述同步任务的数据，并将所述格式化后的数据打包成带有唯一ID 的加密Zip文件；
将所述带有唯一ID的加密Zip文件上传至所述双向隔离网闸。
在其中一些实施例中，所述专网数据库还包括：
第二处理模块，用于当所述唯一ID的模式与预设在所述专网数据库中的专 网同步配置表中的配置不匹配时，所述专网数据库覆盖或丢弃所述带有唯一ID 的第一文件。
第三方面，本申请实施例提供了一种可读存储介质，其上存储有计算机程 序，该程序被处理器执行时实现如上述第一方面所述的数据同步方法。
第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以 及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执 行所述计算机程序时实现如上述第一方面所述的数据同步方法。
相比于相关技术，本申请实施例提供的数据同步方法、系统、可读存储介 质及计算机设备，通过设置唯一ID，保证专网和互联网的关系型数据库中的ID 是专网和互联网两个集合内的唯一值，从而避免冲突；数据能通过ID来确定是 互联网还是专网生成的，进一步对数据进行追溯，避免同步程序信息不及时不 对称而引起不必要的问题；通过历史数据同步和覆盖功能，一方面使得排查问 题过程简化，另一方面还能提高运维效能，同时还能够通过互联网的数据包和 专网加载的数据包进行追溯。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请 的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分， 本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限 定。在附图中：
图1为本发明实施例中的雪花算法示意图；
图2为本发明第一实施例中的数据同步方法的流程图；
图3为本发明第二实施例中的数据同步方法的流程图；
图4为本发明第三实施例中的数据同步系统的结构框图；
图5为本发明第四实施例中的计算机设备的结构框图。
主要元件符号说明：
| 存储器 | 10 | 检查模块 | 111 |
| 处理器 | 20 | 导出模块 | 112 |
| 计算机程序 | 30 | 轮询模块 | 121 |
| 互联网数据库 | 11 | 判断模块 | 122 |
| 专网数据库 | 12 | 第一处理模块 | 123 |
| 双向隔离网闸 | 13 | 第二处理模块 | 124 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用 以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通 技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本 申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于 本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些 附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过 程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关 的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些 设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的 内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或 特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短 语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的 实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施 例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属 技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一 个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申 请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖 不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、 产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤 或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单 元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理 的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本 申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系， 表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在 A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或” 的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的 对象，不代表针对对象的特定排序。
实施例一
请参阅图2，所示为本发明第一实施例中的数据同步方法，在专网数据库与 互联网数据库之间架设双向隔离网闸，所述数据同步方法具体包括步骤S101至 S105：
S101，互联网数据库以预设时间间隔检查是否存在有用户配置的同步任务；
需要说明的是，所述专网数据库与所述互联网数据库中的同步配置表的表 名一致。
互联网侧产生的数据不论在互联网侧，还是在专网侧平台的该表中，都是 唯一的。唯一ID的方法有很多，请参阅图1，这里我们举一个样例，本申请中 所采用的全局唯一ID的算法是雪花ID，图1中的雪花ID，是二进制的，转化 成十进制，是一个long型的整数。在本发明的条件下，不会出现冲突，即使全 局唯一ID。
可以理解的，利用雪花ID生成方法，保证专网和互联网的关系型数据库中 的ID是专网和互联网两个集合内的唯一值，从而避免冲突。示例并非限定，在 一些可选实施例中，全局唯一ID的方法还可以通过其他方法来实现。
另外，在所述数据库表中增加时间基准字段；需要说明的是，在本申请中， 该时间基准字段选择gmt_modified字段，该字段用于增量同步的时间基准，每 次同步结束，会记录同步的最后时间点，然后下次增量同步时，则会根据上一 次推送同步的最后时间点开始同步，同步到当前时间点为止。
在具体实施时，用户会配置同步任务，互联网数据库则会每间隔30秒，检 查是否存在有该同步任务。
S102，若是，所述互联网数据库导出所述同步任务的数据形成带有唯一ID 的第一文件，并将所述带有唯一ID的第一文件上传到所述双向隔离网闸；
需要说明的是，在本申请中，双向隔离网闸包括互联网网闸及专网网闸。
在具体实施时，所述互联网数据库格式化所述同步任务的数据，并将所述 格式化后的数据打包成带有唯一ID的加密Zip文件，该步骤支持增量/全量数据；
将所述带有唯一ID的加密Zip文件上传至互联网网闸上。
S103，专网数据库轮询并判断到所述双向隔离网闸中所述带有唯一ID的第 一文件属于需要加载类型时，解析出所述带有唯一ID的第一文件中的唯一ID 的模式；
需要说明的是，轮询，是一种CPU决策如何提供周边设备服务的方式，又 称“程控输入输出”(Programmed I/O)。轮询法的概念是：由CPU定时发出询问， 依序询问每一个周边设备是否需要其服务，有即给予服务，服务结束后再问下 一个周边，接着不断周而复始。
在具体实施时，互联网网闸会将所述带有唯一ID的第一文件传递至专网网 闸，专网数据库会根据内部加载的专网同步配置表，轮询并判断专网网闸上的 所述带有唯一ID的第一文件是否属于需要加载的类型，当所述带有唯一ID的 第一文件属于需要加载类型时，会解析出所述带有唯一ID的第一文件中的唯一 ID的模式。
S104，所述专网数据库判断所述唯一ID的模式与预设在所述专网数据库中 的专网同步配置表中的配置是否匹配；
在具体实施时，所述专网数据库判断所述带有唯一ID的第一文件的唯一ID 的模式是否与其内部的专网同步配置表中的配置相匹配。
S105，当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表 中的配置匹配时，所述专网数据库获取所述带有唯一ID的第一文件并储存在指 定位置，同时读取并加载所述带有唯一ID的第一文件，以使所述互联网数据库 与所述专网数据库的数据同步。
在具体实施时，当所述唯一ID的模式与预设在所述专网数据库中的专网同 步配置表中的配置匹配时，说明该带有唯一ID的第一文件没有被同步过，所述 专网数据库会获取所述带有唯一ID的第一文件，并且存储在专网数据库的本地 储存库中，所述专网数据库的解析程序监控上述文件的储存位置。
所述专网数据库的解压线程解压所述带有唯一ID的第一文件，识别文件标 识并更新相应的专网数据库的数据库表。
需要说明的是，通常关系型数据库(互联网数据库和专网数据库)中的数 据是不会存在主键冲突的，如果冲突，说明这条数据已经同步过了，根据策略 (覆盖/更新/丢弃等)处理即可。
可以理解的，本申请中根据唯一ID来保证专网和互联网的关系型数据库中 的ID是专网和互联网两个集合内的唯一值，从而避免冲突；由于ID是通过机 器码生成的，因此数据能够通过ID确定是由互联网还是专网生成的；而通过互 联网的数据包和专网加载的数据的历史数据同步和覆盖功能能够使得排查问题 过程简化，进一步提高运维效能。
应当理解的是，在一些可选实施例中，可以通过页面匹配策略，决定文件 是进行同步或覆盖/丢弃，也可以通过手动解决冲突问题。
综上，本发明上述实施例当中的数据同步方法，通过设置唯一ID，保证专 网和互联网的关系型数据库中的ID是专网和互联网两个集合内的唯一值，从而 避免冲突；数据能通过ID来确定是互联网还是专网生成的，进一步对数据进行 追溯，避免同步程序信息不及时不对称而引起不必要的问题；通过历史数据同 步和覆盖功能，一方面使得排查问题过程简化，另一方面还能提高运维效能， 同时还能够通过互联网的数据包和专网加载的数据包进行追溯。
实施例二
请参阅图3，所示为本发明第二实施例中的数据同步方法，在专网数据库与 互联网数据库之间架设双向隔离网闸，所述数据同步方法具体包括步骤S201至 S207：
S201，互联网数据库以预设时间间隔检查是否存在有用户配置的同步任务；
需要说明的是，所述专网数据库与所述互联网数据库中的同步配置表的表 名一致。
互联网侧产生的数据不论在互联网侧，还是在专网侧平台的该表中，都是 唯一的。唯一ID的方法有很多，请参阅图1，这里我们举一个样例，本申请中 所采用的全局唯一ID的算法是雪花ID，图1中的雪花ID，是二进制的，转化 成十进制，是一个long型的整数。在本发明的条件下，不会出现冲突，即使全 局唯一ID。
可以理解的，利用雪花ID生成方法，保证专网和互联网的关系型数据库中 的ID是专网和互联网两个集合内的唯一值，从而避免冲突。示例并非限定，在 一些可选实施例中，全局唯一ID的方法还可以通过其他方法来实现。
另外，在所述数据库表中增加时间基准字段；需要说明的是，在本申请中， 该时间基准字段选择gmt_modified字段，该字段用于增量同步的时间基准，每 次同步结束，会记录同步的最后时间点，然后下次增量同步时，则会根据上一 次推送同步的最后时间点开始同步，同步到当前时间点为止。
在具体实施时，用户会配置同步任务，互联网数据库则会每间隔30秒，检 查是否存在有该同步任务。
S202，若是，所述互联网数据库格式化所述同步任务的数据，并将所述格 式化后的数据打包成带有唯一ID的加密Zip文件；
需要说明的是，在本申请中，双向隔离网闸包括互联网网闸及专网网闸。
在具体实施时，所述互联网数据库格式化所述同步任务的数据，并将所述 格式化后的数据打包成带有唯一ID的加密Zip文件，该步骤支持增量/全量数据。
S203，将所述带有唯一ID的加密Zip文件上传至所述双向隔离网闸；
在具体实施时，所述互联网数据库将所述带有唯一ID的加密Zip文件上传 至互联网网闸上。
S204，专网数据库轮询并判断到所述双向隔离网闸中所述带有唯一ID的第 一文件属于需要加载类型时，解析出所述带有唯一ID的第一文件中的唯一ID 的模式；
需要说明的是，轮询，是一种CPU决策如何提供周边设备服务的方式，又 称“程控输入输出”(Programmed I/O)。轮询法的概念是：由CPU定时发出询问， 依序询问每一个周边设备是否需要其服务，有即给予服务，服务结束后再问下 一个周边，接着不断周而复始。
在具体实施时，互联网网闸会将所述带有唯一ID的第一文件传递至专网网 闸，专网数据库会根据内部加载的专网同步配置表，轮询并判断专网网闸上的 所述带有唯一ID的第一文件是否属于需要加载的类型，当所述带有唯一ID的 第一文件属于需要加载类型时，会解析出所述带有唯一ID的第一文件中的唯一 ID的模式。
S205，所述专网数据库判断所述唯一ID的模式与预设在所述专网数据库中 的专网同步配置表中的配置是否匹配；
在具体实施时，所述专网数据库判断所述带有唯一ID的第一文件的唯一ID 的模式是否与其内部的专网同步配置表中的配置相匹配。
S206，当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表 中的配置匹配时，所述专网数据库获取所述带有唯一ID的第一文件并储存在指 定位置，同时读取并加载所述带有唯一ID的第一文件，以使所述互联网数据库 与所述专网数据库的数据同步；
在具体实施时，当所述唯一ID的模式与预设在所述专网数据库中的专网同 步配置表中的配置匹配时，说明该带有唯一ID的第一文件没有被同步过，所述 专网数据库会获取所述带有唯一ID的第一文件，并且存储在专网数据库的本地 储存库中，所述专网数据库的解析程序监控上述文件的储存位置。
所述专网数据库的解压线程解压所述带有唯一ID的第一文件，识别文件标 识并更新相应的专网数据库的数据库表。
需要说明的是，通常关系型数据库(互联网数据库和专网数据库)中的数 据是不会存在主键冲突的，如果冲突，说明这条数据已经同步过了，根据策略 (覆盖/更新/丢弃等)处理即可。
S207，当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表 中的配置不匹配时，所述专网数据库覆盖或丢弃所述带有唯一ID的第一文件。
在具体实施时，当所述唯一ID的模式与预设在所述专网数据库中的专网同 步配置表中的配置不匹配时，说明该带有唯一ID的第一文件被同步过，所述专 网数据库直接根据情况选择覆盖或丢弃所述带有唯一ID的加密Zip文件中与所 述专网同步配置表中的配置匹配的所述第一文件。
需要说明的是，在一些可选实施例中，可以通过页面匹配策略，决定文件 是进行同步或覆盖/丢弃，也可以通过手动解决冲突问题。
可以理解的，本申请中根据唯一ID来保证专网和互联网的关系型数据库中 的ID是专网和互联网两个集合内的唯一值，从而避免冲突；由于ID是通过机 器码生成的，因此数据能够通过ID确定是由互联网还是专网生成的；而通过互 联网的数据包和专网加载的数据的历史数据同步和覆盖功能能够使得排查问题 过程简化，进一步提高运维效能。
综上，本发明上述实施例当中的数据同步方法，通过设置唯一ID，保证专 网和互联网的关系型数据库中的ID是专网和互联网两个集合内的唯一值，从而 避免冲突；数据能通过ID来确定是互联网还是专网生成的，进一步对数据进行 追溯，避免同步程序信息不及时不对称而引起不必要的问题；通过历史数据同 步和覆盖功能，一方面使得排查问题过程简化，另一方面还能提高运维效能， 同时还能够通过互联网的数据包和专网加载的数据包进行追溯。
实施例三
本发明另一方面还提出一种数据同步系统，请参阅图4，所示为本发明第三 实施例中的数据同步系统，包括互联网数据库11和专网数据库12，在所述专网 数据库与所述互联网数据库之间架设双向隔离网闸13：
所述互联网数据库11包括：
检查模块111，用于以预设时间间隔检查是否存在有用户配置的同步任务；
导出模块112，用于当存在有用户配置的同步任务时，导出所述同步任务的 数据形成带有唯一ID的第一文件，并将所述带有唯一ID的第一文件上传到所 述双向隔离网闸13；
进一步的，所述导出模块112具体用于：
格式化所述同步任务的数据，并将所述格式化后的数据打包成加密的Zip 文件；
将所述加密的Zip文件上传至所述双向隔离网闸13。
所述专网数据库12包括：
轮询模块121，轮询并判断到所述双向隔离网闸13中所述带有唯一ID的第 一文件属于需要加载类型时，解析出所述带有唯一ID的第一文件中的唯一ID 的模式；
判断模块122，用于判断所述唯一ID的模式与预设在所述专网数据库中的 专网同步配置表中的配置是否匹配；
第一处理模块123，用于当所述唯一ID的模式与预设在所述专网数据库12 中的专网同步配置表中的配置匹配时，所述专网数据库12获取所述带有唯一ID 的第一文件并储存在指定位置，同时读取并加载所述带有唯一ID的第一文件， 以使所述互联网数据库11与所述专网数据库12的数据同步；
进一步的，所述第一处理模块123具体用于：
解压所述带有唯一ID的第一文件，识别文件标识并同步更新相应的数据库 表。
第二处理模块124，用于当所述唯一ID的模式与预设在所述专网数据库中 的专网同步配置表中的配置不匹配时，覆盖或丢弃所述带有唯一ID的第一文件。
上述各模块被执行时所实现的功能或操作步骤与上述方法实施例大体相同， 在此不再赘述。
本发明实施例所提供的数据同步系统，其实现原理及产生的技术效果和前 述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方 法实施例中相应内容。
实施例四
本发明还提出一种计算机设备，请参考图5，所示为本发明第四实施例中的 计算机设备，包括存储器10、处理器20以及存储在所述存储器10上并可在所 述处理器20上运行的计算机程序30，所述处理器20执行所述计算机程序30时 实现上述的数据同步方法。
其中，存储器10至少包括一种类型的可读存储介质，所述可读存储介质包 括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存 储器、磁盘、光盘等。存储器20在一些实施例中可以是车辆的内部存储单元， 例如该车辆的硬盘。存储器20在另一些实施例中也可以是外部存储装置，例如 插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital, SD)卡，闪存卡(Flash Card)等。进一步地，存储器20还可以既包括车辆的 内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于车辆的 应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
其中，处理器20在一些实施例中可以是电子控制单元(Electronic ControlUnit，简称ECU，又称行车电脑)、中央处理器(Central Processing Unit,CPU)、 控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器10中存储 的程序代码或处理数据，例如执行访问限制程序等。
需要指出的是，图5示出的结构并不构成对计算机设备的限定，在其它实 施例当中，该计算机设备可以包括比图示更少或者更多的部件，或者组合某些 部件，或者不同的部件布置。
本发明实施例还提出一种可读存储介质，其上存储有计算机程序，该程序 被处理器执行时实现如上述的数据同步方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑 和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表， 可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如 基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设 备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而 使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、 传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装 置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或 多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存 储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪 速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机 可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以 例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他 合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器 中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。 在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执 行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方 式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有 用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合 逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA) 等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对 上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技 术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改 进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权 利要求为准。
Claims (10)
1.一种数据同步方法，其特征在于，在专网数据库与互联网数据库之间架设双向隔离网闸，所述数据同步方法包括：
互联网数据库以预设时间间隔检查是否存在有用户配置的同步任务；
若是，所述互联网数据库导出所述同步任务的数据形成带有唯一ID的第一文件，并将所述带有唯一ID的第一文件上传到所述双向隔离网闸；
专网数据库轮询并判断到所述双向隔离网闸中所述带有唯一ID的第一文件属于需要加载类型时，解析出所述带有唯一ID的第一文件中的唯一ID的模式；
所述专网数据库判断所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配置是否匹配；
当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配置匹配时，所述专网数据库获取所述带有唯一ID的第一文件并储存在指定位置，同时读取并加载所述带有唯一ID的第一文件，以使所述互联网数据库与所述专网数据库的数据同步。
2.根据权利要求1所述的数据同步方法，其特征在于，所述专网数据库与所述互联网数据库中的同步配置表的表名一致、且所述同步配置表中具有时间基准字段。
3.根据权利要求1所述的数据同步方法，其特征在于，所述互联网数据库导出所述同步任务的数据形成带有唯一ID的第一文件，并将所述带有唯一ID的第一文件上传到所述双向隔离网闸的步骤包括：
所述互联网数据库格式化所述同步任务的数据，并将所述格式化后的数据打包成带有唯一ID的加密Zip文件；
将所述带有唯一ID的加密Zip文件上传至所述双向隔离网闸。
4.根据权利要求1所述的数据同步方法，其特征在于，所述专网数据库判断所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配置是否匹配的步骤之后，所述方法还包括：
当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配置不匹配时，所述专网数据库覆盖或丢弃所述带有唯一ID的第一文件。
5.根据权利要求1所述的数据同步方法，其特征在于，所述读取并加载所述带有唯一ID的第一文件的步骤包括：
所述专网数据库解压所述带有唯一ID的第一文件，识别文件标识并同步更新相应的数据库表。
6.一种数据同步系统，其特征在于，包括互联网数据库和专网数据库，在所述专网数据库与所述互联网数据库之间架设双向隔离网闸：
所述互联网数据库包括：
检查模块，用于以预设时间间隔检查是否存在有用户配置的同步任务；
导出模块，用于当存在有用户配置的同步任务时，导出所述同步任务的数据形成带有唯一ID的第一文件，并将所述带有唯一ID的第一文件上传到所述双向隔离网闸；
所述专网数据库包括：
轮询模块，用于轮询并判断到所述双向隔离网闸中所述带有唯一ID的第一文件属于需要加载类型时，解析出所述带有唯一ID的第一文件中的唯一ID的模式；
判断模块，用于判断所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配置是否匹配；
第一处理模块，用于当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配置匹配时，所述专网数据库获取所述带有唯一ID的第一文件并储存在指定位置，同时读取并加载所述带有唯一ID的第一文件，以使所述互联网数据库与所述专网数据库的数据同步。
7.根据权利要求6所述的数据同步系统，其特征在于，所述导出模块具体用于：
格式化所述同步任务的数据，并将所述格式化后的数据打包成带有唯一ID的加密Zip文件；
将所述带有唯一ID的加密Zip文件上传至所述双向隔离网闸。
8.根据权利要求6所述的数据同步系统，其特征在于，所述专网数据库还包括：
第二处理模块，用于当所述唯一ID的模式与预设在所述专网数据库中的专网同步配置表中的配置不匹配时，所述专网数据库覆盖或丢弃所述带有唯一ID的第一文件。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的数据同步方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的数据同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111242473.9A CN113965387A (zh) | 2021-10-25 | 2021-10-25 | 数据同步方法、系统、可读存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111242473.9A CN113965387A (zh) | 2021-10-25 | 2021-10-25 | 数据同步方法、系统、可读存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113965387A true CN113965387A (zh) | 2022-01-21 |
Family
ID=79466702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111242473.9A Withdrawn CN113965387A (zh) | 2021-10-25 | 2021-10-25 | 数据同步方法、系统、可读存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113965387A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753487A (zh) * | 2008-12-04 | 2010-06-23 | 英华达(西安)通信科技有限公司 | 一种发送和接收摩斯密码的移动电子装置 |
| CN106973050A (zh) * | 2017-03-23 | 2017-07-21 | 山东中创软件商用中间件股份有限公司 | 一种跨网闸信息共享的方法及装置 |
| CN110324330A (zh) * | 2019-06-26 | 2019-10-11 | 高新兴科技集团股份有限公司 | 一种实现互联网和公安内网数据传输的系统及方法 |
| CN110413690A (zh) * | 2019-07-03 | 2019-11-05 | 杭州数梦工场科技有限公司 | 数据库的数据同步方法、服务器、电子设备、存储介质 |
| CN110941621A (zh) * | 2018-09-25 | 2020-03-31 | 北京国双科技有限公司 | 一种内外网间同步数据库的方法及装置 |
| CN110958218A (zh) * | 2019-10-16 | 2020-04-03 | 平安国际智慧城市科技股份有限公司 | 基于多网通信的数据传输方法及相关设备 |
-
2021
- 2021-10-25 CN CN202111242473.9A patent/CN113965387A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753487A (zh) * | 2008-12-04 | 2010-06-23 | 英华达(西安)通信科技有限公司 | 一种发送和接收摩斯密码的移动电子装置 |
| CN106973050A (zh) * | 2017-03-23 | 2017-07-21 | 山东中创软件商用中间件股份有限公司 | 一种跨网闸信息共享的方法及装置 |
| CN110941621A (zh) * | 2018-09-25 | 2020-03-31 | 北京国双科技有限公司 | 一种内外网间同步数据库的方法及装置 |
| CN110324330A (zh) * | 2019-06-26 | 2019-10-11 | 高新兴科技集团股份有限公司 | 一种实现互联网和公安内网数据传输的系统及方法 |
| CN110413690A (zh) * | 2019-07-03 | 2019-11-05 | 杭州数梦工场科技有限公司 | 数据库的数据同步方法、服务器、电子设备、存储介质 |
| CN110958218A (zh) * | 2019-10-16 | 2020-04-03 | 平安国际智慧城市科技股份有限公司 | 基于多网通信的数据传输方法及相关设备 |
Non-Patent Citations (1)
| Title |
|---|
| 董惠勤;陆魁军;: "跨安全网闸的内外网数据库同步的实现", 科技通报, no. 02, pages 266 - 270 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309125B (zh) | 数据校验方法、电子装置及存储介质 | |
| CN109240924B (zh) | 一种应用程序的测试方法及设备 | |
| CN108459962B (zh) | 代码规范性检测方法、装置、终端设备及存储介质 | |
| CN110601880B (zh) | 一种云平台、业务处理方法、命令接口及计算机设备 | |
| US20140344817A1 (en) | Converting a hybrid flow | |
| CN110377563A (zh) | 文件处理方法和装置、以及电子设备和可读存储介质 | |
| CN109190776A (zh) | 汽车故障的复检方法、装置、终端设备及存储介质 | |
| CN113965387A (zh) | 数据同步方法、系统、可读存储介质及计算机设备 | |
| CN112346775A (zh) | 指标数据通用处理方法、电子设备和存储介质 | |
| CN110826074A (zh) | 一种应用漏洞检测方法、装置和计算机可读存储介质 | |
| CN114185867A (zh) | 确认数据一致性的方法、装置和电子设备 | |
| CN114003220B (zh) | 工作流模型实现方法、系统、可读存储介质及计算机设备 | |
| CN110032341A (zh) | 一种模组的数据处理方法、装置、电子设备及介质 | |
| CN115827777A (zh) | 一种多数据源的自适应同步与差异识别方法、装置及设备 | |
| CN113127413B (zh) | 一种运营商数据处理方法、装置、服务器及存储介质 | |
| CN112445816B (zh) | 车辆诊断数据引用方法、装置、终端设备及存储介质 | |
| CN112711584A (zh) | 一种数据检查方法、检查装置、终端设备及可读存储介质 | |
| CN115099922B (zh) | 财务数据查询方法、系统、可读存储介质及计算机设备 | |
| CN112597109B (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| CN112433743B (zh) | 一种文件更新方法、装置、电子设备及存储介质 | |
| CN113282541B (zh) | 文件调用方法、装置和电子设备 | |
| CN111581207B (zh) | Azkaban项目的文件生成方法、装置及终端设备 | |
| CN111324542B (zh) | 一种Web应用回归测试用例选择系统、方法以及设备 | |
| CN117076444A (zh) | 财务数据处理方法、系统、可读存储介质及计算机 | |
| CN114816421A (zh) | 代码转换方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220121 |
|
| WW01 | Invention patent application withdrawn after publication |