CN108984743A - 基于境内外数据中心实现跨境数据同步的方法 - Google Patents
基于境内外数据中心实现跨境数据同步的方法 Download PDFInfo
- Publication number
- CN108984743A CN108984743A CN201810779654.7A CN201810779654A CN108984743A CN 108984743 A CN108984743 A CN 108984743A CN 201810779654 A CN201810779654 A CN 201810779654A CN 108984743 A CN108984743 A CN 108984743A
- Authority
- CN
- China
- Prior art keywords
- server
- local
- file
- data
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了基于境内外数据中心实现跨境数据同步的方法，包括以下步骤：在本地服务器设置本地服务器数据库；在目标服务器设置目标服务器数据库；在境内选取服务器作为中转服务器，并在中转服务器设置中转服务器数据库；所述本地服务器设置于境内；所述目标服务器设置于境外；当本地服务器数据库数据发生变化时，生成数据变化量文件，并在数据变化量文件内设置标记；所述标记采用本地服务器时间。本发明基于境内外数据中心实现跨境数据同步的方法，通过设置上述步骤，实现了在境内外通讯发送中断并恢复后，境外数据可以快速的实现同步，从而降低通关风险和通关时间，减少包裹积压。
Description
技术领域
本发明涉及跨境电商领域，具体涉及基于境内外数据中心实现跨境数据同步的方法。
背景技术
跨境电子商务从进出口方向分为：出口跨境电子商务和进口跨境电子商务。在政策红利释放和保税仓试点的背景下，随着越来越多企业杀入跨境电商蓝海，整个产业也将向规模化、标准化、集群化方向发展，可以说，谁将供应链方面实现规范化和整合，谁就在竞争中脱颖而出。而在这个过程中跨境电商ERP在打通上下游供应链又将起到关键性的作用。
目前随着跨境电商的发展，由于境内外数据交互通道时常发生堵塞，而现有的数据同步技术发送的数据量庞大，这就造成境内外数据不易同步，而境外数据不同步会造成海关人工核查，并且无法提前计算关税，导致清关不及时，使得大量包裹积压。
发明内容
本发明所要解决的技术问题是现有的数据同步技术发送的数据量庞大，这就造成境内外数据不易同步，而境外数据不同步会造成海关人工核查，并且无法提前计算关税，导致清关不及时，使得大量包裹积压，目的在于提供基于境内外数据中心实现跨境数据同步的方法，解决上述问题。
本发明通过下述技术方案实现：
基于境内外数据中心实现跨境数据同步的方法，包括以下步骤：S1：在本地服务器设置本地服务器数据库；在目标服务器设置目标服务器数据库；在境内选取服务器作为中转服务器，并在中转服务器设置中转服务器数据库；所述本地服务器设置于境内；所述目标服务器设置于境外；S2：当本地服务器数据库数据发生变化时，生成数据变化量文件，并在数据变化量文件内设置标记；所述标记采用本地服务器时间；S3：本地服务器将数据变化量文件发送至中转服务器和目标服务器；所述目标服务器根据数据变化量文件内的标记对目标服务器数据库进行修改；所述中转服务器将数据变化量文件储存入中转服务器数据库；S4：当本地服务器与目标表服务器之间的通讯中断一段时间后恢复时，中转服务器将中断时长对应标记的数据变化量文件发送至目标服务器。
现有技术中，随着跨境电商的发展，由于境内外数据交互通道时常发生堵塞，而现有的数据同步技术发送的数据量庞大，这就造成境内外数据不易同步，而境外数据不同步会造成海关人工核查，并且无法提前计算关税，导致清关不及时，使得大量包裹积压。
本发明应用时，先在本地服务器设置本地服务器数据库；在目标服务器设置目标服务器数据库；在境内选取服务器作为中转服务器，并在中转服务器设置中转服务器数据库；所述本地服务器设置于境内；所述目标服务器设置于境外；为了应对跨境信息传输的风险，同时为了避免通讯中断时，数据包的零散化，本发明设置一个境内的中转服务器。
然后当本地服务器数据库数据发生变化时，生成数据变化量文件，并在数据变化量文件内设置标记；所述标记采用本地服务器时间；为了精简数据库的更新内容，本发明创造性的采用了数据变化量文件这个概念，就是说当服务器数据发生增加、减少和变更的时候，生成一个文件，这个文件的内容非常少，只记录数据库一项变化，同时这也使得数据变化量文件的数量比较庞大，所以以本地服务器时间作为标记，对每个数据变化量文件进行编号，这个标记是唯一的，也就是说对于每个数据变化量文件只有一个唯一与之对应的标记。
再然后本地服务器将数据变化量文件发送至中转服务器和目标服务器；所述目标服务器根据数据变化量文件内的标记对目标服务器数据库进行修改；所述中转服务器将数据变化量文件储存入中转服务器数据库；本地服务器对数据变化量文件进行发送时，由于数据变化量文件的内容很小，所以发送中断产生的风险也非常小，将数据变化量文件在中转服务器进行备份，而在目标服务器根据数据变化量文件进行修改数据库，由于标记本身是唯一对应的，所以通过这些较小的文件，可以准确的体现本地服务器的数据变化，从而实现两地服务器的数据同步。
再然后当本地服务器与目标服务器之间的通讯中断一段时间后恢复时，中转服务器将中断时长对应标记的数据变化量文件发送至目标服务器。跨境数据传输发生通讯中断是很常见的现象，以往的数据同步过程当发生通讯中断，需要将很大的一个数据包重新进行发送，同时也很难对需要重发的数据包进行校核，而本发明的本地服务器在恢复通讯后不做数据重发，而是由中转服务器进行数据重发，即可以避免本地服务器突然数据量增大导致拥堵，也可以更加高效的实现数据发送。本发明通过设置上述步骤，实现了在境内外通讯发送中断并恢复后，境外数据可以快速的实现同步，从而降低通关风险和通关时间，减少包裹积压。
进一步的，步骤S2还包括以下子步骤：根据数据变化量文件的标记生成变化量索引文件。
进一步的，步骤S3还包括以下子步骤：本地服务器将变化量索引文件发送至中转服务器和目标服务器；所述目标服务器根据变化量索引对接收到的数据变化量文件进行核对。
本发明应用时，为了进一步提高数据同步效率和精度，采用索引的方式，由于本发明采用标记的方式进行，而标记本身为本地服务器时间，所以索引文件的生成非常便捷快速，通过索引文件可以很容易的实现对服务器数据的核对。
进一步的，还包括以下步骤：S5：本地服务器以预设的时间周期生成本地服务器数据库文件和索引文件的校验码，并将校验码发送至中转服务器和目标服务器；所述中转服务器将索引文件的校验码与中转服务器数据库中的索引文件进行比对；所述目标服务器将数据库文件的校验码与目标服务器数据库文件进行比对；所述目标服务器还将索引文件的校验码与目标服务器数据库中的索引文件进行比对。
进一步的，还包括以下步骤：S6：当中转服务器发现索引文件的校验码与中转服务器数据库中的索引文件不匹配时，向本地服务器重新请求索引文件，所述本地服务器收到请求后，将索引文件发送至中转服务器和目标服务器并执行S5；当目标服务器发现索引文件的校验码与目标服务器数据库中的索引文件不匹配时，向本地服务器重新请求索引文件，所述本地服务器收到请求后，将索引文件发送至目标服务器并执行S5；当目标服务器发现数据库文件的校验码与目标服务器数据库文件不匹配时，向本地服务器重新请求数据变化量文件，所述本地服务器收到请求后，将一个周期内的数据变化量文件依据索引发送至目标服务器并执行S5。
本发明应用时，进行数据核对时，由于采用了索引文件和数据库文件的方式，所以每次进行核对时，交互的数据量都大幅下降，避免了在本地服务器发生网络堵塞现象，即使数据核对和通讯中断恢复发生在同一时刻，也可以有效的提高通讯效率，减少数据包的发送。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明基于境内外数据中心实现跨境数据同步的方法，通过设置上述步骤，实现了在境内外通讯发送中断并恢复后，境外数据可以快速的实现同步，从而降低通关风险和通关时间，减少包裹积压。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，本发明基于境内外数据中心实现跨境数据同步的方法，包括以下步骤：S1：在本地服务器设置本地服务器数据库；在目标服务器设置目标服务器数据库；在境内选取服务器作为中转服务器，并在中转服务器设置中转服务器数据库；所述本地服务器设置于境内；所述目标服务器设置于境外；S2：当本地服务器数据库数据发生变化时，生成数据变化量文件，并在数据变化量文件内设置标记；所述标记采用本地服务器时间；S3：本地服务器将数据变化量文件发送至中转服务器和目标服务器；所述目标服务器根据数据变化量文件内的标记对目标服务器数据库进行修改；所述中转服务器将数据变化量文件储存入中转服务器数据库；S4：当本地服务器与目标表服务器之间的通讯中断一段时间后恢复时，中转服务器将中断时长对应标记的数据变化量文件发送至目标服务器。
本实施例实施时，先在本地服务器设置本地服务器数据库；在目标服务器设置目标服务器数据库；在境内选取服务器作为中转服务器，并在中转服务器设置中转服务器数据库；所述本地服务器设置于境内；所述目标服务器设置于境外；为了应对跨境信息传输的风险，同时为了避免通讯中断时，数据包的零散化，本发明设置一个境内的中转服务器。
然后当本地服务器数据库数据发生变化时，生成数据变化量文件，并在数据变化量文件内设置标记；所述标记采用本地服务器时间；为了精简数据库的更新内容，本发明创造性的采用了数据变化量文件这个概念，就是说当服务器数据发生增加、减少和变更的时候，生成一个文件，这个文件的内容非常少，只记录数据库一项变化，同时这也使得数据变化量文件的数量比较庞大，所以以本地服务器时间作为标记，对每个数据变化量文件进行编号，这个标记是唯一的，也就是说对于每个数据变化量文件只有一个唯一与之对应的标记。
再然后本地服务器将数据变化量文件发送至中转服务器和目标服务器；所述目标服务器根据数据变化量文件内的标记对目标服务器数据库进行修改；所述中转服务器将数据变化量文件储存入中转服务器数据库；本地服务器对数据变化量文件进行发送时，由于数据变化量文件的内容很小，所以发送中断产生的风险也非常小，将数据变化量文件在中转服务器进行备份，而在目标服务器根据数据变化量文件进行修改数据库，由于标记本身是唯一对应的，所以通过这些较小的文件，可以准确的体现本地服务器的数据变化，从而实现两地服务器的数据同步。
再然后当本地服务器与目标服务器之间的通讯中断一段时间后恢复时，中转服务器将中断时长对应标记的数据变化量文件发送至目标服务器。跨境数据传输发生通讯中断是很常见的现象，以往的数据同步过程当发生通讯中断，需要将很大的一个数据包重新进行发送，同时也很难对需要重发的数据包进行校核，而本发明的本地服务器在恢复通讯后不做数据重发，而是由中转服务器进行数据重发，即可以避免本地服务器突然数据量增大导致拥堵，也可以更加高效的实现数据发送。本发明通过设置上述步骤，实现了在境内外通讯发送中断并恢复后，境外数据可以快速的实现同步，从而降低通关风险和通关时间，减少包裹积压。
实施例2
本实施例在实施例1的基础上，步骤S2还包括以下子步骤：根据数据变化量文件的标记生成变化量索引文件。步骤S3还包括以下子步骤：本地服务器将变化量索引文件发送至中转服务器和目标服务器；所述目标服务器根据变化量索引对接收到的数据变化量文件进行核对。
本实施例实施时，为了进一步提高数据同步效率和精度，采用索引的方式，由于本发明采用标记的方式进行，而标记本身为本地服务器时间，所以索引文件的生成非常便捷快速，通过索引文件可以很容易的实现对服务器数据的核对。
实施例3
本实施例在实施例2的基础上，还包括以下步骤：S5：本地服务器以预设的时间周期生成本地服务器数据库文件和索引文件的校验码，并将校验码发送至中转服务器和目标服务器；所述中转服务器将索引文件的校验码与中转服务器数据库中的索引文件进行比对；所述目标服务器将数据库文件的校验码与目标服务器数据库文件进行比对；所述目标服务器还将索引文件的校验码与目标服务器数据库中的索引文件进行比对。还包括以下步骤：S6：当中转服务器发现索引文件的校验码与中转服务器数据库中的索引文件不匹配时，向本地服务器重新请求索引文件，所述本地服务器收到请求后，将索引文件发送至中转服务器和目标服务器并执行S5；当目标服务器发现索引文件的校验码与目标服务器数据库中的索引文件不匹配时，向本地服务器重新请求索引文件，所述本地服务器收到请求后，将索引文件发送至目标服务器并执行S5；当目标服务器发现数据库文件的校验码与目标服务器数据库文件不匹配时，向本地服务器重新请求数据变化量文件，所述本地服务器收到请求后，将一个周期内的数据变化量文件依据索引发送至目标服务器并执行S5。
本实施例实施时，进行数据核对时，由于采用了索引文件和数据库文件的方式，所以每次进行核对时，交互的数据量都大幅下降，避免了在本地服务器发生网络堵塞现象，即使数据核对和通讯中断恢复发生在同一时刻，也可以有效的提高通讯效率，减少数据包的发送。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于境内外数据中心实现跨境数据同步的方法，其特征在于，包括以下步骤：
S1：在本地服务器设置本地服务器数据库；在目标服务器设置目标服务器数据库；在境内选取服务器作为中转服务器，并在中转服务器设置中转服务器数据库；所述本地服务器设置于境内；所述目标服务器设置于境外；
S2：当本地服务器数据库数据发生变化时，生成数据变化量文件，并在数据变化量文件内设置标记；所述标记采用本地服务器时间；
S3：本地服务器将数据变化量文件发送至中转服务器和目标服务器；所述目标服务器根据数据变化量文件内的标记对目标服务器数据库进行修改；所述中转服务器将数据变化量文件储存入中转服务器数据库；
S4：当本地服务器与目标服务器之间的通讯中断一段时间后恢复时，中转服务器将中断时长对应标记的数据变化量文件发送至目标服务器。
2.根据权利要求1所述的基于境内外数据中心实现跨境数据同步的方法，其特征在于，步骤S2还包括以下子步骤：
根据数据变化量文件的标记生成变化量索引文件。
3.根据权利要求2所述的基于境内外数据中心实现跨境数据同步的方法，其特征在于，步骤S3还包括以下子步骤：
本地服务器将变化量索引文件发送至中转服务器和目标服务器；
所述目标服务器根据变化量索引对接收到的数据变化量文件进行核对。
4.根据权利要求3所述的基于境内外数据中心实现跨境数据同步的方法，其特征在于，还包括以下步骤：
S5：本地服务器以预设的时间周期生成本地服务器数据库文件和索引文件的校验码，并将校验码发送至中转服务器和目标服务器；所述中转服务器将索引文件的校验码与中转服务器数据库中的索引文件进行比对；所述目标服务器将数据库文件的校验码与目标服务器数据库文件进行比对；所述目标服务器还将索引文件的校验码与目标服务器数据库中的索引文件进行比对。
5.根据权利要求4所述的基于境内外数据中心实现跨境数据同步的方法，其特征在于，还包括以下步骤：
S6：当中转服务器发现索引文件的校验码与中转服务器数据库中的索引文件不匹配时，向本地服务器重新请求索引文件，所述本地服务器收到请求后，将索引文件发送至中转服务器和目标服务器并执行S5；
当目标服务器发现索引文件的校验码与目标服务器数据库中的索引文件不匹配时，向本地服务器重新请求索引文件，所述本地服务器收到请求后，将索引文件发送至目标服务器并执行S5；
当目标服务器发现数据库文件的校验码与目标服务器数据库文件不匹配时，向本地服务器重新请求数据变化量文件，所述本地服务器收到请求后，将一个周期内的数据变化量文件依据索引发送至目标服务器并执行S5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810779654.7A CN108984743B (zh) | 2018-07-16 | 2018-07-16 | 基于境内外数据中心实现跨境数据同步的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810779654.7A CN108984743B (zh) | 2018-07-16 | 2018-07-16 | 基于境内外数据中心实现跨境数据同步的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108984743A true CN108984743A (zh) | 2018-12-11 |
| CN108984743B CN108984743B (zh) | 2021-04-13 |
Family
ID=64549224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810779654.7A Active CN108984743B (zh) | 2018-07-16 | 2018-07-16 | 基于境内外数据中心实现跨境数据同步的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108984743B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101034364A (zh) * | 2007-04-02 | 2007-09-12 | 华为技术有限公司 | 一种实现内存数据备份的方法、装置和系统 |
| CN101464888A (zh) * | 2008-12-29 | 2009-06-24 | 深圳市迈科龙电子有限公司 | 信息系统平滑升级的装置和方法 |
| CN101719165A (zh) * | 2010-01-12 | 2010-06-02 | 山东高效能服务器和存储研究院 | 一种实现数据库高效快速备份的方法 |
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及系统 |
| CN103699580A (zh) * | 2013-12-03 | 2014-04-02 | 中铁程科技有限责任公司 | 数据库同步方法及装置 |
| CN106686070A (zh) * | 2016-12-13 | 2017-05-17 | 腾讯科技（深圳）有限公司 | 一种数据库数据迁移方法、装置、终端及系统 |
| US9721033B2 (en) * | 2011-02-28 | 2017-08-01 | Micro Focus Software Inc. | Social networking content management |
| CN107562883A (zh) * | 2017-09-04 | 2018-01-09 | 马上消费金融股份有限公司 | 一种数据同步的方法及系统 |
-
2018
- 2018-07-16 CN CN201810779654.7A patent/CN108984743B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101034364A (zh) * | 2007-04-02 | 2007-09-12 | 华为技术有限公司 | 一种实现内存数据备份的方法、装置和系统 |
| CN101464888A (zh) * | 2008-12-29 | 2009-06-24 | 深圳市迈科龙电子有限公司 | 信息系统平滑升级的装置和方法 |
| CN101719165A (zh) * | 2010-01-12 | 2010-06-02 | 山东高效能服务器和存储研究院 | 一种实现数据库高效快速备份的方法 |
| US9721033B2 (en) * | 2011-02-28 | 2017-08-01 | Micro Focus Software Inc. | Social networking content management |
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及系统 |
| CN103699580A (zh) * | 2013-12-03 | 2014-04-02 | 中铁程科技有限责任公司 | 数据库同步方法及装置 |
| CN106686070A (zh) * | 2016-12-13 | 2017-05-17 | 腾讯科技（深圳）有限公司 | 一种数据库数据迁移方法、装置、终端及系统 |
| CN107562883A (zh) * | 2017-09-04 | 2018-01-09 | 马上消费金融股份有限公司 | 一种数据同步的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108984743B (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103544074B (zh) | 一种业务的校验方法及装置 | |
| CN105094956B (zh) | 一种基于通道隔离的业务分配方法和装置 | |
| CN103309907B (zh) | 对不同来源的业务数据进行规范化处理的方法及系统 | |
| CN107766132A (zh) | 多任务调度方法、应用服务器及计算机可读存储介质 | |
| CN104156832A (zh) | 系统间数据核对方法及装置 | |
| CN113347164B (zh) | 基于区块链的分布式共识系统及方法、设备、存储介质 | |
| CN106447246A (zh) | 库存数据对账方法及装置 | |
| US10121071B2 (en) | Document verification system | |
| CN106775602A (zh) | 一种代码发布方法及装置 | |
| CN112270550A (zh) | 一种基于区块链的新能源电力溯源方法及系统 | |
| CN109919676B (zh) | 一种智能环保袋计费管理的方法及系统 | |
| CN103997523A (zh) | 基于云服务的智慧城市业务系统及其实现方法 | |
| CN103065215A (zh) | 一种电网调度方法 | |
| CN104536965A (zh) | 一种大数据条件下的数据查询展示系统及方法 | |
| CN107844588A (zh) | 一种数据字典的处理方法、装置、存储介质及处理器 | |
| CN109996202A (zh) | 一种流量的计费方法及装置 | |
| CN107528912A (zh) | 一种自动实现分布式事务处理的方法、系统及相关装置 | |
| CN105354732A (zh) | 基于微信企业号的供应商报价方法及系统 | |
| CN109857524A (zh) | 流式计算方法、装置、设备及计算机可读存储介质 | |
| CN106779891A (zh) | 一种电子发票从企业erp到互联网的安全传递系统及方法 | |
| CN106850724A (zh) | 数据推送方法及装置 | |
| CN107016096A (zh) | 一种数据导入系统及基于该系统的数据导入方法 | |
| CN108984743A (zh) | 基于境内外数据中心实现跨境数据同步的方法 | |
| CN109117295A (zh) | 一种交易超时监控方法及装置 | |
| CN109600426A (zh) | 一种基于soa业务开发平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200806 Address after: 510000 room 711, floor 7, No. 733 (1), Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province (only for office use) Applicant after: GUANGZHOU TENTCOO SOFTWARE TECHNOLOGY Co.,Ltd. Address before: 510000 Guangdong Guangzhou Haizhuqu District Xingang East Road 1000 1103, 1104, 1105, 1106 rooms Applicant before: GUANGZHOU YOUMI TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |