CN101667910B - 一种快速网络数据同步方法及其系统 - Google Patents
一种快速网络数据同步方法及其系统 Download PDFInfo
- Publication number
- CN101667910B CN101667910B CN2009100937884A CN200910093788A CN101667910B CN 101667910 B CN101667910 B CN 101667910B CN 2009100937884 A CN2009100937884 A CN 2009100937884A CN 200910093788 A CN200910093788 A CN 200910093788A CN 101667910 B CN101667910 B CN 101667910B
- Authority
- CN
- China
- Prior art keywords
- transit node
- subnet
- configuration file
- transit
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004883 computer application Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Abstract
本发明公开了一种快速网络数据同步方法及其系统，属于网络技术领域。本方法为：1)在每个子网中设置一主机作为本地子网的中转节点；2)在每一中转节点内加载一配置文件，中转节点之间采用TCP方式连接；3)子网内的主机将需同步数据通过广播方式在本地子网内进行传输；4)中转节点根据所加载的配置文件将需同步数据传输到指定子网的中转节点；5)其他子网的中转节点将收到的需同步数据通过广播方式在本地子网内进行传输。本系统包括若干子网，每个子网中设置一主机作为本地子网的中转节点，中转节点之间通过TCP方式连接，子网内部的主机之间通过广播方式连接；中转节点内包括一配置文件。本发明配置灵活，网络同步速度快，可达毫秒级。
Description
技术领域
本发明属于计算机网络技术领域，具体涉及一种快速网络数据同步方法及其系统，其可实现多主机多子网之间的快速数据同步。
背景技术
TCP/IP协议族中，供应用层使用的传输层的传输方式有两种，TCP传输和UDP传输。UDP是一个简单的面向数据报的传输层协议，它提供不可靠的数据传输，但是它具有程序结构简单，系统资源要求少，支持广播和组播的优点。TCP是一个面向连接的传输层协议，它提供可靠的数据传输，但是它也有程序结构复杂，系统资源要求多的缺点。TCP不支持广播和组播，两个主机之间必须建立一个TCP连接后才能彼此进行数据的传输。
现在的网络大多是由一个一个子网组成的，子网内大多是以以太网的形式组网，子网内的主机只能通过子网内的一个或几个网关和外界联系，然而目前在许多计算机应用中，需要许多主机同步共享同样的数据，要求的实时性非常高，并且这些主机可能分布在不同的子网之间，这样便存在一个子网间主机无法实现快速数据同步的问题。
发明内容
本发明的目的在于提供一种快速网络数据同步方法及其系统，其结合了TCP和UDP协议的优缺点，解决了网络数据同步的问题。
本发明的技术方案为：
一种快速网络数据同步方法，其步骤为：
1)在每个子网中设置一台主机作为本地子网的中转节点；
2)在每一所述中转节点内加载一配置文件，同时在所述中转节点之间采用TCP方式连接；所述配置文件包括若干中转节点信息，用于确定其所在中转节点需要连接的中转节点；
3)子网内的主机将需同步数据通过广播或组播的方式在本地子网内进行传输；
4)本地子网的中转节点根据所加载的配置文件，将需同步数据传输到指定子网的中转节点；
5)其他子网的中转节点将接收到的需同步数据通过广播或组播的方式在本地子网内进行传输。
进一步的，所述配置文件中的中转节点具有优先级，节点优先级高低与节点在所述配置文件中的排列顺序相对应；采用TCP方式连接时，优先级高的节点主动连接优先级低的节点；所述中转节点传输的需同步数据包括接收到的本地子网内其他主机发送的需同步数据或自身的需同步数据。
进一步的，所述每个子网内设置一主机作为本地子网的备用中转节点；所述本地子网的中转节点和本地子网的备用中转节点通过心跳方式获取对方的状态，当一方当机时启动另一方作为中转节点进行工作。
进一步的，所述配置文件包括中转节点信息及其对应的备用中转节点信息；所述中转节点信息包括中转节点的路由地址及其所属的子网。
进一步的，所述方法中，每个中转节点所加载的配置文件均包括全部所述中转节点信息，且所述配置文件中的中转节点排列顺序均相同。
进一步的，所述方法中，选择一所述中转节点作为中心中转节点，在所述中心中转节点内加载一中心配置文件，其余所述中转节点内加载一子网配置文件；所述中心配置文件包括每一所述中转节点信息，且所述中心中转节点优先级最低；所述子网配置文件包括其所在中转节点的节点信息和所述中心中转节点信息，且所述中心中转节点的优先级最低。
一种快速网络数据同步系统，包括若干个子网，其特征在于每个子网中设置一台主机作为本地子网的中转节点，所述中转节点之间通过TCP方式连接，所述子网内部的主机之间通过组播或广播方式连接；所述中转节点内包括一配置文件；所述配置文件包括若干中转节点信息。
进一步的，所述配置文件中的中转节点具有优先级，节点优先级高低与节点在所述配置文件中的排列顺序相对应；采用TCP方式连接时，优先级高的节点主动连接优先级低的节点。
进一步的，所述每个子网内设置一主机作为本地子网的备用中转节点；所述本地子网的中转节点和本地子网的备用中转节点通过心跳方式获取对方的状态。
进一步的，所述配置文件包括中转节点信息及其对应的备用中转节点信息；所述子网内部的主机之间通过UDP方式连接；所述中转节点信息包括中转节点的路由地址及其所属的子网。
进一步的，所述系统中，每个中转节点所加载的配置文件均包括全部所述中转节点信息，且所述配置文件中的中转节点排列顺序均相同。
进一步的，所述系统中，选择一所述中转节点作为中心中转节点，在所述中心中转节点内加载一中心配置文件，其余所述中转节点内加载一子网配置文件；所述中心配置文件包括每一所述中转节点信息，且所述中心中转节点优先级最低；所述子网配置文件包括其所在中转节点的节点信息和所述中心中转节点信息，且所述中心中转节点的优先级最低。
1.基本模型
基本模型是本发明的核心，它描述了两个子网之间的数据同步。
每个子网需要提供一台以上的主机，作为子网间数据同步的中转节点。子网之间就是通过中转节点之间的TCP连接来传输数据的。子网内的数据同步可以通过广播或者组播的方式实现。
配置
子网之间的连接需要确定连接方向，可以通过配置的方式来决定。配置中存放了两个子网和子网中中转节点的信息。子网中只有中转节点需要加载配置，并且需要在配置中定位自己的位置。子网之间的连接是通过优先级的方式决定的，在配置文件中靠前子网中转节点的优先级大于后边子网中转节点的优先级，优先级高的子网中转节点主动连接优先级低的子网中转节点，优先级低的子网中转节点只能接受配置文件中优先级高的子网中转节点的连接。
基本模型的图示如图1，数据同步过程如下描述：
1.有两个子网，子网1，子网2，配置文件如下
| 子网1中转节点1.1子网2中转节点2.1 |
2.子网1连接子网2
3.子网1由主机1.1作为中转服务器，子网2由主机2.1作为中转服务器。
4.子网1中有主机1.2需要将数据同步到本地子网和子网2中，那么主机1.2通过广播的方式使本地子网所有主机同步到数据，主机1.1收到同步数据后，通过TCP传输到子网2的主机2.1，然后2.1通过广播的方式使子网2内的主机同步到数据。
基本模型能够实现数据同步的基本要求，考虑到健壮性和多子网的网络拓扑结构，可通过基本模型扩展出很多实用的数据同步模型。
2.健壮性
考虑到子网间数据传输的健壮性，每个子网需要提供两个主机来作为同步数据的中转服务器，其中一个主机负责与其他子网连接，另一个备用，主备机之间应通过心跳的方式来获取对方的状态。
配置
需要对基本模型的配置进行扩展，配置文件中子网下的中转节点变为两个，子网中的中转节点也采用优先级的方式。具体说明请见下边的实例
实例
处理过程如下实例：
1.有两个子网，子网1，子网2，配置文件如下：
| 子网1中转节点1.1；中转节点1.2子网2中转节点2.1；中转节点2.2 |
2.其中子网1有主机1.1，1.2作为中转服务器，子网2有2.1，2.2作为中转服务器
3.主机1.1首先需要尝试连接2.1，如果连接上则建立两子网间的通路，如果2.1连接失败则需要尝试连接2.2，如果失败再尝试连接2.1，如此循环尝试连接，直到连接成功。如图2所示
4.在1.1与2.1建立连接后，1.2通过心跳方式监测1.1的状态，如果主机1.1突然死机，那么1.2应立刻与2.1进行连接。如图3所示
5.在1.1与2.1建立连接后，如果主机2.1突然死机，那么1.1应该立刻与2.2进行连接。如图4所示
3.拓扑
为了适应不同的网络环境和需求，需要通过调整配置来实现某种网络拓扑的需求。
最常用的拓扑就是全互联结构，在此结构下，所有的子网以及其中的主机都可以同步到需要同步的数据。另外，星形结构也是比较常用的结构，它以其中一个子网为中心，其他子网连接这个中心子网，这样中心子网可以同步到其他子网的数据，但是其他子网之间并不需要同步数据。
全互联模型和星形模型的说明在具体实施方案中说明。
发明的优点与积极效果
本发明配置灵活，可以根据具体应用来配置拓扑结构。网络同步的速度快，可以达到毫秒级。
附图说明
图1、基本模型连接示意图；
图2、初始状态连接示意图；
图3、在1.1当机后的状态连接示意图；
图4、在2.1当机后的状态连接示意图；
图5、全互联拓扑模型连接示意图，未考虑双机模式；
图6、星形模型连接示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细描述：
实施例1：全互联连接
所有的子网都可以同步到数据，这里所说的全互联模型，并不是所有的子网实现全连接，那样没有必要，连接方案如下：
1)有四个子网，子网1、子网2、子网3、子网4，如图5所示。所有子网可以使用相同的配置如下：
| 子网1中转节点1.1子网2中转节点2.1子网3中转节点3.1子网4中转节点4.1 |
2)根据优先级配置，子网1分别连接子网2，子网3，子网4；子网2分别连接子网3，子网4；子网3连接子网4。
3)数据传输过程，例如，1.2需要共享数据给其他主机，那么它需要通过广播或者组播的方式在本地子网中共享数据，本地子网的中转节点1.1接收到共享数据后，会分别把数据传输给其他子网的中转节点2.1、3.1、4.1，其他子网的中转节点接收到别的子网的共享数据后，会通过广播或组播的方式把数据共享给本地子网的其他主机。同理，其他子网中的主机需要同步数据给其他主机，只要重复上述步骤即可。
这样就建立起一个全互联的模型，每个子网的某个节点共享的数据，其他子网的节点都可以接收到。
实施例2：星形连接
以其中一个子网为中心，其他子网连接这个中心子网，这样中心子网可以同步到其他子网的数据，但是其他子网之间并不需要同步数据。连接方案如下：
1.有四个子网，子网1，子网2，子网3，子网4。以子网1为中心。如图6。由于采用的是星形连接，所以每个子网的配置文件是不相同的。
子网1配置：
| 子网2中转节点2.1子网3中转节点3.1子网4中转节点4.1子网1中转节点1.1 |
子网2配置：
| 子网2中转节点2.1子网1中转节点1.1 |
子网3配置：
| 子网3中转节点3.1子网1中转节点1.1 |
子网4配置：
| 子网4中转节点4.1子网1中转节点1.1 |
2.根据配置，子网1只能被动接受子网2，子网3，子网4的连接，子网2连接子网1，子网3连接子网1，子网4连接子网1。
3.数据传输过程，中心子网1向其他子网同步数据，例如，1.2需要同步数据给其他子网，那么它需要通过广播或者组播的方式在本地子网中共享数据，本地子网的中转节点1.1接收到共享数据后，会分别把数据传输给其他子网的中转节点2.1、3.1、4.1，其他子网的中转节点接收到别的子网的共享数据后，会通过广播或组播的方式把数据共享给本地子网的其他主机。其他子网向中心子网1同步数据，例如，2.2需要同步数据给中心子网，那么它需要通过广播或者组播的方式在本地子网中共享数据，本地子网的中转节点1.1接收到共享数据后，会把数据传输给中心子网的中转接点1.1，然后1.1会通过广播或组播的方式把数据共享给本地子网的其他主机。
Claims (12)
1.一种快速网络数据同步方法，其步骤为：
1)在每个子网中设置一台主机作为相应子网的中转节点；
2)在每一所述中转节点内加载一配置文件，同时在所述中转节点之间采用TCP方式连接；所述配置文件包括若干中转节点信息，用于确定其所在中转节点需要连接的中转节点；
3)子网内的主机将需同步数据通过广播或组播的方式在该主机所在的子网内进行传输；
4)该主机所在子网的中转节点根据所加载的配置文件，将需同步数据传输到指定子网的中转节点；
5)其他子网的中转节点将接收到的需同步数据通过广播或组播的方式在该中转节点所在的子网内进行传输。
2.如权利要求1所述的方法，其特征在于所述配置文件中的中转节点具有优先级，节点优先级高低与节点在所述配置文件中的排列顺序相对应；采用TCP方式连接时，优先级高的节点主动连接优先级低的节点；所述中转节点传输的需同步数据包括接收到的所述中转节点所在的子网内其他主机发送的需同步数据或自身的需同步数据。
3.如权利要求1或2所述的方法，其特征在于所述每个子网内设置一主机作为相应子网的备用中转节点；所述相应子网的中转节点和相应子网的备用中转节点通过心跳方式获取对方的状态，当一方当机时启动另一方作为中转节点进行工作。
4.如权利要求3所述的方法，其特征在于所述配置文件包括中转节点信息及其对应的备用中转节点信息；所述中转节点信息包括中转节点的路由地址及其所属的子网。
5.如权利要求1或2所述的方法，其特征在于每个中转节点所加载的配置文件均包括全部所述中转节点信息，且所述配置文件中的中转节点排列顺序均相同。
6.如权利要求2所述的方法，其特征在于选择一所述中转节点作为中心中转节点，在所述中心中转节点内加载一中心配置文件，其余所述中转节点内加载一子网配置文件；所述中心配置文件包括每一所述中转节点信息，且所述中心中转节点优先级最低；所述子网配置文件包括其所在中转节点的节点信息和所述中心中转节点信息，且所述中心中转节点的优先级最低。
7.一种快速网络数据同步系统，包括若干个子网，其特征在于每个子网中设置一台主机作为相应子网的中转节点，所述中转节点之间通过TCP方式连接，所述子网内部的主机之间通过组播或广播方式连接；所述中转节点内包括一配置文件；所述配置文件包括若干中转节点信息；其中，所述配置文件用于确定其所在中转节点需要连接的中转节点，相应子网的中转节点用于根据所加载的配置文件，将需同步数据传输到指定子网的中转节点；其他子网的中转节点将接收到的需同步数据通过广播或组播的方式在该中转节点所在的子网内进行传输。
8.如权利要求7所述的系统，其特征在于所述配置文件中的中转节点具有优先级，节点优先级高低与节点在所述配置文件中的排列顺序相对应；采用TCP方式连接时，优先级高的节点主动连接优先级低的节点。
9.如权利要求7或8所述的系统，其特征在于所述每个子网内设置一主机作为相应子网的备用中转节点；所述相应子网的中转节点和相应子网的备用中转节点通过心跳方式获取对方的状态。
10.如权利要求9所述的系统，其特征在于所述配置文件包括中转节点信息及其对应的备用中转节点信息；所述子网内部的主机之间通过UDP方式连接；所述中转节点信息包括中转节点的路由地址及其所属的子网。
11.如权利要求7或8所述的系统，其特征在于每个中转节点所加载的配置文件均包括全部所述中转节点信息，且所述配置文件中的中转节点排列顺序均相同。
12.如权利要求8所述的系统，其特征在于选择一所述中转节点作为中心中转节点，在所述中心中转节点内加载一中心配置文件，其余所述中转节点内加载一子网配置文件；所述中心配置文件包括每一所述中转节点信息，且所述中心中转节点优先级最低；所述子网配置文件包括其所在中转节点的节点信息和所述中心中转节点信息，且所述中心中转节点的优先级最低。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100937884A CN101667910B (zh) | 2009-10-16 | 2009-10-16 | 一种快速网络数据同步方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100937884A CN101667910B (zh) | 2009-10-16 | 2009-10-16 | 一种快速网络数据同步方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101667910A CN101667910A (zh) | 2010-03-10 |
| CN101667910B true CN101667910B (zh) | 2012-01-25 |
Family
ID=41804365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100937884A Active CN101667910B (zh) | 2009-10-16 | 2009-10-16 | 一种快速网络数据同步方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101667910B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104580367B (zh) * | 2014-12-08 | 2018-03-20 | 北京锐安科技有限公司 | 一种基于reactor模式的网络数据同步方法及系统 |
| CN109361744A (zh) * | 2018-09-30 | 2019-02-19 | 北京金山安全软件有限公司 | 一种隔离网络环境下的数据分发方法、装置及电子设备 |
| CN109710586B (zh) * | 2018-12-28 | 2019-09-13 | 北京谷数科技有限公司 | 一种集群节点配置文件同步方法及装置 |
| CN111556137A (zh) * | 2020-04-26 | 2020-08-18 | 北京元心科技有限公司 | 一种自组织异构网络中分布式系统的数据同步方法及系统 |
-
2009
- 2009-10-16 CN CN2009100937884A patent/CN101667910B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101667910A (zh) | 2010-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102263704B (zh) | 一种支持数据中心二层互联的拓扑构建方法和装置 | |
| CN105024855B (zh) | 分布式集群管理系统和方法 | |
| CN104320459A (zh) | 一种节点管理方法和装置 | |
| CN107273228B (zh) | 基于星型拓扑架构的消息传输方法 | |
| CN104054302A (zh) | 大规模数据中心的地址解析的缩放 | |
| CN104539055A (zh) | 基于网络的电力系统关键设备多机备一的方法及系统 | |
| CN106559332B (zh) | 一种快速组建全连通服务器集群的方法和系统 | |
| US11343787B2 (en) | Method and system for processing node registration notification | |
| WO2019196455A1 (zh) | 空调通讯系统、方法、存储介质、电子装置 | |
| CN103747091A (zh) | 一种嵌入式设备的分布式数据同步系统及方法 | |
| CN101667910B (zh) | 一种快速网络数据同步方法及其系统 | |
| CN110677282B (zh) | 一种分布式系统的热备份方法及分布式系统 | |
| CN105610981A (zh) | 快速作战信息流转平台 | |
| CN111865704B (zh) | 数据传输方法、系统和网络设备 | |
| CN104468854A (zh) | 一种纵向融合架构vcf的构建方法及设备 | |
| CN103631652A (zh) | 虚拟机迁移的实现方法及系统 | |
| CN107147580A (zh) | 一种隧道建立的方法及通信系统 | |
| CN104038570A (zh) | 一种数据处理方法及装置 | |
| CN105340226A (zh) | 动态路由设备的主备系统切换的方法及其装置 | |
| CN104734952A (zh) | 一种数据报文转发方法以及装置 | |
| CN102984174A (zh) | 一种发布订阅系统中可靠性保障方法及系统 | |
| CN106375211B (zh) | Vrrp负载均衡场景中的交换机数据处理方法和交换机 | |
| CN111708659B (zh) | 一种基于kubernetes构建云原生容灾架构的方法 | |
| CN106060186A (zh) | 一种报文处理方法及装置 | |
| CN103905498A (zh) | 服务信息管理方法及服务信息管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Data synchronism method and system thereof of fast network Effective date of registration: 20150723 Granted publication date: 20120125 Pledgee: China Co truction Bank Corp Beijing Zhongguancun branch Pledgor: Rui-an Science and Technology Co., Ltd., Beijing Registration number: 2014990000497 |
|
| PLDC | Enforcement, change and cancellation of contracts on pledge of patent right or utility model | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20180327 Granted publication date: 20120125 Pledgee: China Co truction Bank Corp Beijing Zhongguancun branch Pledgor: Rui-an Science and Technology Co., Ltd., Beijing Registration number: 2014990000497 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Data synchronism method and system thereof of fast network Effective date of registration: 20180627 Granted publication date: 20120125 Pledgee: China Co truction Bank Corp Beijing Zhongguancun branch Pledgor: Rui-an Science and Technology Co., Ltd., Beijing Registration number: 2018110000015 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210128 Granted publication date: 20120125 Pledgee: China Co. truction Bank Corp Beijing Zhongguancun branch Pledgor: Run Technologies Co.,Ltd. Beijing Registration number: 2018110000015 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |