CN1536802A - 一种数据同步方法 - Google Patents
一种数据同步方法 Download PDFInfo
- Publication number
- CN1536802A CN1536802A CNA031131247A CN03113124A CN1536802A CN 1536802 A CN1536802 A CN 1536802A CN A031131247 A CNA031131247 A CN A031131247A CN 03113124 A CN03113124 A CN 03113124A CN 1536802 A CN1536802 A CN 1536802A
- Authority
- CN
- China
- Prior art keywords
- data
- transmission
- mainboard
- recipient
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 230000001360 synchronised effect Effects 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000003139 buffering effect Effects 0.000 description 6
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明涉及数据发送和接收技术，是一种数据同步方法，解决了码分多址CDMA系统中利用主备方式保护数据完整性和一致性的问题。本发明包括如下步骤：第一步、数据发送方得到数据接收方现在的各种运行控制参数；第二步、发送方根据接收方的反馈和自己的数据更改情况决定要同步的数据和数据量；第三步、发送方和接收方进行数据的相互传输；第四步、发送方和接收方数据传输结束后，接收方进行数据的加载；第五步、发送方和接收方数据同步结束后，发送方和接收方进行各种运行控制参数的设置。该方法提高了数据同步的性能，又保证了数据的一致性和完整性。
Description
技术领域
本发明涉及数据通信领域中的数据发送和接收，特别是一种让数据发送方或接收方的数据保持同步的方法，尤其涉及码分多址CDMA系统中利用主备方式保护数据完整性和一致性的问题。
背景技术
在码分多址CDMA系统中，经常要涉及到数据的同步问题，例如，为了提高系统的稳定性，各种重要的单板一般都采用主备方式的工作模式，数据保存在主备板上，这样当主板由于各种原因而出现异常时，我们可以迅速用备板代替主板工作，而防止系统出现混乱甚至崩溃。但也正由于采用了这种工作模式，我们不得不考虑另一个问题：数据如何正确、完整的在主备板上同步。
目前，数据同步被广泛运用于各个方面。例如，在服务器和单板之间以及主备板之间就有数据同步的问题，我们一般把它们称为前后台(服务器端到单板)数据同步和主备数据同步。现在，数据同步的方法很多，但一般都存在下面几个问题：
1，前后台或主备板之间的数据同步慢；
这样当单板在启动过程或手工进行数据同步时，花费的时间很长，影响了数据同步效率。
2，前后台或主备板之间的数据能够正常传输，但接收方数据不完整；
这是由很多原因引起的，可能是由于发送方组织数据错误引起的，也可能是由于接收方处理数据引起的；当出现数据的不完整后，如果不能进行正确处理，就可能引起系统运行异常。
3，前后台或主备板之间的数据经常不一致；
发送方和接收方数据的不一致性，容易导致系统出现故障。
发明内容
本发明的目的是为了解决在码分多址CDMA系统中，前后台或主备板之间的数据同步慢，数据的不一致及数据的不完整性问题。
为了达到上述目的，本发明的技术解决方案所提供的一种数据同步方法，是基于码分多址CDMA系统中，让数据发送方或接收方的数据保持同步的方法，其主要处理包括如下步骤：
第一步、数据发送方得到接收方现在的各种运行控制参数，例如当前数据库的版本号、版本参考号等；
第二步、数据发送方根据数据接收方的反馈和自己的数据更改情况决定要同步的方式；
第三步、发送方和接收方进行数据的相互传输；
第四步、发送方和接收方数据传输结束后，接收方进行数据的加载；
第五步、发送方和接收方数据同步结束后，发送方和接收方进行各种运行控制参数的设置。
所述的数据同步方法，其所述的第一步还包括：
(1)发送方收到接收方发来的开始进行主备数据同步的消息；
(2)发送方通知主板数据传输过程将要开始；
(3)接收方确认，向发送方发送反馈消息。
所述的数据同步方法，其所述的第二步还包括：发送方根据数据接收方的反馈和自己的数据更改情况决定要同步的数据和数据量。
所述的数据同步方法，其所述的第四步还包括：当接收方从内存缓冲区读取数据到内存后，传输过程成功完成，接收方向发送方发送完成信息。
本发明的思路主要是考虑到发送方和接收方的数据同步容易发生各种异常，所以在整个数据的同步过程中，采用了多种方法来进行异常处理，同时，还充分考虑了同步的效率及对系统性能的影响。本发明的创新点有如下几个方面：
1、数据发送方和接收方利用各种参数来决定同步的数据。
例如，当进行主备之间的数据同步时，并不是简单的把主板的数据传输到备板就可以的事情。在决定主备数据同步前，主板要进行各种运行控制参数的比较(例如主备板要比较各自当前数据库的版本号、版本参考号等参数)，并且要判断自己的数据更改情况，从而决定哪些数据是应该进行同步的，这样，很大程度上提高了主备之间数据同步的性能。
2、数据同步过程中保证关系表的完整性和一致性。
例如，为保证数据传输过程中，数据能够正确、完整的传输到备板，以及保证数据加载时的完整性，备板在接受数据时，先将数据暂存在本地的内存缓冲区中，只有当本次传输的所有数据库表传输完毕后，才将缓冲区的数据加载到内存数据库中，并清空内存缓冲区。
同时，为保证主备之间进行同步的数据的完整性，前台在接收后台数据时，使前后台数据的传输和主备之间数据的传输成为互斥，并采用多种完整性互斥保护措施来保证数据的完整性。
3、数据库关系表的传输机制。
例如，在主备用的处理机之间的数据传输为数据库整表的传输，而且是多张变动过的数据库整表的传输。在前后台的数据库传输过程既有数据库整表的传输，也有数据库表变动部分的传输，对于数据库整表的传输和数据库表变动部分的传输，在将数据从内存缓冲区读到内存中时，设计采用不同的方法：当做数据库的整表传输时，数据从缓冲区到内存只有记录的插入操作，具体的做法是，先将接收方的数据库关系表打上预删除标记，再将缓冲区的记录调用插入方法读到内存中，最后将有预删除标记的记录删除；当做数据库的变动表传输时，直接根据传送过来的记录的数据更新标记做记录的插入或删除操作，在做记录的插入或删除操作时，设计算法使操作满足关系表数据的一致性约束要求。
4、数据接收方内存缓冲区的设计。
内存缓冲区是用来完成缓存传输过程中数据库文件的，由于传输的数据库大小最大可以是整个数据库文件的大小，所以缓冲区必须设置的足够大才行。
数据库的传输是多个数据库表的传输，传输过来的数据库表内部数据关系的一致性是由发送方来保证的，所以接收方必须在接收到的全部数据库表接收完成之后，才能将数据读到内存数据库，以保证数据库读到内存中后，前台数据表之间关系的一致性。这样就要求在内存缓冲区构造一个文件系统来管理接收到的数据库文件。
本发明所述方法，是通过对数据的发送方和接收方采用运行控制参数判断、在接收方开辟缓冲区及采用合理的传输措施和各种保护措施，从而实现了数据在发送方和接收方之间安全而有效的同步。这种方法提高了数据同步的性能，又保证了数据的一致性和完整性。在采用本发明所述方法实现前后台和主备之间数据同步后，数据同步的效率得到明显改善，系统的稳定性也得到了更大保障。
附图说明
下面结合附图进一步说明本发明。
图1为内存缓冲区的结构图；
图2为本发明的主备板之间数据同步的实施方式的流程图。
具体实施方式
参见图1为内存缓冲区的结构图，由于在内存缓冲区中不需要单个文件的删除及文件的打开及关闭操作，以及不需要文件的插入操作，而且每个数据库文件的数据都是连续存储的，所以文件系统的构造只需要能够进行文件的查找、读写及内存缓冲区所有文件的同时删除操作就可以满足需要。
操作此内存缓冲区的主要过程为：
a.找到文件注册表FileReg的头地址。
b.根据文件注册表中的信息(例如表名)找到所需要的文件记录地址，例如这里可以根据表名A找到它所对应文件的地址。
c.由于文件注册表中存放了数据库表记录的头地址。所以可以查找表记录了。
d.根据找到的数据库表中的记录，加载本地数据库。
参见图2所示的是本发明的一个实施方式的流程图，这里进行的是主备板之间的数据同步，它包括以下步骤：
j、主板收到后台服务器发来的开始进行主备数据同步的消息；
k、主板通知主板数据传输过程将要开始；
l、备板确认，向主机发送反馈消息；
m、主板根据备板反馈的情况和自己的数据更改情况，决定要同步的数据量及同步的方式；
n、主备数据的传输开始进行；
o、主备之间进行数据的传输；
p、主备数据的传输结束，备板从内存缓冲区读取到内存，传输过程成功完成，备板向主板发送完成消息；
q、主板结束数据同步过程，更改运行控制参数。
r、主板向后台服务器发送主备同步结束消息；
如图2所示，当主板收到后台服务器发来的进行主备数据同步的消息后，它把这个消息再转发给备板，从而得到备板的反馈。这样，主板就可以综合考虑主备板当前各自的情况而决定要同步的数据量。主板再给备板发同步开始消息，主备之间的同步就开始了。当主备同步结束后，备板把数据从缓冲区中取出来再加载到数据库的表中，这个加载过程的处理可以参考上面的创新点描述。当加载结束后，备板更改自己的运行控制参数，并发结束反馈消息到主板。主板收到结束反馈消息，更改自己的运行控制参数，最后结束主备之间数据同步。
Claims (6)
1、一种数据同步方法，是基于码分多址CDMA系统中，让数据发送方或接收方的数据保持一致的方法，其特征在于，包括如下步骤：
第一步、数据发送方得到接收方现在的各种运行控制参数；
第二步、数据发送方根据数据接收方的反馈和自己的数据更改情况决定要同步的方式；
第三步、发送方和接收方进行数据的相互传输；
第四步、发送方和接收方数据传输结束后，接收方进行数据的加载；
第五步、发送方和接收方数据同步结束后，发送方和接收方进行各种运行控制参数的设置。
2、如权利要求1所述的数据同步方法，其特征在于，所述的第一步还包括：
(1)发送方收到接收方发来的开始进行主备数据同步的消息；
(2)发送方通知主板数据传输过程将要开始；
(3)接收方确认，向发送方发送反馈消息。
3、如权利要求1所述的数据同步方法，其特征在于，所述的第二步还包括：发送方根据数据接收方的反馈和自己的数据更改情况决定要同步的数据和数据量。
4、如权利要求1所述的数据同步方法，其特征在于，所述的第四步还包括：当接收方从内存缓冲区读取数据到内存后，传输过程成功完成，接收方向发送方发送完成信息。
5、如权利要求1所述的数据同步方法，其特征在于，运行控制参数包括当前数据库的版本号、版本参考号。
6.一种数据同步方法，包括主备板数据的同步，包括如下步骤：
a、主板收到后台服务器发来的开始进行主备数据同步的消息；
b、主板通知主板数据传输过程将要开始；
c、备板确认，初始化内存缓冲区，并向主机发送反馈消息；
d、主板根据备板反馈的情况和自己的数据更改情况，决定要同步的数据量及同步的方式；
e、主备数据的传输开始进行；
f、主备之间进行数据的传输；备板把从主板传来的数据存入内存缓冲区。
g、主备数据的传输结束，备板从内存缓冲区读取到内存，传输过程成功完成，备板向主板发送完成消息；
h、主板结束数据同步过程，更改运行控制参数。
i、主板向后台服务器发送主备同步结束消息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03113124 CN1257623C (zh) | 2003-04-03 | 2003-04-03 | 一种数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03113124 CN1257623C (zh) | 2003-04-03 | 2003-04-03 | 一种数据同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1536802A true CN1536802A (zh) | 2004-10-13 |
| CN1257623C CN1257623C (zh) | 2006-05-24 |
Family
ID=34319983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 03113124 Expired - Fee Related CN1257623C (zh) | 2003-04-03 | 2003-04-03 | 一种数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1257623C (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101132269B (zh) * | 2007-07-26 | 2010-06-23 | 中兴通讯股份有限公司 | 数据同步方法及使用该方法的iptv内容分发网络系统 |
| CN102088489A (zh) * | 2010-12-31 | 2011-06-08 | 北京理工大学 | 一种分布式数据同步系统及方法 |
| CN102591740A (zh) * | 2010-09-15 | 2012-07-18 | 塔塔咨询服务有限公司 | 用于从主站向次站备份事务块的系统和方法 |
| CN101299710B (zh) * | 2007-04-30 | 2012-10-10 | 中兴通讯股份有限公司 | 内存数据库数据同步的方法 |
| CN104834292A (zh) * | 2015-04-27 | 2015-08-12 | 北京华泰诺安科技有限公司 | 一种同步核生化监控数据的方法 |
-
2003
- 2003-04-03 CN CN 03113124 patent/CN1257623C/zh not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299710B (zh) * | 2007-04-30 | 2012-10-10 | 中兴通讯股份有限公司 | 内存数据库数据同步的方法 |
| CN101132269B (zh) * | 2007-07-26 | 2010-06-23 | 中兴通讯股份有限公司 | 数据同步方法及使用该方法的iptv内容分发网络系统 |
| CN102591740A (zh) * | 2010-09-15 | 2012-07-18 | 塔塔咨询服务有限公司 | 用于从主站向次站备份事务块的系统和方法 |
| CN102591740B (zh) * | 2010-09-15 | 2014-11-12 | 塔塔咨询服务有限公司 | 用于从主站向次站备份事务块的系统和方法 |
| CN102088489A (zh) * | 2010-12-31 | 2011-06-08 | 北京理工大学 | 一种分布式数据同步系统及方法 |
| CN102088489B (zh) * | 2010-12-31 | 2013-05-22 | 北京理工大学 | 一种分布式数据同步系统及方法 |
| CN104834292A (zh) * | 2015-04-27 | 2015-08-12 | 北京华泰诺安科技有限公司 | 一种同步核生化监控数据的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1257623C (zh) | 2006-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100337218C (zh) | 网络存储系统中的数据管理方法及其构建的网络存储系统 | |
| CN100345143C (zh) | 数据处理方法和装置 | |
| CN1320483C (zh) | 用于在多节点环境中实施日志处理的系统和方法 | |
| CN1261877C (zh) | 多节点文件同步系统及方法 | |
| CN1079552C (zh) | 采用稀疏文件的实时数据迁移系统和方法 | |
| CN100592298C (zh) | 文件同步方法及装置 | |
| US7272602B2 (en) | System and method for unorchestrated determination of data sequences using sticky byte factoring to determine breakpoints in digital sequences | |
| US20140250088A1 (en) | Systems and methods for byte-level or quasi byte-level single instancing | |
| CN1411580A (zh) | 客户机－服务器环境中差异备份系统的管理 | |
| CN1545252A (zh) | 一种网管系统中实现对前台数据配置的方法 | |
| CN1286288C (zh) | 一种内存数据库主备同步的方法 | |
| CN1093660C (zh) | 多媒体系统中高效传送数据流的系统方法和设备 | |
| CN101051285A (zh) | 计算机网络数据备份中文件匹配的方法 | |
| US20070143286A1 (en) | File management method in file system and metadata server therefor | |
| CN102591947A (zh) | 用于数据去重复的快速且低ram占用的索引 | |
| CN1677887A (zh) | N+1备份的数据实时同步方法 | |
| CN1808389A (zh) | 帐务后台内存数据库中共享内存的自治锁方法 | |
| CN1257623C (zh) | 一种数据同步方法 | |
| CN1831782A (zh) | 网络信息系统异地数据镜像方法 | |
| CN101051929A (zh) | 一种数据网络终端间的数据同步方法 | |
| KR100521361B1 (ko) | 네트워크 환경에서의 파일 공동 전송 방법 | |
| CN1794663A (zh) | 堆叠系统中文件的访问方法 | |
| CN1929405A (zh) | 基于客户端/服务器结构的离线配置管理系统及方法 | |
| CN100337236C (zh) | 一种使前后台数据库中数据相一致的方法 | |
| CN1234074C (zh) | 基于Internet的文件镜像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20181018 Address after: 510640 2414-2416 of the main building 371, five mountain road, Tianhe District, Guangzhou, Guangdong. Patentee after: Guangdong Gaohang Intellectual Property Operation Co., Ltd. Address before: 518057 Department of law, Zhongxing building, South hi tech Industrial Park, Nanshan District hi tech Industrial Park, Guangdong, Shenzhen Patentee before: ZTE Corporation |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20181106 Address after: 221312 Zhao Xian village, eight road, Pizhou City, Xuzhou, Jiangsu Patentee after: Pizhou City hi do food factory Address before: 510640 2414-2416 of the main building 371, five mountain road, Tianhe District, Guangzhou, Guangdong. Patentee before: Guangdong Gaohang Intellectual Property Operation Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191119 Address after: 221300 north side of Qingnian East Road, Yunhe Town, Pizhou City, Xuzhou City, Jiangsu Province Patentee after: Pizhou Runhong Industry Co., Ltd. Address before: 221312 Zhao Xian village, eight road, Pizhou City, Xuzhou, Jiangsu Patentee before: Pizhou City hi do food factory |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060524 Termination date: 20190403 |