CN106921746A - 一种数据同步系统及数据同步方法 - Google Patents

一种数据同步系统及数据同步方法 Download PDF

Info

Publication number
CN106921746A
CN106921746A CN201710171639.XA CN201710171639A CN106921746A CN 106921746 A CN106921746 A CN 106921746A CN 201710171639 A CN201710171639 A CN 201710171639A CN 106921746 A CN106921746 A CN 106921746A
Authority
CN
China
Prior art keywords
data
server
synchronization
resolution
resolution server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710171639.XA
Other languages
English (en)
Inventor
杨旭川
张桂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Fu Sheng Technology Co Ltd
Original Assignee
Chongqing Fu Sheng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Fu Sheng Technology Co Ltd filed Critical Chongqing Fu Sheng Technology Co Ltd
Priority to CN201710171639.XA priority Critical patent/CN106921746A/zh
Publication of CN106921746A publication Critical patent/CN106921746A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据同步系统及同步方法，同步系统包括：主服务器：用于存储数据,记录数据变化日志；至少一个解析服务器：用于监听主服务器日志是否发生变化，若变化,则拉取变化内容存储于解析服务器的内存中,当解析服务器的内存达到阈值时，分块写入磁盘；至少一个从服务器：用于监听解析服务器的内存或磁盘中是否有数据，若有数据且没有同步过，就从数据起点开始同步数据；若以前同步过数据就从上次同步的位置开始同步,同步逻辑处理完成后提交同步确认，并记录下同步到的位置。本发明的解析服务器可以对自己关注的数据进行配置，并不需要同步所有数据，同步速度快。

Description

一种数据同步系统及数据同步方法
技术领域
本发明涉及一种通信、网络传输技术领域，特别是涉及一种数据同步系统及数据同步方法。
背景技术
现有技术中，跨区域的数据传输通过主服务器按既定周期向从服务器传输数据实现。从服务器接收主服务发送的数据后，将覆盖原有存储数据。因此，若数据量非常大时，跨区域数据同步就无法做到实时，数据分块同步难以划分，同步过程中也会出现错误导致数据丢失等情况。另一方面，主服务器主动发送变化数据是一个推送的过程，客户端是否正常接收无法判断，因此主服务器一直发送会浪费大量的资源。
因此本领域技术人员致力于开发一种可使主服务器和从服务器数据同步及时的系统及方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种可使主服务器和从服务器数据同步及时的系统及方法。
为实现上述目的，本发明提供了一种数据同步系统，包括：
主服务器：用于存储数据,记录数据变化日志；
至少一个解析服务器：用于监听主服务器日志是否发生变化，若变化,则拉取变化内容存储于解析服务器的内存中,当解析服务器的内存达到阈值时，分块写入磁盘；
至少一个从服务器：用于监听解析服务器的内存或磁盘中是否有数据，若有数据且没有同步过，就从数据起点开始同步数据；若以前同步过数据就从上次同步的位置开始同步,同步逻辑处理完成后提交同步确认，并记录下同步到的位置。
较佳的，数据同步系统还包括：
容灾报警系统：用于监听所述主服务器，解析服务器，从服务器之间的心跳；当服务器之间心跳无法连通时，存活端会继续进行心跳尝试，若尝试次数至预设的最大值任无法连通就去掉这个节点，中断后续流程并发送报警；
容灾服务器：当数据同步过程中后续处理流程出现错误，或者规则发生变化时，可更改同步位置重新同步数据。
本发明还提供了一种数据同步方法，包括以下步骤：
1)设置日志格式和解析服务器ID；设置要解析的数据和主服务器；设置主服务器监听间隔时长和解析服务器；
2)监听主服务器日志；
3)判断主服务器日志是否发生变化：若主服务器日志发生变化,则拉取变化内容存储于解析服务器的内存中,当解析服务器的内存达到阈值时，分块写入磁盘；
4)监听解析服务器；
5)当解析服务器的内存或磁盘中有数据且没有同步过，就使从服务器从数据起点开始同步数据；若以前同步过数据就使从服务器从上次同步的位置开始同步；
6)同步逻辑处理完成后提交同步确认，并记录下同步到的位置。
较佳的，数据同步方法还包括以下步骤：
7)监听所述主服务器，解析服务器，从服务器之间的心跳：当服务器之间心跳无法连通时，存活端会继续进行心跳尝试，若尝试次数至预设的最大值任无法连通就去掉这个节点，中断后续流程并发送报警；
8)容灾服务：当数据同步过程中后续处理流程出现错误，或者规则发生变化时，可更改同步位置重新同步数据。
本发明的有益效果是：
(1)本发明的解析服务器可以对自己关注的数据进行配置，并不需要同步所有数据。
(2)同步过程中实时记录同步的位置，当系统出现故障时不至于丢数据；当同步操作有误时，可以修改数据同步起始点重新同步数据。
(3)一个解析服务器可配置不同的从服务器并互不干扰，可以实现多份数据同时同步。
(4)容灾服务器会及时发现故障节点，移除节点，并发送报警，不会出现通信资源浪费的情况；当节点修复后会从中断点继续开始同步。
附图说明
图1是本发明一具体实施方式的结构示意图。
图2是本发明一具体实施方式的流程图之一。
图3是本发明一具体实施方式的流程图之一。
图4是本发明一具体实施方式的流程图之一。
图5是本发明一具体实施方式的流程图之一。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
如图1所示，一种数据同步系统，包括：
主服务器：用于存储数据,记录数据变化日志；
多个解析服务器：用于监听主服务器日志是否发生变化，若变化,则拉取变化内容存储于解析服务器的内存中,当解析服务器的内存达到阈值时，分块写入磁盘；
从服务器，分别对应一个或多个解析服务器：用于监听解析服务器的内存或磁盘中是否有数据，从服务器发起请求并携带同步的位置，初始状态下同步位置为0，已经同步过数据则获取记录同步位置的文件作为参数传给解析服务器。解析服务器接收到数据，查找相应的数据块和位置，如果有新数据则返回从服务器一次拉取条数的数据，从服务器进行相关逻辑处理后向解析服务器提交确认，确认之后从服务器记录同步过来新的位置。然后不断重复此操作。若有数据且没有同步过，就从数据起点开始同步数据；若以前同步过数据就从上次同步的位置开始同步,同步逻辑处理完成后提交同步确认，并记录下同步到的位置。
容灾报警系统：用于监听所述主服务器，解析服务器，从服务器之间的心跳；当服务器之间心跳无法连通时，存活端会继续进行心跳尝试，若尝试次数至预设的最大值任无法连通就去掉这个节点，中断后续流程并发送报警；
容灾服务器：当数据同步过程中后续处理流程出现错误，或者规则发生变化时，可更改同步位置重新同步数据。
如图1所示，可将主服务器的数据区分为若干数据模块，系统设置与数据模块对应的解析服务器，从而实现解析不同的数据模块，进一步提高数据同步的效率。相应的，某一从服务器可能只关心某一个或几个数据模块，因此，该从服务器只需要监听与其关心的数据模块对应的解析服务器即可，从而进一步提高数据同步的效率。
如图2至图5所示，基于上述发明构思，相应的，本发明还提供了一种数据同步方法，包括以下步骤：
1)设置日志格式和解析服务器ID；设置要解析的数据和主服务器；设置主服务器监听间隔时长和解析服务器；将主服务器的数据设置为多个数据模块。
2)监听主服务器日志。解析服务器监听方式只需要在主服务器开通一个监听的线程，占用资源少，主服务器主要用于提供各种数据服务，如果其他程序占用资源太多会导致主服务器的性能受到影响。
3)判断主服务器日志是否发生变化：若主服务器日志发生变化,则拉取变化内容存储于与变化内容所在数据模块对应的解析服务器的内存中,当内存通道达到一定阈值的时候，会将内存中的数据写入磁盘中，并且按顺序写入保证同步位置的连续性。
4)监听解析服务器；
5)当解析服务器的内存或磁盘中有数据且没有同步过，就使从服务器从数据起点开始同步数据；若以前同步过数据就使从服务器从上次同步的位置开始同步；从服务器去拉取数据时，先去解析服务器查找上次同步的位置，如果上次同步的位置数据存储在磁盘中则从磁盘同步，如果在内存中则从内存中同步。
6)同步逻辑处理完成后提交同步确认，并记录下同步到的位置。
同时，该方法还包括以下步骤：
7)监听所述主服务器，解析服务器，从服务器之间的心跳：当服务器之间心跳无法连通时，存活端会继续进行心跳尝试，若尝试次数至预设的最大值任无法连通就去掉这个节点，中断后续流程并发送报警；
8)容灾服务：当数据同步过程中后续处理流程出现错误，或者规则发生变化时，可更改同步位置重新同步数据。
因此，本发明中，解析服务器主动拉取的新数据会追加到解析服务器的老数据之后并记录位置，不用进行数据对比，位置的变化会直接方便从服务器监听，且无论从服务器同步的数据快慢和同步的位置是否一致都不会影响数据的一致性。解析服务器不需要从新发送数据，从服务器会每隔一段时间来监听数据是否变化，间隔时间可以自行设置。只判断上次同步到的位置是否是最新的位置，如果是最新位置则没有数据，如果不是最新位置则同步数据。
显然，本发明可以根据自身的需求同步，同步的速度和频率都可以配置，达到自由配置和按需取数据。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种数据同步系统，其特征是，包括：
主服务器：用于存储数据,记录数据变化日志；
至少一个解析服务器：用于监听主服务器日志是否发生变化，若变化,则拉取变化内容存储于解析服务器的内存中,当解析服务器的内存达到阈值时，分块写入磁盘；
至少一个从服务器：用于监听解析服务器的内存或磁盘中是否有数据，若有数据且没有同步过，就从数据起点开始同步数据；若以前同步过数据就从上次同步的位置开始同步,同步逻辑处理完成后提交同步确认，并记录下同步到的位置。
2.如权利要求1所述的数据同步系统，其特征是，还包括：
容灾报警系统：用于监听所述主服务器，解析服务器，从服务器之间的心跳；当服务器之间心跳无法连通时，存活端会继续进行心跳尝试，若尝试次数至预设的最大值任无法连通就去掉这个节点，中断后续流程并发送报警；
容灾服务器：当数据同步过程中后续处理流程出现错误，或者规则发生变化时，可更改同步位置重新同步数据。
3.一种数据同步方法，其特征是，包括以下步骤：
1)设置日志格式和解析服务器ID；设置要解析的数据和主服务器；设置主服务器监听间隔时长和解析服务器；
2)监听主服务器日志；
3)判断主服务器日志是否发生变化：若主服务器日志发生变化,则拉取变化内容存储于解析服务器的内存中,当解析服务器的内存达到阈值时，分块写入磁盘；
4)监听解析服务器；
5)当解析服务器的内存或磁盘中有数据且没有同步过，就使从服务器从数据起点开始同步数据；若以前同步过数据就使从服务器从上次同步的位置开始同步；
6)同步逻辑处理完成后提交同步确认，并记录下同步到的位置。
4.如权利要求3所述的数据同步方法，其特征是，还包括以下步骤：
7)监听所述主服务器，解析服务器，从服务器之间的心跳：当服务器之间心跳无法连通时，存活端会继续进行心跳尝试，若尝试次数至预设的最大值任无法连通就去掉这个节点，中断后续流程并发送报警；
8)容灾服务：当数据同步过程中后续处理流程出现错误，或者规则发生变化时，可更改同步位置重新同步数据。
CN201710171639.XA 2017-03-22 2017-03-22 一种数据同步系统及数据同步方法 Pending CN106921746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710171639.XA CN106921746A (zh) 2017-03-22 2017-03-22 一种数据同步系统及数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710171639.XA CN106921746A (zh) 2017-03-22 2017-03-22 一种数据同步系统及数据同步方法

Publications (1)

Publication Number Publication Date
CN106921746A true CN106921746A (zh) 2017-07-04

Family

ID=59460880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710171639.XA Pending CN106921746A (zh) 2017-03-22 2017-03-22 一种数据同步系统及数据同步方法

Country Status (1)

Country Link
CN (1) CN106921746A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804523A (zh) * 2018-04-27 2018-11-13 腾讯科技（深圳）有限公司 数据同步方法、系统及计算机可读存储介质
CN116679990A (zh) * 2022-10-26 2023-09-01 荣耀终端有限公司 一种服务状态初始化的统一方法及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669025A (zh) * 2002-09-11 2005-09-14 诺基亚有限公司 终端之间自动同步的方法、装置和系统
CN101309167A (zh) * 2008-06-27 2008-11-19 华中科技大学 基于集群备份的容灾系统及方法
CN101426306A (zh) * 2008-10-24 2009-05-06 中国移动通信集团山东有限公司 一种容灾切换方法、系统及装置
GB201220644D0 (en) * 2011-11-16 2013-01-02 Box Inc Managing updates at clients used by a user to access a cloud-based collaboration service
CN103177082A (zh) * 2013-02-21 2013-06-26 用友软件股份有限公司 主服务器、从服务器、索引同步系统和索引同步方法
CN103634385A (zh) * 2013-11-22 2014-03-12 乐视网信息技术（北京）股份有限公司 一种数据同步系统、方法及服务器
CN103684929A (zh) * 2013-12-27 2014-03-26 乐视网信息技术（北京）股份有限公司 服务器状态的监控系统及方法
CN104796445A (zh) * 2014-01-21 2015-07-22 航天信息股份有限公司 服务器节点进行资源同步的方法、装置
CN205142283U (zh) * 2015-11-17 2016-04-06 贵阳朗玛信息技术股份有限公司 多平台数据共享系统
CN106021494A (zh) * 2016-05-19 2016-10-12 中国银联股份有限公司 一种主数据同步方法及装置
CN106254094A (zh) * 2016-07-19 2016-12-21 中国银联股份有限公司 一种数据同步方法及系统
CN106469158A (zh) * 2015-08-17 2017-03-01 杭州海康威视系统技术有限公司 数据同步方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669025A (zh) * 2002-09-11 2005-09-14 诺基亚有限公司 终端之间自动同步的方法、装置和系统
CN101309167A (zh) * 2008-06-27 2008-11-19 华中科技大学 基于集群备份的容灾系统及方法
CN101426306A (zh) * 2008-10-24 2009-05-06 中国移动通信集团山东有限公司 一种容灾切换方法、系统及装置
GB201220644D0 (en) * 2011-11-16 2013-01-02 Box Inc Managing updates at clients used by a user to access a cloud-based collaboration service
CN103177082A (zh) * 2013-02-21 2013-06-26 用友软件股份有限公司 主服务器、从服务器、索引同步系统和索引同步方法
CN103634385A (zh) * 2013-11-22 2014-03-12 乐视网信息技术（北京）股份有限公司 一种数据同步系统、方法及服务器
CN103684929A (zh) * 2013-12-27 2014-03-26 乐视网信息技术（北京）股份有限公司 服务器状态的监控系统及方法
CN104796445A (zh) * 2014-01-21 2015-07-22 航天信息股份有限公司 服务器节点进行资源同步的方法、装置
CN106469158A (zh) * 2015-08-17 2017-03-01 杭州海康威视系统技术有限公司 数据同步方法和装置
CN205142283U (zh) * 2015-11-17 2016-04-06 贵阳朗玛信息技术股份有限公司 多平台数据共享系统
CN106021494A (zh) * 2016-05-19 2016-10-12 中国银联股份有限公司 一种主数据同步方法及装置
CN106254094A (zh) * 2016-07-19 2016-12-21 中国银联股份有限公司 一种数据同步方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804523A (zh) * 2018-04-27 2018-11-13 腾讯科技（深圳）有限公司 数据同步方法、系统及计算机可读存储介质
CN108804523B (zh) * 2018-04-27 2021-07-16 腾讯科技（深圳）有限公司 数据同步方法、系统及计算机可读存储介质
CN116679990A (zh) * 2022-10-26 2023-09-01 荣耀终端有限公司 一种服务状态初始化的统一方法及电子设备
CN116679990B (zh) * 2022-10-26 2024-04-05 荣耀终端有限公司 一种服务状态初始化的统一方法及电子设备

Similar Documents

Publication Publication Date Title
CN106331098B (zh) 一种服务器集群系统
CN103036719A (zh) 一种基于主备集群服务器的跨地区服务容灾方法及装置
CN109769001A (zh) 一种物联网数据传输方法及系统
CN105471622A (zh) 一种基于Galera的控制节点主备切换的高可用方法及系统
CN110677282B (zh) 一种分布式系统的热备份方法及分布式系统
CN102394914A (zh) 集群脑裂处理方法和装置
CN103580915A (zh) 集群系统中确定主控节点的方法及装置
CN109639512B (zh) 一种vts多传感器信息综合处理系统的热备份方法
CN110601903A (zh) 一种基于消息队列中间件的数据处理方法及装置
CN102282787B (zh) 将分布式计算机网络中的本地时钟同步的方法
CN109391691A (zh) 一种单节点故障下nas服务的恢复方法及相关装置
CN105472024A (zh) 一种基于消息推送模式的跨地域数据同步方法
CN105610566A (zh) 主备节点间数据实时同步的方法及系统
CN100466579C (zh) 时间触发的通信系统以及用于同步启动双信道网络的方法
CN106921746A (zh) 一种数据同步系统及数据同步方法
CN110213359B (zh) 一种基于d2d的车联网组网数据推送系统和方法
CN106817387A (zh) 一种数据同步方法、装置和系统
CN105812492B (zh) 一种数据同步方法及系统
CN101827035B (zh) 保证优雅重启的方法以及双主控网络设备
CN108390919A (zh) 一种用于高可靠双机热备的消息同步系统及方法
KR101233607B1 (ko) Ｏｓｅｋ 네트워크 경로 관리 방법
CN103414591A (zh) 一种端口故障恢复时的快速收敛方法和系统
CN114598594B (zh) 一种多集群下应用故障的处理方法、系统、介质和设备
CN109274763A (zh) 一种信息同步方法及双机热备设备
CN114039978B (zh) 一种去中心化的PoW算力集群部署方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704

RJ01 Rejection of invention patent application after publication