CN109271351A - 一种数据库同步方法及系统 - Google Patents
一种数据库同步方法及系统 Download PDFInfo
- Publication number
- CN109271351A CN109271351A CN201811341797.6A CN201811341797A CN109271351A CN 109271351 A CN109271351 A CN 109271351A CN 201811341797 A CN201811341797 A CN 201811341797A CN 109271351 A CN109271351 A CN 109271351A
- Authority
- CN
- China
- Prior art keywords
- database
- end server
- new data
- synchronous
- synchronized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库同步方法及系统，其中数据库同步方法，包括：在同步端服务器获取其数据库的更新数据，对所述更新数据进行整理，并将更新数据定时发送给对应的消息队列；在被同步端服务器定时从消息队列服务中获取更新数据，进行整理后存入对应的数据库实现同步。本发明可以使得数据同步过程中不容易丢失，且不会对服务器的性能造成很大的影响。
Description
技术领域
本发明涉及数据传输方法，尤其涉及一种数据库同步方法及系统。
背景技术
数据库同步数据时常见的一种数据传输应用场景，在以往的数据库同步数据中主要是利用数据库的主从同步进行数据的同步操作，但是在一些远程同步数据时，可能会存在由于网络或性能方面因素，使数据存在流失，从而数据变得不完整，导致同步过程失败。
现有技术中专利号为201310017947.9的专利公开了一种消息交互装置，该装置利用消息队列服务进行各种服务的连接，使得服务器的服务间可以得到通信方式，但是该方式的各项服务都是一直存在的，没有相应的时间空隙，使得服务器方面的承载能力受到一定的影响。
发明内容
为了解决现有技术中数据库同步时数据丢失或者为了确保不丢失对服务器造成了巨大压力的技术问题，本发明提出了一种数据库同步方法，包括：
在同步端服务器获取其数据库的更新数据，对所述更新数据进行整理，并将更新数据定时发送给对应的消息队列；
在被同步端服务器定时从消息队列服务中获取更新数据，进行整理后存入对应的数据库实现同步。
优选的，对同步端服务器的服务进行时间分配设定，使更新数据在同步端服务器空闲时发送给所述消息队列。
优选的，对被同步端服务器的服务进行时间分配设定，使得在被同步端服务器空闲时向所述消息队列获取更新数据。
具体的，对所述更新数据的整理包括识别所述更新数据的主键。
在一实施例中，通过监控所述同步端服务器的数据库，在其数据库有数据变化时，立即获取所述更新数据。在另一实施例中，定时从所述同步端服务器的数据库获取所述更新数据。
应用时，所述同步端服务器的数据库与被同步端服务器的数据库为主从同步数据库。
本发明还提出了一种数据库同步系统，包括：至少一组同步端服务器和被同步端服务器，分别设置在同步端服务器和被同步端服务器上的定时数据发送模块和定时接收服务模块，以及消息队列；所述定时数据发送模块获取同步端服务器的数据库的更新数据并进行整理，并定时发送给所述消息队列；所述定时接收服务模块定时从所述消息队列中获取更新数据，整理后存入被同步端服务器的数据库实现同步。
优选的，所述定时数据发送模块的定时发送时间设置在被同步端服务器的空闲时间内。
优选的，所述定时接收服务模块的定时接收时间设置在同步端服务器的空闲时间内。
应用时，所述同步端服务器的数据库与被同步端服务器的数据库为主从同步数据库。
本发明采用消息队列搭配双向定时数据发送，既保障了数据存储的持久性，又可以保障服务器的性能，使得单个服务器可以进行合理的承载单个中小型系统运行，且可以搭载其它辅助服务进行搭配使用。
附图说明
下面结合实施例和附图对本发明进行详细说明，其中：
图1是本发明的数据传输走向图。
具体实施方式
下面结合附图详细说明本发明的原理及最优实施例。
如图1所示，在本实施例中，数据库同步系统包括至少一组同步端服务器和被同步端服务器，分别设置在同步端服务器和被同步端服务器上的定时数据发送模块和定时接收服务模块，以及消息队列。图1中仅仅只示意了一组同步端服务器和被同步端服务器的两个数据库。
定时数据发送模块可以监听同步端数据库中的数据变动，获取对应的更新数据，或者定时数据发送模块可以定时定期地与同步端的数据库进行通讯获取更新数据，之后对更新数据进行整理，连接对应的消息队列的服务的接口，定时进行更新数据的传递，使得数据可以传输到对应的消息队列中。
消息队列可以进行数据的持续化存储，而且更新数据是存储在对应的硬盘之中的，因此，使得更新数据的完整性可靠，且不会出现数据丢失的情况，在接收方没有进行相关的数据接收时，可以对数据进行长时间的存储，让对应的服务进行合理的资源分配，即能够让服务器进行合理的资源分配。
定时接收服务模块定时从消息队列中获取更新数据，整理后存入被同步端服务器的数据库，进行更新数据的保存，完成不同数据库之间的数据同步。定时接收服务模块对更新数据的整理其中就包括了识别更新数据的主键，使其可以分配给对应的服务进行处理。通过定时发送和定时接收，使得服务器的压力变小，保障了服务器的性能。
在一个优选实施例中，定时数据发送模块的定时发送时间设置在被同步端服务器的空闲时间内。定时接收服务模块的定时接收时间设置在同步端服务器的空闲时间内。具体的，服务器上主要的资源可以用于服务器上运行的主程序中，让主程序得到充分发挥，然后在主程序的使用变得减少时，此时服务器会有额外的资源进行空闲状态，此时进行辅助服务对服务器的性能影响将会变得很小。
本发明的构思同样也可以应用在两个数据库为主从同步数据库的场景中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种数据库同步方法，其特征在于，包括：
在同步端服务器获取其数据库的更新数据，对所述更新数据进行整理，并将更新数据定时发送给对应的消息队列；
在被同步端服务器定时从消息队列服务中获取更新数据，进行整理后存入对应的数据库实现同步。
2.如权利要求1所述的数据库同步方法，其特征在于，对同步端服务器的服务进行时间分配设定，使更新数据在同步端服务器空闲时发送给所述消息队列。
3.如权利要求1所述的数据库同步方法，其特征在于，对被同步端服务器的服务进行时间分配设定，使得在被同步端服务器空闲时向所述消息队列获取更新数据。
4.如权利要求1所述的数据库同步方法，其特征在于，对所述更新数据的整理包括识别所述更新数据的主键。
5.如权利要求1所述的数据库同步方法，其特征在于，通过监控所述同步端服务器的数据库，在其数据库有数据变化时，立即获取所述更新数据。
6.如权利要求1所述的数据库同步方法，其特征在于，定时从所述同步端服务器的数据库获取所述更新数据。
7.如权利要求1至6任意一项所述的数据库同步方法，其特征在于，所述同步端服务器的数据库与被同步端服务器的数据库为主从同步数据库。
8.一种数据库同步系统，其特征在于，包括：至少一组同步端服务器和被同步端服务器，分别设置在同步端服务器和被同步端服务器上的定时数据发送模块和定时接收服务模块，以及消息队列；
所述定时数据发送模块获取同步端服务器的数据库的更新数据并进行整理，并定时发送给所述消息队列；
所述定时接收服务模块定时从所述消息队列中获取更新数据，整理后存入被同步端服务器的数据库实现同步。
9.如权利要求8所述的同步系统，其特征在于，所述定时数据发送模块的定时发送时间设置在被同步端服务器的空闲时间内。
10.如权利要求8所述的同步系统，其特征在于，所述定时接收服务模块的定时接收时间设置在同步端服务器的空闲时间内。
11.如权利要求8至10任意一项所述的同步系统，其特征在于，所述同步端服务器的数据库与被同步端服务器的数据库为主从同步数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811341797.6A CN109271351A (zh) | 2018-11-12 | 2018-11-12 | 一种数据库同步方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811341797.6A CN109271351A (zh) | 2018-11-12 | 2018-11-12 | 一种数据库同步方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109271351A true CN109271351A (zh) | 2019-01-25 |
Family
ID=65193152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811341797.6A Pending CN109271351A (zh) | 2018-11-12 | 2018-11-12 | 一种数据库同步方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271351A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765165A (zh) * | 2019-10-23 | 2020-02-07 | 中国银行股份有限公司 | 一种跨系统数据同步处理的方法、装置及系统 |
| CN113821525A (zh) * | 2021-11-24 | 2021-12-21 | 北京金堤科技有限公司 | 数据更新系统和方法、以及存储介质和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101902473A (zh) * | 2010-07-22 | 2010-12-01 | 武汉中地数码科技有限公司 | 基于网格gis的数据同步更新实现方法 |
| CN102023973A (zh) * | 2009-09-14 | 2011-04-20 | 中国移动通信集团公司 | 一种应用缓存服务器与数据库同步的方法、装置和系统 |
| US8291101B1 (en) * | 2005-12-08 | 2012-10-16 | Juniper Networks, Inc. | Synchronization of mutually shared data stored on network devices |
| CN105095364A (zh) * | 2015-06-26 | 2015-11-25 | 车智互联（北京）科技有限公司 | 一种数据同步系统和方法 |
| CN106682002A (zh) * | 2015-11-05 | 2017-05-17 | 中兴通讯股份有限公司 | 数据库同步方法及系统、源数据和目标数据同步装置 |
-
2018
- 2018-11-12 CN CN201811341797.6A patent/CN109271351A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8291101B1 (en) * | 2005-12-08 | 2012-10-16 | Juniper Networks, Inc. | Synchronization of mutually shared data stored on network devices |
| CN102023973A (zh) * | 2009-09-14 | 2011-04-20 | 中国移动通信集团公司 | 一种应用缓存服务器与数据库同步的方法、装置和系统 |
| CN101902473A (zh) * | 2010-07-22 | 2010-12-01 | 武汉中地数码科技有限公司 | 基于网格gis的数据同步更新实现方法 |
| CN105095364A (zh) * | 2015-06-26 | 2015-11-25 | 车智互联（北京）科技有限公司 | 一种数据同步系统和方法 |
| CN106682002A (zh) * | 2015-11-05 | 2017-05-17 | 中兴通讯股份有限公司 | 数据库同步方法及系统、源数据和目标数据同步装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765165A (zh) * | 2019-10-23 | 2020-02-07 | 中国银行股份有限公司 | 一种跨系统数据同步处理的方法、装置及系统 |
| CN110765165B (zh) * | 2019-10-23 | 2022-07-29 | 中国银行股份有限公司 | 一种跨系统数据同步处理的方法、装置及系统 |
| CN113821525A (zh) * | 2021-11-24 | 2021-12-21 | 北京金堤科技有限公司 | 数据更新系统和方法、以及存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10764369B2 (en) | Data storage method and server applicable to distributed server cluster | |
| CN102880529B (zh) | 内存数据备份方法及内存数据备份系统 | |
| US7792153B2 (en) | Sequencing multi-source messages for delivery as partial sets to multiple destinations | |
| CN102456052B (zh) | 一种嵌入式设备与数据库数据同步方法 | |
| CN109542865A (zh) | 分布式集群系统配置文件同步方法、装置、系统及介质 | |
| CN109271351A (zh) | 一种数据库同步方法及系统 | |
| CN101739263A (zh) | 在多机集群系统中实现操作系统升级的方法及装置 | |
| WO2017162079A1 (zh) | 一种数据的同步方法和装置 | |
| CN104081355A (zh) | 软件总线 | |
| CN108965003A (zh) | 一种分布式集群的部署方法、装置、系统及存储介质 | |
| CN110012115A (zh) | 直播间推送信息的更新方法和系统 | |
| CN113391979A (zh) | 监控数据展示的处理方法、设备、系统及存储介质 | |
| CN105743970A (zh) | 分布式系统异步式数据同步的方法 | |
| CN110502572A (zh) | 一种数据同步的方法及服务器 | |
| CN112600881A (zh) | 提供物联网服务的方法、设备、服务器及存储介质 | |
| CN101778134A (zh) | 数据同步方法及移动通信终端 | |
| CN111654534A (zh) | 一种私有云任务管理系统、方法及存储介质 | |
| CN110740195B (zh) | 一种基于消息引擎的分布式系统数据同步方法及系统 | |
| CN112953757A (zh) | 数据分发方法、系统和计算机设备 | |
| CN110958150B (zh) | 一种服务动态配置的管理方法及装置 | |
| CN104320447A (zh) | 一种中小型云存储数据同步方法及计算机可读介质、系统 | |
| CN105812492B (zh) | 一种数据同步方法及系统 | |
| CN107807931A (zh) | 模板信息管理的方法和系统 | |
| CN111124717A (zh) | 消息投递方法、系统及计算机存储介质 | |
| CN107247631B (zh) | 通用的gpon-olt系统板间通信中间件系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190125 |
|
| RJ01 | Rejection of invention patent application after publication |