CN113220791A - 一种数据级联同步系统及方法 - Google Patents

一种数据级联同步系统及方法 Download PDF

Info

Publication number
CN113220791A
CN113220791A CN202110617953.2A CN202110617953A CN113220791A CN 113220791 A CN113220791 A CN 113220791A CN 202110617953 A CN202110617953 A CN 202110617953A CN 113220791 A CN113220791 A CN 113220791A
Authority
CN
China
Prior art keywords
synchronization
database
data
message queue
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110617953.2A
Other languages
English (en)
Other versions
CN113220791B (zh
Inventor
邓楠轶
吕珍珍
王文庆
杨东
高原英
崔逸群
刘超飞
毕玉冰
董夏昕
朱博迪
介银娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Thermal Power Research Institute Co Ltd
Original Assignee
Xian Thermal Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Thermal Power Research Institute Co Ltd filed Critical Xian Thermal Power Research Institute Co Ltd
Priority to CN202110617953.2A priority Critical patent/CN113220791B/zh
Publication of CN113220791A publication Critical patent/CN113220791A/zh
Application granted granted Critical
Publication of CN113220791B publication Critical patent/CN113220791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Hardware Redundancy (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据级联同步的系统与方法，该系统包括数据库同步模块、消息队列和级间同步模块，同步源系统数据库的操作被数据库同步模块捕获并发送到消息队列的指定主题中，级间同步模块从消息队列中获取数据库操作，分析操作中包含的数据，将要同步给不同目的系统的数据分发在消息队列不同的主题中，同步目的系统的级间同步模块从消息队列的特定主题中获取同步给自己的数据库操作，并将其写入本系统数据库中；本发明系统及方法可以按照业务的需求将不需要同步的数据丢弃，将需要同步的数据按照配置，分发给不同的同步目的系统中。

Description

一种数据级联同步系统及方法
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据级联同步系统及方法。
背景技术
传统的信息系统如果涉及了多层级的组织机构，一般会采用集中式部署，即在顶级机构中部署一套系统给所有的组织机构提供服务。在这种部署方式下，如果上级组织机构与下级组织机构的网络断开，会导致下级机构无法使用在上级机构中部署的信息系统提供的服务。为了满足在断网情况下不影响使用的需求，需要将系统进行分级部署，即在需要保障可用性的机构中均部署一套信息系统，与上级系统进行数据同步。目前已有的数据同步技术，都是对数据的全量同步，使用这些同步技术会导致在分级部署的信息系统在同步时，上级系统将不属于下级系统的数据与需要同步的数据一并同步给下级系统，一方面造成网络带宽的浪费，另一方面也会造成数据的泄露。
发明内容
为了克服上述现有技术存在的问题，本发明的目的在于提供了一种数据级联同步系统与方法，可根据业务需求的配置，将属于不同目的系统的数据分别进行同步，节省了网络带宽，保护数据安全。
为了达到上述目的，本发明采用如下技术方案：
一种数据级联同步系统，包括同步源系统10的数据库同步模块101、消息队列102和同步源系统级间同步模块103以及同步目的系统11的同步目的系统级间同步模块111；同步源系统10与同步目的系统11通过同步源系统级间同步模块103和同步目的系统级间同步模块111与消息队列102进行数据交互；
所述数据库同步模块101获取同步源系统10数据库的操作日志，并将捕获到的数据库操作日志写入消息队列102的同步主题中；
所述消息队列102为各模块之间提供通信，通信以先入先出的队列方式提供，并通过支持多个主题使每个通信信道不互相干扰；使数据库同步模块101可以将数据库操作日志通过同步主题传送给同步源系统级间同步模块103，使同步源系统级间同步模块103可以将过滤后的数据库操作日志传送给同步目的系统级间同步模块111；
所述同步源系统级间同步模块103中配置了需要同步的数据信息与各同步目的系统的数据权限，从消息队列102的同步主题中获取来源于数据库同步模块101全量的数据库操作日志后，根据配置信息，将不需要同步的数据丢弃，将需要同步给不同数据目的系统的数据库操作日志写入消息队列102的不同分发主题中；
同步目的系统级间同步模块111中配置了同步源系统中消息队列102的地址与分配给本系统的同步主题，根据配置，将从消息队列102的指定主题中获得数据库操作日志，并根据操作日志对同步目的系统11的数据库进行更新。
所述的数据级联同步系统的数据同步方法，包括如下步骤：
步骤1：在同步源系统10的数据库中的数据发生变更时，即对该数据库进行了更新操作，数据库会产生操作日志。数据库同步模块101将数据库操作日志捕获，并发送到消息队列102中的同步源系统级间同步模块103中；
步骤2：同步源系统级间同步模块103从同步主题将数据库操作日志分发至消息队列102的各分发主题中：
1)同步源系统级间同步模块103从同步主题中将数据库同步模块101写入同步主题的数据库操作日志读出；
2)解析读出的数据库操作日志，并判断是否为需要同步的操作，若该操作不需要同步，则直接丢弃该操作日志，步骤结束，若需要同步，继续进行3)；
3)将该操作日志与数据权限配置进行比对，判断该操作日志应分发至哪个主题，并将该日志写入对应主题中。
步骤3：同步目的系统级间同步模块111根据配置，从同步源系统10的消息队列102中特定的分发主题读取数据库操作日志，并解析该操作日志，将对应的操作在同步目的系统11的数据库上执行，完成数据同步。
和现有技术相比较，本发明具备如下优点：
与全量数据同步的方法相比，本发明可以配置数据权限，按照业务的需求将不需要同步的数据丢弃，将需要同步的数据按照配置，分发给不同的同步目的系统中，不但节省了网络带宽，而且保护了数据安全。
附图说明
图1为本发明一种数据级联同步系统的结构图。
图2为实施例中进行数据双向同步的上下两级系统的结构图。
图3为实施例中上级系统向下级系统同步数据方法的流程图。
图4为实施例中下级系统向上级系统同步数据方法的流程图。
具体实施方式
以下结合附图及实施例对本发明作进一步的阐释。
如图1所示，本发明一种数据级联同步系统，该系统包含同步源系统10与同步目的系统11。同步源系统10包含数据库同步模块101、消息队列102与同步源系统级间同步模块103，同步目的系统11包含同步目的系统级间同步模块111。
数据库同步模块101是从同步源系统10数据库获取数据库操作日志，并将操作日志写入消息队列的同步主题中。
消息队列102是为不同模块提供消息交互机制的软件组件，支持先进先出(FIFO)的消息队列模式与多个消息主题，以便给不同组件提供多个消息通道。
同步源系统级间同步模块103中存储同步配置，用来从消息队列102的同步主题中将数据库同步模块101获取的数据库操作日志，并根据配置将不需要同步的操作日志丢弃，将需要同步的操作日志分发给配置指定的主题中。
同步目的系统级间同步模块111是用来从同步源系统10的消息队列102指定主题中获取同步给本系统数据库操作日志的软件模块。
下面采用一具体实例，并结合图1所示的系统结构图，详细介绍在一个实例中，上述数据同步系统与方法。
如图2所示，上级系统20与下级系统21进行数据同步，在本实例中上级系统向下级系统同步数据时，上级系统为同步源系统，下级系统为同步目的系统；下级系统向上级系统同步数据时，下级系统为同步源系统，上级系统为同步目的系统。
在上级系统20向下级系统21同步数据时，上级系统20即为图1中同步源系统10，下级系统21中的级间同步模块213与下级系统中的数据库为图1中同步目的系统11。
在下级系统21向上级系统20同步数据时，下级系统21即为图1中同步源系统10，本实例中，一个下级系统只有唯一一个上级系统，故下级系统的级间同步模块213在向上同步数据时不需要将数据库操作日志分发到不同的主题中。
图3为本申请实施例中，上级系统向下级系统同步数据方法，主要包含以下步骤：
步骤301、当上级系统20的数据库发生变更时，上级系统数据库同步模块201获取数据库操作日志，并将数据库操作日志写入上级系统消息队列202的同步主题中。
步骤302、上级系统级间同步模块203从上级系统级消息队列202的同步主题中获取步骤301中由上级系统数据库同步模块201写入的数据库操作日志。
步骤303、上级系统级间同步模块203根据业务配置判断该操作日志是否需要同步。
步骤304、若不需要同步，则丢弃该数据库操作日志，同步流程结束。
步骤305、若需要同步，则根据数据权限的配置，将该数据库操作日志写入消息队列202特定的下发主题中。
步骤306、下级系统级间同步模块213根据业务配置从上级系统消息队列202特定的下发主题中获取数据库操作日志。
步骤307、下级系统级间同步模块213将获取到的数据库操作日志同步到下级系统的数据库中，同步流程结束。
图4为本申请实施例中，上级系统向下级系统同步数据方法，主要包含以下步骤：
步骤401、当下级系统21的数据库发生变更时，下级系统数据库同步模块211获取数据库操作日志，并将数据库操作日志写入下级系统消息队列212的同步主题中。
步骤402、下级系统级间同步模块213从下级系统消息队列212的同步主题中获取步骤401中由下级系统数据库同步模块211写入的数据库操作日志。
步骤403、下级系统级间同步模块213根据业务配置判断该操作日志是否需要同步。
步骤404、若不需要同步，则丢弃该数据库操作日志，同步流程结束。
步骤405、若需要同步，则将该数据库操作日志写入消息队列212的上报主题中。
步骤406、上级系统级间同步模块203根据业务配置从下级系统消息队列212上报主题中获取数据库操作日志。
步骤407、上级系统级间同步模块203将获取到的数据库操作日志同步到上级系统的数据库中，同步流程结束。

Claims (2)

1.一种数据级联同步系统，其特征在于：包括同步源系统(10)的数据库同步模块(101)、消息队列(102)和同步源系统级间同步模块(103)以及同步目的系统(11)的同步目的系统级间同步模块(111)；同步源系统(10)与同步目的系统(11)通过同步源系统级间同步模块(103)和同步目的系统级间同步模块(111)与消息队列(102)进行数据交互；
所述数据库同步模块(101)获取同步源系统(10)数据库的操作日志，并将捕获到的数据库操作日志写入消息队列(102)的同步主题中；
所述消息队列(102)为各模块之间提供通信，通信以先入先出的队列方式提供，并通过支持多个主题使每个通信信道不互相干扰；使数据库同步模块(101)能够将数据库操作日志通过同步主题传送给同步源系统级间同步模块(103)，使同步源系统级间同步模块(103)能够将过滤后的数据库操作日志传送给同步目的系统级间同步模块(111)；
所述同步源系统级间同步模块(103)中配置了需要同步的数据信息与各同步目的系统的数据权限，从消息队列(102)的同步主题中获取来源于数据库同步模块(101)全量的数据库操作日志后，根据配置信息，将不需要同步的数据丢弃，将需要同步给不同数据目的系统的数据库操作日志写入消息队列(102)的不同分发主题中；
同步目的系统级间同步模块(111)中配置了同步源系统中消息队列(102)的地址与分配给本系统的同步主题，根据配置，将从消息队列(102)的指定主题中获得数据库操作日志，并根据操作日志对同步目的系统(11)的数据库进行更新。
2.权利要求1所述的数据级联同步系统的数据同步方法，其特征在于：包括如下步骤：
步骤1：在同步源系统(10)的数据库中的数据发生变更时，即对该数据库进行了更新操作，数据库会产生操作日志；数据库同步模块(101)将数据库操作日志捕获，并发送到消息队列(102)中的同步源系统级间同步模块(103)中；
步骤2：同步源系统级间同步模块(103)从同步主题将数据库操作日志分发至消息队列(102)的各分发主题中：
1)同步源系统级间同步模块(103)从同步主题中将数据库同步模块(101)写入同步主题的数据库操作日志读出；
2)解析读出的数据库操作日志，并判断是否为需要同步的操作，若该操作不需要同步，则直接丢弃该操作日志，步骤结束，若需要同步，继续进行3)；
3)将该操作日志与数据权限配置进行比对，判断该操作日志应分发至哪个主题，并将该日志写入对应主题中；
步骤3：同步目的系统级间同步模块(111)根据配置，从同步源系统(10)的消息队列(102)中特定的分发主题读取数据库操作日志，并解析该操作日志，将对应的操作在同步目的系统(11)的数据库上执行，完成数据同步。
CN202110617953.2A 2021-06-03 2021-06-03 一种数据级联同步系统及方法 Active CN113220791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617953.2A CN113220791B (zh) 2021-06-03 2021-06-03 一种数据级联同步系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617953.2A CN113220791B (zh) 2021-06-03 2021-06-03 一种数据级联同步系统及方法

Publications (2)

Publication Number Publication Date
CN113220791A true CN113220791A (zh) 2021-08-06
CN113220791B CN113220791B (zh) 2023-07-28

Family

ID=77082567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617953.2A Active CN113220791B (zh) 2021-06-03 2021-06-03 一种数据级联同步系统及方法

Country Status (1)

Country Link
CN (1) CN113220791B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987089A (zh) * 2021-12-28 2022-01-28 北京力控元通科技有限公司 一种系统级联方法、数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170272516A1 (en) * 2016-03-17 2017-09-21 International Business Machines Corporation Providing queueing in a log streaming messaging system
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108763387A (zh) * 2018-05-20 2018-11-06 湖北九州云仓科技发展有限公司 异构平台的大数据融合方法、电子设备、存储介质及系统
WO2019047479A1 (zh) * 2017-09-08 2019-03-14 广东省建设信息中心 一种普适多源异构大规模数据同步系统
CN109739929A (zh) * 2018-12-18 2019-05-10 中国人民财产保险股份有限公司 数据同步方法、装置及系统
CN111339186A (zh) * 2020-02-19 2020-06-26 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170272516A1 (en) * 2016-03-17 2017-09-21 International Business Machines Corporation Providing queueing in a log streaming messaging system
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
WO2019047479A1 (zh) * 2017-09-08 2019-03-14 广东省建设信息中心 一种普适多源异构大规模数据同步系统
US20200409977A1 (en) * 2017-09-08 2020-12-31 Guangdong Construction Information Center Generic Multi-Source Heterogeneous Large-Scale Data Synchronization Client-Server Method
CN108763387A (zh) * 2018-05-20 2018-11-06 湖北九州云仓科技发展有限公司 异构平台的大数据融合方法、电子设备、存储介质及系统
CN109739929A (zh) * 2018-12-18 2019-05-10 中国人民财产保险股份有限公司 数据同步方法、装置及系统
CN111339186A (zh) * 2020-02-19 2020-06-26 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔伟等: "分布式系统中数据同步机制的研究与实现", 《计算机工程与设计》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987089A (zh) * 2021-12-28 2022-01-28 北京力控元通科技有限公司 一种系统级联方法、数据处理方法及装置

Also Published As

Publication number Publication date
CN113220791B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US8514800B2 (en) Method for transmitting and receiving ethernet data between digital unit and RF unit and apparatus thereof
CN101197694B (zh) 一种通讯系统日志集中统计、处理系统及其方法
CN102664747B (zh) 一种云计算平台系统
WO2021143462A1 (zh) 基于前置机进行数据交换的系统及方法
US7814178B2 (en) Method and apparatus for data configuration in communication device
CN101222347A (zh) 一种实现用户获取网络数据的方法及设备
CN113220791B (zh) 一种数据级联同步系统及方法
CN102739624A (zh) 一种无源光网络单元的业务自动迁移方法和系统
KR20140111621A (ko) 동기식 네트워크 애플리케이션 내의 전송 기준 신호 클린업
CN113328961A (zh) 灵活以太网组的绑定方法、设备及计算机可读存储介质
CN115297493A (zh) 一种SRv6网络切片配置管理方法及系统
CN101883190A (zh) 坐席的处理方法、交换机及呼叫中心
EP4207859A1 (en) Methods for inserting and extracting operations, administration, and maintenance of transmitting end, device, and medium
US20070230083A1 (en) Communications line monitoring system, relay apparatus, and communications line monitoring method
CN111092687B (zh) 一种fc交换网络系统日历时钟同步系统
CN107332695A (zh) 一种部署二层网络的方法及装置
US20190334959A1 (en) Method for Transmitting Data in a Multimedia System, and Software Product and Device for Controlling the Transmission of Data in a Multimedia System
US20070195708A1 (en) Framing mobile communication signals for analysis
CN100512037C (zh) 一种主备冗余系统中数据同步的方法
CN111813790B (zh) 一种基于Raft算法的区块链共识方法和装置
CN112423162B (zh) 一种分布式架构下配置同步方法及系统
JP2000509216A (ja) ディジタルビデオ放送システム
WO2013072848A1 (en) Delay management in shared baseband deployments
CN101938320B (zh) 一种实现多虚级联组成员排序的方法及装置
CN101441743A (zh) 信息共享系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant