CN109325008A - 面向消息中间件的跨域数据同步方法与系统 - Google Patents

面向消息中间件的跨域数据同步方法与系统 Download PDF

Info

Publication number
CN109325008A
CN109325008A CN201811043048.5A CN201811043048A CN109325008A CN 109325008 A CN109325008 A CN 109325008A CN 201811043048 A CN201811043048 A CN 201811043048A CN 109325008 A CN109325008 A CN 109325008A
Authority
CN
China
Prior art keywords
data
message
incremental
cross
oriented middleware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811043048.5A
Other languages
English (en)
Inventor
张留留
吕非
何鸣
何鸣一
陈宁
孙世明
徐春雷
余璟
李端超
马金辉
孙文彦
杨任
王春玉
令少亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
State Grid Jiangsu Electric Power Co Ltd
NARI Group Corp
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
NARI Group Corp
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, NARI Group Corp, Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201811043048.5A priority Critical patent/CN109325008A/zh
Publication of CN109325008A publication Critical patent/CN109325008A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种面向消息中间件的跨域数据同步方法和系统。其中跨域数据同步方法包括如下步骤:1、源端数据中心捕获增量数据;2、源数据中心对增量数据添加主题后发布数据变化信息;3、目的端数据中心订阅数据变化信息,获取本端相关主题的增量数据;4、目的端数据中心将获取到的本端相关主题的增量数据下载到本地进行入库装载操作。该方法通过采用发布订阅模式进行数据同步,解决不同云系统需求的数据不同,从而同步不同的数据,以有效利用网络资源、存储资源和计算资源。

Description

面向消息中间件的跨域数据同步方法与系统
技术领域
本发明属于通信技术领域,具体涉及一种跨域数据同步方法与系统。
背景技术
随着云计算和网络技术的发展,各种基于云计算的分布式数据库、分布式存储等系统应用越来越多。出于实际需求,各系统的功能或覆盖区域不同,对于大型的云架构,其可能由多个云组成,每个云独立承担一定的功能,各个云之间既相互隔离又相互协调,共同构建一个功能完整、资源调度快捷的云系统来完成工作。这种情况下,各个云之间需要进行数据的交换与同步。专利申请CN106095957A公开了一种分布式文件系统的跨域多副本文件同步方法,通过监控模块、队列管理模块和位于每一数据中心的调度模块共同完成文件同步,使分布在各个数据中心的文件副本最终保持一致,从而实现了跨域多副本文件的同步;该方法没有考虑各个数据中心对文件需求的差异性,最终结果是各数据中心的文件副本一致,对于功能各异的云,数据或文件保持一致并非必要,基于不同的功能同步不同的数据才能有效利用网络资源、存储资源和计算资源。
发明内容
发明目的:针对现有技术中存在的问题,本发明提供了一种面向消息中间件的跨域数据同步方法,该方法可以解决不同云系统需求的数据不同,从而同步不同的数据,以有效利用网络资源、存储资源和计算资源。
技术方案:本发明一方面提供了一种面向消息中间件的跨域数据同步方法,包括如下步骤:
(1)源端数据中心捕获增量数据;
(2)源端数据中心对增量数据添加主题后发布数据变化信息;
(3)目的端数据中心订阅数据变化信息,获取本端相关主题的增量数据;
(4)目的端数据中心将获取到的本端相关主题的增量数据下载到本地进行入库装载操作。
所述步骤(1)中源端数据中心采用建立事务触发器的方式来捕获增量数据。
作为一种优选,所述步骤(1)中源端数据中心在每行数据有变化时修改该行数据的时间戳,通过判断时间戳是否变化来感知数据表是否变化,进而捕获增量数据。
进一步地,所述步骤(2)还包括对添加主题后的增量数据进行语法转换,封装为统一格式的数据变化信息进行发布。
进一步地,所述步骤(2)还包括建立消息队列,所述数据变化信息发布后进入消息队列,目的端数据中心订阅数据变化信息来监听消息队列中的消息。
步骤(4)中的入库装载操作包括:数据报文下载、组装为本地数据库类型的语句并执行入库、返回处理结果给源端数据中心。
另一方面,本发明提供了一种面向消息中间件的跨域数据同步系统,包括:数据抽取组件、数据传输组件和数据装载组件;
所述数据抽取组件位于源端数据中心,用于捕获增量数据;
所述数据传输组件由位于源端数据中心的数据发布模块和位于目的端数据中心的数据订阅模块组成;所述数据发布模块对增量数据添加主题后发布数据变化信息;所述数据订阅模块订阅数据变化表,获取目的端相关主题的增量数据;
所述数据装载组件位于目的端数据中心,用于将获取本端相关主题的增量数据下载到本地,并进行入库装载操作。
所述数据抽取组件还包括事务触发器,所述事务触发器用于捕获增量数据。
所述数据传输组件还包括语法转换模块,所述语法转换模块将数据变化信息封装为统一格式的消息。
所述数据传输组件还包括消息队列,所述数据变化信息发布后进入消息队列,目的端数据中心订阅数据变化信息来监听消息队列中的消息。
有益效果:与现有技术相比,本发明公开的面向消息中间件的跨域数据同步方法与系统通过采用发布订阅模式进行数据同步,解决不同云系统需求的数据不同,从而同步不同的数据,以有效利用网络资源、存储资源和计算资源。
附图说明
图1为实施例中的跨域数据同步应用场景示意图;
图2为本发明公开的面向消息中间件的跨域数据同步方法的流程图;
图3为本发明公开的面向消息中间件的跨域数据同步系统的示意图。
具体实施方式
本实施例以电网调控云平台为例,进一步阐释本发明。
如图1所示,国网云划分为国分云、省地云、调度III区三类功能实体,功能职责如下:
国分云(主导云):实现全网元数据、数据字典的集中管理和下发,以及全网模型数据、运行数据的汇聚及发布。
省地云(协同云):实现调度管辖范围内全网模型数据、运行数据的汇聚,并上送至国分云;同时向国分云请求元数据及数据字典。
调度III区:即国分省地县调度机构,负责维护本区域的模型及历史数据,并上送至云端;同时向云端请求元数据和数据字典。
国分云、省地云、调度III区分别为独立的分布式系统,跨域同步的数据包括调度III区上传至省地云的数据,省地云上传至国分云的数据;国分云下行维护管理数据。
如图2所示,面向消息中间件的跨域数据同步方法包括如下步骤:
步骤1、源端数据中心捕获增量数据;
源端数据中心可以采用建立事务触发器的方式来捕获增量数据,当源端数据库执行提交事务时,触发事件对应的服务,获取增量数据。这种方式能完全还原不同表之间记录变化的次序,支持应用协助工作的关联表且能及时触发,时效性高适合批量更新表的数据同步。
也可以采用时间戳的方式获取增量数据。源端数据中心在每行数据有变化时修改该行数据的时间戳,源端数据中心判断时间戳是否变化来感知数据表是否变化,进而捕获增量数据。这种方式对源端数据库的性能消耗较小,支持批量数据变化支持单表的数据同步。
步骤2、源端数据中心对增量数据添加主题后发布数据变化信息;
为消除数据访问差异性,特别是不同类型数据库的访问差异,首先对增量数据进行语法转换来统一格式,本实施例中将数据变化信息封装为JSON格式或E格式进行发布。如果报文数据包大于1MB,将其分为多个子包。
源端与目的端之间建立高吞吐量的消息总线进行消息传递,消息总线中建立消息队列,数据变化信息发布后进入消息队列,目的端数据中心订阅数据变化信息来监听消息队列中的消息。
步骤3、目的端数据中心订阅数据变化信息,获取本端相关主题的增量数据;
发布订阅模式进行数据传输可以实现一发多收,当存在主备系统需要同时从源端同步数据时,利用消息总线发布订阅机制,主备系统的数据中心都可以收取消息进行同步。
步骤4、目的端数据中心将获取到的本端相关主题的增量数据下载到本地进行入库装载操作。
入库装载操作包括:目的端下载相关主题的数据报文;如果有报文拆分发布,则需要将拆分过的报文数据子包合并为完整的数据报文;经语法转换组装为本地数据库类型的语句并执行入库;数据处理完成后返回处理结果给源端数据中心。
如图3所示,本发明公开的面向消息中间件的跨域数据同步系统包括:数据抽取组件、数据传输组件和数据装载组件。
其中数据抽取组件位于源端数据中心,用于捕获增量数据。本实施例中,数据抽取组件还包括事务触发器,所述事务触发器用于捕获增量数据。
数据传输组件由位于源端数据中心的数据发布模块和位于目的端数据中心的数据订阅模块组成;数据发布模块对增量数据添加主题后发布数据变化信息;数据订阅模块订阅数据变化信息,获取目的端相关主题的增量数据;本实施例中数据传输组件还包括语法转换模块和消息队列,其中语法转换模块将数据变化信息封装为统一格式的消息。
数据传输组件还包括消息队列,所述数据变化信息发布后进入消息队列,目的端数据中心订阅数据变化信息来监听消息队列中的消息。
数据装载组件位于目的端数据中心,用于将本端相关主题的增量数据下载到本地,并进行入库装载操作。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.面向消息中间件的跨域数据同步方法,其特征在于,包括如下步骤:
(1)源端数据中心捕获增量数据;
(2)源端数据中心对增量数据添加主题后发布数据变化信息;
(3)目的端数据中心订阅数据变化信息,获取本端相关主题的增量数据;
(4)目的端数据中心将获取到的本端相关主题的增量数据下载到本地进行入库装载操作。
2.根据权利要求1所述的面向消息中间件的跨域数据同步方法,其特征在于,所述步骤(1)中源端数据中心采用建立事务触发器的方式来捕获增量数据。
3.根据权利要求1所述的面向消息中间件的跨域数据同步方法,其特征在于,所述步骤(1)中,源端数据中心在每行数据有变化时修改该行数据的时间戳,通过判断时间戳是否变化来感知数据表是否变化,进而捕获增量数据。
4.根据权利要求1所述的面向消息中间件的跨域数据同步方法,其特征在于,所述步骤(2)还包括对添加主题后的增量数据进行语法转换,封装为统一格式的数据变化信息进行发布。
5.根据权利要求1所述的面向消息中间件的跨域数据同步方法,其特征在于,所述步骤(2)还包括建立消息队列,所述数据变化信息发布后进入消息队列,目的端数据中心订阅数据变化信息来监听消息队列中的消息。
6.根据权利要求1所述的面向消息中间件的跨域数据同步方法,其特征在于,步骤(4)中的入库装载操作包括:数据报文下载、组装为本地数据库类型的语句并执行入库、返回处理结果给源端数据中心。
7.面向消息中间件的跨域数据同步系统,其特征在于,包括:数据抽取组件、数据传输组件和数据装载组件;
所述数据抽取组件位于源端数据中心,用于捕获增量数据;
所述数据传输组件由位于源端数据中心的数据发布模块和位于目的端数据中心的数据订阅模块组成;所述数据发布模块对增量数据添加主题后发布数据变化信息;所述数据订阅模块订阅数据变化信息,获取目的端相关主题的增量数据;
所述数据装载组件位于目的端数据中心,用于将获取本端相关主题的增量数据下载到本地,并进行入库装载操作。
8.根据权利要求7所述的面向消息中间件的跨域数据同步系统,其特征在于,所述数据抽取组件还包括事务触发器,所述事务触发器用于捕获增量数据。
9.根据权利要求7所述的面向消息中间件的跨域数据同步系统,其特征在于,所述数据传输组件还包括语法转换模块,所述语法转换模块将数据变化信息封装为统一格式的消息。
10.根据权利要求7所述的面向消息中间件的跨域数据同步系统,其特征在于,所述数据传输组件还包括消息队列,所述数据变化信息发布后进入消息队列,目的端数据中心订阅数据变化信息来监听消息队列中的消息。
CN201811043048.5A 2018-09-07 2018-09-07 面向消息中间件的跨域数据同步方法与系统 Pending CN109325008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811043048.5A CN109325008A (zh) 2018-09-07 2018-09-07 面向消息中间件的跨域数据同步方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811043048.5A CN109325008A (zh) 2018-09-07 2018-09-07 面向消息中间件的跨域数据同步方法与系统

Publications (1)

Publication Number Publication Date
CN109325008A true CN109325008A (zh) 2019-02-12

Family

ID=65264665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811043048.5A Pending CN109325008A (zh) 2018-09-07 2018-09-07 面向消息中间件的跨域数据同步方法与系统

Country Status (1)

Country Link
CN (1) CN109325008A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947784A (zh) * 2019-02-28 2019-06-28 国网浙江省电力公司 一种基于cim模型实体关系的数据虚拟化系统及方法
CN109995856A (zh) * 2019-03-21 2019-07-09 国电南瑞科技股份有限公司 一种电网运行数据广域汇集方法及系统
CN110555583A (zh) * 2019-07-02 2019-12-10 国网浙江省电力有限公司 一种智能电网调度控制系统广域运行数据统一处理方法
CN111556108A (zh) * 2020-04-17 2020-08-18 国电南瑞科技股份有限公司 基于云平台的电力大数据采集系统和方法
CN111614734A (zh) * 2020-04-30 2020-09-01 国电南瑞科技股份有限公司 配电系统主站非对称多中心多区域消息同步系统及方法
CN112099976A (zh) * 2020-09-27 2020-12-18 中国建设银行股份有限公司 政务数据交换任务调度方法和装置
WO2021223109A1 (zh) * 2020-05-06 2021-11-11 深圳市欢太科技有限公司 数据同步方法、装置、系统、电子设备及存储介质
CN113709250A (zh) * 2021-08-31 2021-11-26 中国电子科技集团公司第二十八研究所 一种基于订阅发送模式的跨域用户数据同步方法
CN114629900A (zh) * 2020-12-11 2022-06-14 中国移动通信有限公司研究院 一种信息处理方法、装置及设备
CN115150465A (zh) * 2022-07-08 2022-10-04 中国建设银行股份有限公司 信息处理方法、装置、设备、存储介质及产品
CN116225660A (zh) * 2023-03-17 2023-06-06 中国华能集团有限公司北京招标分公司 一种装载引擎使用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN106095957A (zh) * 2016-06-16 2016-11-09 北京航空航天大学 分布式文件系统的跨域多副本文件同步方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN106095957A (zh) * 2016-06-16 2016-11-09 北京航空航天大学 分布式文件系统的跨域多副本文件同步方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947784A (zh) * 2019-02-28 2019-06-28 国网浙江省电力公司 一种基于cim模型实体关系的数据虚拟化系统及方法
CN109995856A (zh) * 2019-03-21 2019-07-09 国电南瑞科技股份有限公司 一种电网运行数据广域汇集方法及系统
CN110555583A (zh) * 2019-07-02 2019-12-10 国网浙江省电力有限公司 一种智能电网调度控制系统广域运行数据统一处理方法
CN111556108B (zh) * 2020-04-17 2023-08-29 国电南瑞科技股份有限公司 基于云平台的电力大数据采集系统和方法
CN111556108A (zh) * 2020-04-17 2020-08-18 国电南瑞科技股份有限公司 基于云平台的电力大数据采集系统和方法
CN111614734A (zh) * 2020-04-30 2020-09-01 国电南瑞科技股份有限公司 配电系统主站非对称多中心多区域消息同步系统及方法
CN111614734B (zh) * 2020-04-30 2023-08-29 国电南瑞科技股份有限公司 配电系统主站非对称多中心多区域消息同步系统及方法
WO2021223109A1 (zh) * 2020-05-06 2021-11-11 深圳市欢太科技有限公司 数据同步方法、装置、系统、电子设备及存储介质
CN112099976A (zh) * 2020-09-27 2020-12-18 中国建设银行股份有限公司 政务数据交换任务调度方法和装置
CN114629900A (zh) * 2020-12-11 2022-06-14 中国移动通信有限公司研究院 一种信息处理方法、装置及设备
CN114629900B (zh) * 2020-12-11 2024-07-16 中国移动通信有限公司研究院 一种信息处理方法、装置及设备
CN113709250A (zh) * 2021-08-31 2021-11-26 中国电子科技集团公司第二十八研究所 一种基于订阅发送模式的跨域用户数据同步方法
CN113709250B (zh) * 2021-08-31 2023-09-15 中国电子科技集团公司第二十八研究所 一种基于订阅发送模式的跨域用户数据同步方法
CN115150465A (zh) * 2022-07-08 2022-10-04 中国建设银行股份有限公司 信息处理方法、装置、设备、存储介质及产品
CN116225660A (zh) * 2023-03-17 2023-06-06 中国华能集团有限公司北京招标分公司 一种装载引擎使用方法
CN116225660B (zh) * 2023-03-17 2024-02-27 中国华能集团有限公司北京招标分公司 一种装载引擎使用方法

Similar Documents

Publication Publication Date Title
CN109325008A (zh) 面向消息中间件的跨域数据同步方法与系统
CN105843182B (zh) 一种基于oms的电力调度事故预案系统及方法
CN111506412B (zh) 基于Airflow的分布式异步任务构建、调度系统及方法
CN105205231B (zh) 一种基于dcom的配电网数字仿真系统
CN106250543B (zh) 一种自动化数据查询同步存储方法
CN107103064B (zh) 数据统计方法及装置
CN111178782A (zh) 一种流程工业数据化运营平台的微服务架构
CN112698953A (zh) 一种基于微服务的电网智能运检平台
US20040102940A1 (en) Integration of a discrete event simulation with a configurable software application
CN109831478A (zh) 基于规则及模型的分布式实时处理智能决策系统及方法
CN111159897B (zh) 基于系统建模应用的目标优化方法和装置
CN109670199A (zh) 一种高效的电网拓扑分析方法及装置
CN106228338A (zh) 一种配电工程智能化设计综合服务系统及使用方法
CN109905286A (zh) 一种监控设备运行状态的方法和系统
CN109446274A (zh) 大数据平台bi元数据管理的方法和装置
CN114169579B (zh) 核电工业互联网综合智能平台系统
CN104580532A (zh) 一种跨平台应用系统
CN113822585A (zh) 一种智能冶炼工厂信息化管理系统
CN110532021A (zh) 分布式控制系统的组态文件的处理方法及装置
CN107203421A (zh) 一种云计算环境中自适应的组合工作流方法
CN115098278B (zh) 一种基于微服务的数字孪生车间多场景交互方法
CN112765272A (zh) 多源数据同步方法、系统及其应用的模型中枢
CN111813503A (zh) 一种基于容器云的微服务化应用开放系统
CN116382843A (zh) 一种基于Kubernetes容器技术的工业AI算力PaaS平台
CN103544060A (zh) 一种基于webservice的服务调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190816

Address after: 210000 No. 19 Chengxin Avenue, Jiangning District, Nanjing City, Jiangsu Province

Applicant after: NARI TECHNOLOGY Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: NARI NANJING CONTROL SYSTEM Co.,Ltd.

Applicant after: NARI Group Corp.

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID TIANJIN ELECTRIC POWER Co.

Address before: 210000 No. 19 Chengxin Avenue, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: NARI TECHNOLOGY Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: NARI NANJING CONTROL SYSTEM Co.,Ltd.

Applicant before: NARI Group Corp.

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190212

RJ01 Rejection of invention patent application after publication