CN107066594B - 一种元数据同步的方法 - Google Patents
一种元数据同步的方法 Download PDFInfo
- Publication number
- CN107066594B CN107066594B CN201710256472.7A CN201710256472A CN107066594B CN 107066594 B CN107066594 B CN 107066594B CN 201710256472 A CN201710256472 A CN 201710256472A CN 107066594 B CN107066594 B CN 107066594B
- Authority
- CN
- China
- Prior art keywords
- metadata
- synchronization
- source end
- version number
- list file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 238000013500 data storage Methods 0.000 claims abstract description 5
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明特别涉及一种元数据同步的方法。该元数据同步的方法,首先确定元数据同步方向和元数据同步内容;然后制定元数据版本策略,标识监控对象类型和版本,采用表格管理主题类型SubjectType与站点的关系,一个站点可以有同一主题类型SubjectType的多个版本;最后根据规则和策略,通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储,来完成元数据的同步。该元数据同步的方法,同步过程清晰明了,实现了站与站之间、服务器端与客户端之间的元数据同步,使各个站点达到了监控平台的要求。
Description
技术领域
本发明涉及监控平台开发技术领域,特别涉及一种元数据同步的方法。
背景技术
在监控平台中,有多个站点,站与站之间有级联关系。站与站通信传输、数据同步和站点展示,都需要进行统一的抽象封装,才能达到监控平台的要求。监控平台的功能就是通过抽象统一完成监控系统的开发。
基于上述情况,本发明提出了一种元数据同步的方法。
发明内容
本发明为了弥补现有技术的缺陷,提供了一种简单高效的元数据同步的方法。
本发明是通过如下技术方案实现的:
一种元数据同步的方法,其特征在于:首先确定元数据同步方向和元数据同步内容;然后制定元数据版本策略,标识监控对象类型和版本,采用表格管理主题类型SubjectType与站点的关系,一个站点可以有同一主题类型SubjectType的多个版本;最后根据规则和策略,通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储,来完成元数据的同步;
具体包括以下步骤:
(1)目标端A向源端B发送检查更新请求、上次同步后源端B清单文件版本号和MD5校验码;
(2)源端B收到检查更新请求后,比较源端B清单文件版本号与上次同步后源端B清单文件版本号;
若源端B清单文件版本号与上次同步后源端B清单文件版本号相同,则向目标端A返回无更新版本号及MD5校验无更新标志;
若源端B清单文件版本号与上次同步后源端B清单文件版本号不同,则校验MD5校验码,若通过校验,则返回新的源端B清单文件版本号、新源端B清单文件的差异部分和新源端B清单文件MD5校验码,并返回更新标志;
无论源端B清单文件版本号与上次同步后源端B清单文件版本号是否相同,若MD5校验码不能通过校验,则返回新的源端B清单文件版本号、完整的新源端B清单文件和新源端B清单文件MD5校验码,同时返回重置标志;
(3)若目标端A收到无更新标志,则重置最后更新时间;
若目标端A收到更新标志,则启动差异化更新过程,升级目标端A中记载的源端B清单文件;
若目标端A收到重置标志,则启动全量更新过程,覆盖目标端A中记载的源端B清单文件。
所述元数据同步方向均为单向,从源端B向目标端A同步,元数据同步内容包括监控类型元数据,通道元数据和拓扑图定义元数据。
针对不同监控类型定义不同的元数据,或者进行元数据升级都需要重新定义元数据,生成不同版本的插件,元数据通过插件的形式进行升级。
本发明的有益效果是:该元数据同步的方法,同步过程清晰明了,实现了站与站之间、服务器端与客户端之间的元数据同步,使各个站点达到了监控平台的要求。
附图说明
附图1为本发明元数据同步的方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图和实施例,对本发明进行详细的说明。应当说明的是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
该元数据同步的方法,首先确定元数据同步方向和元数据同步内容;然后制定元数据版本策略,标识监控对象类型和版本,采用表格管理主题类型SubjectType与站点的关系,一个站点可以有同一主题类型SubjectType的多个版本;最后根据规则和策略,通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储,来完成元数据的同步;
具体包括以下步骤:
(1)目标端A向源端B发送检查更新请求、上次同步后源端B清单文件版本号和MD5校验码;
(2)源端B收到检查更新请求后,比较源端B清单文件版本号与上次同步后源端B清单文件版本号;
若源端B清单文件版本号与上次同步后源端B清单文件版本号相同,则向目标端A返回无更新版本号及MD5校验无更新标志;
若源端B清单文件版本号与上次同步后源端B清单文件版本号不同,则校验MD5校验码,若通过校验,则返回新的源端B清单文件版本号、新源端B清单文件的差异部分和新源端B清单文件MD5校验码,并返回更新标志;
无论源端B清单文件版本号与上次同步后源端B清单文件版本号是否相同,若MD5校验码不能通过校验,则返回新的源端B清单文件版本号、完整的新源端B清单文件和新源端B清单文件MD5校验码,同时返回重置标志;
(3)若目标端A收到无更新标志,则重置最后更新时间;
若目标端A收到更新标志,则启动差异化更新过程,升级目标端A中记载的源端B清单文件;
若目标端A收到重置标志,则启动全量更新过程,覆盖目标端A中记载的源端B清单文件。
所述元数据同步方向均为单向,从源端B向目标端A同步,元数据同步内容包括监控类型元数据,通道元数据和拓扑图定义元数据。
针对不同监控类型定义不同的元数据,或者进行元数据升级都需要重新定义元数据,生成不同版本的插件,元数据通过插件的形式进行升级。
所述元数据同步相关命令包括检查更新命令和获取资料集(异步)命令两部分。
其中,检查更新命令包括请求命令,应答命令和处理逻辑命令,其请求命令中包括源端B清单文件版本号和MD5校验码;其应答命令中包括更新标志(无更新、更新和重置标志),新源端B清单文件版本号,新源端B清单文件内容或差异内容以及新源端B清单文件MD5校验码;其处理逻辑命令中包括基于总索引文件比较生成命令和对相同资料,MD5校验码不同的情况进行警告命令。
获取资料集(异步)命令中也包括请求命令,应答命令和处理逻辑命令,其请求命令中包括目标资料描述列表,其中有对每个目标资料的描述,包括类型、名称和版本哈;其应答命令包括资料列表,其中有每个资料内容,包括类型、名称、版本号、MD5校验码和由channel负责传输到本地并校验通过的文件本地路径;其处理逻辑命令包括基于资料存储命令。
所述元数据同步资料存储包括资料索引存贮和资料内容存储两部分。
其中,资料索引即为数据库表,包括资料类型(index、ChannelType、SubjectType和topology),资料名称(index类型的name为nodeName;topology类型的name为nodeName+topoName),版本号,本地文件路径(相对于资料库根目录的文件路径),MD5校验码和更新时间。
资料内容即为文件系统,包括资料库根目录,其中包括index-version.xml总索引历史版本存档,index(nodea-version.xml和nodeb-version.xml),typeName(name-version.xml。
该元数据同步的方法把监控类型参数、通道参数、拓扑图参数抽象为元数据,在各个节点之间进行传输,按照一定的规则和策略进行传输管理,实现在站与站之间、服务器端与客户端之间进行元数据同步。每个站、每个客户端同样的部署,每个站通过元数据同步获取本站的元数据文件,进行处理,完成数据的报送、客户端的展示。如果元数据改变,按照指定的规则和策略进行元数据的版本升级更新,达到级联监控系统的需求。
Claims (3)
1.一种元数据同步的方法,其特征在于:首先确定元数据同步方向和元数据同步内容;然后制定元数据版本策略,标识监控对象类型和版本,采用表格管理主题类型SubjectType与站点的关系,一个站点可以有同一主题类型SubjectType的多个版本;最后根据规则和策略,通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储,来完成元数据的同步;
具体包括以下步骤:
(1)目标端A向源端B发送检查更新请求、上次同步后源端B清单文件版本号和MD5校验码;
(2)源端B收到检查更新请求后,比较源端B清单文件版本号与上次同步后源端B清单文件版本号;
若源端B清单文件版本号与上次同步后源端B清单文件版本号相同,则向目标端A返回无更新版本号及MD5校验无更新标志;
若源端B清单文件版本号与上次同步后源端B清单文件版本号不同,则校验MD5校验码,若通过校验,则返回新的源端B清单文件版本号、新源端B清单文件的差异部分和新源端B清单文件MD5校验码,并返回更新标志;
无论源端B清单文件版本号与上次同步后源端B清单文件版本号是否相同,若MD5校验码不能通过校验,则返回新的源端B清单文件版本号、完整的新源端B清单文件和新源端B清单文件MD5校验码,同时返回重置标志;
(3)若目标端A收到无更新标志,则重置最后更新时间;
若目标端A收到更新标志,则启动差异化更新过程,升级目标端A中记载的源端B清单文件;
若目标端A收到重置标志,则启动全量更新过程,覆盖目标端A中记载的源端B清单文件。
2.根据权利要求1所述的元数据同步的方法,其特征在于:所述元数据同步方向均为单向,从源端B向目标端A同步,元数据同步内容包括监控类型元数据,通道元数据和拓扑图定义元数据。
3.根据权利要求1所述的元数据同步的方法,其特征在于:针对不同监控类型定义不同的元数据,或者进行元数据升级都需要重新定义元数据,生成不同版本的插件,元数据通过插件的形式进行升级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710256472.7A CN107066594B (zh) | 2017-04-19 | 2017-04-19 | 一种元数据同步的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710256472.7A CN107066594B (zh) | 2017-04-19 | 2017-04-19 | 一种元数据同步的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107066594A CN107066594A (zh) | 2017-08-18 |
CN107066594B true CN107066594B (zh) | 2021-02-26 |
Family
ID=59599649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710256472.7A Active CN107066594B (zh) | 2017-04-19 | 2017-04-19 | 一种元数据同步的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107066594B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110535907A (zh) * | 2019-07-26 | 2019-12-03 | 济南浪潮数据技术有限公司 | 一种元数据同步方法和系统 |
CN111614750B (zh) * | 2020-05-19 | 2023-05-12 | 深圳市网心科技有限公司 | 一种数据更新方法、系统、设备及存储介质 |
CN111752920A (zh) * | 2020-06-22 | 2020-10-09 | 杭州数澜科技有限公司 | 用于管理元数据的方法、系统及存储介质 |
CN113422837A (zh) * | 2021-07-02 | 2021-09-21 | 广东电网有限责任公司 | 跨网数据传输装置、方法、终端及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1490770A1 (en) * | 2002-02-25 | 2004-12-29 | Siebel Systems, Inc. | Method and system for server-based operations in server synchronization with a computing device |
CN102289460A (zh) * | 2011-07-13 | 2011-12-21 | 中国工商银行股份有限公司 | 一种向测试环境进行报表元数据同步的方法及系统 |
CN102480520A (zh) * | 2010-11-26 | 2012-05-30 | 中国科学院声学研究所 | 一种基于差量元数据描述性结构的媒体数据同步方法 |
CN103152398A (zh) * | 2013-02-07 | 2013-06-12 | 中国科学院计算技术研究所 | 一种多终端文件间的文件同步方法及系统 |
CN104580536A (zh) * | 2015-02-06 | 2015-04-29 | 浪潮电子信息产业股份有限公司 | 一种元数据集群负载平衡实现方法 |
-
2017
- 2017-04-19 CN CN201710256472.7A patent/CN107066594B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1490770A1 (en) * | 2002-02-25 | 2004-12-29 | Siebel Systems, Inc. | Method and system for server-based operations in server synchronization with a computing device |
CN102480520A (zh) * | 2010-11-26 | 2012-05-30 | 中国科学院声学研究所 | 一种基于差量元数据描述性结构的媒体数据同步方法 |
CN102289460A (zh) * | 2011-07-13 | 2011-12-21 | 中国工商银行股份有限公司 | 一种向测试环境进行报表元数据同步的方法及系统 |
CN103152398A (zh) * | 2013-02-07 | 2013-06-12 | 中国科学院计算技术研究所 | 一种多终端文件间的文件同步方法及系统 |
CN104580536A (zh) * | 2015-02-06 | 2015-04-29 | 浪潮电子信息产业股份有限公司 | 一种元数据集群负载平衡实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107066594A (zh) | 2017-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107066594B (zh) | 一种元数据同步的方法 | |
US9075633B2 (en) | Configuration of life cycle management for configuration files for an application | |
CN104572672B (zh) | 异构数据库的同步方法和应用系统 | |
CN102054035B (zh) | 一种基于数据范围的数据库数据同步方法 | |
US20060041881A1 (en) | Universal upgrade architecture | |
US20150074643A1 (en) | Managing reusable artifacts using placeholders | |
CN104573100A (zh) | 一种带自增量标识的分步式数据库同步方法 | |
CN108228814A (zh) | 数据同步方法及装置 | |
CN106462639A (zh) | 处理远程数据库的变化 | |
CN104598610A (zh) | 一种分步式数据库数据分发上传同步方法 | |
CN114385759B (zh) | 配置文件的同步方法、装置、计算机设备及存储介质 | |
CN107025108B (zh) | 从源代码管理(scm)系统将分级数据导出到产品生命周期管理(plm)系统 | |
CN107038519B (zh) | 用于系统之间的双向数据同步的方法和系统 | |
CN107193917A (zh) | 基于iid的全站系统配置文件无损数据更新方法 | |
CN110545207B (zh) | 一种同步自动化的智能dns系统及配置方法 | |
CN105808273A (zh) | 软件升级方法和软件升级装置 | |
CN110532021A (zh) | 分布式控制系统的组态文件的处理方法及装置 | |
CN102857949A (zh) | 一种规划数据一致性保证的方法和装置 | |
CN110543469A (zh) | 一种数据库版本管理方法及服务器 | |
CN107016075A (zh) | 集群数据同步方法及装置 | |
CN103248522B (zh) | 一种性能数据的上报方法及装置 | |
WO2016145897A1 (zh) | 一种更新数据包的制作方法及装置 | |
CN110413629B (zh) | 基于日志解析的异构数据库数据一致性的检查方法 | |
CN113672692B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
WO2017152079A1 (en) | Computer-implemented system and method for automating web application runtime error repairing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210203 Address after: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Applicant after: INSPUR GROUP Co.,Ltd. Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province Applicant before: JINAN INSPUR HI-TECH INVESTMENT AND DEVELOPMENT Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |