CN107066594B - 一种元数据同步的方法 - Google Patents

一种元数据同步的方法 Download PDF

Info

Publication number
CN107066594B
CN107066594B CN201710256472.7A CN201710256472A CN107066594B CN 107066594 B CN107066594 B CN 107066594B CN 201710256472 A CN201710256472 A CN 201710256472A CN 107066594 B CN107066594 B CN 107066594B
Authority
CN
China
Prior art keywords
metadata
synchronization
source end
version number
list file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710256472.7A
Other languages
English (en)
Other versions
CN107066594A (zh
Inventor
薛长青
孙善宝
张爱成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Group Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201710256472.7A priority Critical patent/CN107066594B/zh
Publication of CN107066594A publication Critical patent/CN107066594A/zh
Application granted granted Critical
Publication of CN107066594B publication Critical patent/CN107066594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明特别涉及一种元数据同步的方法。该元数据同步的方法，首先确定元数据同步方向和元数据同步内容；然后制定元数据版本策略，标识监控对象类型和版本，采用表格管理主题类型SubjectType与站点的关系，一个站点可以有同一主题类型SubjectType的多个版本；最后根据规则和策略，通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储，来完成元数据的同步。该元数据同步的方法，同步过程清晰明了，实现了站与站之间、服务器端与客户端之间的元数据同步，使各个站点达到了监控平台的要求。

Description

一种元数据同步的方法
技术领域
本发明涉及监控平台开发技术领域，特别涉及一种元数据同步的方法。
背景技术
在监控平台中，有多个站点，站与站之间有级联关系。站与站通信传输、数据同步和站点展示，都需要进行统一的抽象封装，才能达到监控平台的要求。监控平台的功能就是通过抽象统一完成监控系统的开发。
基于上述情况，本发明提出了一种元数据同步的方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的元数据同步的方法。
本发明是通过如下技术方案实现的：
一种元数据同步的方法，其特征在于：首先确定元数据同步方向和元数据同步内容；然后制定元数据版本策略，标识监控对象类型和版本，采用表格管理主题类型SubjectType与站点的关系，一个站点可以有同一主题类型SubjectType的多个版本；最后根据规则和策略，通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储，来完成元数据的同步；
具体包括以下步骤：
（1）目标端A向源端B发送检查更新请求、上次同步后源端B清单文件版本号和MD5校验码；
（2）源端B收到检查更新请求后，比较源端B清单文件版本号与上次同步后源端B清单文件版本号；
若源端B清单文件版本号与上次同步后源端B清单文件版本号相同，则向目标端A返回无更新版本号及MD5校验无更新标志；
若源端B清单文件版本号与上次同步后源端B清单文件版本号不同，则校验MD5校验码，若通过校验，则返回新的源端B清单文件版本号、新源端B清单文件的差异部分和新源端B清单文件MD5校验码，并返回更新标志；
无论源端B清单文件版本号与上次同步后源端B清单文件版本号是否相同，若MD5校验码不能通过校验，则返回新的源端B清单文件版本号、完整的新源端B清单文件和新源端B清单文件MD5校验码，同时返回重置标志；
（3）若目标端A收到无更新标志，则重置最后更新时间；
若目标端A收到更新标志，则启动差异化更新过程，升级目标端A中记载的源端B清单文件；
若目标端A收到重置标志，则启动全量更新过程，覆盖目标端A中记载的源端B清单文件。
所述元数据同步方向均为单向，从源端B向目标端A同步，元数据同步内容包括监控类型元数据，通道元数据和拓扑图定义元数据。
针对不同监控类型定义不同的元数据，或者进行元数据升级都需要重新定义元数据，生成不同版本的插件，元数据通过插件的形式进行升级。
本发明的有益效果是：该元数据同步的方法，同步过程清晰明了，实现了站与站之间、服务器端与客户端之间的元数据同步，使各个站点达到了监控平台的要求。
附图说明
附图1为本发明元数据同步的方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该元数据同步的方法，首先确定元数据同步方向和元数据同步内容；然后制定元数据版本策略，标识监控对象类型和版本，采用表格管理主题类型SubjectType与站点的关系，一个站点可以有同一主题类型SubjectType的多个版本；最后根据规则和策略，通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储，来完成元数据的同步；
具体包括以下步骤：
（1）目标端A向源端B发送检查更新请求、上次同步后源端B清单文件版本号和MD5校验码；
（2）源端B收到检查更新请求后，比较源端B清单文件版本号与上次同步后源端B清单文件版本号；
若源端B清单文件版本号与上次同步后源端B清单文件版本号相同，则向目标端A返回无更新版本号及MD5校验无更新标志；
若源端B清单文件版本号与上次同步后源端B清单文件版本号不同，则校验MD5校验码，若通过校验，则返回新的源端B清单文件版本号、新源端B清单文件的差异部分和新源端B清单文件MD5校验码，并返回更新标志；
无论源端B清单文件版本号与上次同步后源端B清单文件版本号是否相同，若MD5校验码不能通过校验，则返回新的源端B清单文件版本号、完整的新源端B清单文件和新源端B清单文件MD5校验码，同时返回重置标志；
（3）若目标端A收到无更新标志，则重置最后更新时间；
若目标端A收到更新标志，则启动差异化更新过程，升级目标端A中记载的源端B清单文件；
若目标端A收到重置标志，则启动全量更新过程，覆盖目标端A中记载的源端B清单文件。
所述元数据同步方向均为单向，从源端B向目标端A同步，元数据同步内容包括监控类型元数据，通道元数据和拓扑图定义元数据。
针对不同监控类型定义不同的元数据，或者进行元数据升级都需要重新定义元数据，生成不同版本的插件，元数据通过插件的形式进行升级。
所述元数据同步相关命令包括检查更新命令和获取资料集（异步）命令两部分。
其中，检查更新命令包括请求命令，应答命令和处理逻辑命令，其请求命令中包括源端B清单文件版本号和MD5校验码；其应答命令中包括更新标志（无更新、更新和重置标志），新源端B清单文件版本号，新源端B清单文件内容或差异内容以及新源端B清单文件MD5校验码；其处理逻辑命令中包括基于总索引文件比较生成命令和对相同资料，MD5校验码不同的情况进行警告命令。
获取资料集（异步）命令中也包括请求命令，应答命令和处理逻辑命令，其请求命令中包括目标资料描述列表，其中有对每个目标资料的描述，包括类型、名称和版本哈；其应答命令包括资料列表，其中有每个资料内容，包括类型、名称、版本号、MD5校验码和由channel负责传输到本地并校验通过的文件本地路径；其处理逻辑命令包括基于资料存储命令。
所述元数据同步资料存储包括资料索引存贮和资料内容存储两部分。
其中，资料索引即为数据库表，包括资料类型（index、ChannelType、SubjectType和topology），资料名称（index类型的name为nodeName；topology类型的name为nodeName+topoName），版本号，本地文件路径（相对于资料库根目录的文件路径），MD5校验码和更新时间。
资料内容即为文件系统，包括资料库根目录，其中包括index-version.xml总索引历史版本存档，index（nodea-version.xml和nodeb-version.xml），typeName（name-version.xml。
该元数据同步的方法把监控类型参数、通道参数、拓扑图参数抽象为元数据，在各个节点之间进行传输，按照一定的规则和策略进行传输管理，实现在站与站之间、服务器端与客户端之间进行元数据同步。每个站、每个客户端同样的部署，每个站通过元数据同步获取本站的元数据文件，进行处理，完成数据的报送、客户端的展示。如果元数据改变，按照指定的规则和策略进行元数据的版本升级更新，达到级联监控系统的需求。

Claims (3)

1.一种元数据同步的方法，其特征在于：首先确定元数据同步方向和元数据同步内容；然后制定元数据版本策略，标识监控对象类型和版本，采用表格管理主题类型SubjectType与站点的关系，一个站点可以有同一主题类型SubjectType的多个版本；最后根据规则和策略，通过元数据版本策略、同步过程、同步命令、同步事件、同步清单和资料存储，来完成元数据的同步；
具体包括以下步骤：
（1）目标端A向源端B发送检查更新请求、上次同步后源端B清单文件版本号和MD5校验码；
（2）源端B收到检查更新请求后，比较源端B清单文件版本号与上次同步后源端B清单文件版本号；
若源端B清单文件版本号与上次同步后源端B清单文件版本号相同，则向目标端A返回无更新版本号及MD5校验无更新标志；
若源端B清单文件版本号与上次同步后源端B清单文件版本号不同，则校验MD5校验码，若通过校验，则返回新的源端B清单文件版本号、新源端B清单文件的差异部分和新源端B清单文件MD5校验码，并返回更新标志；
无论源端B清单文件版本号与上次同步后源端B清单文件版本号是否相同，若MD5校验码不能通过校验，则返回新的源端B清单文件版本号、完整的新源端B清单文件和新源端B清单文件MD5校验码，同时返回重置标志；
（3）若目标端A收到无更新标志，则重置最后更新时间；
若目标端A收到更新标志，则启动差异化更新过程，升级目标端A中记载的源端B清单文件；
若目标端A收到重置标志，则启动全量更新过程，覆盖目标端A中记载的源端B清单文件。
2.根据权利要求1所述的元数据同步的方法，其特征在于：所述元数据同步方向均为单向，从源端B向目标端A同步，元数据同步内容包括监控类型元数据，通道元数据和拓扑图定义元数据。
3.根据权利要求1所述的元数据同步的方法，其特征在于：针对不同监控类型定义不同的元数据，或者进行元数据升级都需要重新定义元数据，生成不同版本的插件，元数据通过插件的形式进行升级。
CN201710256472.7A 2017-04-19 2017-04-19 一种元数据同步的方法 Active CN107066594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710256472.7A CN107066594B (zh) 2017-04-19 2017-04-19 一种元数据同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710256472.7A CN107066594B (zh) 2017-04-19 2017-04-19 一种元数据同步的方法

Publications (2)

Publication Number Publication Date
CN107066594A CN107066594A (zh) 2017-08-18
CN107066594B true CN107066594B (zh) 2021-02-26

Family

ID=59599649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710256472.7A Active CN107066594B (zh) 2017-04-19 2017-04-19 一种元数据同步的方法

Country Status (1)

Country Link
CN (1) CN107066594B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535907A (zh) * 2019-07-26 2019-12-03 济南浪潮数据技术有限公司 一种元数据同步方法和系统
CN111614750B (zh) * 2020-05-19 2023-05-12 深圳市网心科技有限公司 一种数据更新方法、系统、设备及存储介质
CN111752920A (zh) * 2020-06-22 2020-10-09 杭州数澜科技有限公司 用于管理元数据的方法、系统及存储介质
CN113422837A (zh) * 2021-07-02 2021-09-21 广东电网有限责任公司 跨网数据传输装置、方法、终端及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1490770A1 (en) * 2002-02-25 2004-12-29 Siebel Systems, Inc. Method and system for server-based operations in server synchronization with a computing device
CN102289460A (zh) * 2011-07-13 2011-12-21 中国工商银行股份有限公司 一种向测试环境进行报表元数据同步的方法及系统
CN102480520A (zh) * 2010-11-26 2012-05-30 中国科学院声学研究所 一种基于差量元数据描述性结构的媒体数据同步方法
CN103152398A (zh) * 2013-02-07 2013-06-12 中国科学院计算技术研究所 一种多终端文件间的文件同步方法及系统
CN104580536A (zh) * 2015-02-06 2015-04-29 浪潮电子信息产业股份有限公司 一种元数据集群负载平衡实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1490770A1 (en) * 2002-02-25 2004-12-29 Siebel Systems, Inc. Method and system for server-based operations in server synchronization with a computing device
CN102480520A (zh) * 2010-11-26 2012-05-30 中国科学院声学研究所 一种基于差量元数据描述性结构的媒体数据同步方法
CN102289460A (zh) * 2011-07-13 2011-12-21 中国工商银行股份有限公司 一种向测试环境进行报表元数据同步的方法及系统
CN103152398A (zh) * 2013-02-07 2013-06-12 中国科学院计算技术研究所 一种多终端文件间的文件同步方法及系统
CN104580536A (zh) * 2015-02-06 2015-04-29 浪潮电子信息产业股份有限公司 一种元数据集群负载平衡实现方法

Also Published As

Publication number Publication date
CN107066594A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107066594B (zh) 一种元数据同步的方法
US8522206B2 (en) Selective delta validation of a shared artifact
US9075633B2 (en) Configuration of life cycle management for configuration files for an application
CN110321254A (zh) 软件版本回滚方法、装置、服务器及存储介质
US20150074643A1 (en) Managing reusable artifacts using placeholders
CN105243067A (zh) 一种实现实时增量同步数据的方法及装置
CN105808273B (zh) 软件升级方法和软件升级装置
CN111694592A (zh) 项目版本发布的管理方法以及系统
CN104573100A (zh) 一种带自增量标识的分步式数据库同步方法
CN106462639A (zh) 处理远程数据库的变化
CN104598610A (zh) 一种分步式数据库数据分发上传同步方法
CN104965726A (zh) 配置更新方法、装置及系统
CN102054035A (zh) 一种基于数据范围的数据库数据同步方法
CN107193917A (zh) 基于iid的全站系统配置文件无损数据更新方法
CN110545207B (zh) 一种同步自动化的智能dns系统及配置方法
CN110543469B (zh) 一种数据库版本管理方法及服务器
CN102857949A (zh) 一种规划数据一致性保证的方法和装置
CN104090948A (zh) 核电站海量数据处理方法、装置及系统
WO2016145897A1 (zh) 一种更新数据包的制作方法及装置
CN110413629B (zh) 基于日志解析的异构数据库数据一致性的检查方法
CN113672692B (zh) 数据处理方法、装置、计算机设备和存储介质
CN107016075A (zh) 集群数据同步方法及装置
WO2017152079A1 (en) Computer-implemented system and method for automating web application runtime error repairing
CN105100290A (zh) 一种数据同步方法及装置
CN110968646B (zh) 一种嵌入式系统数据库同步方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210203

Address after: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Applicant after: INSPUR GROUP Co.,Ltd.

Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province

Applicant before: JINAN INSPUR HI-TECH INVESTMENT AND DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant