CN110389944A - 一种基于模型的元数据管理系统及方法 - Google Patents
一种基于模型的元数据管理系统及方法 Download PDFInfo
- Publication number
- CN110389944A CN110389944A CN201910689027.9A CN201910689027A CN110389944A CN 110389944 A CN110389944 A CN 110389944A CN 201910689027 A CN201910689027 A CN 201910689027A CN 110389944 A CN110389944 A CN 110389944A
- Authority
- CN
- China
- Prior art keywords
- metadata
- schema
- model
- management
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于模型的元数据管理系统,涉及数据处理技术领域。针对元数据结构固定、无法扩展、分类管理不清晰、层级不够明确等问题,采用技术方案包括:基于所要描述数据的关键信息建立的元数据模型,基于所要描述数据的关键信息对建立的元数据模型进行分类及分层的处理模块,基于所输入元数据选择相关元数据模型进行管理的管理模块,通过元数据模型、处理模块、管理模块三者共同提高了元数据的可扩展性,实现了元数据的分类及分层管理,有利于提高数据挖掘效率及管理员对于元数据管理系统的维护。本发明还公开一种基于模型的元数据管理方法,其与前述元数据管理系统相结合,进行元数据的扩展、分类及分层管理。
Description
技术领域
本发明涉及数据处理技术领域,具体的说是一种基于模型的元数据管理系统及方法。
背景技术
随着信息化建设的推进,各单位内部集聚了大量业务数据,随着管理工作的不断深化,各类深度分析需求也不断涌现,对业务数据的深化利用需求越来越强烈,但是数据的可读性,数据之间的关联关系并不明确。此外,由于各单位建设的业务系统越来越多,管理员对于系统需要了解的知识也在增多,无形中增加了维护成本。
元数据是用来描述数据的数据,广义的来看,除了业务逻辑直接读写处理的那些业务数据,所有其它用来维持整个系统运转所需的信息/数据都可以叫作元数据。比如数据表的Schema信息,任务的血缘关系,用户和脚本/任务的权限映射关系信息等等。借助元数据,一方面是为了让用户能够更高效的挖掘和使用数据,另一方面是为了让平台管理人员能更加有效的做好系统的维护管理工作。
目前存在的元数据管理,结构固定,无法扩展,一旦待描述业务数据有所变更,所有元数据需重新录入,费时费力。此外,目前的元数据管理,层级不明确,分类混乱,不好统筹规划,整体不够明确,无法体现各类元数据之间的关系。
发明内容
本发明针对元数据结构固定、无法扩展、分类管理不清晰、层级不够明确等问题,提供一种基于模型的元数据管理系统及方法。
首先,本发明提供一种基于模型的元数据管理系统,解决上述技术问题采用的技术方案如下:
一种基于模型的元数据管理系统,所涉及元数据管理系统包括:
基于所要描述数据的关键信息建立的元数据模型;
基于所要描述数据的关键信息对建立的元数据模型进行分类及分层的处理模块;
以及
基于所输入元数据选择相关元数据模型进行管理的管理模块。
具体的,建立的元数据模型包括元数据模型简介和元数据模型属性详情;
元数据模型简介包含元数据模型的名称、图标及相关描述;
元数据模型属性详情包含描述元数据模型对应元数据的结构、元数据模型所包含的关键信息;
元数据的结构采用的是元数据模型属性详情所包含的字段信息。
具体的,所涉及处理模块首先按照类别对建立的元数据模型进行分类处理,然后按照从属同一类别的元数据模型层级关系进行分层处理。
具体的,所涉及管理模块又包括:
用于导入元数据的导入子模块;
用于根据导入的元数据选择相关元数据模型的选择子模块;
用于将元数据导入相关元数据模型进行管理的导入管理子模块。
更具体的,所涉及导入管理子模块将单一元数据导入相关元数据模型进行管理,或者所述导入管理子模块将多个元数据批量导入相关元数据模型进行管理。
进一步的,所涉及元数据管理系统还包括:
用于根据输入关键词在所有元数据模型中快速查询相关元数据的查询模块。
进一步的,所涉及元数据管理系统还包括:
基于所输入元数据对元数据模型进行版本管理的版本管理模块;
基于所输入元数据进行血缘关系分析并展示的分析展示模块。
其次,本发明还提供一种基于模型的元数据管理方法,所涉及元数据管理方法的实现内容包括:
基于所要描述数据的关键信息建立元数据模型;
基于所要描述数据的关键信息对建立的元数据模型进行分类及分层处理;
基于所输入元数据选择相关元数据模型进行管理。
具体的,建立的元数据模型包括元数据模型简介和元数据模型属性详情;
元数据模型简介包含元数据模型的名称、图标及相关描述;
元数据模型属性详情包含描述元数据模型对应元数据的结构、元数据模型所包含的关键信息;
元数据的结构采用的是元数据模型属性详情所包含的字段信息。
进一步的,所涉及元数据管理方法的实现内容还包括:
基于所输入元数据选择相关元数据模型进行版本管理;
基于所输入元数据进行血缘关系分析,并展示分析结果;
基于关键词在建立的所有元数据模型中快速查询相关元数据。
本发明的一种基于模型的元数据管理系统及方法,与现有技术相比具有的有益效果是:
1)本发明的元数据管理系统基于所要描述数据的关键信息建立的元数据模型、基于所要描述数据的关键信息对建立的元数据模型进行分类及分层的处理模块、基于所输入元数据选择相关元数据模型进行管理的管理模块,完成了元数据管理,提高了元数据的可扩展性,实现了元数据的分类及分层管理,有利于提高数据挖掘效率及管理员对于元数据管理系统的维护;
2)本发明的元数据管理方法的实现基于所要描述数据的关键信息建立元数据模型、基于所要描述数据的关键信息对建立的元数据模型进行分类及分层处理、基于所输入元数据选择相关元数据模型进行管理,由此完成了元数据的管理,在管理过程中,还便于进行元数据的扩展、分类及分层,进而提高数据挖掘效率及管理员对于元数据管理系统的维护;
3)本发明的元数据管理系统及方法还可以基于关键词在建立的所有元数据模型中查询相关元数据,在元数据模型中实现元数据的快速有效定位。
附图说明
附图1是本发明实施例一的结构连接框图;
附图2是本发明实施例一的结构连接框图;
附图3是本发明实施例二的方法流程框图。
附图中各标号信息表示:
10、元数据模型,20、处理模块,30、管理模块,
40、查询模块,50、版本管理模块,60、分析展示模块;
31、导入子模块,32、选择子模块,33、导入管理子模块。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白,以下结合具体实施例,对本发明的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。
实施例一:
结合附图1,本实施例提出一种基于模型的元数据管理系统,所涉及元数据管理系统包括:
基于所要描述数据的关键信息建立的元数据模型10;
基于所要描述数据的关键信息对建立的元数据模型10进行分类及分层的处理模块20;以及
基于所输入元数据选择相关元数据模型10进行管理的管理模块30。
在本实施例中,建立的元数据模型10包括元数据模型10简介和元数据模型10属性详情;
元数据模型10简介包含元数据模型10的名称、图标及相关描述;
元数据模型10属性详情包含描述元数据模型10对应元数据的结构、元数据模型10所包含的关键信息;
元数据的结构采用的是元数据模型10属性详情所包含的字段信息。
在本实施例中,所涉及处理模块20首先按照类别对建立的元数据模型10进行分类处理,然后按照从属同一类别的元数据模型10层级关系进行分层处理。例如对同一类别的元数据模型10而言,数据结构模型下包含数据库模型,数据库模型下包含数据表模型,数据表模型包含数据字段模型等。
结合附图1,在本实施例中,所涉及管理模块30又包括:
用于导入元数据的导入子模块31;
用于根据导入的元数据选择相关元数据模型10的选择子模块32;
用于将元数据导入相关元数据模型10进行管理的导入管理子模块33。
在本实施例中,所涉及导入管理子模块33将单一元数据导入相关元数据模型10进行管理,或者所述导入管理子模块33将多个元数据批量导入相关元数据模型10进行管理。
在本实施例中,所涉及元数据管理系统还包括:
用于根据输入关键词在所有元数据模型10中快速查询相关元数据的查询模块40。
实施例二:
结合附图2,本实施例提出一种基于模型的元数据管理系统,所涉及元数据管理系统包括:
基于所要描述数据的关键信息建立的元数据模型10;
基于所要描述数据的关键信息对建立的元数据模型10进行分类及分层的处理模块20;
以及
基于所输入元数据选择相关元数据模型10进行管理的管理模块30。
在本实施例中,建立的元数据模型10包括元数据模型10简介和元数据模型10属性详情;
元数据模型10简介包含元数据模型10的名称、图标及相关描述;
元数据模型10属性详情包含描述元数据模型10对应元数据的结构、元数据模型10所包含的关键信息;
元数据的结构采用的是元数据模型10属性详情所包含的字段信息。
在本实施例中,所涉及处理模块20首先按照类别对建立的元数据模型10进行分类处理,然后按照从属同一类别的元数据模型10层级关系进行分层处理。例如对同一类别的元数据模型10而言,数据结构模型下包含数据库模型,数据库模型下包含数据表模型,数据表模型包含数据字段模型等。
结合附图2,在本实施例中,所涉及管理模块30又包括:
用于导入元数据的导入子模块31;
用于根据导入的元数据选择相关元数据模型10的选择子模块32;
用于将元数据导入相关元数据模型10进行管理的导入管理子模块33。
在本实施例中,所涉及导入管理子模块33将单一元数据导入相关元数据模型10进行管理,或者所述导入管理子模块33将多个元数据批量导入相关元数据模型10进行管理。
结合附图2,在本实施例中,所涉及元数据管理系统还包括:
用于根据输入关键词在所有元数据模型10中快速查询相关元数据的查询模块40。
结合附图2,在本实施例中,所涉及元数据管理系统还包括:
基于所输入元数据对元数据模型10进行版本管理的版本管理模块50;
基于所输入元数据进行血缘关系分析并展示的分析展示模块60。
实施例三:
结合附图3,本实施例提出一种基于模型的元数据管理方法,所涉及元数据管理方法的实现内容包括:
基于所要描述数据的关键信息建立元数据模型10;
基于所要描述数据的关键信息对建立的元数据模型10进行分类及分层处理;例如对同一类别的元数据模型10而言,数据结构模型下包含数据库模型,数据库模型下包含数据表模型,数据表模型包含数据字段模型等;
基于所输入元数据选择相关元数据模型10进行管理。
在本实施例中,建立的元数据模型10包括元数据模型10简介和元数据模型10属性详情;
元数据模型10简介包含元数据模型10的名称、图标及相关描述;
元数据模型10属性详情包含描述元数据模型10对应元数据的结构、元数据模型10所包含的关键信息;
元数据的结构采用的是元数据模型10属性详情所包含的字段信息。
在本实施例中,所涉及元数据管理方法的实现内容还包括:
基于所输入元数据选择相关元数据模型10进行版本管理;
基于所输入元数据进行血缘关系分析,并展示分析结果;
基于关键词在建立的所有元数据模型10中快速查询相关元数据。
综上可知,采用本发明的一种基于模型的元数据管理系统及方法,解决了元数据结构固定、无法扩展、分类管理不清晰、层级不够明确等问题。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述,这些实施例只是用于帮助理解本发明的核心技术内容,并不用于限制本发明的保护范围。基于本发明的上述具体实施例,本技术领域的技术人员在不脱离本发明原理的前提下,对本发明所作出的任何改进和修饰,皆应落入本发明的专利保护范围。
Claims (10)
1.一种基于模型的元数据管理系统,其特征在于,所述元数据管理系统包括:
基于所要描述数据的关键信息建立的元数据模型;
基于所要描述数据的关键信息对建立的元数据模型进行分类及分层的处理模块;
以及
基于所输入元数据选择相关元数据模型进行管理的管理模块。
2.根据权利要求1所述的一种基于模型的元数据管理系统,其特征在于,建立的元数据模型包括元数据模型简介和元数据模型属性详情;
所述元数据模型简介包含元数据模型的名称、图标及相关描述;
所述元数据模型属性详情包含描述元数据模型对应元数据的结构、元数据模型所包含的关键信息;
所述元数据的结构采用的是元数据模型属性详情所包含的字段信息。
3.根据权利要求1所述的一种基于模型的元数据管理系统,其特征在于,所述处理模块首先按照类别对建立的元数据模型进行分类处理,然后按照从属同一类别的元数据模型层级关系进行分层处理。
4.根据权利要求1所述的一种基于模型的元数据管理系统,其特征在于,所述管理模块又包括:
用于导入元数据的导入子模块;
用于根据导入的元数据选择相关元数据模型的选择子模块;
用于将元数据导入相关元数据模型进行管理的导入管理子模块。
5.根据权利要求4所述的一种基于模型的元数据管理系统,其特征在于,所述导入管理子模块将单一元数据导入相关元数据模型进行管理,或者所述导入管理子模块将多个元数据批量导入相关元数据模型进行管理。
6.根据权利要求1所述的一种基于模型的元数据管理系统,其特征在于,所述元数据管理系统还包括:
用于根据输入关键词在所有元数据模型中快速查询相关元数据的查询模块。
7.根据权利要求1-6中任一项所述的一种基于模型的元数据管理系统,其特征在于,所述元数据管理系统还包括:
基于所输入元数据对元数据模型进行版本管理的版本管理模块;
基于所输入元数据进行血缘关系分析并展示的分析展示模块。
8.一种基于模型的元数据管理方法,其特征在于,所述元数据管理方法的实现内容包括:
基于所要描述数据的关键信息建立元数据模型;
基于所要描述数据的关键信息对建立的元数据模型进行分类及分层处理;
基于所输入元数据选择相关元数据模型进行管理。
9.根据权利要求8所述的一种基于模型的元数据管理方法,其特征在于,建立的元数据模型包括元数据模型简介和元数据模型属性详情;
所述元数据模型简介包含元数据模型的名称、图标及相关描述;
所述元数据模型属性详情包含描述元数据模型对应元数据的结构、元数据模型所包含的关键信息;
所述元数据的结构采用的是元数据模型属性详情所包含的字段信息。
10.根据权利要求8所述的一种基于模型的元数据管理方法,其特征在于,所述元数据管理方法的实现内容还包括:
基于所输入元数据选择相关元数据模型进行版本管理;
基于所输入元数据进行血缘关系分析,并展示分析结果;
基于关键词在建立的所有元数据模型中快速查询相关元数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910689027.9A CN110389944B (zh) | 2019-07-29 | 2019-07-29 | 一种基于模型的元数据管理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910689027.9A CN110389944B (zh) | 2019-07-29 | 2019-07-29 | 一种基于模型的元数据管理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110389944A true CN110389944A (zh) | 2019-10-29 |
CN110389944B CN110389944B (zh) | 2023-05-05 |
Family
ID=68287821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910689027.9A Active CN110389944B (zh) | 2019-07-29 | 2019-07-29 | 一种基于模型的元数据管理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110389944B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112162731A (zh) * | 2020-10-13 | 2021-01-01 | 广州乐摇摇信息科技有限公司 | 数据扩展方法、装置、存储介质及电子装置 |
CN113971500A (zh) * | 2020-07-23 | 2022-01-25 | 中国移动通信集团广东有限公司 | 一种数据细分管理方法、装置及数据管理平台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060112109A1 (en) * | 2004-11-23 | 2006-05-25 | Chowdhary Pawan R | Adaptive data warehouse meta model |
CN103729460A (zh) * | 2014-01-10 | 2014-04-16 | 中国南方电网有限责任公司 | 一种基于元数据的图形化数据模型管理方法和系统 |
CN103970899A (zh) * | 2014-05-27 | 2014-08-06 | 重庆大学 | 面向服务的元数据关联性提取管理方法及其管理系统 |
CN106250382A (zh) * | 2016-01-28 | 2016-12-21 | 新博卓畅技术(北京)有限公司 | 一种元数据管理引擎系统及实现方法 |
CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
-
2019
- 2019-07-29 CN CN201910689027.9A patent/CN110389944B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060112109A1 (en) * | 2004-11-23 | 2006-05-25 | Chowdhary Pawan R | Adaptive data warehouse meta model |
CN103729460A (zh) * | 2014-01-10 | 2014-04-16 | 中国南方电网有限责任公司 | 一种基于元数据的图形化数据模型管理方法和系统 |
CN103970899A (zh) * | 2014-05-27 | 2014-08-06 | 重庆大学 | 面向服务的元数据关联性提取管理方法及其管理系统 |
CN106250382A (zh) * | 2016-01-28 | 2016-12-21 | 新博卓畅技术(北京)有限公司 | 一种元数据管理引擎系统及实现方法 |
CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
Non-Patent Citations (1)
Title |
---|
周芳等: "基于元元模型的多维元数据管理研究与实现", 《计算机工程与设计》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113971500A (zh) * | 2020-07-23 | 2022-01-25 | 中国移动通信集团广东有限公司 | 一种数据细分管理方法、装置及数据管理平台 |
CN112162731A (zh) * | 2020-10-13 | 2021-01-01 | 广州乐摇摇信息科技有限公司 | 数据扩展方法、装置、存储介质及电子装置 |
CN112162731B (zh) * | 2020-10-13 | 2021-10-22 | 广州乐摇摇信息科技有限公司 | 数据扩展方法、装置、存储介质及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110389944B (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764984A (zh) | 一种基于大数据的电力用户画像构建方法及系统 | |
US11132360B2 (en) | Accessing datasets | |
CN110389944A (zh) | 一种基于模型的元数据管理系统及方法 | |
CN107784030A (zh) | 一种处理连接查询的方法及装置 | |
US9031931B2 (en) | Systems and methods for providing query results to a user in an intuitive graphical format | |
CN104574159B (zh) | 数据存储、查询方法和装置 | |
Arora et al. | Big data: A review of analytics methods & techniques | |
Eunjeong | How Cloud Computing is Revolutionizing the Future. | |
CN117573886A (zh) | 一种面向结构化数据的知识图谱可视化构建方法及系统 | |
CN109522934A (zh) | 一种基于聚类算法的电力用户聚类方法 | |
CN112836960A (zh) | 基于bi技术的工业生产数据调度系统 | |
Escobedo et al. | Business intelligence and data analytics (BI&DA) to support the operation of smart grid | |
CN102479242A (zh) | 以关系图显示查询结果的系统及其方法 | |
Keim et al. | Value-cell bar charts for visualizing large transaction data sets | |
Rifaie et al. | Data modelling for effective data warehouse architecture and design | |
CN107577917A (zh) | 一种生物信息学高性能信息化管理系统及数据处理方法 | |
CN112381501B (zh) | 一种产品运作平台系统 | |
Raza et al. | Developing Scalable Data Infrastructure for Retail E-Commerce Growth in Emerging East Asian Markets | |
Ashari et al. | Cloud-Based Processing on Data Science for Visualization | |
Anitha Kumari et al. | Federated Aggregated Micro Pipelines (FAMP) for Efficient Data Processing in MongoDB: A Case Study on Universities and Movie Dataset | |
CN118096403A (zh) | 企业多维数据的处理方法、装置、存储介质及计算机设备 | |
Duman | Big Data Analytics in Supply Chain Management: A Literature Review on Supply Chain Analytics | |
Al-Shammari et al. | A Bibliometric Analysis of Customer Churn Prediction in the Telecommunications Industry | |
Tschigg et al. | Navigating the ethical, legal, and social/societal implications (ELSI) of the Recall-by-genotype (RbG) design through stakeholder engagement: the case of the Cooperative Health Research in South Tyrol (CHRIS) study on genetic risk factors of Parkinson’s disease | |
Kalpana et al. | Cloud Analytics and its Implementation Challenges |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 271000 Langchao science and Technology Park, 527 Dongyue street, Tai'an City, Shandong Province Applicant after: INSPUR SOFTWARE Co.,Ltd. Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Applicant before: INSPUR SOFTWARE Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |