CN112597207A - 一种元数据管理系统 - Google Patents

一种元数据管理系统 Download PDF

Info

Publication number
CN112597207A
CN112597207A CN202011591524.4A CN202011591524A CN112597207A CN 112597207 A CN112597207 A CN 112597207A CN 202011591524 A CN202011591524 A CN 202011591524A CN 112597207 A CN112597207 A CN 112597207A
Authority
CN
China
Prior art keywords
metadata
module
sub
maintenance
meta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011591524.4A
Other languages
English (en)
Other versions
CN112597207B (zh
Inventor
陈思恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tech Valley Xiamen Information Technology Co ltd
Original Assignee
Tech Valley Xiamen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tech Valley Xiamen Information Technology Co ltd filed Critical Tech Valley Xiamen Information Technology Co ltd
Priority to CN202011591524.4A priority Critical patent/CN112597207B/zh
Publication of CN112597207A publication Critical patent/CN112597207A/zh
Application granted granted Critical
Publication of CN112597207B publication Critical patent/CN112597207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models

Abstract

本发明公开了一种元数据管理系统，包括：应用与分析模块，用于对元数据进行应用和分析，其包括数据库管理子模块、血统或影响分析子模块、元数据使用情况统计子模块及元数据管理子模块；元数据模块，用于对元数据进行维护，其包括元数据检索子模块、变更订阅子模块、版本管理子模块、元数据采集子模块、元数据生命周期子模块及元数据维护子模块；元模型模块，用于对元模型进行维护，其包括元模型维护子模块、包维护子模块、关系类型维护子模块、业务领域维护子模块及枚举类型维护子模块。本发明提供一种元数据管理系统，降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。

Description

一种元数据管理系统
技术领域
本发明涉及数据管理技术领域，具体涉及一种元数据管理系统。
背景技术
元数据是关于数据的数据，元数据主要用于在数据管控平台里描述数据及其环境，它是在数据管控建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。因此，元数据的管理对于数据管理平台有着重要的意义。现有元数据使用难度大、管控力度小，提升用户体验差。
发明内容
本发明提出一种元数据管理系统，降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。
为实现上述目的，本发明采用以下技术方案：
一种元数据管理系统，包括：
应用与分析模块，用于对元数据进行应用和分析，其包括数据库管理子模块、血统或影响分析子模块、元数据使用情况统计子模块及元数据管理子模块；
元数据模块，用于对元数据进行维护，其包括元数据检索子模块、变更订阅子模块、版本管理子模块、元数据采集子模块、元数据生命周期子模块及元数据维护子模块；
元模型模块，用于对元模型进行维护，其包括元模型维护子模块、包维护子模块、关系类型维护子模块、业务领域维护子模块及枚举类型维护子模块。
优选地，所述元数据管理子模块包括元数据质量管理、指标库管理、元数据差异分析及元数据权限管理。
优选地，所述元数据维护子模块包括元数据基本信息维护和元数据关系维护。
优选地，所述元模型维护子模块包括元模型基本信息维护、元模型关系维护、元模型属性维护及元模型索引维护。
优选地，所述元数据采集子模块包括Web请求组件、RDBMS阅读器、HTTP请求组件、HTTP响应组件、文件轮询器、文本文件读取器、解压缩组件、二进制文件读取器及XML读取器组件。
优选地，所述元数据模块还包括元数据稽核子模块，用于对元数据采集子模块采集的数据进行稽核，其过程包括：
S1、制定预定义数据稽核和校验规则；
S2、通过ETL工具对采集到数据做初步的数据清理和预处理；
S3、对数据进行差异分析和异常分析；
S4、对异常数据发出实时预警和通知，且生成数据稽核统计报表。
优选地，所述变更订阅子模块包括元模型变更订阅和元数据变更订阅。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
本发明提供一种元数据管理系统，各个数据实体来进行实体定义，对实体之间的关系进行约束，实现对数据管理平台里所有数据实体的管理；通过制定规范的数据流程制度，严格控制数据的流向以及数据在各流程中的情况，对数据管理平台中的各项数据流程进行管控；降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。
附图说明
图1为本发明系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明中需要说明的是，术语“上”“下”“左”“右”“竖直”“水平”“内”“外”等均为基于附图所示的方位或位置关系，仅仅是为了便于描述本发明和简化描述，而不是指示或暗示本发明的装置或元件必须具有特定的方位，因此不能理解为对本发明的限制。
实施例
配合图1所示，本发明公开了一种元数据管理系统，包括：
应用与分析模块，用于对元数据进行应用和分析，其包括数据库管理子模块、血统或影响分析子模块、元数据使用情况统计子模块及元数据管理子模块；
元数据模块，用于对元数据进行维护，其包括元数据检索子模块、变更订阅子模块、版本管理子模块、元数据采集子模块、元数据生命周期子模块及元数据维护子模块；
元模型模块，用于对元模型进行维护，其包括元模型维护子模块、包维护子模块、关系类型维护子模块、业务领域维护子模块及枚举类型维护子模块。
元数据管理子模块包括元数据质量管理、指标库管理、元数据差异分析及元数据权限管理。
元数据维护子模块包括元数据基本信息维护和元数据关系维护。
元模型维护子模块包括元模型基本信息维护、元模型关系维护、元模型属性维护及元模型索引维护。
元数据采集子模块支持用户采集或导入元数据和元模型，采集或导入的方式包括自动(或订阅)和手动，支持包括数据库、大数据工具、报表工具等的采集；元数据采集子模块包括Web请求组件、RDBMS阅读器、HTTP请求组件、HTTP响应组件、文件轮询器、文本文件读取器、解压缩组件、二进制文件读取器及XML读取器组件。
Web请求组件可用于调用WSDL或基于REST的服务，RDBMS阅读器用于通过指定的SQL查询语句从SQL兼容的关系型数据库中读取数据，HTTP请求组件用于定义由服务器托管的RESTful服务，它将接受预期的HTTP请求，HTTP响应组件用于定义由服务器托管的RESTful服务，它将按预期输出HTTP响应，文件轮询器用于查看基于文件的目录结构，并且如果存在与给定文件名称表达式相匹配的单个或多个文件，则向后继组件发送消息。文件轮询器发送的消息的有效载荷内有字符串数组列表，其中的每个文件的文件名与文件轮询器的文件模式表达式参数匹配，文本文件读取器用于从一个或多个基于文本的文件读取数据，解压缩组件允许提取压缩的归档/压缩文件，以便可以在流程中处理其内容，二进制文件读取器可以读取一个或多个文件，并将读取的数据传递给后继组件，XML读取器组件允许从文件中读取XML数据，并可将标签中的数据作为单独的消息发送。
元数据模块还包括元数据稽核子模块，用于对元数据采集子模块采集的数据进行稽核，其过程包括：
S1、制定预定义数据稽核和校验规则；
S2、通过ETL工具对采集到数据做初步的数据清理和预处理；
S3、对数据进行差异分析和异常分析；
S4、对异常数据发出实时预警和通知，且生成数据稽核统计报表。
变更订阅子模块包括元模型变更订阅和元数据变更订阅，二者均采用EMAIL的形式发送给用户，且订阅元数据变更订阅的同时可以订阅元数据的下级节点。
血统分析子模块表现为：当用户配置了同步任务，并通过SQL任务进行多个步骤的清洗、转化处理之后最终会将结果数据输出，在整个处理链路中，数据的血缘关系就隐含在同步任务和SQL代码中，数据血缘表示每个统计指标是如何从原始数据得到的过程。
影响分析子模块表现为：动分析并展示该操作对数据产生的影响，提供图形可视化的影响分析功能，如接口文件、库表、SQL程序、报表、指标对其他数据或程序的影响。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种元数据管理系统，其特征在于，包括：
应用与分析模块，用于对元数据进行应用和分析，其包括数据库管理子模块、血统或影响分析子模块、元数据使用情况统计子模块及元数据管理子模块；
元数据模块，用于对元数据进行维护，其包括元数据检索子模块、变更订阅子模块、版本管理子模块、元数据采集子模块、元数据生命周期子模块及元数据维护子模块；
元模型模块，用于对元模型进行维护，其包括元模型维护子模块、包维护子模块、关系类型维护子模块、业务领域维护子模块及枚举类型维护子模块。
2.如权利要求1所述的一种元数据管理系统，其特征在于：所述元数据管理子模块包括元数据质量管理、指标库管理、元数据差异分析及元数据权限管理。
3.如权利要求1所述的一种元数据管理系统，其特征在于：所述元数据维护子模块包括元数据基本信息维护和元数据关系维护。
4.如权利要求1所述的一种元数据管理系统，其特征在于：所述元模型维护子模块包括元模型基本信息维护、元模型关系维护、元模型属性维护及元模型索引维护。
5.如权利要求1所述的一种元数据管理系统，其特征在于：所述元数据采集子模块包括Web请求组件、RDBMS阅读器、HTTP请求组件、HTTP响应组件、文件轮询器、文本文件读取器、解压缩组件、二进制文件读取器及XML读取器组件。
6.如权利要求1所述的一种元数据管理系统，其特征在于：所述元数据模块还包括元数据稽核子模块，用于对元数据采集子模块采集的数据进行稽核，其过程包括：
S1、制定预定义数据稽核和校验规则；
S2、通过ETL工具对采集到数据做初步的数据清理和预处理；
S3、对数据进行差异分析和异常分析；
S4、对异常数据发出实时预警和通知，且生成数据稽核统计报表。
7.如权利要求1所述的一种元数据管理系统，其特征在于：所述变更订阅子模块包括元模型变更订阅和元数据变更订阅。
CN202011591524.4A 2020-12-29 2020-12-29 一种元数据管理系统 Active CN112597207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011591524.4A CN112597207B (zh) 2020-12-29 2020-12-29 一种元数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011591524.4A CN112597207B (zh) 2020-12-29 2020-12-29 一种元数据管理系统

Publications (2)

Publication Number Publication Date
CN112597207A true CN112597207A (zh) 2021-04-02
CN112597207B CN112597207B (zh) 2022-09-23

Family

ID=75204146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011591524.4A Active CN112597207B (zh) 2020-12-29 2020-12-29 一种元数据管理系统

Country Status (1)

Country Link
CN (1) CN112597207B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515290A (zh) * 2009-03-25 2009-08-26 中国工商银行股份有限公司 具有双向互动特征的元数据管理系统及其实现方法
CN107315776A (zh) * 2017-05-27 2017-11-03 国网安徽省电力公司信息通信分公司 一种基于云计算的数据管理系统
CN107832392A (zh) * 2017-10-31 2018-03-23 链家网（北京）科技有限公司 一种元数据管理系统
CN111125068A (zh) * 2019-11-13 2020-05-08 深圳市华傲数据技术有限公司 一种元数据治理方法和系统
CN111198902A (zh) * 2018-11-16 2020-05-26 长鑫存储技术有限公司 元数据管理方法、装置、存储介质及电子设备
US20200334272A1 (en) * 2019-04-18 2020-10-22 Sap Se Metadata hub for metadata models of database objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515290A (zh) * 2009-03-25 2009-08-26 中国工商银行股份有限公司 具有双向互动特征的元数据管理系统及其实现方法
CN107315776A (zh) * 2017-05-27 2017-11-03 国网安徽省电力公司信息通信分公司 一种基于云计算的数据管理系统
CN107832392A (zh) * 2017-10-31 2018-03-23 链家网（北京）科技有限公司 一种元数据管理系统
CN111198902A (zh) * 2018-11-16 2020-05-26 长鑫存储技术有限公司 元数据管理方法、装置、存储介质及电子设备
US20200334272A1 (en) * 2019-04-18 2020-10-22 Sap Se Metadata hub for metadata models of database objects
CN111125068A (zh) * 2019-11-13 2020-05-08 深圳市华傲数据技术有限公司 一种元数据治理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭辛庚，陈湘涛: "电信企业数据仓库中元数据管理的探索与实践", 《电信科学》 *

Also Published As

Publication number Publication date
CN112597207B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
US11392550B2 (en) System and method for investigating large amounts of data
US9659043B2 (en) Data system and method
US7690000B2 (en) Metadata journal for information technology systems
CN108985981B (zh) 数据处理系统及方法
US7734586B2 (en) Replication and synchronization of syndication content at an email server
US20020038430A1 (en) System and method of data collection, processing, analysis, and annotation for monitoring cyber-threats and the notification thereof to subscribers
CN108509326B (zh) 一种基于nginx日志的服务状态统计方法及系统
US20150356494A1 (en) Data Abstraction Layer for Interfacing with Reporting Systems
JP2008508575A (ja) エコシステムを使用した集約および検索の方法、並びに、それらの関連技術
CN112988863A (zh) 一种基于Elasticsearch的异构多数据源的高效搜索引擎方法
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN114356967A (zh) 一种专业情报搜集分析应用平台
CN117251414B (zh) 一种基于异构技术的数据存储及处理方法
US11620284B2 (en) Backend data aggregation system and method
CN108829568A (zh) 一种数据监控方法及装置
CN112597207B (zh) 一种元数据管理系统
CN111125045B (zh) 一种轻量级etl处理平台
CN114168672A (zh) 日志数据的处理方法、装置、系统以及介质
US20130007040A1 (en) Distributed requests on remote data
CN109388649B (zh) 一种土地智能推荐方法及系统
CN112650925A (zh) 一种用于一卡通的app信息推送系统、方法及介质
CN110019109B (zh) 用于处理数据仓库数据的方法及装置
JP2020154381A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
Rudenko et al. A Preference-based Stream Analyzer.
CN116610531B (zh) 基于代码探针采集数据埋点及请求图片上传数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant