CN104881462B - 元数据管理系统 - Google Patents

Abstract

本发明提出了一种元数据管理系统，包括数据源配置模块、同步元数据模块和元数据维护模块；所述数据源配置模块用于对所有用户业务系统的数据库进行连接配置、并提供元数据多个数据库的连接方法；所述同步元数据模块与所述数据源配置模块连接、用于将业务系统的元数据同步到元数据平台；所述元数据维护模块与所述同步元数据模块连接、用于对元数据进行维护操作。实施本发明的元数据管理系统，具有以下有益效果：能提供有效的信息共享、能满足管理人员对现有数据资源决策分析的需要。

Description

元数据管理系统

技术领域

本发明涉及数据管理领域，特别涉及一种元数据管理系统。

背景技术

随着互联网的发展，用户数和信息源节点数都呈爆炸式增长，使数据形式也出现了多样化。虽然关系型数据库具有极强的管理能力，但由于各种数据库系统之间的差异，以及所依赖操作系统的异构型，严重影响了信息共享和数据交换。随着应用的不断进步和发展，需要对趋势进行分析，做出有利决策。但实际业务、目标以及操作系统、存储方式的不同必然造成数据上的差异，不能提供有效的信息共享，形成数据孤岛，不能满足管理人员对现有数据资源决策分析的需要。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述不能提供有效的信息共享、不能满足管理人员对现有数据资源决策分析的需要的缺陷，提供一种能提供有效的信息共享、能满足管理人员对现有数据资源决策分析的需要的元数据管理系统。

本发明解决其技术问题所采用的技术方案是：构造一种元数据管理系统，包括数据源配置模块、同步元数据模块和元数据维护模块；所述数据源配置模块用于对所有用户业务系统的数据库进行连接配置、并提供元数据多个数据库的连接方法，所述同步元数据模块与所述数据源配置模块连接、用于将业务系统的元数据同步到元数据平台，所述元数据维护模块与所述同步元数据模块连接、用于对元数据进行维护操作。

在本发明所述的元数据管理系统中，还包括业务数据审计模块，所述业务数据审计模块与所述元数据维护模块连接，用于对业务数据的有效性、唯一性、空值、重复数据和冗余进行检查并对所述业务数据进行完善。

在本发明所述的元数据管理系统中，还包括对象关系分析模块和对象关系维护模块，所述对象关系分析模块与所述元数据维护模块连接、用于分析各对象之间的关系，所述对象关系维护模块与所述对象关系分析模块连接、用于根据对象分析结果及业务的实际情况调整各对象的关系。

在本发明所述的元数据管理系统中，还包括业务数据血统关系跟踪模块，所述业务数据血统关系跟踪模块与所述元数据维护模块连接、用于进行数据血统分析。

在本发明所述的元数据管理系统中，还包括元数据查询模块，所述元数据查询模块与所述元数据维护模块连接、用于对元数据库中的元数据基本信息进行查询。

在本发明所述的元数据管理系统中，还包括业务数据抽取转换加载模块，所述业务数据抽取转换加载模块与所述元数据维护模块连接、用于从数据源中抽取数据并对需要转换的数据进行转换。

在本发明所述的元数据管理系统中，还包括业务数据查询模块，所述业务数据查询模块与所述元数据维护模块连接、用于对业务系统的数据进行查询。

在本发明所述的元数据管理系统中，还包括业务数据质量管理模块，所述业务数据质量管理模块与所述业务数据审计模块连接、用于分析业务系统数据的质量。

在本发明所述的元数据管理系统中，所述多个数据库的种类包括oracle、mysql、mssql、DB2和Sybase。

实施本发明的元数据管理系统，具有以下有益效果：由于使括数据源配置模块、同步元数据模块和元数据维护模块；数据源配置模块用于对所有用户业务系统的数据库进行连接配置、并提供多个数据库的连接方法，同步元数据模块与数据源配置模块连接、用于将业务系统的元数据同步到元数据平台，元数据维护模块与同步元数据模块连接、用于对元数据进行维护操作，这样就可以将数据通过元数据平台进行共享，所以其能提供有效的信息共享、能满足管理人员对现有数据资源决策分析的需要。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明元数据管理系统一个实施例中的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于传统关系数据库不能提供有效的信息共享，不能满足管理人员决策分析的需要，这时就需要一种能够适应决策分析的数据环境—数据仓库。数据仓库的数据需从许多业务处理系统中抽取、转换，以安全、高效的方式来对它们进行管理和访问，从而将数据转化为有用的、可信赖的信息，支持商业决策，而建立数据仓库一个重要的工作是元数据管理的建立，元数据管理用于建立、管理、维护和使用数据仓库。

在本发明元数据管理系统实施例中，其元数据管理系统的结构示意图如图1所示。图1中，该元数据管理系统包括数据源配置模块1、同步元数据模块2和元数据维护模块3；其中，数据源配置模块1用于对所有用户业务系统的数据库进行连接配置、并提供元数据多个数据库的连接方法，可以同时连接多个数据库，所有数据库都可以兼容，上述多个数据库的种类包括oracle、mysql、mssql、DB2和Sybase等；同步元数据模块2与数据源配置模块1连接、用于将业务系统的元数据同步到元数据平台，对数据库表中的结构进行抽取，而且也是可以根据实际的需要，自动的对数据库表中的结构进行抽取；元数据维护模块3与同步元数据模块2连接、用于对元数据进行维护操作，具体就是提供对元数据的增加、删除和修改等基本操作，对于元数据的增量维护，要求能保留历史版本信息。元数据的维护操作是原子操作，这些原子操作可通过服务封装的形式向经营分析系统的其它模块提供元数据维护接口。将数据通过元数据平台进行共享，所以其能提供有效的信息共享、能满足管理人员决策分析的需要。

本实施例中，该元数据管理系统还包括业务数据审计模块4，业务数据审计模块4与元数据维护模块3连接、用于对业务数据的有效性、唯一性、空值、重复数据和冗余进行检查并对业务数据进行完善，保证数据的质量。也就是说，数据审计模块4主要用于对数据质量进行审计，并提出报告，为提高数据质量进行操作提供依据。这样可提高主数据质量的需要，帮助用户数据集成。

本实施例中，该元数据管理系统还包括对象关系分析模块5和对象关系维护模块6，其中，对象关系分析模块5与元数据维护模块3连接、用于分析各对象之间的关系，对象关系维护模块6与对象关系分析模块5连接、用于根据对象分析结果及业务的实际情况调整各对象的关系。

本实施例中，该元数据管理系统还包括业务数据血统关系跟踪模块7，业务数据血统关系跟踪模块7与元数据维护模块3连接、用于进行数据血统分析。通过数据血统分析，用户可以知道数据何时更新、如何计算以及从何处而来，所有这些手段帮助用户追溯报表中数据产生的来源。这种深入洞查数据来龙去脉的能力对于帮助用户更加信赖他们的信息来说，具有至关重要的作用。

本实施例中，该元数据管理系统还包括元数据查询模块8，元数据查询模块8与元数据维护模块3连接、用于对元数据库中的元数据基本信息进行查询。元数据查询模块8可以查询数据库表、维表、指标、过程及参与的输入输出实体信息，以及其它纳入管理的实体基本信息，查询的信息按处理的层次及业务主题进行组织，查询功能返回实体及其所属的相关信息。元数据查询功能要求支持对历史版本信息的查询，以了解具体实体的历史变更情况。

本实施例中，该元数据管理系统还包括业务数据抽取转换加载模块9，业务数据抽取转换加载模块9与元数据维护模块3连接、用于从数据源中抽取数据并对需要转换的数据进行转换。抽取数据可以全量抽取、增量抽取。

本实施例中，该元数据管理系统还包括业务数据查询模块10，业务数据查询模块10与元数据维护模块3连接、用于对业务系统的数据进行查询。值得一提的是，对业务系统的数据进行查询，可以根据业务需要定义不同的查询条件，查询出符合各业务部门需要的数据。

本实施例中，该元数据管理系统还包括业务数据质量管理模块11，业务数据质量管理模块11与业务数据审计模块4连接、用于分析业务系统数据的质量。元数据为数据质量管理体系架构中的功能层和应用层提供信息支撑，以元数据管理为基础建立业务数据质量管理模块11，进行经营分析系统数据质量全程。监控为信息运营打下基础，业务数据质量管理模块11中执行数据采集点部署、数据监控点部署功能时，需要调用该元数据管理系统的数据流图，业务数据质量管理模块11可以利用该元数据管理系统的数据流图，更合理、有效地去监控经营分析系统数据处理全过程。该业务数据质量管理模块11也可以利用元数据的影响分析和血缘分析，及时方便地评估某一点数据质量问题对经营分析数据处理全过程的影响。

在本实施例的一些情况下，元数据管理系统也可以采用面向服务的架构(SOA，Service-Oriented Architecture)进行设计。其面向服务架构，它可以根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。服务层是SOA的基础，可以直接被应用调用，从而有效控制系统中与软件代理交互的人为依赖性。SOA是一种粗粒度、松耦合服务架构，服务之间通过简单、精确定义接口进行通讯，不涉及底层编程接口和通讯模型。SOA可以看作是B/S模型、XML(标准通用标记语言的子集)/Web Service技术之后的自然延伸。

SOA将能够帮助系统开发站在一个新的高度理解企业级架构中的各种组件的开发、部署形式，它将帮助企业系统架构者以更迅速、更可靠、更具重用性架构整个业务系统。较之以往，以SOA架构的系统能够更加从容地面对业务的急剧变化。

总之，在本实施例中，元数据算是一种电子式目录，为了达到编制目录的目的，必须描述并收藏数据的内容或特色，进而达成协助数据检索的目的。在数据仓库领域中，元数据按用途分成技术元数据和业务元数据。首先，元数据能提供基于用户的信息，如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说，在数据仓库系统中，元数据管理系统具备如下功能：描述哪些数据在数据仓库中；定义要进入数据仓库中的数据和从数据仓库中产生的数据；记录根据业务事件发生而随之进行的数据抽取工作时间安排；记录并检测系统数据一致性的要求和执行情况；衡量数据质量。元数据管理系统就是用于提供上述功能的信息系统，除此以外，也提供了将元数据与业务数据保持同步，并在数据层面上为应用开发提供统一接口的机制。

该元数据管理系统能提升数据质量管理平台的价值：元数据为数据质量系统提供了有效的分析手段，更快地分析和定位问题，缩短问题处理周期，从而提高数据辅助开发和运维质量。其中元数据存储的数据标准信息，可大幅度减少ETL的工作量，进而提高数据质量。该元数据管理系统有利于管理决策，当管理用户在制定决策时，直观的元数据能有效帮助他们理解所依据数据元素的源头，减少跨不同部门或团队确认数据准确的周期，给予用户对信息的信任，确保做出信心十足的决策，也有助于更好的决策选择其他可能的数据元素。

该元数据管理系统能帮助系统管理人员了解整体系统运营情况，系统管理人员可以获知数据仓库中数据流的来龙去脉、业务处理规则和发展情况等，提高系统的可维护性、适应性和集成性，支持数据仓库或集市的成长需求，减少因员工换岗造成的影响，从而实现对数据仓库的建设、运行和维护的规范管理。同时建立报警、监控机制，一旦出现故障，能及时发现问题。

该元数据管理系统有利于提高用户的工作效率，元数据提供的企业业务模型和数据模型的存储地点和格式，管理员能够方便地依据元数据扩展现有的信息系统。元数据能帮助用户快速、高效地定位信息，实现数据检索和数据挖掘，极大地提高用户的工作效率。以元数据实现的业务模型和数据模型之间的映射，能够使数据以用户期望的样子表现出来。

该元数据管理系统有利于增强信息资产管理，通过对跨系统的数据语义进行统一规范，消除系统交互的障碍和隐患，使其成为具有永久价值的资产；通过加强内部数据的控制、理解、应用和维护，可降低数据处理风险，增强企业对其数据的信心。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种元数据管理系统，其特征在于，包括数据源配置模块、同步元数据模块、元数据维护模块、业务数据审计模块、对象关系分析模块、对象关系维护模块、业务数据血统关系跟踪模块、元数据查询模块、业务数据抽取转换加载模块、业务数据查询模块和业务数据质量管理模块；所述数据源配置模块用于对所有用户业务系统的数据库进行连接配置、并提供元数据多个数据库的连接方法；所述同步元数据模块与所述数据源配置模块连接、用于将业务系统的元数据同步到元数据平台；所述元数据维护模块与所述同步元数据模块连接、用于对元数据进行维护操作，所述维护操作包括对元数据的增加、删除和修改，所述维护操作通过服务封装的形式向经营分析系统的模块提供元数据维护接口；

所述业务数据审计模块与所述元数据维护模块连接，用于对业务数据的有效性、唯一性、空值、重复数据和冗余进行检查并对所述业务数据进行完善；

所述对象关系分析模块与所述元数据维护模块连接、用于分析各对象之间的关系，所述对象关系维护模块与所述对象关系分析模块连接、用于根据对象分析结果及业务的实际情况调整各对象的关系；

所述业务数据血统关系跟踪模块与所述元数据维护模块连接、用于进行数据血统分析；

所述元数据查询模块与所述元数据维护模块连接、用于对元数据库中的元数据基本信息进行查询；

所述业务数据抽取转换加载模块与所述元数据维护模块连接、用于从数据源中抽取数据并对需要转换的数据进行转换；

所述业务数据查询模块与所述元数据维护模块连接、用于对业务系统的数据进行查询；

所述业务数据质量管理模块与所述业务数据审计模块连接、用于分析业务系统数据的质量。

2.根据权利要求1所述的元数据管理系统，其特征在于，所述多个数据库的种类包括oracle、mysql、mssql、DB2和Sybase。