CN105760520A - 一种数据管控平台及架构 - Google Patents

Abstract

本发明实施例公开了一种数据管控平台及架构，实现了庞大数据量的管理全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析，解决了缺乏整体的全面数据管控的技术问题。本发明实施例数据管控平台包括：元数据处理单元和ETL单元；元数据处理单元根据接收到的元数据处理指令，获取到通过ETL单元提取的元数据进行与元数据处理指令相对应的处理，并将处理结果进行展示。

Description

一种数据管控平台及架构

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据管控平台及架构。

背景技术

大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

随着大数据的快速发展，如何管理如此庞大的数据量，并且如何好的支撑业务发展，这类问题日益突出。因此，如何实现整体的全面数据管控的技术方案已成为了本领域技术人员亟待解决的技术问题。

发明内容

本发明实施例提供的一种数据管控平台及架构，实现了庞大数据量的管理全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析，解决了缺乏整体的全面数据管控的技术问题。

本发明实施例提供的一种数据管控平台，包括：

元数据处理单元和ETL单元；

所述元数据处理单元根据接收到的元数据处理指令，获取到通过所述ETL单元提取的元数据进行与所述元数据处理指令相对应的处理，并将处理结果进行展示。

可选地，所述元数据处理指令包括元数据浏览、元数据分析和元数据检索。

可选地，元数据管控平台还包括：

数据标准处理单元、数据质量处理单元、应用管理处理单元、运维监控处理单元、业务处理单元和系统管理单元。

可选地，所述元数据管控平台为MVC架构。

本发明实施例提供的一种数据管控架构，包括：

数据层、元数据模型层，以及如权利要求1至4中任意一项所述的元数据管控平台；

所述数据层、所述元数据模型层和所述元数据管控平台依次通信连接；

其中，所述元数据模型层获取到经由解析之后的所述数据层的数据，所述元数据模型层将所述数据根据数据类型进行对应的处理和存储，并根据所述元数据管控平台的要求将所述数据提供给所述元数据管控平台进行应用。

可选地，数据管控架构还包括：

访问层和用户层；

所述访问层，用于获取所述用户层通过控制终端发送的元数据处理指令，并将所述元数据处理指令发送给所述元数据管控平台进行处理。

可选地，所述数据通过解析器进行解析。

可选地，所述数据包括DDL数据、SQL数据、XML数据、Excel数据、Perl数据和SourceData数据。

可选地，所述元数据模型层包括数据管理知识库、DBC数据模块、ETL数据模块、PDM数据管理模块、Mart数据模块、Stage数据模块。

可选地，所述数据管理知识库包括DQ数据、DS数据、ETL数据和元数据。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供的一种数据管控平台及架构，其中，数据管控平台包括：元数据处理单元和ETL单元；元数据处理单元根据接收到的元数据处理指令，获取到通过ETL单元提取的元数据进行与元数据处理指令相对应的处理，并将处理结果进行展示。本实施例中，通过元数据处理单元根据接收到的元数据处理指令，获取到通过ETL单元提取的元数据进行与元数据处理指令相对应的处理，便实现了庞大数据量的管理全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析，解决了缺乏整体的全面数据管控的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种数据管控平台的一个实施例的结构示意图；

图2为本发明实施例提供的一种数据管控架构的一个实施例的结构示意图

图3为元数据的表浏览的界面示意图；

图4为元数据的数据库浏览的界面示意图；

图5为元数据的表信息浏览的界面示意图；

图6为(a)和(b)元数据分析的血缘分析的界面示意图

图7(a)和(b)为元数据分析的影响分析的界面示意图

图8为元数据管理系统的物理部署示意图；

图9为系统数据流示意图；

图10为元数据浏览的表信息界面示意图；

图11为元数据浏览的历史版本界面示意图；

图12为元数据浏览的注释界面示意图；

图13为元数据检索的界面示意图。

具体实施方式

本发明实施例提供的一种数据管控平台及架构，实现了庞大数据量的管理全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析，解决了缺乏整体的全面数据管控的技术问题。

DS，(DataStudio数据管控)；

LDM，(LogicalDataModel逻辑数据模型)；

PDM，(PhysicalDataModel物理数据模型)；

Metadata，元数据，描述数据的数据；

MDS，(MetadataSysem元数据系统)；

DQ，(DataQuality数据质量)；

DS，(DataStandard数据标准)；

ETL，(ExtractTransformLoad抽取转换加载)，数据仓库的数据加工的总称。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种数据管控平台一个实施例包括：

元数据处理单元101和ETL单元102；

所述元数据处理单元101根据接收到的元数据处理指令，获取到通过所述ETL单元102提取的元数据进行与所述元数据处理指令相对应的处理，并将处理结果进行展示。

进一步地，所述元数据处理指令包括元数据浏览、元数据分析和元数据检索。

进一步地，元数据管控平台还包括：

数据标准处理单元103、数据质量处理单元104、应用管理处理单元105、运维监控处理单元106、业务处理单元107和系统管理单元108，还可以进一步包括独立单元109，该独立单元109可以是应用定制的附加功能的独立单元109。

进一步地，所述元数据管控平台为MVC架构。

需要说明的是，前述的元数据浏览的功能有多种，可以是如图4所示的数据库浏览，默认列表显示所有数据库信息，显示库名称，库描述，库中文名称，IP,PORT,开发人，开发部门，机房，相应表数量，支持数据库名称进行搜索，查看数据库相应信息。

可以是如图3所示的元数据的表浏览，默认列表显示所选库对应的表库名称，表名称，中文名称，该表对应的第一级源个数，对应的第一级的目标个数。点击表名称进入表的信息界面，点击相应源个数进入该表的血缘分析界面，点击目标个数进入该表的影响分析界面，查看数据库下表相应信息。

可以是如图5所示的元数据的表信息浏览，表信息页面显示该表的基本信息，以及对应的字段信息，点击血缘分析标签进入该表的血缘分析界面，点击影响分析标签影响分析界面，查看表详细信息以及对应字段的信息。

如图10所示，表信息浏览还可以是在表信息界面加结构关注按钮，对加了关注的对象，在我们的工作台能显示。在字段的ID加记录数选项，在INT型对应字段加(汇总量，枚举值)，如果是选择汇总，显示阀值范围选项，如表1所示：

序号	字段名称	。。。。。	字段描述
					1	ID			关注记录数按钮
2				关注按扭
					3

表1

如图11所示，元数据浏览还可以是历史版本浏览，显示对象历史修改版本，分三级，1级显示表的修改记录，2级显示字段的新增和删除记录，3显示字段的修改记录。

如表2所示的元数据浏览的数据质量浏览结果的表示：

对象名称	检查类型	检查结果	数据日期	完成时间
					dm_brand_page_sort_hm	记录数	50000	15/9/9
schedule_id	汇总数

表2

如图12所示元数据浏览的注释可以是表信息页面显示该表的基本信息，以及对应的字段信息，点击血缘分析标签进入该表的血缘分析界面，点击影响分析标签影响分析界面。

前述的元数据分析，可以是如图6(a)和(b)所示元数据分析的血缘分析，血缘分析到表级，就是显示该表来源，是由哪些表加载来的，可以输入分析深度，来查看对应几级的来源，如果级别输入1只显示该表本身，输入0可以不限制深度。可以以表格和图形两种展示方式来展现血缘分析结果。点击表格中的表名称，可以转到相应表的信息页面，查看表的来源，是由哪些表加载的，以图形和表格展示。

如表3所示的血缘分析如下：

表3

可以是如图7(a)和(b)所示元数据分析的影响分析，目前影响分析到表级，就是显示该表目标，就是该表影响到其它哪些表，可以输入分析深度，来影响的级别，如果级别输入1只显示该表本身，输入0可以不限制深度。可以以表格和图形两种展示方式来展现血缘分析结果。点击表格中的表名称，可以转到相应表的信息页面，查看表的目标，会对哪些表有影响，以图形和表格展示。

前述的元数据检索，可以是如图13所示，元数据检索目前主要对表和字段进行全局检索。比如选择分类是表时，输入关键字，将表属性为包含关键字的全部显示出来，例如关键字输入CODE,会把表名称，表中文名称，表描述等中包含CODE的全部显示。点击表名称，可以转到相应表的信息页面，元数据子系统内容进行全局搜索功能。

本实施例中，通过元数据处理单元根据接收到的元数据处理指令，获取到通过ETL单元提取的元数据进行与元数据处理指令相对应的处理，便实现了庞大数据量的管理全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析，解决了缺乏整体的全面数据管控的技术问题。

请参阅图2，本发明实施例中提及的一种数据管控架构的一个实施例包括：

数据层21、元数据模型层22，以及如图1实施例中提及的元数据管控平台23；

所述数据层21、所述元数据模型层22和所述元数据管控平台23依次通信连接；

其中，所述元数据模型层22获取到经由解析之后的所述数据层21的数据，所述元数据模型层22将所述数据根据数据类型进行对应的处理和存储，并根据所述元数据管控平台23的要求将所述数据提供给所述元数据管控平台23进行应用。

进一步地，数据管控架构还包括：

访问层24和用户层25；

所述访问层24，用于获取所述用户层25通过控制终端发送的元数据处理指令，并将所述元数据处理指令发送给所述元数据管控平台23进行处理。

进一步地，所述数据通过解析器26进行解析。

进一步地，所述数据包括DDL数据、SQL数据、XML数据、Excel数据、Perl数据和SourceData数据。

进一步地，所述元数据模型层22包括数据管理知识库、DBC数据模块、ETL数据模块、PDM数据管理模块、Mart数据模块、Stage数据模块。

进一步地，所述数据管理知识库包括DQ数据、DS数据、ETL数据和元数据。

需要说明的是，元数据管理是以大数据平台为源的元数据管理系统，展开对元数据开发、运行、管理工作。针对业务的需求建立元数据管理系统的元模型，元数据管理涉及的各业务系统的元数据经过数据解析器加载到元模型，同时元数据管理工具也可以通过数据访问接口将元数据中的数据内容返回，生成系统所需要的数据字典或提供其他应用的访问接口。元数据通过应用提供元数据浏览、查询、分析的用户界面，提供与ETL系统、数据质量管理系统和数据标准系统的数据交换机制。

元数据管理系统的设计思想如下采用元数据驱动的大数据建设思想，数据模型、数据标准、ETL调度、数据质量等主要数据仓库相关的元数据信息均保留在元数据系统中，并且在数据的同步上通过元数据管理系统来完成。基于元模型设计的灵活性和可扩展性原则元模型要为日后的系统升级、应用增加提供可扩展的方案。通过元数据管理系统，整合元数据的管理流程。

需要说明的是，元数据管理系统的非功能性需求，可以是性能需求、可靠性需求、可移植性需求、可维护性需求、可用性需求、兼容性需求、分布性需求、故障处理需求，性能需求是对选款页面的响应速度控制到3S以内，如果由于查询并发度高导致响应速度减慢，则考虑在选款页面增加“查询”按钮，待所有条件选择完毕后再提交查询，减少提交查询次数。可靠性需求是数据库、应用程序和应用服务器在发生故障时，均需要有相应的应对措施。数据库需要定期备份，应用程序做好版本控制，提供热备应用服务器。应用程序和应用服务器发生故障时，一般停机时间在1小时之内恢复对外服务；数据库发生故障时，在数据库恢复正常后，应用在1小时之内恢复对外服务。可移植性需求，本系统基于J2EE平台,采用B/S架构,实现数据灵活查询需求。本系统支持在符合J2EEservlet2.0及以上规范的应用服务器中运行。本系统支持符合或兼容SunJDK1.7规范的JVM中运行。可维护性需求，系统需进行日志记录，方便管理员定位诊断问题；提供用户管理、角色管理、原子配置、模板配置、日志查询等一系列系统管理功能，满足日常维护需求。可用性需求，系统在具备基础功能的基础上，需充分考虑系统的易用性，包括兼容主流浏览器、页面布局合理、控件使用方便、提示信息完备、用户操作流畅等。兼容性需求，系统基于JAVA开发支持跨平台；使用主流浏览器；使用灵活的页面布局，以兼容不同分辨率客户端。分布性需求，本系统可以支持单机环境。

如图8所示，元数据管理系统的物理部署如下：

用户客户端通过局域网的路由单元Switches与数据管控应用服务器通信连接。数据管控应用服务器与Redis缓存服务器(主/从)通信连接，Redis缓存服务器与数据服务器(主/从)通信连接，数据服务器与解析器通信连接(解析器用于通过对脚本和从大数据平台提取的数据进行解析。

如图9所示，系统数据流为大数据平台的数据、脚本、业务数据进入解析器进行解析，解析器将解析后的数据推送至元数据模型层进行处理，元数据模型层将数据根据元数据管控平台发送的指令提供对应的数据，进行数据字典、数据分析、数据交换。

本实施例中的数据管控架构还可以是在后续进行数据标准和数据质量管理，其中，数据标准是指一系列数据标准规范在企业的落地，规范化管理构成、业务和技术基础设施，包括数据管控制度与流程规范文档、信息项等。数据质量管理是全方位管理数据平台的数据质量，提升数据可访问性、可用性、正确性、一致性等，实现可定义的数据质量检测核实和维度分析，以及问题跟踪。元数据管理是实现全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析。因元数据是贯通数据管控的关系脉络，本期首先从元数据管理系统的实现开始。

元数据系统的主要用户为数据开发人员或者数据分析师，系统可以帮助用户增加有效工作时间用于分析数据，减少用户在复杂企业数据环境中搜索数据的时间。

通过本实施例的架构可以是达到如下表4的数据使用：

目标#	参数	描述
			吞吐率	>300QPS	预估调用量在500QPS
响应时间	<50ms	正常响应时间
			数据存储量	100GB/年	预计1年的存储量

表4

本实施例中的系统可以是用户输入系统地址后，自动跳转到统一认证页面，登录后再跳转到本系统首页。本系统不维护用户和部门信息，统一调用OA接口获取。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种元数据管控平台，其特征在于，包括：

元数据处理单元和ETL单元；

所述元数据处理单元根据接收到的元数据处理指令，获取到通过所述ETL单元提取的元数据进行与所述元数据处理指令相对应的处理，并将处理结果进行展示。

2.根据权利要求1所述的元数据管控平台，其特征在于，所述元数据处理指令包括元数据浏览、元数据分析和元数据检索。

3.根据权利要求2所述的元数据管控平台，其特征在于，元数据管控平台还包括：

数据标准处理单元、数据质量处理单元、应用管理处理单元、运维监控处理单元、业务处理单元和系统管理单元。

4.根据权利要求3所述的元数据管控平台，其特征在于，所述元数据管控平台为MVC架构。

5.一种数据管控架构，其特征在于，包括：

数据层、元数据模型层，以及如权利要求1至4中任意一项所述的元数据管控平台；

所述数据层、所述元数据模型层和所述元数据管控平台依次通信连接；

其中，所述元数据模型层获取到经由解析之后的所述数据层的数据，所述元数据模型层将所述数据根据数据类型进行对应的处理和存储，并根据所述元数据管控平台的要求将所述数据提供给所述元数据管控平台进行应用。

6.根据权利要求5所述的数据管控架构，其特征在于，数据管控架构还包括：

访问层和用户层；

所述访问层，用于获取所述用户层通过控制终端发送的元数据处理指令，并将所述元数据处理指令发送给所述元数据管控平台进行处理。

7.根据权利要求6所述的数据管控架构，其特征在于，所述数据通过解析器进行解析。

8.根据权利要求7所述的数据管控架构，其特征在于，所述数据包括DDL数据、SQL数据、XML数据、Excel数据、Perl数据和SourceData数据。

9.根据权利要求8所述的数据管控架构，其特征在于，所述元数据模型层包括数据管理知识库、DBC数据模块、ETL数据模块、PDM数据管理模块、Mart数据模块、Stage数据模块。

10.根据权利要求8所述的数据管控架构，其特征在于，所述数据管理知识库包括DQ数据、DS数据、ETL数据和元数据。