CN108717456A - 一种数据源无关的数据全生命周期管理平台及方法 - Google Patents

Abstract

本发明公开了一种数据源无关的数据全生命周期管理平台及方法，包括元数据采集层，从数据源中进行所有元数据的采集；元数据存储层，将采集的元数据进行统一集中的存储和管理；数据服务层，提供数据服务、模型服务、接口服务和展现分析过程中的计算服务；功能应用层，提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。本发明的一种数据源无关的数据全生命周期管理平台及方法与现有技术相比，实现数据全生命周期的跟踪管理，实现海量大数据在数据仓库中全生命周期的管理和流程化的可视地图展现。

Description

一种数据源无关的数据全生命周期管理平台及方法

技术领域

本发明涉及大数据技术领域，具体地说是一种实用性强的数据源无关的数据全生命周期管理平台及方法。

背景技术

近年来，随着全球信息化的飞速发展，在社会生活各个方面不断产生着海量的数据信息，人类已经进入大数据和云计算时代。“大数据”如浪潮一般席卷全球，不仅在信息技术行业备受瞩目，更成为科研、商业、政府运作方式乃至人类思维方式转变的一个热点。

大数据背景下，数据更加的多样、更加的复杂、量更足，数据管理平台的数据逐渐增多导致数据关系错综复杂，脉络关系混乱不清，数据质量参差不齐，严重影响了数据效用的发挥，如何能够利用大数据技术处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最有挑战的难题。因此，需以大数技术为基础，以数据生命周期理论为方法，分析数据管理平台中数据的分类机制，梳理数据脉络关系，做好数据生命周期维护，提高数据资源使用效率，发挥大数据平台中数据价值。迫切需要一种数据源无关的数据生命周期管理方法在数据中心管理平台的落地，实现对数据中心平台全生命周期的数据管理。基于以上原因，本发明提出了一种数据源无关的数据全生命周期管理方法，它是一种基于数据全生命周期的数据管理手段和策略。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强的数据源无关的数据全生命周期管理平台及方法。

一种数据源无关的数据全生命周期管理平台，包括元数据采集层、元数据存储层、数据服务层、功能应用层和基础管理层，其中：

元数据采集层，用于从数据源中进行所有元数据的采集；

元数据存储层，用于将元数据采集层采集的所有元数据进行统一集中的存储和管理；

数据服务层，用于对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，从而将元数据发送至下述功能应用层；

功能应用层，用于提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；

基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。

所述元数据采集层中，对元数据进行采集前，提供采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置、采集任务调度管理、采集监控管理和异常日志的查询分析，然后再进行元数据采集。

所述元数据存储层通过配置以下步骤实现元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，该元数据存储层中配置的数据库包括关系型数据库、大数据的Hive或MPP数据库，所述关系型数据库包括oaracle、Mysql、Sysbase、DB2。

所述数据服务层提供的服务实现基于技术协议和数据协议，其中技术协议包括HTTP、REST、API、Socket，数据协议包括Json、XML。

所述功能应用层中，元模型管理是指元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置；元数据采集管理是指元数据采集过程的配置、调度、监控和查询功能；元数据标准化管理是指标准化规则配置、标准化元数据质量、标准化数据字典、标准化标准策略配置、标准化元数据转换、标准化元数据清洗、标准化元数据加载；元数据管理是指元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作；生命周期管理是指按照时间、生命周期环节对数据生命周期进行管理、查询、分析，提供数据全生命周期地图；生命周期分析是指按照数据生命周期脉络关系进行查询分析，包括影响分析、血缘分析、热度分析、基于生命周期的价值分析。

一种数据源无关的数据全生命周期管理方法，基于上述平台，其实现过程为：

一、首先通过元数据采集层从数据源中采集所有元数据；

二、然后将采集的所有元数据通过元数据存储层进行统一集中的存储和管理；

三、数据服务层通过对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，将元数据发送至功能应用层；

四、功能应用层完成元数据的数据全生命周期管理，该数据全生命周期管理包括生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理。

所述步骤一中，元数据采集层采集元数据的过程为：

首先进行采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置，确定行采集数据源、采集规则、采集方案及匹配的采集模型；

然后进行元数据采集，并在采集过程中完成采集任务调度管理、采集监控管理和异常日志的查询分析；

最后将采集的元数据发送至元数据存储层中。

所述步骤二中，元数据存储层通过以下步骤将元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，并在导入到数据库后通过数据服务层将数据发送至功能应用层。

所述步骤四中，数据全生命周期管理的具体过程为：

元模型管理过程为元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置；

元数据采集管理过程为元数据采集过程的配置、调度、监控和查询功能；

元数据标准化管理过程为标准化规则配置、标准化元数据质量、标准化数据字典、标准化标准策略配置、标准化元数据转换、标准化元数据清洗、标准化元数据加载；

元数据管理过程为元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作；

生命周期管理过程为按照时间、生命周期环节对数据生命周期进行管理、查询、分析，提供数据全生命周期地图；

生命周期分析过程为按照数据生命周期脉络关系进行查询分析，包括影响分析、血缘分析、热度分析、基于生命周期的价值分析。

还包括基础管理的过程，该基础管理过程是指通过基础管理层，进行数据安全管理、菜单管理、机构管理、日志审计、授权管理、运维监控、角色管理。

本发明的一种数据源无关的数据全生命周期管理平台及方法和现有技术相比，具有以下有益效果：

本发明的一种数据源无关的数据全生命周期管理平台及方法，收集跟踪数据流程全生命周期和各环节的加工、处理和应用信息，实现数据全生命周期的跟踪管理，实现海量大数据在数据仓库中全生命周期的管理和流程化的可视地图展现，方便数据的管理和使用；实现数据中心平台的数据规划、数据源、数据接入、数据标准化、数据存储、数据加工、数据共享、数据应用和数据下线全生命周期可视化管理和使用；实现基于数据生命周期的数据追溯管理和数据质量的关联分析；实现数据数据全生命周期的关系分析、影响分析、数据的热度分析和价值分析；通过以上实现数据的可靠、可信、可追溯、提升整体数据价值，具有实用性强，适用范围广泛，易于推广的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1为本发明的平台实现示例图。

附图2为本发明的方法实现流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的方案，下面结合具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了达到本发明目的，解决数据源无关的数据全生命周期管理技术问题，如附图1所示，本发明提供了一种数据源无关的数据全生命周期管理平台，包括元数据采集层、元数据存储层、数据服务层、功能应用层和基础管理层，其中：

元数据采集层，用于从数据源中进行所有元数据的采集、标准化、加工和质量核查；

元数据存储层，用于将元数据采集层采集的所有元数据进行统一集中的存储和管理；

数据服务层，用于对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，从而将元数据发送至下述功能应用层；

功能应用层，用于提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；

基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。

所述元数据采集层中，对元数据进行采集前，提供采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置、采集任务调度管理、采集监控管理和异常日志的查询分析，然后再进行元数据采集。

所述元数据存储层通过配置以下步骤实现元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，该元数据存储层中配置的数据库包括关系型数据库、大数据的Hive或MPP数据库，所述关系型数据库包括oaracle、Mysql、Sysbase、DB2。

所述数据服务层提供的服务实现基于技术协议和数据协议，其中技术协议包括HTTP、REST、API、Socket，数据协议包括Json、XML。

所述功能应用层中，元模型管理是指元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置；元数据采集管理是指元数据采集过程的配置、调度、监控和查询功能；元数据标准化管理是指标准化规则配置、标准化元数据质量、标准化数据字典、标准化标准策略配置、标准化元数据转换、标准化元数据清洗、标准化元数据加载；元数据管理是指元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作；生命周期管理是指按照时间、生命周期环节对数据生命周期进行管理、查询、分析，提供数据全生命周期地图；生命周期分析是指按照数据生命周期脉络关系进行查询分析，包括影响分析、血缘分析、热度分析、基于生命周期的价值分析。

如附图2所示，一种数据源无关的数据全生命周期管理方法，基于上述平台，其实现过程为：

一、首先通过元数据采集层从数据源中采集所有元数据；

二、然后将采集的所有元数据通过元数据存储层进行统一集中的存储和管理；

三、数据服务层通过对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，将元数据发送至功能应用层；

四、功能应用层完成元数据的数据全生命周期管理，该数据全生命周期管理包括生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理。

所述步骤一中，元数据采集层采集元数据的过程为：

首先进行采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置，确定行采集数据源、采集规则、采集方案及匹配的采集模型；

然后进行元数据采集，并在采集过程中完成采集任务调度管理、采集监控管理和异常日志的查询分析；

最后将采集的元数据发送至元数据存储层中。

所述步骤二中，元数据存储层通过以下步骤将元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，并在导入到数据库后通过数据服务层将数据发送至功能应用层。

所述步骤四中，数据全生命周期管理的具体过程为：

元模型管理过程为元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置；

元数据采集管理过程为元数据采集过程的配置、调度、监控和查询功能；

元数据标准化管理过程为标准化规则配置、标准化元数据质量、标准化数据字典、标准化标准策略配置、标准化元数据转换、标准化元数据清洗、标准化元数据加载；

元数据管理过程为元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作；

生命周期管理过程为按照时间、生命周期环节对数据生命周期进行管理、查询、分析，提供数据全生命周期地图；

生命周期分析过程为按照数据生命周期脉络关系进行查询分析，包括影响分析、血缘分析、热度分析、基于生命周期的价值分析。

还包括基础管理的过程，该基础管理过程是指通过基础管理层，进行数据安全管理、菜单管理、机构管理、日志审计、授权管理、运维监控、角色管理。

以上所述仅为本发明的较佳实施例，本发明的专利保护范围包括但不限于上述具体实施方式，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的专利保护范围之内。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种数据源无关的数据全生命周期管理平台，其特征在于，包括元数据采集层、元数据存储层、数据服务层、功能应用层和基础管理层，其中：

元数据采集层，用于从数据源中进行所有元数据的采集；

元数据存储层，用于将元数据采集层采集的所有元数据进行统一集中的存储和管理；

数据服务层，用于对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，从而将元数据发送至下述功能应用层；

功能应用层，用于提供生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理；

基础管理层，用于平台的授权管理、日志分析、菜单管理、用户管理、安全管理和运维监控。

2.根据权利要求1所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述元数据采集层中，对元数据进行采集前，提供采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置、采集任务调度管理、采集监控管理和异常日志的查询分析，然后再进行元数据采集。

3.根据权利要求1所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述元数据存储层通过配置以下步骤实现元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，该元数据存储层中配置的数据库包括关系型数据库、大数据的Hive或MPP数据库，所述关系型数据库包括oaracle、Mysql、Sysbase、DB2。

4.根据权利要求3所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述数据服务层提供的服务实现基于技术协议和数据协议，其中技术协议包括HTTP、REST、API、Socket，数据协议包括Json、XML。

5.根据权利要求1所述的一种数据源无关的数据全生命周期管理平台，其特征在于，所述功能应用层中，元模型管理是指元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置；元数据采集管理是指元数据采集过程的配置、调度、监控和查询功能；元数据标准化管理是指标准化规则配置、标准化元数据质量、标准化数据字典、标准化标准策略配置、标准化元数据转换、标准化元数据清洗、标准化元数据加载；元数据管理是指元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作；生命周期管理是指按照时间、生命周期环节对数据生命周期进行管理、查询、分析，提供数据全生命周期地图；生命周期分析是指按照数据生命周期脉络关系进行查询分析，包括影响分析、血缘分析、热度分析、基于生命周期的价值分析。

6.一种数据源无关的数据全生命周期管理方法，其特征在于，基于上述平台，其实现过程为：

一、首先通过元数据采集层从数据源中采集所有元数据；

二、然后将采集的所有元数据通过元数据存储层进行统一集中的存储和管理；

三、数据服务层通过对元数据存储层提供数据服务、模型服务、接口服务和展现分析过程中的计算服务，将元数据发送至功能应用层；

四、功能应用层完成元数据的数据全生命周期管理，该数据全生命周期管理包括生命周期管理、生命周期分析、元数据管理、元模型管理、元数据采集管理、元数据标准化管理。

7.根据权利要求6所述的一种数据源无关的数据全生命周期管理方法，其特征在于，所述步骤一中，元数据采集层采集元数据的过程为：

首先进行采集数据源的配置、采集规则的配置、采集方案配置、采集模型匹配配置，确定行采集数据源、采集规则、采集方案及匹配的采集模型；

然后进行元数据采集，并在采集过程中完成采集任务调度管理、采集监控管理和异常日志的查询分析；

最后将采集的元数据发送至元数据存储层中。

8.根据权利要求6所述的一种数据源无关的数据全生命周期管理方法，其特征在于，所述步骤二中，元数据存储层通过以下步骤将元数据导入到数据库中：元数据存储模型的导入、存储目标库的配置、数据模型的管理、数据备份、数据授权、数据审计，并在导入到数据库后通过数据服务层将数据发送至功能应用层。

9.根据权利要求6所述的一种数据源无关的数据全生命周期管理方法，其特征在于，所述步骤四中，数据全生命周期管理的具体过程为：

元模型管理过程为元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置；

元数据采集管理过程为元数据采集过程的配置、调度、监控和查询功能；

元数据标准化管理过程为标准化规则配置、标准化元数据质量、标准化数据字典、标准化标准策略配置、标准化元数据转换、标准化元数据清洗、标准化元数据加载；

元数据管理过程为元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作；

生命周期管理过程为按照时间、生命周期环节对数据生命周期进行管理、查询、分析，提供数据全生命周期地图；

生命周期分析过程为按照数据生命周期脉络关系进行查询分析，包括影响分析、血缘分析、热度分析、基于生命周期的价值分析。

10.根据权利要求6-9任一所述的一种数据源无关的数据全生命周期管理方法，其特征在于，还包括基础管理的过程，该基础管理过程是指通过基础管理层，进行数据安全管理、菜单管理、机构管理、日志审计、授权管理、运维监控、角色管理。