CN109271382A - 一种面向全数据形态开放共享的数据湖系统 - Google Patents

Abstract

本发明公开了一种面向全数据形态开放共享的数据湖系统，包括：数据生产者平台层、中间层和消费者平台层；其中，中间层包括数据集成模块、数据存储模块和数据开放模块；数据生产者平台层由一种或多种异构数据库组成；数据集成模块用于从数据生产者平台层中自动获取数据，并将获取的数据集成到数据存储模块的离线数据湖和实时数据湖中进行存储；数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将数据存储模块中存储的数据开放给消费者平台层；消费者平台层用于与消费者终端进行数据交互。本发明能够提供一种面向全数据形态开放共享的数据湖系统，支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放。

Description

一种面向全数据形态开放共享的数据湖系统

技术领域

本发明涉及信息技术领域，具体涉及一种面向全数据形态开放共享的数据湖系统。

背景技术

随着信息技术的高速发展，越来越多的企业开始部署相应的信息系统，一个企业的信息系统可能会同时存在多个子系统，不同企业和不同平台的信息系统形态也不一样。

在对现有技术的研究与实践过程中，本发明的发明人发现，缺乏一种支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放的数据湖系统，能够解决因大数据缺乏深度汇聚导致数据创新乏力及缺少亮点数据应用的问题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种面向全数据形态开放共享的数据湖系统，能够支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放。

为解决上述问题，本发明的一个实施例提供一种面向全数据形态开放共享的数据湖系统，包括：数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；

所述数据生产者平台层由一种或多种异构数据库组成；

所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和实时数据湖中进行存储；

所述数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层；

所述消费者平台层，用于与消费者终端进行数据交互。

进一步地，所述中间层还包括数据管理模块；

所述数据管理模块用于分别监控所述数据集成模块、数据存储模块和数据开放模块的数据处理过程。

进一步地，所述数据管理模块包括：元数据管理单元、对象存储管理单元和开发指数监控单元；

所述元数据管理单元，用于基于两级数据目录机制管理和监控数据；

所述对象存储管理单元，用于基于多租户技术对数据隔离管理；

所述开发指数监控单元，用于监控开放资源维度指数和存储资源维度指数。

进一步地，所述数据管理模块还包括数据评价收集单元和数据评价分析单元；

所述数据评价采集单元，用于收集开放数据的需求满足度和质量的总体评价；其中，所述开放数据为所述数据开放模块向所述消费者平台层开放的数据；

所述数据评价分析单元，用于基于数据评价体系，对所述数据评价采集单元收集的总体评价进行挖掘分析。

进一步地，所述数据评价体系包括数据质量评价模型和数据开放评价模型；

所述数据质量评价模型，用于分析数据及时性、数据完整性和数据一致性；

所述数据开放评价模型，用于分析数据资源个数、数据资源记录数、数据资源存储大小和数据资源更新周期。

进一步地，所述数据存储模块包含租户存储空间分配单元；

所述租户存储空间分配单元用于根据租户的身份标识及租用空间，为所述租户分配逻辑存储空间；其中，各所述逻辑存储空间之间的物理空间相互隔离。

进一步地，所述数据开放模块还包括数据检索单元、数据血缘显示单元和数据使用单元；

所述数据检索单元，用于所述消费者终端输入的检索指令，并根据所述检索指令从所述数据存储模块中进行多维度筛选检索，并将检索结果返回给所述消费者终端；

所述数据血缘显示单元，用于根据数据资源之间的关联性特征，向用户显示全局血缘视图、两岸血缘视图和数据表血缘视图。

所述数据使用单元，用于根据所述数据集成模块的分区策略，供所述消费者终端通过外部表及分区，实现数据直连及快速访问。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的一种面向全数据形态开放共享的数据湖系统，包括：数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；所述数据生产者平台层由一种或多种异构数据库组成；所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和实时数据湖中进行存储；所述数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层；所述消费者平台层，用于与消费者终端进行数据交互。本发明能够提供一种面向全数据形态开放共享的数据湖系统，能够支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放。

附图说明

图1为本发明第一实施例提供的一种面向全数据形态开放共享的数据湖系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先介绍本发明可以提供的应用场景，如数据共享和开放。

现有的技术缺乏一种支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放的数据湖系统，本发明提供的实施例能够支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放。解决因大数据缺乏深度汇聚导致数据创新乏力及缺少亮点数据应用的问题。

本发明第一实施例：

请参阅图1。

如图1所示，本实施例提供的一种面向全数据形态开放共享的数据湖系统，包括数据生产者平台层100、数据集成模块200、数据存储模块300、数据开放模块400和消费者平台层500；

所述数据生产者平台层100，由一种或多种异构数据库组成。

具体的，多种异构数据库包含关系型数据库、MPP数据库、Hadoop数据库和文件数据库。

所述数据集成模块200，用于从所述数据生产者平台层100中自动获取数据，并将获取的所述数据集成到所述数据存储模块200的离线数据湖和实时数据湖中进行存储。

具体的，所述数据集成模块200基于融合ETL、kafka的IaaC云编排技术自动获取数据至数据湖，支持与各种关系型数据库、Hadoop、NoSQL数据库、MPP等主流大数据技术无逢对接，自动获取数据至数据湖；支持自动获取元数据；支持全量更新、增量更新、增量+实时变更数据分发等多种数据更新模式，可实现数据发布的灰度更新；支持完全公开、权限控制等多种开放模式；支持数据脱敏发布。

需要说明的是，数据发布流程还包括：设置资源信息，包括数据资源的基本信息、数据类型、数据结构等信息；通过可视化数据发布工具设置数据的更新策略，支持面向不同需求的多种更新策略；数据湖发布工具将提供针对自动更新数据的分析策略，支持映射不同的分区文件，灵活满足不同的数据需求；发布的数据通过多级安全管制，对比较敏感的数据需要审批通过才允许使用。

所述数据存储模块300，用于存储从所述数据生产者平台层100中自动获取的数据。

具体的，通过分布式对象存储实现所有数据类型(结构化数据、文本、图片、音视频等)的存储，解决海量全数据形态的存储所带来的问题，使其具备比单个数据中心更强的可用性、容错能力以及可扩展性。通过使用ID而非文件名来引用对象，使得系统具有可扩展性。该方法不受大小限制，数据检索更为简单，因为可将大量元数据与特定对象关联。

可以理解的是，对象存储的空间隔离安全技术是在不影响其性能与扩展等能力的前提下，为数据存储划分为多个逻辑空间(存储桶)的技术。物理空间隔离，意味着底层硬件出现问题不会彼此影响。，基于物理空间的隔离，实现身份验证，通过复杂加密技术，所有数据服务经授权后均可使用，彻底解决数据安全问题。

所述数据开放模块400，用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层。

具体的，具体的，开放数据访问方面，采用业界标准协议的API driver，Hadoop、Spark、MPP等主流大数据技术，以外部表的形式直连，无缝对接，实现数据共享的免复制、零拷贝，避免保障一致性问题，极大提升数据共享的易用性。因为采用标准协助，支持映射不同的分区文件，灵活满足不同的数据需求。

所述数据开放模块400还包括数据检索单元、数据血缘显示单元和数据使用单元；

所述数据检索单元，用于所述消费者终端输入的检索指令，并根据所述检索指令从所述数据存储模块中进行多维度筛选检索，并将检索结果返回给所述消费者终端；

具体的，对可使用的数据资源，支持根据目录、资源名称等检索，可按主题、按组织、按数据标签等多个维度进行筛选；支持查看数据资源的基本信息、数据结构、示例数据、相关数据、使用说明和评论信息等，方便数据使用者查找需求关联的数据。

所述数据血缘显示单元，用于根据数据资源之间的关联性特征，向用户显示全局血缘视图、两岸血缘视图和数据表血缘视图。

具体的，数据资源之间存在关联性特征，实现数据血缘关联，包括全局血缘视图、两库血缘视图、数据表血缘视图。其中全局血缘视图为实现各行业、各领域、各系统之间的数据血缘全景图；两库血缘视图为实现数据库之间的血缘视图；数据表血缘视图为实现数据表之间的血缘视图；帮助用户了解数据湖中各数据之间的关系，更便于激发数据融合的创新。

所述数据使用单元，用于根据所述数据集成模块的分区策略，供所述消费者终端通过外部表及分区，实现数据直连及快速访问。

具体的，基于数据集成时构建好的分区策略，用户可通过外部表及分区，实现数据直连及快速访问。无需再以传统手段把数据提取、入库后再使用分析。数据湖支持多种方法读取数据资源，包括Hive/Spark、Greenplum外部表直连。

数据管理模块600，用于分别监控所述数据集成模块、数据存储模块和数据开放模块的数据处理过程。

所述数据管理模块600包括：元数据管理单元、对象存储管理单元和开发指数监控单元。

所述元数据管理单元，用于基于两级数据目录机制管理和监控数据；

所述对象存储管理单元，用于基于多租户技术对数据隔离管理；、

所述开发指数监控单元，用于监控开放资源维度指数和存储资源维度指数。

具体的，开放资源维度包括实现租户总数、数据资源数据、数据服务数、应用数、工具数等指数，提供数据开放资源的地域分布分析、TOP10排名分析、租户开放分析、各要素开放分析、热点标签分析和资源开放趋势等分析视图；存储资源维度包括已使用存储大小，总存储大小和已使用存储占比等。

所述数据管理模块还包括数据评价收集单元和数据评价分析单元；

所述数据评价采集单元，用于收集开放数据的需求满足度和质量的总体评价；其中，所述开放数据为所述数据开放模块向所述消费者平台层开放的数据；

所述数据评价分析单元，用于基于数据评价体系，对所述数据评价采集单元收集的总体评价进行挖掘分析。

具体的，所述数据评价体系包括数据质量评价模型和数据开放评价模型；

所述数据质量评价模型，用于分析数据及时性、数据完整性和数据一致性；

具体的，实现对开放的数据资源总体评价，包括定性的星级评价等级，和评价内容描述；实现数据开放内容与需求的满足度进行评价，包括数据开放的记录数、字段内容是否足够待，评价方式是星级定性评价和评价内容的描述；实现数据开放内容的质量进行评价，包括数据是否完整、是否及时、是否完整一致等，评价方式是星级定性评价和评价内容的描述。

所述数据开放评价模型，用于分析数据资源个数、数据资源记录数、数据资源存储大小和数据资源更新周期。

具体的，基于数据质量的评价信息形成数据模型，分析数据及时性、数据完整性、数据一致性；基于数据开放的评价信息形成数据模型，分析数据资源设计是否满足用户需求，比如数据资料个数、数据资源记录数、数据资源存储大小、数据资源更新周期等方面；定期(按周、按月)生成数据质量报告，发现并整改数据质量和开放的常见问题。

可以理解的是，针对常见的数据问题，以数据一致性问题为例，通过对评价内容进行挖掘分析，具体方案步骤如下：利用数据质量评价模型中获取数据一致性评价的数据，抽取形成所需要的样本数据表；实现格式化信息抽取，即将评价描述内容中大量的非结构化的信息，抽取出结构化的信息，以备进一步的分析应用，抽取的结构化信息包括，出现问题的字段，是内容不一致、还是数据量不一致，是普遍问题、还是个别问题、是数字不一致，还是文件体的不一致等；找出导致数据不一致的最大共性，分析导致问题的根因。比如，通过查看挖掘抽取到的结构化信息，发现问题多数来自某个字段，并且属于某个行业，并且普遍是字段中的数字内容不一致，因此，可以判定出原因，是由于数据在某个行业上的算法出了问题，运维人员便可针对原因进行整改。

本实施例提供的一种面向全数据形态开放共享的数据湖系统，包括：数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；所述数据生产者平台层由一种或多种异构数据库组成；所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和实时数据湖中进行存储；所述数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层；所述消费者平台层，用于与消费者终端进行数据交互。本发明能够提供一种面向全数据形态开放共享的数据湖系统，能够支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放。

以上对本发明实施例所提供的一种面向全数据形态开放共享的数据湖系统进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想:同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种面向全数据形态开放共享的数据湖系统，其特征在于，包括:数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；

所述数据生产者平台层由一种或多种异构数据库组成；

所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和实时数据湖中进行存储；

所述数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层；

所述消费者平台层，用于与消费者终端进行数据交互。

2.根据权利要求1所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述中间层还包括数据管理模块；

所述数据管理模块用于分别监控所述数据集成模块、数据存储模块和数据开放模块的数据处理过程。

3.根据权利要求2所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据管理模块包括：元数据管理单元、对象存储管理单元和开发指数监控单元；

所述元数据管理单元，用于基于两级数据目录机制管理和监控数据；

所述对象存储管理单元，用于基于多租户技术对数据隔离管理；

所述开发指数监控单元，用于监控开放资源维度指数和存储资源维度指数。

4.根据权利要求3所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据管理模块还包括数据评价收集单元和数据评价分析单元；

所述数据评价采集单元，用于收集开放数据的需求满足度和质量的总体评价；其中，所述开放数据为所述数据开放模块向所述消费者平台层开放的数据；

所述数据评价分析单元，用于基于数据评价体系，对所述数据评价采集单元收集的总体评价进行挖掘分析。

5.根据权利要求4所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据评价体系包括数据质量评价模型和数据开放评价模型；

所述数据质量评价模型，用于分析数据及时性、数据完整性和数据一致性；

所述数据开放评价模型，用于分析数据资源个数、数据资源记录数、数据资源存储大小和数据资源更新周期。

6.根据权利要求1所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据存储模块包含租户存储空间分配单元；

所述租户存储空间分配单元用于根据租户的身份标识及租用空间，为所述租户分配逻辑存储空间；其中，各所述逻辑存储空间之间的物理空间相互隔离。

7.根据权利要求1所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据开放模块还包括数据检索单元、数据血缘显示单元和数据使用单元；

所述数据检索单元，用于所述消费者终端输入的检索指令，并根据所述检索指令从所述数据存储模块中进行多维度筛选检索，并将检索结果返回给所述消费者终端；

所述数据血缘显示单元，用于根据数据资源之间的关联性特征，向用户显示全局血缘视图、两岸血缘视图和数据表血缘视图。

所述数据使用单元，用于根据所述数据集成模块的分区策略，供所述消费者终端通过外部表及分区，实现数据直连及快速访问。