CN117909322B - 一种基于智能计算平台的统一数据管理应用系统及方法 - Google Patents

Abstract

本发明公开一种基于智能计算平台的统一数据管理应用系统及方法，包括数据源、数据湖、业务区；统一数据管理应用系统利用数据湖为数据应用和数据可视化提供服务；数据湖包括：数据湖公共区、数据湖专有区、Daas平台区和数据共享交换平台区；其中，数据湖公共区用于接收数据源上传的公共数据，数据湖专有区用于接收数据源上传的专有数据；Daas平台区为数据湖提供数据治理能力，数据共享交换平台区为数据湖提供数据API共享交换能力；其中，业务区通过数据共享交换平台区提供的API调用使用数据湖的数据为数据应用进行数据赋能；业务区包括：数据中台，其所存储的数据沉淀在数据湖中，并采用数据湖的能力对外进行共享交换和API服务。

Description

一种基于智能计算平台的统一数据管理应用系统及方法

技术领域

本发明涉及数据管理应用技术领域，具体涉及一种基于智能计算平台的统一数据管理应用系统及方法。

背景技术

大数据能够应用于各行各业，现今的云时代能够实现大数据共享。能够根据用户使用习惯分析用户喜好、作息习惯等。宏观方面则能够对社会协作分工进行调控，优化社会资源，创新生产方式。大数据能够应用于教育、医疗、社会、政府、商业等领域中，大数据的可操作性极强，应用范围极广。基于丰富的数据库对不同现状进行分析，匹配最优化解，范围内的结果预测等都是可行的。举例说明：大数据在医疗业方面能够将医疗资源最优化分配，降低不必要的医疗支出；大数据在交通行业方面能够优化路况，避免道路堵塞造成不必要的损失；大数据在零售业方面能够在了解客户需求的同时对商品数量进行调控；大数据在政府方面能够优化服务。

大数据在应用于各个行业中时，存在以下的功能需求：数据采集的需求、数据处理的需求、数据整合的需求以及数据应用的需求。但是现有的统一数据管理应用系统难以对采集到的数据进行有效的处理、整合，进而导致难以对数据应用进行有效的赋能，使得上层业务的创新难以实现，并且数据平台也难以对外进行有效的共享交换和API服务。

发明内容

为了克服现有技术的不足，本发明提供一种基于智能计算平台的统一数据管理应用系统及方法，用于解决现有的统一数据管理应用系统难以对采集到的数据进行有效的处理、整合以及应用赋能的技术问题，从而达到对各行业数据进行有效治理，并对数据应用实现有效赋能的目的。

为解决上述问题，本发明所采用的技术方案如下：

一种基于智能计算平台的统一数据管理应用系统，包括数据源、数据湖以及业务区；

所述统一数据管理应用系统利用所述数据湖为数据应用和数据可视化提供服务；

所述数据湖包括：数据湖公共区、数据湖专有区、Daas平台区和数据共享交换平台区；

其中，所述数据湖公共区用于接收所述数据源上传的公共数据，所述数据湖专有区用于接收所述数据源上传的专有数据；

所述Daas平台区为所述数据湖提供数据治理能力，所述数据共享交换平台区为所述数据湖提供数据API共享交换能力；

其中，业务区通过所述数据共享交换平台区提供的API调用使用所述数据湖的数据为数据应用进行数据赋能；

所述业务区包括：数据中台，所述数据中台所存储的数据将沉淀在所述数据湖中，并采用所述数据湖的能力对外进行共享交换和API服务。

作为本发明优选的实施方式，所述统一数据管理应用系统在所述数据源与所述数据湖之间还设有计算平台；

所述计算平台包括：批量计算模块、即时计算模块、分布式NoSQL数据存储模块、对象存储模块、关系数据库、内存数据库、机器学习模块、中间件、网络与安全模块。

作为本发明优选的实施方式，所述数据中台的业务架构包括：数据资产管理模块、计算与存储平台、面向应用及开放的统一数据服务中间件、智能数据研发模块、若干数据服务以及若干数据应用。

作为本发明优选的实施方式，所述数据资产管理模块具备以下功能：资产地图、资产分析、资产管理、资产应用以及资产运营；

所述计算与存储平台具备离线计算与实时计算功能；

所述面向应用及开放的统一数据服务中间件包括：数据萃取中心、全域数据中心以及基础数据中心；

其中，所述数据萃取中心以业务结合萃取标签为架构进行构建，或者以自然对象结合萃取标签为架构进行构建；

所述全域数据中心以业务模板结合业务过程结合分析维度为架构进行构建；

所述基础数据中心包括：采集和接入、爬取和采购；

所述智能数据研发模块具备以下功能：数仓规划、模型构建、指标规范、数据同步、数据开发、任务调度以及监控告警；

所述若干数据服务包括：企业经营服务、公共配套服务、物业管理服务、信用管理服务、口岸信息服务、旅游管理服务、卫生医疗服务；

所述若干数据应用包括：智慧口岸应用、智慧社区应用、智慧政务应用、智慧教育应用以及智慧交通应用。

作为本发明优选的实施方式，所述数据源包括：城市IOT区VPC、城市AI区VPC以及业务数据区VPC；

其中，所述城市IOT区VPC、所述城市AI区VPC以及所述业务数据区VPC的公共数据通过数据上云工具上传到所述数据湖公共区；

所述业务数据区VPC的专有数据通过所述数据上云工具上传到所述数据湖专有区；

所述Daas平台区的智能数仓、数据DNA模块、智能标签模块、全景监控模块、数据探索模块、数据资产模块、算法服务模块、数据治理模块、数据研发模块、数据上云模块为所述数据湖提供数据治理能力。

作为本发明优选的实施方式，所述数据DNA包括：数据看板、模型全景、配置管理、数据可视化；

所述智能标签模块包括：标签中心、标签工厂、报表中心、标签同步以及分析引擎；

所述全景监控模块包括：业务链路、监控管理、告警通知、全局配置；

所述数据探索模块包括：模型管理、模型工厂、数据管理、算子管理；

所述数据资产模块包括：资产门户、资产类目、资产管理、审批管理；

所述算法服务模块包括：资源注册、格式定义、算法管理、场景管理；

所述数据治理模块包括：标准管理、模型管理、数据探索、智能ETL；

所述数据研发模块包括：数据集成、数据开发、监控运维、数据管理、数据质量、数据安全；

所述数据上云模块包括：监控运维、任务管理、数据源管理、元数据资产。

作为本发明优选的实施方式，所述数据湖为数据应用和数据可视化提供服务时，包括：数据采集、数据传输、数据存储处理、数据交换共享、数据管理以及数据安全保障体系。

作为本发明优选的实施方式，所述数据采集包含IOT数据、视觉AI数据以及应用业务数据，通过数据定义、数据读取、数据探查以及数据对账一系列标准动作对数据完成采集；

所述数据存储处理包含缓冲数据、原始库、资源库、主题库和业务库，对所述缓冲数据进行提取、清洗形成原始数据，对所述原始数据进行关联比对形成资源库数据，对所述资源库数据进行标识、分发形成主题库数据，对所述主题库数据进行建模形成业务库数据。

作为本发明优选的实施方式，所述数据交换共享包含对处理过后的数据形成数据资源目录，并在数据共享和交换平台上提供服务；

所述数据管理包含数据标准管理、数据资产管理、数据质量管理、数据运维管理；

所述数据安全保障体系包含数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据共享安全。

一种基于智能计算平台的统一数据管理应用方法，包括以下步骤：

通过数据源上传公共数据和专有数据至所述数据湖；

通过所述数据湖接收所述数据源上传的数据进行治理；

通过业务区调用使用所述数据湖的数据为数据应用进行数据赋能；

其中，在接收数据时，通过数据湖公共区接收数据源上传的公共数据，通过数据湖专有区接收数据源上传的专有数据；

在进行数据治理时，通过Daas平台区为所述数据湖提供数据治理能力；

在进行数据赋能时，所述业务区通过数据共享交换平台区提供的API调用使用所述数据湖的数据为数据应用进行数据赋能；

其中，所述数据湖包括：所述数据湖公共区、所述数据湖专有区、所述Daas平台区和所述数据共享交换平台区。

相比现有技术，本发明的有益效果在于：

（1）本发明采用数据湖沉淀全部业务和平台数据，从而有效支撑上层业务的创新；

（2）本发明通过数据湖为统一数据管理应用系统提供数据采集、数据传输、数据存储处理、数据交换共享、数据管理以及数据安全保障体系，最终为数据应用和数据可视化提供服务，实现各行业数据的有效治理以及数据应用的有效赋能；

（3）本发明的数据中台基于数据湖平台对公共数据服务存储的建模实施工作，并将所存储的数据沉淀在数据湖中，并采用数据湖的能力对外进行共享交换和API，实现数据高效且准确的共享。

下面结合附图和具体实施方式对本发明作进一步详细说明。

附图说明

图1是本发明实施例的数据湖总体架构图；

图2是本发明实施例的数据湖应用架构图；

图3是本发明实施例的统一数据管理应用系统的网络区域规划图；

图4是本发明实施例的数据中台的业务架构图。

附图标号说明：1、数据源；2、数据湖；3、业务区；4、数据湖公共区；5、数据湖专有区；6、Daas平台区；7、数据共享交换平台区；8、公共数据业务区；9、专有数据业务区；10、城市IOT区VPC；11、城市AI区VPC；12、业务数据区VPC；13、计算平台。

具体实施方式

本发明所提供的基于智能计算平台的统一数据管理应用系统，包括数据源1、数据湖2以及业务区3；

统一数据管理应用系统利用数据湖2为数据应用和数据可视化提供服务；

数据湖2包括：数据湖公共区4、数据湖专有区5、Daas平台区6和数据共享交换平台区7；

其中，数据湖公共区4用于接收数据源1上传的公共数据，数据湖专有区5用于接收数据源1上传的专有数据；

Daas平台区6为数据湖2提供数据治理能力，数据共享交换平台区7为数据湖2提供数据API共享交换能力；

其中，业务区3通过数据共享交换平台区7提供的API调用使用数据湖2的数据为数据应用进行数据赋能；

业务区3包括：数据中台，数据中台所存储的数据将沉淀在数据湖2中，并采用数据湖2的能力对外进行共享交换和API服务。

进一步地，统一数据管理应用系统在数据源1与数据湖2之间还设有计算平台13；

计算平台13包括：批量计算模块、即时计算模块、分布式NoSQL数据存储模块、对象存储模块、关系数据库、内存数据库、机器学习模块、中间件、网络与安全模块。

进一步地，数据中台的业务架构包括：数据资产管理模块、计算与存储平台、面向应用及开放的统一数据服务中间件、智能数据研发模块、若干数据服务以及若干数据应用。

更进一步地，数据资产管理模块具备以下功能：资产地图、资产分析、资产管理、资产应用以及资产运营；

计算与存储平台具备离线计算与实时计算功能；

面向应用及开放的统一数据服务中间件包括：数据萃取中心、全域数据中心以及基础数据中心；

其中，数据萃取中心以业务结合萃取标签为架构进行构建，或者以自然对象结合萃取标签为架构进行构建；

全域数据中心以业务模板结合业务过程结合分析维度为架构进行构建；

基础数据中心包括：采集和接入、爬取和采购；

智能数据研发模块具备以下功能：数仓规划、模型构建、指标规范、数据同步、数据开发、任务调度以及监控告警；

若干数据服务包括：企业经营服务、公共配套服务、物业管理服务、信用管理服务、口岸信息服务、旅游管理服务、卫生医疗服务；

若干数据应用包括：智慧口岸应用、智慧社区应用、智慧政务应用、智慧教育应用以及智慧交通应用。

进一步地，数据源1包括：城市IOT区VPC 10、城市AI区VPC 11以及业务数据区VPC12；

其中，城市IOT区VPC 10、城市AI区VPC 11以及业务数据区VPC 12的公共数据通过数据上云工具上传到数据湖公共区4；

业务数据区VPC 12的专有数据通过所述数据上云工具上传到数据湖专有区5。

进一步地，Daas平台区6的智能数仓、数据DNA模块、智能标签模块、全景监控模块、数据探索模块、数据资产模块、算法服务模块、数据治理模块、数据研发模块、数据上云模块为数据湖2提供数据治理能力。

更进一步地，数据DNA包括：数据看板、模型全景、配置管理、数据可视化；

智能标签模块包括：标签中心、标签工厂、报表中心、标签同步以及分析引擎；

全景监控模块包括：业务链路、监控管理、告警通知、全局配置；

数据探索模块包括：模型管理、模型工厂、数据管理、算子管理；

数据资产模块包括：资产门户、资产类目、资产管理、审批管理；

算法服务模块包括：资源注册、格式定义、算法管理、场景管理；

数据治理模块包括：标准管理、模型管理、数据探索、智能ETL；

数据研发模块包括：数据集成、数据开发、监控运维、数据管理、数据质量、数据安全；

数据上云模块包括：监控运维、任务管理、数据源管理、元数据资产。

进一步地，数据湖2为数据应用和数据可视化提供服务时，包括：数据采集、数据传输、数据存储处理、数据交换共享、数据管理以及数据安全保障体系。

更进一步地，数据采集包含IOT数据、视觉AI数据以及应用业务数据，通过数据定义、数据读取、数据探查以及数据对账一系列标准动作对数据完成采集；

数据存储处理包含缓冲数据、原始库、资源库、主题库和业务库，对缓冲数据进行提取、清洗形成原始数据，对原始数据进行关联比对形成资源库数据，对资源库数据进行标识、分发形成主题库数据，对主题库数据进行建模形成业务库数据。

更进一步地，数据交换共享包含对处理过后的数据形成数据资源目录，并在数据共享和交换平台上提供服务；

数据管理包含数据标准管理、数据资产管理、数据质量管理、数据运维管理；

数据安全保障体系包含数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据共享安全。

本发明所提供的基于智能计算平台的统一数据管理应用方法，包括以下步骤：

步骤S1：通过数据源1上传公共数据和专有数据至数据湖2；

步骤S2：通过数据湖2接收数据源1上传的数据进行治理；

步骤S3：通过业务区3调用使用数据湖2的数据为数据应用进行数据赋能；

其中，在接收数据时，通过数据湖公共区4接收数据源1上传的公共数据，通过数据湖专有区5接收数据源1上传的专有数据；

在进行数据治理时，通过Daas平台区6为数据湖2提供数据治理能力；

在进行数据赋能时，业务区3通过数据共享交换平台区7提供的API调用使用数据湖2的数据为数据应用进行数据赋能；

其中，数据湖2包括：数据湖公共区4、数据湖专有区5、Daas平台区6和数据共享交换平台区7。

以下的实施例是对本发明的进一步说明，但本发明的范围并不限制于此。

本实施例提供一种基于智能计算平台的统一数据管理应用系统，包括：数据源1、数据湖2以及业务区3。其中，数据湖2包括：数据湖公共区4、数据湖专有区5、Daas平台区6和数据共享交换平台区7。业务区3包括：数据中台。

本实施例通过数据湖2沉淀全部业务和平台数据，并支撑上层业务创新。

数据湖总体架构

数据湖2的总体架构是依托基础资源中的服务器、交换机和光纤网络等提供设备服务，和大数据平台的离线计算、数据可视化、消息中间件、关系型数据库和表格存储的平台能力构建的。从数据全生命周期建设来分，数据湖2分为数据采集、数据传输、数据存储处理、数据交换共享；数据湖2还包含数据管理和数据安全保障体系。最终为数据应用和将数据可视化提供服务。

数据采集包含IOT数据、视觉AI数据和应用业务数据，通过数据定义、数据读取、数据探查和数据对账等标准动作对数据完成采集。

数据传输包含库表传输、文件传输和服务传输。

数据存储处理包含将缓冲数据、原始库、资源库、主题库和业务库，对缓冲数据进行提取、清洗形成原始数据，对原始数据进行关联比对形成资源库数据，对资源库数据进行标识、分发形成主题库数据，对主题库数据进行建模形成业务库数据。

数据交换共享包含对处理过后的数据形成数据资源目录，并在数据共享和交换平台上提供服务。

数据管理包含数据标准管理、数据资产管理、数据质量管理、数据运维管理。

数据安全包含数据采集安全、数据传输安全、数据存储安全、数据处理安全和数据共享安全。数据湖2总体架构，如图1所示。

数据湖2功能架构

数据湖2、数据共享服务体系建设以云设施为基础、智能应用为实战目标，围绕数据湖2的工作内容，重点针对数据接入、数据处理、数据运营、数据服务和价值实现展开建设。数据湖2目标承载的应用包含公安、交通、医疗卫生、能源、环保、经济、海关、政府管理、城市管理等应用。数据湖2的应用（功能）架构，如图2所示。

网络区域规划

本实施例的统一数据管理应用系统网络区域划分有数据源1、数据湖2以及业务区3，如图3所示。

其中，数据湖2包括：数据湖公共区4、数据湖专有区5、Daas平台区6和数据共享交换平台区7。数据源1包括：城市IOT区VPC 10、城市AI区VPC 11以及业务数据区VPC 12。业务区3包括有数据中台，还分为公共数据业务区8、专有数据业务区9。

城市IOT区VPC 10、城市AI区VPC 11和业务数据区VPC 12的公共数据通过数据上云工具上传到数据湖公共区4。

业务数据区VPC 12的专有数据通过数据上云工具上传到数据湖专有区5。

DataQ区VPC即Daas平台区6的智能数仓、数据DNA、智能标签、全景监控、数据探索和数据资产为数据湖2提供数据治理能力。

数据共享交换平台区7为数据湖2提供数据API共享交换能力。

业务区3通过API调用使用数据湖2的数据为应用进行数据赋能。

业务数据区VPC 12容纳各个租户的数据。租户的数据采集分2种情况。一种是租户已经按照“数据定义”将数据分为公共数据和专有数据，则公共数据采集到数据湖公共区4，专有数据采集到数据湖专有区5；另外一种是租户暂未按照“数据定义”区分公共数据和专有数据，则先将数据采集到数据湖公共区4，待该租户确认数据为专有数据后，可将专有数据采集到数据湖专有区5。

数据中台

数据中台基于数据湖平台，其所存储的数据将沉淀在数据湖2中，并采用数据湖2的能力对外进行共享交换和API服务。数据中台的业务架构，如图4所示。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (7)

1.一种基于智能计算平台的统一数据管理应用系统，其特征在于，包括数据源、数据湖以及业务区；

所述统一数据管理应用系统利用所述数据湖为数据应用和数据可视化提供服务；

所述数据湖包括：数据湖公共区、数据湖专有区、Daas平台区和数据共享交换平台区；

其中，所述数据湖公共区用于接收所述数据源上传的公共数据，所述数据湖专有区用于接收所述数据源上传的专有数据；

所述Daas平台区为所述数据湖提供数据治理能力，所述数据共享交换平台区为所述数据湖提供数据API共享交换能力；

其中，业务区通过所述数据共享交换平台区提供的API调用使用所述数据湖的数据为数据应用进行数据赋能；

所述业务区包括：数据中台，所述数据中台所存储的数据将沉淀在所述数据湖中，并采用所述数据湖的能力对外进行共享交换和API服务；

所述数据中台的业务架构包括：数据资产管理模块、计算与存储平台、面向应用及开放的统一数据服务中间件、智能数据研发模块、若干数据服务以及若干数据应用；

所述统一数据管理应用系统在所述数据源与所述数据湖之间还设有计算平台；

所述Daas平台区的智能数仓、数据DNA模块、智能标签模块、全景监控模块、数据探索模块、数据资产模块、算法服务模块、数据治理模块、数据研发模块、数据上云模块为所述数据湖提供数据治理能力；

所述数据DNA模块包括：数据看板、模型全景、配置管理、数据可视化；

所述智能标签模块包括：标签中心、标签工厂、报表中心、标签同步以及分析引擎；

所述全景监控模块包括：业务链路、监控管理、告警通知、全局配置；

所述数据探索模块包括：模型管理、模型工厂、数据管理、算子管理；

所述数据资产模块包括：资产门户、资产类目、资产管理、审批管理；

所述算法服务模块包括：资源注册、格式定义、算法管理、场景管理；

所述数据治理模块包括：标准管理、模型管理、数据探索、智能ETL；

所述数据研发模块包括：数据集成、数据开发、监控运维、数据管理、数据质量、数据安全；

所述数据上云模块包括：监控运维、任务管理、数据源管理、元数据资产；

所述数据湖为数据应用和数据可视化提供服务时，包括：数据采集、数据传输、数据存储处理、数据交换共享、数据管理以及数据安全保障体系；

其中，所述数据存储处理包含缓冲数据、原始库、资源库、主题库和业务库，对所述缓冲数据进行提取、清洗形成原始数据，对所述原始数据进行关联比对形成资源库数据，对所述资源库数据进行标识、分发形成主题库数据，对所述主题库数据进行建模形成业务库数据。

2.根据权利要求1所述的基于智能计算平台的统一数据管理应用系统，其特征在于，所述计算平台包括：批量计算模块、即时计算模块、分布式NoSQL数据存储模块、对象存储模块、关系数据库、内存数据库、机器学习模块、中间件、网络与安全模块。

3.根据权利要求1所述的基于智能计算平台的统一数据管理应用系统，其特征在于，所述数据资产管理模块具备以下功能：资产地图、资产分析、资产管理、资产应用以及资产运营；

所述计算与存储平台具备离线计算与实时计算功能；

所述面向应用及开放的统一数据服务中间件包括：数据萃取中心、全域数据中心以及基础数据中心；

其中，所述数据萃取中心以业务结合萃取标签为架构进行构建，或者以自然对象结合萃取标签为架构进行构建；

所述全域数据中心以业务模板结合业务过程结合分析维度为架构进行构建；

所述基础数据中心包括：采集和接入、爬取和采购；

所述智能数据研发模块具备以下功能：数仓规划、模型构建、指标规范、数据同步、数据开发、任务调度以及监控告警；

所述若干数据服务包括：企业经营服务、公共配套服务、物业管理服务、信用管理服务、口岸信息服务、旅游管理服务、卫生医疗服务；

所述若干数据应用包括：智慧口岸应用、智慧社区应用、智慧政务应用、智慧教育应用以及智慧交通应用。

4.根据权利要求1所述的基于智能计算平台的统一数据管理应用系统，其特征在于，所述数据源包括：城市IOT区VPC、城市AI区VPC以及业务数据区VPC；

其中，所述城市IOT区VPC、所述城市AI区VPC以及所述业务数据区VPC的公共数据通过数据上云工具上传到所述数据湖公共区；

所述业务数据区VPC的专有数据通过所述数据上云工具上传到所述数据湖专有区。

5.根据权利要求1所述的基于智能计算平台的统一数据管理应用系统，其特征在于，所述数据采集包含IOT数据、视觉AI数据以及应用业务数据，通过数据定义、数据读取、数据探查以及数据对账一系列标准动作对数据完成采集。

6.根据权利要求1所述的基于智能计算平台的统一数据管理应用系统，其特征在于，所述数据交换共享包含对处理过后的数据形成数据资源目录，并在数据共享/交换平台上提供服务；

所述数据管理包含数据标准管理、数据资产管理、数据质量管理、数据运维管理；

所述数据安全保障体系包含数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据共享安全。

7.一种基于智能计算平台的统一数据管理应用方法，其特征在于，包括以下步骤：

通过数据源上传公共数据和专有数据至数据湖；

通过所述数据湖接收所述数据源上传的数据进行治理；

通过业务区调用使用所述数据湖的数据为数据应用进行数据赋能；

其中，在接收数据时，通过数据湖公共区接收数据源上传的公共数据，通过数据湖专有区接收数据源上传的专有数据；

在进行数据治理时，通过Daas平台区为所述数据湖提供数据治理能力；

在进行数据赋能时，所述业务区通过数据共享交换平台区提供的API调用使用所述数据湖的数据为数据应用进行数据赋能；

其中，所述数据湖包括：所述数据湖公共区、所述数据湖专有区、所述Daas平台区和所述数据共享交换平台区；

所述业务区包括：数据中台；所述数据中台的业务架构包括：数据资产管理模块、计算与存储平台、面向应用及开放的统一数据服务中间件、智能数据研发模块、若干数据服务以及若干数据应用；

所述数据源与所述数据湖之间还设有计算平台；

所述Daas平台区的智能数仓、数据DNA模块、智能标签模块、全景监控模块、数据探索模块、数据资产模块、算法服务模块、数据治理模块、数据研发模块、数据上云模块为所述数据湖提供数据治理能力；

所述数据DNA模块包括：数据看板、模型全景、配置管理、数据可视化；

所述智能标签模块包括：标签中心、标签工厂、报表中心、标签同步以及分析引擎；

所述全景监控模块包括：业务链路、监控管理、告警通知、全局配置；

所述数据探索模块包括：模型管理、模型工厂、数据管理、算子管理；

所述数据资产模块包括：资产门户、资产类目、资产管理、审批管理；

所述算法服务模块包括：资源注册、格式定义、算法管理、场景管理；

所述数据治理模块包括：标准管理、模型管理、数据探索、智能ETL；

所述数据研发模块包括：数据集成、数据开发、监控运维、数据管理、数据质量、数据安全；

所述数据上云模块包括：监控运维、任务管理、数据源管理、元数据资产；

所述数据湖为数据应用和数据可视化提供服务时，包括：数据采集、数据传输、数据存储处理、数据交换共享、数据管理以及数据安全保障体系；

其中，所述数据存储处理包含缓冲数据、原始库、资源库、主题库和业务库，对所述缓冲数据进行提取、清洗形成原始数据，对所述原始数据进行关联比对形成资源库数据，对所述资源库数据进行标识、分发形成主题库数据，对所述主题库数据进行建模形成业务库数据。