CN112256687A - 一种数据处理的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种数据处理的方法和装置，所述方法包括：所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。通过本发明实施例，实现了对数据资源平台的优化建设，通过数据资源平台中多个功能组件对业务数据进行数据处理，能够深化利用数据资源应用，为用户提供了标准化程度高、易用性强的数据平台。

Description

一种数据处理的方法和装置

技术领域

本发明涉及数据处理领域，特别是涉及一种数据处理的方法和装置。

背景技术

随着计算机、网络和通信等技术的发展，为了更智能的为城市提供智能服务，同步建设了大量的应用服务，无论从数据的广度和深度，还是从应用服务的全面性与精准性，针对“多模型、多应用”的模式提供应用服务建设是为城市提供智能服务的发展方向。

在智慧城市建设中，大数据发挥着重要作用，如何解决数据管理领域中数据标准化和数据质量的问题，以破除“数据壁垒”，实现对数据资源应用的深化利用是目前急需解决的问题。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置，包括：

一种数据处理的方法，应用于数据资源平台，所述数据资源平台部署于云平台，所述数据资源平台包括多个功能组件，所述方法包括：

所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；

所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。

可选地，所述第一功能组件为数据上云组件，所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据，包括：

所述数据资源平台中所述数据上云组件将所述云平台采集的业务数据存储于多个服务节点，以供所述数据资源平台调用。

可选地，所述第二功能组件为智能数仓组件，所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据，包括：

所述数据资源平台中所述智能数仓组件采用标准化数据模型对所述业务数据进行标准化处理，得到标准化数据；

所述数据资源平台中所述智能数仓组件对所述标准化数据进行质量检测，并根据质量检测结果对所述标准化数据进行修正。

可选地，所述第三功能组件包括数据DNA组件、数据资产组件，所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用，包括：

所述数据资源平台通过所述数据DNA组件和所述数据资产组件，执行对所述标准化数据的数据资产管理操作，并对所述数据资源平台中数据资产进行可视化，以针对所述数据资源平台中数据资产进行调用。

可选地，所述第四功能组件包括智能标签组件、数据探索组件，所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息，包括：

所述数据资源平台中所述智能标签组件采用数据标签模型，基于所述数据资源平台中数据资产进行标签化处理；

所述数据资源平台中所述数据探索组件根据标签化处理后数据和业务算子信息，生成业务分析模型；

所述数据资源平台中所述数据探索组件采用所述业务分析模型进行数据分析，并获取业务探索信息。

可选地，还包括：

所述数据资源平台中所述数据上云组件获取预设的网关白名单；其中，所述网关白名单用于控制防火墙；

所述数据资源平台中所述数据上云组件根据所述网关白名单，按照针对所述业务数据的数据接入方式，将所述业务数据上传至所述云平台中数据湖的指定存储区域。

可选地，所述数据资源平台具有数据仓库区域，在所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据之前，还包括：

所述数据资源平台对所述业务数据进行数据保护配置处理，并将所述业务数据归档至所述数据仓库区域。

一种数据处理的装置，应用于数据资源平台，所述数据资源平台部署于云平台，所述数据资源平台包括多个功能组件，所述装置包括：

第一功能组件模块，用于所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

第二功能组件模块，用于所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；

第三功能组件模块，用于所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

第四功能组件模块，用于所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。

一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理的方法。

本发明实施例具有以下优点：

在本发明实施例中，数据资源平台通过第一功能组件获取云平台采集的业务数据，然后数据资源平台通过第二功能组件对业务数据进行标准化处理，以得到标准化数据，数据资源平台通过第三功能组件，执行对标准化数据的数据资产管理操作，以针对数据资源平台中数据资产进行调用，进而数据资源平台通过第四功能组件，基于数据资源平台中数据资产进行数据分析，并获取业务探索信息，实现了对数据资源平台的优化建设，通过数据资源平台中多个功能组件对业务数据进行数据处理，解决了数据管理领域中数据标准化和数据质量的问题，能够深化利用数据资源应用，为用户提供了标准化程度高、易用性强的数据平台。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种云平台整体架构的示意图；

图2是本发明一实施例提供的一种数据处理的方法的步骤流程图；

图3是本发明一实施例提供的另一种数据处理的方法的步骤流程图；

图4是本发明一实施例提供的另一种数据处理的方法的步骤流程图；

图5是本发明一实施例提供的一种数据处理流程示例的示意图；

图6是本发明一实施例提供的一种数据处理的装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在智慧城市建设中，通过引入云计算，大数据，物联网，移动互联等先进技术，搭建标准统一、入口统一、采集统一、管理统一、服务统一、数据统一的跨域多维大数据公共服务云平台，从而实现跨部门、跨领域和跨地域的数据融通能力，并达到域内数据集中、域外数据共享交换、域边界依规则柔性扩展，以形成数字经济的生态循环，推动了城市管理、社会民生、资源环境、经济产业各领域的数据共享，提升了行政效率、城市治理能力、居民生活品质，促进了行业融合发展，推动了产业转型升级、创新商业模式。

通过跨域多维大数据云平台的建设，能够打破数据壁垒，实现数据集中，破解了大数据发展难题。基于云平台建设，将进一步针对云平台进行数据中台、数据共享服务体系建设。

针对数据中台(即统一数据平台)建设，通过引入数据资源平台、数据共享平台等，并配套对应的数据规范，进而可以建设一个打通各级业务协同机构、视频区域，以及各层级的业务系统、各领域的智慧应用，也可以形成一个提供开放、互联、共享的数据共享平台，且同时能够具备数据上云、数据治理、数据探索、全链路监控等统一数据管理体系。

如图1所示，云平台中部署有区域应用门户、开放服务网关、统一数据平台、区域物联传感系统以及其它结构，其中，开放服务网关包括融合业务共享中心、融合数据创新中心，以下对云平台的各个部分进行具体说明：

(一)区域应用门户

在区域应用门户中，主要分为交通、环保、旅游、工商、医疗、教育、区域经济大脑、就业、跨域鉴权等板块，用户可以通过区域应用门户进入各板块，并可以获取经处理后的数据所组成的各板块对应的资讯信息。

(二)融合业务共享中心与融合数据创新中心

融合业务共享中心可以按业务分类将各区域数据进行融合后创建不同的数据共享中心，例如：个人信息中心、信用信息中心、法人信息中心、金融服务中心、旅游服务中心、综合治理服务中心、时空服务中心、物联网服务中心等。

融合数据创新中心通过数据融合体系和AI算法体系可以实现对融合数据的创新应用。融合业务共享中心与融合数据创新中心可以将数据进行融合处理后，通过区域应用门户向用户呈现处理后的数据。

(三)统一数据平台

统一数据平台可以包括数据资源平台和数据共享平台，其中，数据资源平台可以包括多个组件，例如，数据上云、智能数仓、智能标签、数据探索、AIMaster、数据DNA、全景监控、数据资产，进而能够为上层的行业应用和业务场景提供服务，解决了数据管理领域中的数据标准化和数据质量等问题，且采用拖拽等交互方式，简化了业务逻辑和业务功能的实现，提高了数据平台的易用性。

(四)区域物联传感系统

区域物联传感系统由压力、湿度、摄像头、光源、红外传感、温度等相关传感设备及设备数据构成。

(五)其它结构

此外，还可以通过超算集群、区域云计算平台、OpenStack FIWare集群(一个开源的云计算管理平台项目，是一系列软件开源项目的组合)，对数据进行处理。

参照图2，示出了本发明一实施例提供的一种数据处理的方法的步骤流程图，该方法可以应用于数据资源平台，数据资源平台可以部署于云平台，数据资源平台可以包括多个功能组件，具体可以包括如下步骤：

步骤201，所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

其中，第一功能组件可以为针对数据资源平台的数据获取的功能组件，例如，第一功能组件可以用于执行将业务数据上传至数据资源平台的操作。

作为一示例，业务数据可以为基于用户业务系统采集的待数据处理及分析的数据，例如，可以通过从云平台或者其它平台中收集业务数据，以进一步针对业务数据进行数据处理及分析。

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第一功能组件可以为针对数据资源平台的数据获取的功能组件，进而数据资源平台可以通过第一功能组件获取云平台采集的业务数据，例如，可以通过从云平台或者其它平台中收集业务数据。

在本发明一实施例中，第一功能组件可以为数据上云组件，步骤201可以包括如下子步骤：

所述数据资源平台中所述数据上云组件将所述云平台采集的业务数据存储于多个服务节点，以供所述数据资源平台调用。

在具体实现中，第一功能组件可以为数据上云组件，该数据上云组件可以用于执行将云平台采集的业务数据上传至统一数据平台中数据资源平台的操作，可以通过数据上云组件将云平台采集的业务数据存储于多个服务节点，以供数据资源平台调用，从而通过数据资源平台中数据上云组件，可以针对业务数据实现统一上云、快速上云、安全上云。

例如，数据上云组件可以包括采用分布式架构的多个服务节点，该服务节点可以根据实际情况部署于物理机、虚拟机上，进而数据上云组件可以将业务数据拆分为多种类型的数据，存储在不同的服务节点上。

又如，针对单体业务数据，数据上云组件可以先按照业务领域进行纵向拆分，然后可以按照数据的服务类型进行横向拆分，以存储在不同的服务节点中，进而数据资源平台可以通过调用数据上云组件中多个服务节点，实现读取、写入服务节点对应的数据。

步骤202，所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；

其中，第二功能组件可以为针对数据资源平台的数据标准化处理的功能组件。

作为一示例，标准化数据可以为针对业务语义具有一致性数据表达的数据，例如，具备数据一致性的标准化数据可以应用于平台中，以使数据能够有效融合。

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第二功能组件可以为针对数据资源平台的数据标准化处理的功能组件，进而数据资源平台可以通过第二功能组件对业务数据进行标准化处理，以得到标准化数据，该标准化数据可以为针对业务语义具有一致性数据表达的数据，可以将标准化数据应用于平台中，以使数据能够有效融合。

步骤203，所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

其中，第三功能组件可以为针对数据资源平台的数据资产管理的功能组件。

作为一示例，数据资源平台中数据资产可以为针对数据资源平台中数据进行资产化管理，得到的多种类型数据资产，例如，数据资源平台中数据资产可以包括数据表、API(Application Programming Interface，应用程序接口)、目录等各类数据资产。

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第三功能组件可以为针对数据资源平台的数据资产管理的功能组件，进而数据资源平台可以通过第三功能组件，执行对标准化数据的数据资产管理操作，以针对数据资源平台中数据资产进行调用，数据资源平台中数据资产可以为针对数据资源平台中数据进行资产化管理，得到的多种类型数据资产，从而可以使所有数据资产在数据资产管理中进行沉淀，并能够采用自动化的方式快速完成对数据资产的编目、上线，促进了数据资产流入使用的良性循环。

在本发明一实施例中，第三功能组件可以包括数据DNA组件、数据资产组件，步骤203可以包括如下子步骤：

所述数据资源平台通过所述数据DNA组件和所述数据资产组件，执行对所述标准化数据的数据资产管理操作，并对所述数据资源平台中数据资产进行可视化，以针对所述数据资源平台中数据资产进行调用。

在具体实现中，第三功能组件可以包括数据DNA组件、数据资产组件，可以通过数据DNA组件和数据资产组件，执行对标准化数据的数据资产管理操作，并可以对数据资源平台中数据资产进行可视化，以针对数据资源平台中数据资产进行调用。

例如，数据DNA组件可以为用户完成针对数据资源的整体沉淀，并可以进行自动化梳理，进而可以采用可视化方式体现数据资源平台价值，有助于用户对数据资源的规划和分析，从而通过多种可视化方式，可以对数据资产的总体情况进行评估和监控，保障了数据资产的可用性。

又如，数据资产组件可以提供业务可视化、高效快速、可共享开放的数据资产中心，可以让数据开发人员和应用开发人员能够快速、便捷地进行数据查找和使用，从而使得用户了解自己所属数据资产的资产信息和使用方式，并可以通过数据表、对象、API等多种方式实现数据资产的开放与共享。

步骤204，所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。

其中，第四功能组件可以为针对数据资源平台的数据分析的功能组件。

作为一示例，业务探索信息可以为针对指定行业的新的业务数据，该新的业务数据可以包括业务场景数据和业务对象数据。

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第四功能组件可以为针对数据资源平台的数据分析的功能组件，进而数据资源平台可以通过第四功能组件，基于数据资源平台中数据资产进行数据分析，并可以获取业务探索信息，该业务探索信息可以为针对指定行业的新的业务数据，以实现从业务视角更直观的探索数据，更高效地从数据中获取业务价值。

在本发明一实施例中，所述方法还可以包括如下步骤：

所述数据资源平台中所述数据上云组件获取预设的网关白名单；其中，所述网关白名单用于控制防火墙；所述数据资源平台中所述数据上云组件根据所述网关白名单，按照针对所述业务数据的数据接入方式，将所述业务数据上传至所述云平台中数据湖的指定存储区域。

作为一示例，网关白名单可以用于控制防火墙，该防火墙可以部署于互联网和云平台之间。

在实际应用中，可以通过获取预设的用于控制防火墙的网关白名单，然后可以根据网关白名单与数据获取端进行通信，以完成针对业务数据的上传操作，进而可以按照针对业务数据的数据接入方式，可以将业务数据上传至云平台中数据湖的指定存储区域。

在一示例中，可以根据业务数据的数据源类型，确定其对应的数据接入方式，以缩短不同类型的数据源的上传时间，进而可以按照该数据接入方式，将业务数据上传至云平台中数据湖的指定存储区域，以为区域应用门户提供数据支持。

例如，区域应用门户可以为城市应用门户，如交通门户、环保门户、医疗门户等。云平台中数据湖中可以具有多种数据储存库(如Redis数据库)，当区域应用门户需要调用与其服务相关的数据时，可以从数据湖中得到与其服务相关的原始业务数据，也可以得到数据处理后业务数据。

在本发明实施例中，数据资源平台通过第一功能组件获取云平台采集的业务数据，然后数据资源平台通过第二功能组件对业务数据进行标准化处理，以得到标准化数据，数据资源平台通过第三功能组件，执行对标准化数据的数据资产管理操作，以针对数据资源平台中数据资产进行调用，进而数据资源平台通过第四功能组件，基于数据资源平台中数据资产进行数据分析，并获取业务探索信息，实现了对数据资源平台的优化建设，通过数据资源平台中多个功能组件对业务数据进行数据处理，解决了数据管理领域中数据标准化和数据质量的问题，能够深化利用数据资源应用，为用户提供了标准化程度高、易用性强的数据平台。

参照图3，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，该方法可以应用于数据资源平台，数据资源平台可以部署于云平台，数据资源平台可以包括多个功能组件，具体可以包括如下步骤：

步骤301，所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第一功能组件可以为针对数据资源平台的数据获取的功能组件，进而数据资源平台可以通过第一功能组件获取云平台采集的业务数据，例如，可以通过从云平台或者其它平台中收集业务数据。

在本发明一实施例中，数据资源平台可以具有数据仓库区域，在所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据之前，所述方法还可以包括如下步骤：

所述数据资源平台对所述业务数据进行数据保护配置处理，并将所述业务数据归档至所述数据仓库区域。

在实际应用中，数据资源平台可以具有数据仓库区域，该数据仓库区域可以具有多个数据处理层，每一数据处理层可以包括多个项目区域，可以通过预设数据保护配置信息，该数据保护配置信息可以包括数据保护信息和传入项目区域信息，进而可以根据数据保护配置信息，确定数据传入的项目区域，以采用该项目区域进行数据处理，并可以将处理后数据归档至数据仓库区域，以进一步对数据进行加工、处理。

通过在平台处理中对敏感数据的数据保护，划分不同项目区域，以针对敏感数据采取有效的数据保护措施，避免了在平台内部处理过程中的数据泄漏，保证了数据流转的安全性。

步骤302，所述第二功能组件为智能数仓组件，所述数据资源平台中所述智能数仓组件采用标准化数据模型对所述业务数据进行标准化处理，得到标准化数据；

在具体实现中，第二功能组件可以为智能数仓组件，可以通过智能数仓组件采用标准化数据模型对所业务数据进行标准化处理，进而可以得到标准化数据，该标准化数据可以为针对业务语义具有一致性数据表达的数据，可以将标准化数据应用于平台中，以使数据能够有效融合。

例如，智能数仓组件可以针对数据上云的业务数据，通过确定其对应的业务领域的信息，然后可以根据该业务领域的信息，从多个预置的标准化数据模型中确定与其业务领域相关的标准化数据模型，该标准化数据模型可以包括多个子数据模型，如主题子模型、概念子模型、逻辑子模型，以及物理子模型，进而可以采用多个子数据模型，对业务数据进行标准化处理，得到标准化数据。

步骤303，所述数据资源平台中所述智能数仓组件对所述标准化数据进行质量检测，并根据质量检测结果对所述标准化数据进行修正；

在得到标准化数据后，可以对标准化数据进行质量检测，并可以根据质量检测结果对标准化数据进行修正。

在实际应用中，智能数仓组件可以在质量检测结果为质量存在问题时，对标准化数据进行修正，通过在数据治理阶段对标准化数据进行修正，进而可以将符合数据质量要求的标准化数据应用于平台中，以为统一数据平台提供数据支持。

例如，可以对标准化数据进行质量检测，在发生数据质量问题时，可以根据质量检测结果快速定位产生数据质量问题的根源位置，进而可以及时修正数据，以保障数据质量。

通过对平台数据的标准化管理，能够保证平台中数据的一致性和数据质量，提升了数据完整度、可用性，且达到了高质量的智能数仓服务端建设效果。

步骤304，所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第三功能组件可以为针对数据资源平台的数据资产管理的功能组件，进而数据资源平台可以通过第三功能组件，执行对标准化数据的数据资产管理操作，以针对数据资源平台中数据资产进行调用，数据资源平台中数据资产可以为针对数据资源平台中数据进行资产化管理，得到的多种类型数据资产，从而可以使所有数据资产在数据资产管理中进行沉淀，并能够采用自动化的方式快速完成对数据资产的编目、上线，促进了数据资产流入使用的良性循环。

步骤305，所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第四功能组件可以为针对数据资源平台的数据分析的功能组件，进而数据资源平台可以通过第四功能组件，基于数据资源平台中数据资产进行数据分析，并可以获取业务探索信息，该业务探索信息可以为针对指定行业的新的业务数据，以实现从业务视角更直观的探索数据，更高效地从数据中获取业务价值。

参照图4，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，该方法可以应用于数据资源平台，数据资源平台可以部署于云平台，数据资源平台可以包括多个功能组件，具体可以包括如下步骤：

步骤401，所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第一功能组件可以为针对数据资源平台的数据获取的功能组件，进而数据资源平台可以通过第一功能组件获取云平台采集的业务数据，例如，可以通过从云平台或者其它平台中收集业务数据。

步骤402，所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第二功能组件可以为针对数据资源平台的数据标准化处理的功能组件，进而数据资源平台可以通过第二功能组件对业务数据进行标准化处理，以得到标准化数据，该标准化数据可以为针对业务语义具有一致性数据表达的数据，可以将标准化数据应用于平台中，以使数据能够有效融合。

步骤403，所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

在数据资源平台进行数据处理的过程中，该数据资源平台可以包括多个功能组件，数据资源平台中第三功能组件可以为针对数据资源平台的数据资产管理的功能组件，进而数据资源平台可以通过第三功能组件，执行对标准化数据的数据资产管理操作，以针对数据资源平台中数据资产进行调用，数据资源平台中数据资产可以为针对数据资源平台中数据进行资产化管理，得到的多种类型数据资产，从而可以使所有数据资产在数据资产管理中进行沉淀，并能够采用自动化的方式快速完成对数据资产的编目、上线，促进了数据资产流入使用的良性循环。

步骤404，所述第四功能组件包括智能标签组件、数据探索组件，所述数据资源平台中所述智能标签组件采用数据标签模型，基于所述数据资源平台中数据资产进行标签化处理；

在具体实现中，第四功能组件可以为智能标签组件、数据探索组件，通过智能标签组件可以采用数据标签模型，基于数据资源平台中数据资产进行标签化处理。

例如，可以通过获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息，该数据标签模型可以用于将物理表与业务实体进行映射，该业务算子信息可以用于编排业务分析模型，然后可以采用数据标签模型，对目标物理表进行标签化处理。

在一示例中，针对智能标签组件，可以根据具体的业务应用场景，设计出数据标签模型，然后可以根据业务应用需求和数据标签模型预置针对数据标签的映射逻辑，进而可以采用数据标签模型管理数据标签的共享和使用权限，以保证数据标签的数据质量。

步骤405，所述数据资源平台中所述数据探索组件根据标签化处理后数据和业务算子信息，生成业务分析模型；

在具体实现中，数据探索组件可以根据标签化处理后数据和业务算子信息，生成业务分析模型。

例如，可以根据标签化的目标物理表和业务算子信息进行模型编排，生成业务分析模型，该业务分析模型可以为针对指定行业的具有预设业务分析规则的模型。

步骤406，所述数据资源平台中所述数据探索组件采用所述业务分析模型进行数据分析，并获取业务探索信息。

在具体实现中，可以通过数据探索组件采用业务分析模型进行数据分析，并可以获取业务探索信息，例如，可以采用业务分析模型进行数据分析，得到针对指定行业的新的业务数据，该业务数据包括业务场景数据和业务对象数据，以实现从业务视角更直观的探索数据，更高效地从数据中获取业务价值。

在一示例中，针对数据探索组件，可以依据已知的业务场景抽象出对应的业务算子，然后可以根据数据模型、标签模型、业务逻辑，开发可执行的业务算子，以进一步对业务数据进行探查分析，并可以通过业务算子编排业务流程，从而能够通过自主式分析的方式对数据进行挖掘，以发现新的业务场景、值得关注的业务对象，达成业务目标。

通过针对大数据信息的有效整合，将数据表实体化，能够让应用开发者直观了解所需获取的业务数据，且采用业务分析模型对数据进行分析探查，使得数据更标准、更智能。

以下结合图5对本发明实施例进行示例性说明：

通过数据资源平台进行数据处理的过程，可以分为“汇聚”、“治理”、“共享”、“分析”四个主要阶段：

1、汇聚阶段，可以通过数据上云组件收集来源元数据，然后可以批量实时进行数据汇聚，并可以监控任务执行情况，从而针对复杂网络环境下实时/离线数据进行同步；

2、治理阶段，可以通过智能数仓组件制定数据标准，然后可以设计数据模型，进而可以编写加工逻辑流程，以管控数据质量，从而能够实现数据标准管理，模型管理和构建，以及数据质量控制；

3、共享阶段，可以通过数据DNA组件、数据资产组件以及数据共享组件，针对数据资产进行上线、管理、使用、运营，从而可以对数据资产进行统计分析和可视化展现，以及数据共享与服务；

4、分析阶段，可以通过智能标签组件设计、加工、管理标签模型，并可以通过数据探索组件设计业务算子，进而可以进行自主式数据挖掘，以沉淀业务知识，从而能够针对业务语义的标签模型进行管理和构建，并可以针对业务场景实现自主式数据挖掘。

数据资源平台能够实现标准数据模型管理、应用数据模型管理、数据质量管理、智能标签系统、业务算法模型管理及应用、全局运行维护等主要功能，为用户提供标准化程度高、易用性强的一站式数据管理平台，解决了数据管理领域中的数据标准化和数据质量等问题；并可以采用拖拽等交互方式，简化复杂业务逻辑和业务功能的实现，提高了数据平台的易用性；且通过设计高质量的标准化数据模型，减少了重复开发工作，能够全面了解数据质量、数据使用情况和系统运行情况，并可以从业务视角更直观的探索数据，更高效地从数据中获取业务价值。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明一实施例提供的一种数据处理的装置的结构示意图，该装置可以应用于数据资源平台，数据资源平台可以部署于云平台，数据资源平台可以包括多个功能组件，具体可以包括如下模块：

第一功能组件模块601，用于所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

第二功能组件模块602，用于所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；

第三功能组件模块603，用于所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

第四功能组件模块604，用于所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。

在本发明一实施例中，所述第一功能组件为数据上云组件，所述第一功能组件模块601包括：

数据上云组件子模块，用于所述数据资源平台中所述数据上云组件将所述云平台采集的业务数据存储于多个服务节点，以供所述数据资源平台调用。

在本发明一实施例中，所述第二功能组件为智能数仓组件，所述第二功能组件模块602包括：

标准化数据得到子模块，用于所述数据资源平台中所述智能数仓组件采用标准化数据模型对所述业务数据进行标准化处理，得到标准化数据；

修正子模块，用于所述数据资源平台中所述智能数仓组件对所述标准化数据进行质量检测，并根据质量检测结果对所述标准化数据进行修正。

在本发明一实施例中，所述第三功能组件包括数据DNA组件、数据资产组件，所述第三功能组件模块603包括：

数据资产管理子模块，用于所述数据资源平台通过所述数据DNA组件和所述数据资产组件，执行对所述标准化数据的数据资产管理操作，并对所述数据资源平台中数据资产进行可视化，以针对所述数据资源平台中数据资产进行调用。

在本发明一实施例中，所述第四功能组件包括智能标签组件、数据探索组件，所述第四功能组件模块604包括：

标签化处理子模块，用于所述数据资源平台中所述智能标签组件采用数据标签模型，基于所述数据资源平台中数据资产进行标签化处理；

业务分析模型生成子模块，用于所述数据资源平台中所述数据探索组件根据标签化处理后数据和业务算子信息，生成业务分析模型；

业务探索信息获取子模块，用于所述数据资源平台中所述数据探索组件采用所述业务分析模型进行数据分析，并获取业务探索信息。

在本发明一实施例中，所述装置还包括：

网关白名单获取模块，用于所述数据资源平台中所述数据上云组件获取预设的网关白名单；其中，所述网关白名单用于控制防火墙；

业务数据上传模块，用于所述数据资源平台中所述数据上云组件根据所述网关白名单，按照针对所述业务数据的数据接入方式，将所述业务数据上传至所述云平台中数据湖的指定存储区域。

在本发明一实施例中，所述数据资源平台具有数据仓库区域，所述装置还包括：

数据保护配置处理模块，用于所述数据资源平台对所述业务数据进行数据保护配置处理，并将所述业务数据归档至所述数据仓库区域。

在本发明实施例中，数据资源平台通过第一功能组件获取云平台采集的业务数据，然后数据资源平台通过第二功能组件对业务数据进行标准化处理，以得到标准化数据，数据资源平台通过第三功能组件，执行对标准化数据的数据资产管理操作，以针对数据资源平台中数据资产进行调用，进而数据资源平台通过第四功能组件，基于数据资源平台中数据资产进行数据分析，并获取业务探索信息，实现了对数据资源平台的优化建设，通过数据资源平台中多个功能组件对业务数据进行数据处理，解决了数据管理领域中数据标准化和数据质量的问题，能够深化利用数据资源应用，为用户提供了标准化程度高、易用性强的数据平台。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种数据处理的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理的方法，其特征在于，应用于数据资源平台，所述数据资源平台部署于云平台，所述数据资源平台包括多个功能组件，所述方法包括：

所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；

所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。

2.根据权利要求1所述的方法，其特征在于，所述第一功能组件为数据上云组件，所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据，包括：

所述数据资源平台中所述数据上云组件将所述云平台采集的业务数据存储于多个服务节点，以供所述数据资源平台调用。

3.根据权利要求1所述的方法，其特征在于，所述第二功能组件为智能数仓组件，所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据，包括：

所述数据资源平台中所述智能数仓组件采用标准化数据模型对所述业务数据进行标准化处理，得到标准化数据；

所述数据资源平台中所述智能数仓组件对所述标准化数据进行质量检测，并根据质量检测结果对所述标准化数据进行修正。

4.根据权利要求1所述的方法，其特征在于，所述第三功能组件包括数据DNA组件、数据资产组件，所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用，包括：

所述数据资源平台通过所述数据DNA组件和所述数据资产组件，执行对所述标准化数据的数据资产管理操作，并对所述数据资源平台中数据资产进行可视化，以针对所述数据资源平台中数据资产进行调用。

5.根据权利要求1或2或3或4所述的方法，其特征在于，所述第四功能组件包括智能标签组件、数据探索组件，所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息，包括：

所述数据资源平台中所述智能标签组件采用数据标签模型，基于所述数据资源平台中数据资产进行标签化处理；

所述数据资源平台中所述数据探索组件根据标签化处理后数据和业务算子信息，生成业务分析模型；

所述数据资源平台中所述数据探索组件采用所述业务分析模型进行数据分析，并获取业务探索信息。

6.根据权利要求2所述的方法，其特征在于，还包括：

所述数据资源平台中所述数据上云组件获取预设的网关白名单；其中，所述网关白名单用于控制防火墙；

所述数据资源平台中所述数据上云组件根据所述网关白名单，按照针对所述业务数据的数据接入方式，将所述业务数据上传至所述云平台中数据湖的指定存储区域。

7.根据权利要求1所述的方法，其特征在于，所述数据资源平台具有数据仓库区域，在所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据之前，还包括：

所述数据资源平台对所述业务数据进行数据保护配置处理，并将所述业务数据归档至所述数据仓库区域。

8.一种数据处理的装置，其特征在于，应用于数据资源平台，所述数据资源平台部署于云平台，所述数据资源平台包括多个功能组件，所述装置包括：

第一功能组件模块，用于所述数据资源平台通过第一功能组件获取所述云平台采集的业务数据；

第二功能组件模块，用于所述数据资源平台通过第二功能组件对所述业务数据进行标准化处理，以得到标准化数据；

第三功能组件模块，用于所述数据资源平台通过第三功能组件，执行对所述标准化数据的数据资产管理操作，以针对所述数据资源平台中数据资产进行调用；

第四功能组件模块，用于所述数据资源平台通过第四功能组件，基于所述数据资源平台中数据资产进行数据分析，并获取业务探索信息。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。

Images