CN112328585A - 一种数据处理的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种数据处理的方法和装置，所述方法包括：获取上云的原始数据；确定原始数据对应的数据属性信息；根据数据属性信息，从多个数据模型中确定目标数据模型；其中，目标数据模型包括多个目标子数据模型；采用多个目标子数据模型，对原始数据进行标准化处理，得到标准化数据；对标准化数据进行质量检测，得到质量检测结果；在质量检测结果为非预设结果时，对标准化数据进行修正；将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持。通过本发明实施例，实现了对平台数据的标准化管理，能够保证平台中数据的一致性和数据质量，提升了数据完整度、可用性，且达到了高质量的智能数仓服务端建设效果。

Description

一种数据处理的方法和装置

技术领域

本发明涉及数据处理领域，特别是涉及一种数据处理的方法和装置。

背景技术

随着计算机、网络和通信等技术的发展，为了更智能的为城市提供智能服务，同步建设了大量的应用服务，无论从数据的广度和深度，还是从应用服务的全面性与精准性，针对“多模型、多应用”的模式提供应用服务建设是为城市提供智能服务的发展方向。

在智慧城市建设中，大数据发挥着重要作用，由于各应用服务数据标准不统一，存在“数据壁垒”问题，无法保证数据质量，导致了数据共享难，影响数据融合处理。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置，包括：

一种数据处理的方法，应用于统一数据平台，所述统一数据平台包括数据资源平台和数据共享平台，所述数据资源平台包括智能数仓服务端，所述智能数仓服务端设置有多个数据模型，所述方法包括：

获取上云的原始数据；

确定所述原始数据对应的数据属性信息；

根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

对所述标准化数据进行质量检测，得到质量检测结果；

在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

可选地，所述多个目标子数据模型包括主题子模型、概念子模型、逻辑子模型和物理子模型，所述采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据，包括：

采用所述主题子模型、所述概念子模型和所述逻辑子模型，对所述原始数据进行分层、分域处理；

以及，采用所述物理子模型对所述原始数据进行实例化处理，得到标准化数据。

可选地，还包括：

采用数据标准信息和数据模型，生成处理流程信息；

在所述采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据之前，还包括：

确定针对所述目标数据模型的目标处理流程信息；其中，所述目标处理流程信息用于对所述原始数据进行标准化处理。

可选地，所述数据属性信息包括范围属性信息，每一范围属性信息对应一数据模型，所述数据模型采用如下方式生成：

确定针对范围属性信息的场景数据信息：其中，所述场景数据信息包括关键对象信息和关键属性信息；

确定所述关键对象信息和所述关键属性信息对应的数据表达信息；

根据所述关键对象信息、所述关键属性信息，以及所述数据表达信息，生成数据标准信息；

采用所述数据标准信息，生成所述范围属性信息对应的数据模型。

可选地，所述确定所述关键对象信息和所述关键属性信息对应的数据表达信息，包括：

获取参考数据信息；其中，所述参考数据信息为针对所述智能数仓服务端预设的用于统一数据标准的信息；

结合所述关键对象信息、所述关键属性信息，以及所述参考数据信息，得到数据表达信息。

可选地，在所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型之前，还包括：

获取数据元；其中，所述数据元用于生成所述数据模型；

建立所述数据元与所述数据标准信息的关联关系。

所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型，包括：

确定所述数据标准信息对应的目标数据元；

采用所述目标数据元，构建所述范围属性信息对应的数据模型。

可选地，还包括：

针对每一数据模型，依据数据标准信息，确定质量检测配置信息；

所述对所述标准化数据进行质量检测，得到质量检测结果，包括：

采用所述质量检测配置信息，对所述标准化数据进行质量检测，得到质量检测结果。

一种数据处理的装置，应用于统一数据平台，所述统一数据平台包括数据资源平台和数据共享平台，所述数据资源平台包括智能数仓服务端，所述智能数仓服务端设置有多个数据模型，所述装置包括：

原始数据获取模块，用于获取上云的原始数据；

数据属性信息确定模块，用于确定所述原始数据对应的数据属性信息；

目标数据模型确定模块，用于根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

标准化数据得到模块，用于采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

质量检测结果得到模块，用于对所述标准化数据进行质量检测，得到质量检测结果；

修正模块，用于在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

数据支持模块，用于将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理的方法。

本发明实施例具有以下优点：

在本发明实施例中，通过获取上云的原始数据，确定原始数据对应的数据属性信息，然后根据数据属性信息，从多个数据模型中确定目标数据模型，目标数据模型包括多个目标子数据模型，采用多个目标子数据模型，对原始数据进行标准化处理，得到标准化数据，进而对标准化数据进行质量检测，得到质量检测结果，在质量检测结果为非预设结果时，对标准化数据进行修正，将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持，实现了对平台数据的标准化管理，通过采用数据模型中多个子数据模型对原始数据进行标准化处理，并对标准化数据进行质量检测以修正，能够保证平台中数据的一致性和数据质量，提升了数据完整度、可用性，且达到了高质量的智能数仓服务端建设效果。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种云平台整体架构的示意图；

图2是本发明一实施例提供的一种数据处理的方法的步骤流程图；

图3a是本发明一实施例提供的一种智能数仓服务端网络架构的示意图；

图3b是本发明一实施例提供的一种智能数仓服务端部署架构的示意图；

图4是本发明一实施例提供的另一种数据处理的方法的步骤流程图；

图5是本发明一实施例提供的一种智能数仓服务端功能架构的示意图；

图6是本发明一实施例提供的另一种数据处理的方法的步骤流程图；

图7是本发明一实施例提供的一种数据治理流程的示意图；

图8是本发明一实施例提供的一种数据处理的装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在智慧城市建设中，通过引入云计算，大数据，物联网，移动互联等先进技术，搭建标准统一、入口统一、采集统一、管理统一、服务统一、数据统一的跨域多维大数据公共服务云平台，从而实现跨部门、跨领域和跨地域的数据融通能力，并达到域内数据集中、域外数据共享交换、域边界依规则柔性扩展，以形成数字经济的生态循环，推动了城市管理、社会民生、资源环境、经济产业各领域的数据共享，提升了行政效率、城市治理能力、居民生活品质，促进了行业融合发展，推动了产业转型升级、创新商业模式。

通过跨域多维大数据云平台的建设，能够打破数据壁垒，实现数据集中，破解了大数据发展难题。基于云平台建设，将进一步针对云平台进行数据中台、数据共享服务体系建设。

针对数据中台(即统一数据平台)建设，通过引入数据资源平台、数据共享平台等，并配套对应的数据规范，进而可以建设一个打通各级业务协同机构、视频区域，以及各层级的业务系统、各领域的智慧应用，也可以形成一个提供开放、互联、共享的数据共享平台，且同时能够具备数据上云、数据治理、数据探索、全链路监控等统一数据管理体系。

如图1所示，云平台中部署有区域应用门户、开放服务网关、统一数据平台、区域物联传感系统以及其它结构，其中，开放服务网关包括融合业务共享中心、融合数据创新中心，以下对云平台的各个部分进行具体说明：

(一)区域应用门户

在区域应用门户中，主要分为交通、环保、旅游、工商、医疗、教育、区域经济大脑、就业、跨域鉴权等板块，用户可以通过区域应用门户进入各板块，并可以获取经处理后的数据所组成的各板块对应的资讯信息。

(二)融合业务共享中心与融合数据创新中心

融合业务共享中心可以按业务分类将各区域数据进行融合后创建不同的数据共享中心，例如：个人信息中心、信用信息中心、法人信息中心、金融服务中心、旅游服务中心、综合治理服务中心、时空服务中心、物联网服务中心等。

融合数据创新中心通过数据融合体系和AI算法体系可以实现对融合数据的创新应用。融合业务共享中心与融合数据创新中心可以将数据进行融合处理后，通过区域应用门户向用户呈现处理后的数据。

(三)统一数据平台

统一数据平台可以包括数据资源平台和数据共享平台，其中，数据资源平台可以包括多个组件，例如，数据上云、智能数仓、智能标签、数据探索、AIMaster、数据DNA、全景监控、数据资产，进而能够为上层的行业应用和业务场景提供服务，解决了数据管理领域中的数据标准化和数据质量等问题，且采用拖拽等交互方式，简化了业务逻辑和业务功能的实现，提高了数据平台的易用性。

(四)区域物联传感系统

区域物联传感系统由压力、湿度、摄像头、光源、红外传感、温度等相关传感设备及设备数据构成。

(五)其它结构

此外，还可以通过超算集群、区域云计算平台、OpenStack FIWare集群(一个开源的云计算管理平台项目，是一系列软件开源项目的组合)，对数据进行处理。

参照图2，示出了本发明一实施例提供的一种数据处理的方法的步骤流程图，该方法可以应用于统一数据平台，统一数据平台可以包括数据资源平台和数据共享平台，数据资源平台可以包括智能数仓服务端，智能数仓服务端可以设置有多个数据模型，具体可以包括如下步骤：

步骤201，获取上云的原始数据；

其中，原始数据可以为从多个数据源采集的业务数据，例如，可以通过区域应用门户采集多个板块的用户业务数据，以将用户业务数据上云传输至数据资源平台进行后续处理。

在数据标准化处理的过程中，可以通过数据资源平台获取上云的原始数据，以进一步采用智能数仓服务端针对原始数据进行标准化处理，该智能数仓服务端可以设置有多个数据模型，可以用于数据标准化处理。

例如，通过数据资源平台可以从多个数据源获取上云的原始数据，多个数据源可以为大数据产品，其可以包括开放数据处理服务、分析型数据库、关系型数据库服务等，可以采用数据资源平台中数据上云服务端进行数据获取。

在一示例中，智能数仓服务端的网络架构可以如图3a所示，智能数仓服务端的前端和后端均可以部署于VPC(VirtualPrivate Cloud，虚拟私有云)区域中的ECS(ElasticCompute Service，云服务器)上，该VPC区域可以位于专有云(云平台)数据资源平台中。

智能数仓服务端可以与云平台管控区中的计算引擎，以及云平台业务应用VPC中的业务应用，通过网关白名单配置方式进行数据交互，且在连接云平台管控区中的计算引擎，以及云平台业务应用、数据资源平台VPC中的其它应用时，可以采用AK(Access Key，访问密钥)的认证，以确保受信的服务端进行调用。

在又一示例中，智能数仓服务端的部署架构可以如图3b所示，智能数仓服务端可以在虚拟机(ECS)上部署后端应用，可以通过负载均衡(SLB2)与部署在虚拟机(ECS)上的前端应用进行通信，并可以通过数据资源平台VPC外的负载均衡(SLB2)与外部应用或用户的客户端进行通信。

为了保证服务具备高可用性，智能数仓服务端的多个前、后端应用均可以采用双实例备份的模式进行部署，智能数仓服务端可以部署于专有云环境公共区域内数据资源平台的VPC中。

步骤202，确定所述原始数据对应的数据属性信息；

作为一示例，数据属性信息可以为针对原始数据的数据来源的属性信息，例如，数据属性信息可以表征出原始数据对应的业务领域的信息。

在获取原始数据后，可以针对原始数据，确定其对应的数据属性信息，以根据数据属性信息对原始数据进行后续处理，例如，可以针对获取的原始数据，确定其对应的业务领域的信息，以调用与该业务领域相关的数据模型对原始数据进行后续处理。

步骤203，根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

作为一示例，目标数据模型可以为针对原始数据的业务领域相关的数据模型，例如，可以针对区域应用门户中多个板块，预设与板块相关的业务领域的数据模型，以在数据上云后采用对应的数据模型进行数据处理。

在确定数据属性信息后，可以根据数据属性信息，从多个数据模型中确定针对原始数据的业务领域相关的目标数据模型，以采用该目标数据模型对原始数据进行后续处理，目标数据模型可以包括多个目标子数据模型。

步骤204，采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

作为一示例，标准化数据可以为针对业务语义具有一致性数据表达的数据，例如，具备数据一致性的标准化数据可以应用于平台中，以使数据能够有效融合。

在确定目标数据模型后，可以采用目标数据模型中多个目标子数据模型，对原始数据进行标准化处理，进而可以得到标准化数据，以应用于平台中实现数据的有效融合。

步骤205，对所述标准化数据进行质量检测，得到质量检测结果；

其中，质量检测结果可以表征出标准化数据的数据质量，例如，数据质量监控人员可以根据质量检测结果对标准化数据的数据质量进行判断，以实现数据质量保障。

在得到标准化数据后，可以对标准化数据进行质量检测，进而可以得到质量检测结果，以根据质量检测结果对标准化数据进行数据质量保障。

在一示例中，可以将对标准化数据进行质量检测得到的质量检测结果，提供给数据质量监控人员，以对标准化数据的数据质量进行判断，并可以采取相关措施保障数据质量。

步骤206，在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

作为一示例，预设结果可以为针对标准化数据进行质量检测，得到数据质量无问题的检测结果。

在具体实现中，可以在质量检测结果为非预设结果时，即针对标准化数据进行质量检测，得到数据质量存在问题的检测结果时，对标准化数据进行修正。

例如，通过对标准化数据进行质量检测，在发生数据质量问题时，数据质量监控人员可以根据质量检测结果快速定位产生数据质量问题的根源位置，进而可以及时修正数据，以保障数据质量。

步骤207，将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

在对标准化数据进行修正后，可以将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持，例如，通过数据治理阶段，可以将符合数据质量要求的标准化数据通过数据共享平台进行数据共享，进而可以为统一数据平台进一步的数据应用提供数据支持。

在本发明实施例中，通过获取上云的原始数据，确定原始数据对应的数据属性信息，然后根据数据属性信息，从多个数据模型中确定目标数据模型，目标数据模型包括多个目标子数据模型，采用多个目标子数据模型，对原始数据进行标准化处理，得到标准化数据，进而对标准化数据进行质量检测，得到质量检测结果，在质量检测结果为非预设结果时，对标准化数据进行修正，将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持，实现了对平台数据的标准化管理，通过采用数据模型中多个子数据模型对原始数据进行标准化处理，并对标准化数据进行质量检测以修正，能够保证平台中数据的一致性和数据质量，提升了数据完整度、可用性，且达到了高质量的智能数仓服务端建设效果。

参照图4，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，该方法可以应用于统一数据平台，统一数据平台可以包括数据资源平台和数据共享平台，数据资源平台可以包括智能数仓服务端，智能数仓服务端可以设置有多个数据模型，具体可以包括如下步骤：

步骤401，获取上云的原始数据；

在数据标准化处理的过程中，可以通过数据资源平台获取上云的原始数据，以进一步采用智能数仓服务端针对原始数据进行标准化处理，该智能数仓服务端可以设置有多个数据模型，可以用于数据标准化处理。

步骤402，确定所述原始数据对应的数据属性信息；

在获取原始数据后，可以针对原始数据，确定其对应的数据属性信息，以根据数据属性信息对原始数据进行后续处理，例如，可以针对获取的原始数据，确定其对应的业务领域的信息，以调用与该业务领域相关的数据模型对原始数据进行后续处理。

步骤403，根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

在确定数据属性信息后，可以根据数据属性信息，从多个数据模型中确定针对原始数据的业务领域相关的目标数据模型，以采用该目标数据模型对原始数据进行后续处理，目标数据模型可以包括多个目标子数据模型。

步骤404，确定针对所述目标数据模型的目标处理流程信息；其中，所述目标处理流程信息用于对所述原始数据进行标准化处理；

作为一示例，目标处理流程信息可以为针对原始数据的数据处理流程，例如，在对原始数据进行标准化处理的过程中，可以根据预设的数据处理流程对原始数据进行数据处理。

在具体实现中，可以针对目标数据模型获取预设的目标处理流程信息，该目标处理流程信息可以用于对原始数据进行标准化处理，以进一步在对原始数据的标准化处理过程中，结合数据处理流程进行数据处理。

步骤405，采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

在本发明一实施例中，所述多个目标子数据模型包括主题子模型、概念子模型、逻辑子模型和物理子模型，步骤405可以包括如下子步骤：

采用所述主题子模型、所述概念子模型和所述逻辑子模型，对所述原始数据进行分层、分域处理；以及，采用所述物理子模型对所述原始数据进行实例化处理，得到标准化数据；

在实际应用中，多个目标子数据模型可以包括主题子模型、概念子模型、逻辑子模型和物理子模型，可以采用主题子模型、概念子模型和逻辑子模型，对原始数据进行分层、分域处理，以及，可以采用物理子模型对原始数据进行实例化处理，进而可以得到标准化数据，以应用于平台中实现数据的有效融合。

在一示例中，数据开发人员可以针对平台采集的数据，根据数据来源对应的业务领域的信息和采集数据的特征信息，预设主题模型、概念模型、逻辑模型，进而可以在后续的数据处理和使用数据时，结合数据处理的具体需求，对数据进行分层(如STG临时层、ODS临时存储层、DWD细节数据层、DWS服务数据层等)、分域(如人员、地点、事件等)处理，并可以通过物理模型完成对数据的实例化处理。

通过基于业务需求和业务领域的数据特点，采用分层建模的方式，可以针对数据进行分层、分域处理，并可以结合数据处理流程，根据数据标准得到用于标准化数据处理的各业务领域数据模型，从而能够保证数据充分融合，提升了数据信息的完整性、一致性和可用性。

步骤406，对所述标准化数据进行质量检测，得到质量检测结果；

在得到标准化数据后，可以对标准化数据进行质量检测，进而可以得到质量检测结果，以根据质量检测结果对标准化数据进行数据质量保障。

步骤407，在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

在具体实现中，可以在质量检测结果为非预设结果时，即针对标准化数据进行质量检测，得到数据质量存在问题的检测结果时，对标准化数据进行修正。

步骤408，将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

在对标准化数据进行修正后，可以将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持，例如，通过数据治理阶段，可以将符合数据质量要求的标准化数据通过数据共享平台进行数据共享，进而可以为统一数据平台进一步的数据应用提供数据支持。

在本发明一实施例中，所述数据属性信息包括范围属性信息，每一范围属性信息对应一数据模型，所述数据模型采用如下方式生成：

确定针对范围属性信息的场景数据信息：其中，所述场景数据信息包括关键对象信息和关键属性信息；确定所述关键对象信息和所述关键属性信息对应的数据表达信息；根据所述关键对象信息、所述关键属性信息，以及所述数据表达信息，生成数据标准信息；采用所述数据标准信息，生成所述范围属性信息对应的数据模型。

其中，数据属性信息可以包括范围属性信息，每一范围属性信息可以对应一数据模型，例如，可以针对各业务领域预设对应的数据模型，以在标准化数据处理过程中，可以采用原始数据所属的业务领域对应的数据模型进行数据处理。

作为一示例，场景数据信息可以为从业务场景中得到的重要概念，例如，通过分析业务场景，可以抽象出针对该业务场景的关键业务对象、业务对象属性。

在实际应用中，可以通过抽象业务场景中的重要概念(如身份证号码、手机号码、办理时间、学历学位等)得到场景数据信息，并可以为场景数据信息预设对应的标准数据表达方式，得到数据表达信息，进而可以结合关键对象信息、关键属性信息，以及数据表达信息，生成数据标准信息，并可以采用数据标准信息，生成业务领域对应的数据模型，以在标准化数据处理过程中，可以采用原始数据所属的业务领域对应的数据模型进行数据处理。

具体的，针对数据标准信息，可以通过预设检测规则(如可执行代码)，该检测规则可以用于对关键对象信息和关键属性信息对应的数据表达信息进行检测，可以判断针对业务场景中重要概念的数据表达是否符合要求，进而可以基于业务场景中重要概念、数据表达和检查规则，得到用于标准化数据处理的数据标准。

在本发明一实施例中，所述确定所述关键对象信息和所述关键属性信息对应的数据表达信息，包括：

获取参考数据信息；其中，所述参考数据信息为针对所述智能数仓服务端预设的用于统一数据标准的信息；结合所述关键对象信息、所述关键属性信息，以及所述参考数据信息，得到数据表达信息。

在实际应用中，可以通过获取参考数据信息，该参考数据信息可以为针对智能数仓服务端预设的用于统一数据标准的信息，进而可以结合关键对象信息、关键属性信息，以及参考数据信息，得到数据表达信息。

例如，针对关键对象信息和关键属性信息，可以通过预设数据表达方式和业务语义，并可以结合规范的标准参考数据得到数据表达信息，进而可以通过制定、管理平台遵循的统一标准参考数据，以保证数据治理后的数据质量，以及数据一致性。

在一示例中，可以针对数据模型进行管理，可以根据数据标准信息，创建并维护模型层级架构，以及可以针对逻辑模型、物理模型等，维护模型间的对应关系。

在本发明一实施例中，在所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型之前，还包括：

获取数据元；其中，所述数据元用于生成所述数据模型；建立所述数据元与所述数据标准信息的关联关系。

在生成数据模型之前，可以通过获取数据元，并可以建立数据元与数据标准信息的关联关系，该数据元可以用于生成数据模型。

例如，可以针对数据元进行管理，可以分类目维护生成数据模型时使用的数据元，可以通过数据元对参考数据、质量规则进行引用，进而可以生成数据模型。

所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型，包括：

确定所述数据标准信息对应的目标数据元；采用所述目标数据元，构建所述范围属性信息对应的数据模型。

在生成数据模型过程中，可以通过获取数据标准信息对应的目标数据元，进而可以采用目标数据元，构建相关业务领域对应的数据模型，

在本发明一实施例中，所述方法还可以包括如下步骤：

采用数据标准信息和数据模型，生成处理流程信息。

例如，可以根据数据所属业务领域的信息、数据标准信息和数据模型，通过预设数据处理的逻辑代码，进而可以得到编排的数据处理流程，以在对原始数据的标准化处理过程中，可以结合数据处理流程进行数据处理。

在一示例中，可以在各业务领域的数据进行标准化处理过程中，通过使用相关的智能算法，从而可以提高数据处理的智能化程度。

在又一示例中，可以通过固化数据的处理逻辑和处理过程，可以采用预置算子并可以配置算子的相关参数，进而可以通过智能化的数据处理方式，大幅降低人工参与程度，提高了数据治理阶段的数据清洗策略的准确性，保证了数据按照数据标准的规则以正确处理。

以下结合图5对本发明实施例中智能数仓服务端的功能架构进行示例性说明：

智能数仓服务端的功能架构可以包括数据标准、数据模型、智能ETL(Extract-Transform-Load，数据仓库)等功能模块，其中，数据标准模块可以进行数据字典管理、数据元管理、数据字典物理化、数据标准导入导出；数据模型模块可以进行层级结构管理、模型管理、模型导入导出、模型扫描、模型物理化，并可以记录代码版本、关联数据元，以及可以自动生成DDL(Data Definition Language，数据库模式定义语言)；智能ETL模块可以进行解析代码片段管理、字典映射管理，并可以配置ETL规则，以及可以快速生成ETL代码。

参照图6，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，该方法可以应用于统一数据平台，统一数据平台可以包括数据资源平台和数据共享平台，数据资源平台可以包括智能数仓服务端，智能数仓服务端可以设置有多个数据模型，具体可以包括如下步骤：

步骤601，获取上云的原始数据；

在数据标准化处理的过程中，可以通过数据资源平台获取上云的原始数据，以进一步采用智能数仓服务端针对原始数据进行标准化处理，该智能数仓服务端可以设置有多个数据模型，可以用于数据标准化处理。

步骤602，确定所述原始数据对应的数据属性信息；

在获取原始数据后，可以针对原始数据，确定其对应的数据属性信息，以根据数据属性信息对原始数据进行后续处理，例如，可以针对获取的原始数据，确定其对应的业务领域的信息，以调用与该业务领域相关的数据模型对原始数据进行后续处理。

步骤603，根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

在确定数据属性信息后，可以根据数据属性信息，从多个数据模型中确定针对原始数据的业务领域相关的目标数据模型，以采用该目标数据模型对原始数据进行后续处理，目标数据模型可以包括多个目标子数据模型。

步骤604，采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

在确定目标数据模型后，可以采用目标数据模型中多个目标子数据模型，对原始数据进行标准化处理，进而可以得到标准化数据，以应用于平台中实现数据的有效融合。

在本发明一实施例中，所述方法还可以包括如下步骤：

针对每一数据模型，依据数据标准信息，确定质量检测配置信息。

作为一示例，质量检测配置信息可以用于监控数据模型处理后的数据质量。

在实际应用中，可以针对每一数据模型，依据数据标准信息，确定质量检测配置信息，例如，可以针对各业务领域，依据数据标准、业务领域对应的数据模型，配置针对数据质量规则的质量检测配置信息，进而可以采用质量检测配置信息监控数据质量。

步骤605，采用所述质量检测配置信息，对所述标准化数据进行质量检测，得到质量检测结果；

在得到标准化数据后，可以采用质量检测配置信息对标准化数据进行质量检测，进而可以得到质量检测结果，以根据质量检测结果对标准化数据进行数据质量保障。

步骤606，在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

在具体实现中，可以在质量检测结果为非预设结果时，即针对标准化数据进行质量检测，得到数据质量存在问题的检测结果时，对标准化数据进行修正。

例如，可以通过形成“数据质量需求-数据质量保障-数据质量检查-数据质量提升”的数据质量PDCA控制闭环，以保障标准化数据的数据质量。

步骤607，将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

在对标准化数据进行修正后，可以将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持，例如，通过数据治理阶段，可以将符合数据质量要求的标准化数据通过数据共享平台进行数据共享，进而可以为统一数据平台进一步的数据应用提供数据支持。

在一示例中，如图7所示，在数据集成后，通过在数据治理阶段针对统一数据标准管理，可以保证业务语义的数据表达一致性，并可以将数据标准用于后续数据处理和数据服务的全过程；可以通过针对统一数据模型管理，预设统一的平台级数据模型；可以通过沉淀并复用标准化数据处理算子，以快速生成数据处理逻辑，提高了数据处理策略的准确性和开发效率，从而保证了数据开发过程中数据质量，以及数据高效、便捷运用，并可以为统一数据平台进一步的数据应用提供数据支持。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图8，示出了本发明一实施例提供的一种数据处理的装置的结构示意图，该装置可以应用于统一数据平台，统一数据平台可以包括数据资源平台和数据共享平台，数据资源平台可以包括智能数仓服务端，智能数仓服务端可以设置有多个数据模型，具体可以包括如下模块：

原始数据获取模块801，用于获取上云的原始数据；

数据属性信息确定模块802，用于确定所述原始数据对应的数据属性信息；

目标数据模型确定模块803，用于根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

标准化数据得到模块804，用于采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

质量检测结果得到模块805，用于对所述标准化数据进行质量检测，得到质量检测结果；

修正模块806，用于在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

数据支持模块807，用于将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

在本发明一实施例中，所述多个目标子数据模型包括主题子模型、概念子模型、逻辑子模型和物理子模型，所述标准化数据得到模块804包括：

分层、分域处理子模块，用于采用所述主题子模型、所述概念子模型和所述逻辑子模型，对所述原始数据进行分层、分域处理；

以及，实例化处理子模块，用于采用所述物理子模型对所述原始数据进行实例化处理，得到标准化数据。

在本发明一实施例中，所述装置还包括：

处理流程信息生成模块，用于采用数据标准信息和数据模型，生成处理流程信息；

在所述标准化数据得到模块804之前，还包括：

目标处理流程信息确定模块，用于确定针对所述目标数据模型的目标处理流程信息；其中，所述目标处理流程信息用于对所述原始数据进行标准化处理。

在本发明一实施例中，所述数据属性信息包括范围属性信息，每一范围属性信息对应一数据模型，所述数据模型采用如下方式生成：

确定针对范围属性信息的场景数据信息：其中，所述场景数据信息包括关键对象信息和关键属性信息；确定所述关键对象信息和所述关键属性信息对应的数据表达信息；根据所述关键对象信息、所述关键属性信息，以及所述数据表达信息，生成数据标准信息；采用所述数据标准信息，生成所述范围属性信息对应的数据模型。

在本发明一实施例中，所述确定所述关键对象信息和所述关键属性信息对应的数据表达信息，包括：

获取参考数据信息；其中，所述参考数据信息为针对所述智能数仓服务端预设的用于统一数据标准的信息；结合所述关键对象信息、所述关键属性信息，以及所述参考数据信息，得到数据表达信息。

在本发明一实施例中，在所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型之前，还包括：

获取数据元；其中，所述数据元用于生成所述数据模型；建立所述数据元与所述数据标准信息的关联关系；

所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型，包括：

确定所述数据标准信息对应的目标数据元；采用所述目标数据元，构建所述范围属性信息对应的数据模型。

在本发明一实施例中，所述装置还包括：

质量检测配置信息确定模块，用于针对每一数据模型，依据数据标准信息，确定质量检测配置信息；

所述质量检测结果得到模块805包括：

质量检测结果得到子模块，用于采用所述质量检测配置信息，对所述标准化数据进行质量检测，得到质量检测结果。

在本发明实施例中，通过获取上云的原始数据，确定原始数据对应的数据属性信息，然后根据数据属性信息，从多个数据模型中确定目标数据模型，目标数据模型包括多个目标子数据模型，采用多个目标子数据模型，对原始数据进行标准化处理，得到标准化数据，进而对标准化数据进行质量检测，得到质量检测结果，在质量检测结果为非预设结果时，对标准化数据进行修正，将修正后的标准化数据通过数据共享平台进行数据共享，以为统一数据平台提供数据支持，实现了对平台数据的标准化管理，通过采用数据模型中多个子数据模型对原始数据进行标准化处理，并对标准化数据进行质量检测以修正，能够保证平台中数据的一致性和数据质量，提升了数据完整度、可用性，且达到了高质量的智能数仓服务端建设效果。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种数据处理的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理的方法，其特征在于，应用于统一数据平台，所述统一数据平台包括数据资源平台和数据共享平台，所述数据资源平台包括智能数仓服务端，所述智能数仓服务端设置有多个数据模型，所述方法包括：

获取上云的原始数据；

确定所述原始数据对应的数据属性信息；

根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

对所述标准化数据进行质量检测，得到质量检测结果；

在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

2.根据权利要求1所述的方法，其特征在于，所述多个目标子数据模型包括主题子模型、概念子模型、逻辑子模型和物理子模型，所述采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据，包括：

采用所述主题子模型、所述概念子模型和所述逻辑子模型，对所述原始数据进行分层、分域处理；

以及，采用所述物理子模型对所述原始数据进行实例化处理，得到标准化数据。

3.根据权利要求2所述的方法，其特征在于，还包括：

采用数据标准信息和数据模型，生成处理流程信息；

在所述采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据之前，还包括：

确定针对所述目标数据模型的目标处理流程信息；其中，所述目标处理流程信息用于对所述原始数据进行标准化处理。

4.根据权利要求1或3所述的方法，其特征在于，所述数据属性信息包括范围属性信息，每一范围属性信息对应一数据模型，所述数据模型采用如下方式生成：

确定针对范围属性信息的场景数据信息：其中，所述场景数据信息包括关键对象信息和关键属性信息；

确定所述关键对象信息和所述关键属性信息对应的数据表达信息；

根据所述关键对象信息、所述关键属性信息，以及所述数据表达信息，生成数据标准信息；

采用所述数据标准信息，生成所述范围属性信息对应的数据模型。

5.根据权利要求4所述的方法，其特征在于，所述确定所述关键对象信息和所述关键属性信息对应的数据表达信息，包括：

获取参考数据信息；其中，所述参考数据信息为针对所述智能数仓服务端预设的用于统一数据标准的信息；

结合所述关键对象信息、所述关键属性信息，以及所述参考数据信息，得到数据表达信息。

6.根据权利要求4所述的方法，其特征在于，在所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型之前，还包括：

获取数据元；其中，所述数据元用于生成所述数据模型；

建立所述数据元与所述数据标准信息的关联关系；

所述采用所述数据标准信息，生成所述范围属性信息对应的数据模型，包括：

确定所述数据标准信息对应的目标数据元；

采用所述目标数据元，构建所述范围属性信息对应的数据模型。

7.根据权利要求1或4所述的方法，其特征在于，还包括：

针对每一数据模型，依据数据标准信息，确定质量检测配置信息；

所述对所述标准化数据进行质量检测，得到质量检测结果，包括：

采用所述质量检测配置信息，对所述标准化数据进行质量检测，得到质量检测结果。

8.一种数据处理的装置，其特征在于，应用于统一数据平台，所述统一数据平台包括数据资源平台和数据共享平台，所述数据资源平台包括智能数仓服务端，所述智能数仓服务端设置有多个数据模型，所述装置包括：

原始数据获取模块，用于获取上云的原始数据；

数据属性信息确定模块，用于确定所述原始数据对应的数据属性信息；

目标数据模型确定模块，用于根据所述数据属性信息，从所述多个数据模型中确定目标数据模型；其中，所述目标数据模型包括多个目标子数据模型；

标准化数据得到模块，用于采用所述多个目标子数据模型，对所述原始数据进行标准化处理，得到标准化数据；

质量检测结果得到模块，用于对所述标准化数据进行质量检测，得到质量检测结果；

修正模块，用于在所述质量检测结果为非预设结果时，对所述标准化数据进行修正；

数据支持模块，用于将修正后的标准化数据通过所述数据共享平台进行数据共享，以为所述统一数据平台提供数据支持。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。

Images