CN114254033A - 一种基于bs架构的数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种基于BS架构的数据处理方法及系统，所述方法包括：在浏览器端配置采集任务，采集元数据；构建数据处理转换模型和分层数据库；所述分层数据库，用于存储元数据及经所述数据处理转换模型处理的分层数据；对所述元数据进行处理，将处理结果存储至所述分层数据库；定时调度和分布式调度数据处理任务，更新分层数据库。本发明基于BS架构，集成可视化数据处理技术，实现数据处理任务组件图元拖拽化操作功能，利用大数据技术构建分布式数据仓库，实现数据的分层操作管理，使得数据价值挖掘更加充分；分层的数据架构特点包括有清晰数据结构，可以追踪数据血缘，解决了现有技术中，传统的数据处理操作复杂、海量数据处理效率低的技术问题。

Description

一种基于BS架构的数据处理方法及系统

技术领域

本申请涉及计算机数据处理技术领域，具体地，涉及一种基于BS架构的数据处理方法及系统。

背景技术

现有技术，在数据治理领域中企业会建立数据中台，通过数据中台将相互分离的业务系统的数据源整合在一起，建立一个统一的数据采集、处理、存储、分发、共享中心。在项目中数据处理会花掉整个项目较多的时间，数据处理设计的好坏直接关接到项目的成败，而目前大多数可视化数据处理工具都是基于“客户端-服务端”的设计，操作复杂。

在数据治理过程中，数据的存放是有规则的，对数据的分类存放需要以数据仓库体系作为支撑，而数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了数据处理、调度、建模在内的完整的理论体系。传统的数据仓库在构建过程中需要基于单节点进行数据分层处理，无法处理海量数据。

发明内容

本申请实施例提供了一种基于BS架构的数据处理方法，以解决传统的数据处理操作复杂、海量数据处理效率低的技术问题。

根据本申请实施例的第一个方面，提供了一种基于BS架构的数据处理方法，包括：

在浏览器端配置采集任务，采集元数据；

构建数据处理转换模型和分层数据库；所述分层数据库，用于存储元数据及经所述数据处理转换模型处理的分层数据；

对所述元数据进行处理，将处理结果存储至所述分层数据库；

定时调度和分布式调度数据处理任务，更新分层数据库。

进一步地，所述方法还包括：

接收数据调取指令；其中，数据调取指令中包括所调取数据的属性信息；

根据数据调取指令从分层数据库中调度目标数据。

进一步地，构建所述分层数据库，包括：

构建汇聚层、贴源层、主题层、专题层、应用层和问题层，在每层建立数据库。

进一步地，所述对所述元数据进行处理，将处理结果存储至所述分层数据库，包括：

将采集的元数据存储至汇聚层；

利用所述数据处理转换模型，通过无损的数据抽取方式从汇聚层元数据中得到贴源层元数据；将所述贴源层元数据存储至分层数据库中的贴源层；

将所述贴源层元数据作为输入，利用所述数据处理转换模型，通过建立事实表、维度表利用雪花模型或者星型模型组织表关系，按照数据标准结合业务需求进行主题分类处理后获得主题层元数据，存储至主题层；

利用所述数据处理转换模型，从所述主题层元数据中梳理出相关专题数据模型，根据数据模型结合数据集市建设规则规范，建立数据相关库表以及数据，获得专题层元数据，并存储至专题层；

利用所述数据处理转换模型，将主题层和专题层中的元数据进行层次处理，获得应用层元数据存储至应用层；

利用所述数据处理转换模型，通过配置数据标准检查规则，将不符合数据标准的问题数据作为问题层元数据，存储至问题层。

根据本申请实施例的第二方面，在于提供一种基于BS架构的数据处理系统，其特征在于，所述系统包括：

采集单元，用于在浏览器端配置采集任务，采集元数据；

数据处理转换单元，用于构建数据处理转换模型，利用拖拽化操作组件编排数据处理逻辑，完成数据处理过程；

存储单元，用于将所述元数据输入所述数据处理转换单元，得到所述分层数据库每层数据处理的结果并存储于分层数据库中。

进一步地，其特征在于，还包括：

接收单元，用于接收数据调取指令，其中，所述数据调取指令中包括所调取数据的属性信息；

调度单元，用于根据所述数据属性信息从所述分层数据库中调度目标数据。

进一步地，所述采集单元，包括：

采集模块，用于从浏览器中采集各种类型的离线或实时数据；

确定模块，用于从所述各种类型的离线或实时数据确定所述元数据。

进一步地，所述数据处理转换单元，包括：

汇聚层模块，用于处理获得汇聚层元数据；

贴源层模块，用于通过无损的数据抽取方式处理汇聚层元数据，获得贴源层元数据；

主题层模块，用于按照数据标准结合业务需求进行主题分类，通过建立事实表、维度表利用雪花模型或者星型模型组织表关系处理贴源层元数，获得主题层元数据；

专题层模块，用于根据业务需要梳理主题层元数据专题数据模型，根据数据模型结合数据集市建设规则规范，建立数据相关库表以及数据，获得专题层元数据；

应用层模块，用于将主题层和专题层中的元数据进行层次处理，获得应用层元数据；

问题层模块，用于通过配置数据标准检查规则，将不符合数据标准的问题数据进行处理，获得问题层元数据。

根据本申请实施例的第三个方面，提供了一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述基于BS架构的数据处理方法。

根据本申请实施例的第四个方面，提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述基于BS架构的数据方法。

与现有技术相比较，本发明的有益效果在于：

在本发明实施例中，通过从浏览器中采集元数据；构建数据处理转换模型，利用拖拽化操作组件编排数据处理逻辑，完成数仓每层数据处理过程；将元数据输入数据处理转换模型，得到数仓每层数据处理的结果，并根据数仓每层数据处理的结果存储分层数据库，即基于BS架构，集成可视化数据处理技术，实现数据处理任务组件图元拖拽化操作功能，同时将处理的数据存储至分层数据库中，进而解决了现有技术中，传统的数据处理操作复杂、海量数据处理效率低的技术问题。本发明利用大数据技术构建分布式数据仓库，实现数据的分层操作管理，使得数据价值挖掘更加充分；分层的数据架构特点包括有清晰数据结构，可以追踪数据血缘，可以减少重复开发，可以把复杂问题简单化，能屏蔽原始数据的异常和屏蔽业务的影响；构建“浏览器-服务器”架构的数据处理模型，与原生的数据处理工具客户端完全解耦，使用最新前端框架VUE进行开发，提供了更加便捷化和人性化的操作界面，实现了数据治理工程人员无代码化操作的产品模式。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的基于BS架构的数据处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的一种可选的基于BS架构的数据处理方法的流程图；

图3是根据本发明实施例的一种可选的基于BS架构的数据处理方法的调度流程图；

图4是根据本发明实施例的一种基于BS架构的数据处理系统示意图；

图5是根据本发明实施例的一种可选的基于BS架构的数据处理系统图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一序列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例所提供的基于BS架构的数据处理方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种基于BS架构的数据处理方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输装置106以及输入输出装置108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于BS架构的数据处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中还提供了一种基于BS架构的数据处理方法，图2是根据本发明实施例的基于BS架构的数据处理方法的流程图，如图2所示，该基于BS架构的数据处理方法流程包括如下步骤：

步骤S202，在浏览器端配置采集任务，采集元数据；

步骤S204，构建数据处理转换模型和分层数据库；所述分层数据库，用于存储元数据及经所述数据处理转换模型处理的分层数据；

步骤S206，对所述元数据进行处理，将处理结果存储至所述分层数据库；

步骤S208，定时调度和分布式调度数据处理任务，更新分层数据库。

在本实施例中，BS架构即浏览器和服务器架构模式。其中，在BS结构中，每个节点都分布在网络上，这些网络节点可以分为浏览器端、服务器端和中间件，通过它们之间的链接和交互来完成系统的功能任务。三个层次的划分是从逻辑上分的，在实际应用中多根据实际物理网络进行不同的物理划分。

浏览器端：即用户使用的浏览器，是用户操作系统的接口，用户通过浏览器界面向服务器端提出请求，并对服务器端返回的结果进行处理并展示，通过界面可以将系统的逻辑功能更好的表现出来。

服务器端：提供数据服务，操作数据，然后把结果返回中间层，结果显示在系统界面上。

中间件：这是运行在浏览器和服务器之间的。这层主要完成系统逻辑，实现具体的功能，接受用户的请求并把这些请求传送给服务器，然后将服务器的结果返回给用户，浏览器端和服务器端需要交互的信息是通过中间件完成的。

具体方法实施例如下所述。

步骤S202，在浏览器端配置采集任务，采集元数据；

在浏览器端配置采集任务，包括：通过浏览器端页面显示的参数，填入相关采集参数用于定义采集源信息；通过浏览器页面可拖拽图元方式定义采集任务。这两步配置完成即可完成采集元数据的采集任务配置步骤。

采集元数据包括：从浏览器端采集各种类型的离线或实时数据，从各种类型的离线或实时数据确定元数据。元数据管理中，定义数据分层。

步骤S204，构建数据处理转换模型和分层数据库；

所述数据处理转换模型用于处理所述元数据。所述数据处理转换模型，利用拖拽化操作组件编排数据处理逻辑，完成元数据处理过程，即基于BS架构，集成可视化数据处理技术，实现数据处理任务组件拖拽化操作功能，进而解决了现有技术中，传统的数据处理操作复杂、海量数据处理效率低的技术问题。

所述分层数据库，用于存储元数据及经所述数据处理转换模型处理的分层数据。

对于各种类型的离线或实时数据，基于大数据平台构建了分布式的分层数据库，所述分层数据库包括：汇聚层、贴源层、主题层、专题层、应用层和问题层。每一层的数据会建立不同的hive数据库，利用Web化的Kettle引擎抽取处理到目标的数据层中。

汇聚层，用于存储从浏览器端采集的元数据。支持数据的准实时采集(集成Xxljob任务调度框架，对采集任务指定定时规则的调度)、支持异构数据源(如Oracle、Mysql、DB2、Hive等)和大容量数据发送存储数据移动技术(Kettle引擎)，能够适配多种技术场景。

贴源层，用于存储从汇聚层抽取的数据，通过无损的数据抽取方式，满足了贴源层的数据一致性和真实性要求。

主题层，用于按照数据标准结合业务需求进行主题分类，取贴源层有效符合数据质量标准的数据作为输入，通过建立事实表、维度表利用雪花模型或者星型模型组织表关系，并做适当数据处理存放到该层，保证该层所有数据都是有效的数据，可为应用层的主题分析、数据挖掘以及专题层数据提供数据做准备。

专题层，用于根据业务需要，从主题层数据中梳理出相关专题数据模型，根据数据模型结合数据集市建设规则规范，利用平台的数据处理功能建立相关库表以及数据，可为应用层的专题分析，专题数据挖掘等应用做准备。

应用层，主要的形式是视图(组织专题或者主题层中的数据)。这一层主要是为了单独管理需要频繁使用的一些视图，让主题层和专题层中的数据更有层次，通过平台提供的数据服务功能(自定义SQL数据视图，通过建立API接口)发布成数据接口的形式提供上层应用。

问题层，通过配置数据标准检查规则(内置数据字典校验、自定义函数校验、正则表达式校验等方式)，把不符合数据标准的问题数据汇集到该层，方便问题管理。

步骤S206，对所述元数据进行处理，将处理结果存储至所述分层数据库。

对所述元数据进行处理，将处理结果存储至所述分层数据库，包括：

将所述元数据输入所述数据处理转换模型，得到分层元数据。

具体地，包括：

可选的，将采集的元数据存储至汇聚层。

可选的，利用所述数据处理转换模型，通过无损的数据抽取方式从汇聚层元数据中得到贴源层元数据；将贴源层元数据存储至分层数据库中的贴源层。

可选的，将贴源层元数据作为输入，利用所述数据处理转换模型，通过建立事实表、维度表利用雪花模型或者星型模型组织表关系，按照数据标准结合业务需求进行主题分类处理后获得主题层元数据，存储至主题层。

可选的，利用所述数据处理转换模型，从主题层元数据中梳理出相关专题数据模型，根据数据模型结合数据集市建设规则规范，建立数据相关库表以及数据，获得专题层元数据，并存储至专题层。

可选的，利用所述数据处理转换模型，将主题层和专题层中的元数据进行层次处理，获得应用层元数据存储至应用层。

可选的，利用所述数据处理转换模型，通过配置数据标准检查规则，将不符合数据标准的问题数据作为问题层元数据，存储至问题层。

可选的，上述方法还可以包括：接收数据调取指令，其中，数据调取指令中包括所调取数据的属性信息；根据数据调取指令从分层数据库中调度目标数据，具体地，可以根据数据属性信息从分层数据库中调度目标数据。

步骤S208，定时调度和分布式调度数据处理任务，更新分层数据库。

图3示出了一种可选的基于BS架构的数据处理方法的调度流程图。

本方法实施例，定时调度和分布式调度应用系统和系统功能扩展数据处理任务，更新分层数据库数据。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种基于BS架构的数据处理系统，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的基于BS架构的数据处理系统的结构框图，如图5所示，该基于BS架构的数据处理系统包括：

采集单元51，用于在浏览器端配置采集任务，采集元数据。

数据处理转换单元53，用于构建数据处理转换模型，利用拖拽化操作组件编排数据处理逻辑，完成数据处理过程。

存储单元55，用于将元数据输入所述数据处理转换单元，得到分层数据库每层数据处理的结果，并存储于分层数据库。

通过本申请提供的实施例，采集单元51从浏览器中采集元数据；数据处理转换单元53构建数据处理转换模型，利用拖拽化操作组件编排数据处理逻辑，完成数仓每层数据处理过程；存储单元55将元数据输入数据处理转换模型，得到数仓每层数据处理的结果，并根据数仓每层数据处理的结果存储分层数据库，即基于BS架构，集成可视化数据处理技术，实现数据处理任务组件图元拖拽化操作功能，同时将处理的数据存储至分层数据库中，进而解决了现有技术中，传统的数据处理操作复杂、海量数据处理效率低的技术问题。

可选的，上述装置可以包括：接收单元，用于接收数据调取指令，其中，数据调取指令中包括所调取数据的属性信息；调度单元，用于根据数据属性信息从分层数据库中调度目标数据。

可选的，所述采集单元51，可以包括：采集模块，用于从浏览器中采集各种类型的离线或实时数据；确定模块，用于从各种类型的离线或实时数据确定元数据。

可选的，所述数据处理转换单元，可以包括：

汇聚层模块，用于处理获得汇聚层元数据。

贴源层模块，用于通过无损的数据抽取方式处理汇聚层元数据，获得贴源层元数据。

主题层模块，用于按照数据标准结合业务需求进行主题分类，通过建立事实表、维度表利用雪花模型或者星型模型组织表关系处理贴源层元数，获得主题层元数据。

专题层模块，用于根据业务需要梳理主题层元数据专题数据模型，根据数据模型结合数据集市建设规则规范，建立数据相关库表以及数据，获得专题层元数据。

应用层模块，用于将主题层和专题层中的元数据进行层次处理，获得应用层元数据。

问题层模块，用于通过配置数据标准检查规则，将不符合数据标准的问题数据进行处理，获得问题层元数据。

如图4示出了一种基于BS架构的数据处理系统示意图。

基于BS架构的数据处理系统基于“浏览器-服务器”架构的数据处理模型设计，实现了与数据处理工具客户端的完全解耦，利用拖拽图元和配置规则的界面化操作方式设计数据处理流程，实现无代码化操作。

基于BS架构的数据处理系统基于BS架构，集成可视化数据处理技术，实现数据处理任务组件图元拖拽化操作功能，同时处理的数据从贴源层、汇聚层、主题层、专题层、应用层、问题层分层进行数据治理和建立数据仓库。输入数据为数据仓库中各层数据库中的元数据，输出数据为各层数据结果。

数据处理逻辑任务以xml的方式存储在数据库里，在执行任务时通过解析xml，来调用底层数据处理引擎，实现数据的处理，以及实现定时调度和分布式调度数据处理任务。

利用最新的前端框架VUE，实现了Web端的页面设计，提供了更加便捷化和人性化的操作界面。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

在浏览器端配置采集任务，采集元数据；

构建数据处理转换模型和分层数据库；所述分层数据库，用于存储元数据及经所述数据处理转换模型处理的分层数据；

对所述元数据进行处理，将处理结果存储至所述分层数据库；

定时调度和分布式调度数据处理任务，更新分层数据库。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

在浏览器端配置采集任务，采集元数据；

构建数据处理转换模型和分层数据库；所述分层数据库，用于存储元数据及经所述数据处理转换模型处理的分层数据；

对所述元数据进行处理，将处理结果存储至所述分层数据库；

定时调度和分布式调度数据处理任务，更新分层数据库。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于BS架构的数据处理方法，其特征在于，包括：

在浏览器端配置采集任务，采集元数据；

构建数据处理转换模型和分层数据库；所述分层数据库，用于存储元数据及经所述数据处理转换模型处理的分层数据；

对所述元数据进行处理，将处理结果存储至所述分层数据库；

定时调度和分布式调度数据处理任务，更新分层数据库。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收数据调取指令；其中，数据调取指令中包括所调取数据的属性信息；

根据数据调取指令从分层数据库中调度目标数据。

3.根据权利要求1所述的方法，其特征在于，构建所述分层数据库，包括：

构建汇聚层、贴源层、主题层、专题层、应用层和问题层，在每层建立数据库。

4.根据权利要求3所述的方法，其特征在于，所述对所述元数据进行处理，将处理结果存储至所述分层数据库，包括：

将采集的元数据存储至汇聚层；

利用所述数据处理转换模型，通过无损的数据抽取方式从汇聚层元数据中得到贴源层元数据；将所述贴源层元数据存储至分层数据库中的贴源层；

将所述贴源层元数据作为输入，利用所述数据处理转换模型，通过建立事实表、维度表利用雪花模型或者星型模型组织表关系，按照数据标准结合业务需求进行主题分类处理后获得主题层元数据，存储至主题层；

利用所述数据处理转换模型，从所述主题层元数据中梳理出相关专题数据模型，根据数据模型结合数据集市建设规则规范，建立数据相关库表以及数据，获得专题层元数据，并存储至专题层；

利用所述数据处理转换模型，将主题层和专题层中的元数据进行层次处理，获得应用层元数据存储至应用层；

利用所述数据处理转换模型，通过配置数据标准检查规则，将不符合数据标准的问题数据作为问题层元数据，存储至问题层。

5.一种用于实现权利要1至4任一项所述方法的数据处理系统，其特征在于，所述系统包括：

采集单元，用于在浏览器端配置采集任务，采集元数据；

数据处理转换单元，用于构建数据处理转换模型，利用拖拽化操作组件编排数据处理逻辑，完成数据处理过程；

存储单元，用于将所述元数据输入所述数据处理转换单元，得到所述分层数据库每层数据处理的结果并存储于分层数据库中。

6.根据权利要求5所述的系统，其特征在于，还包括：

接收单元，用于接收数据调取指令，其中，所述数据调取指令中包括所调取数据的属性信息；

调度单元，用于根据所述数据属性信息从所述分层数据库中调度目标数据。

7.根据权利要求6所述的系统，其特征在于，所述采集单元，包括：

采集模块，用于从浏览器中采集各种类型的离线或实时数据；

确定模块，用于从所述各种类型的离线或实时数据确定所述元数据。

8.根据权利要求7所述的系统，其特征在于，所述数据处理转换单元，包括：

汇聚层模块，用于处理获得汇聚层元数据；

贴源层模块，用于通过无损的数据抽取方式处理汇聚层元数据，获得贴源层元数据；

主题层模块，用于按照数据标准结合业务需求进行主题分类，通过建立事实表、维度表利用雪花模型或者星型模型组织表关系处理贴源层元数，获得主题层元数据；

专题层模块，用于根据业务需要梳理主题层元数据专题数据模型，根据数据模型结合数据集市建设规则规范，建立数据相关库表以及数据，获得专题层元数据；

应用层模块，用于将主题层和专题层中的元数据进行层次处理，获得应用层元数据；

问题层模块，用于通过配置数据标准检查规则，将不符合数据标准的问题数据进行处理，获得问题层元数据。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。

Images