CN111159191B - 一种数据处理方法、装置和界面 - Google Patents

Abstract

一种数据处理方法和界面，所述方法包括：建立元数据库，对数据元进行定义，选取数据元建立数据模型；根据所述数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。本申请实施例通过建立标准规范的元数据库，借助元数据库中数据模型的定义，实现对各类分散、独立的数据源数据进行采集入库及数据质量的控制，最终形成面向应用的资源目录。

Description

一种数据处理方法、装置和界面

技术领域

本申请涉及数据处理，尤其涉及一种数据处理方法、装置和界面。

背景技术

目前市面上环保数据中心已发展多年，对数据的采集、存储能力已达到较高水平。然而传统的数据中心更多关注的是数据接入和存储，对数据的可视化管理以及持续接入的能力还很欠缺，限制了数据的灵活应用以及数据价值的挥发，已很难满足当前的发展要求。

发明内容

本申请提供一种数据处理方法、装置和界面。

根据本申请的第一方面，本申请提供一种数据处理方法，包括：

建立元数据库，对数据元进行定义，选取数据元建立数据模型；

根据所述数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；

配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；

对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。

进一步地，所述从数据源采集数据，进行可视化处理，将数据交换到目标数据库，包括：

如目标库的表结构和来源库的表结构一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，后台通过改造ETL，读取所述配置表进行数据交换。

进一步地，所述从数据源采集数据，进行可视化处理，将数据交换到目标数据库，还包括：

如目标库的表结构和来源库的表结构不一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，并根据两边字段配置建立字段对应关系，保存到关联关系表，后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。

进一步地，所述检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验；

所述检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则，包括：

检查出的问题数据，通过线下对问题数据进行处理，在界面对问题数据进行标志处理状态。

进一步地，所述配置检查规则包括：

对数据表及数据的更新周期进行配置并保存到数据库，后台根据配置信息查询每个配置表中的时间戳，进行判断数据是否及时更新，并记录未及时更新表。

进一步地，所述配置检查规则还包括：

后台根据设置的数据字段长度、类型、格式、含义进行检查，并记录有问题数据；或者，通过自定义的sql脚本实现，脚本里通过对表建立关系，实现对数据的业务逻辑校验；

进一步地，所述配置检查规则还包括：

后台通根据设置的非空字段、特殊字段进行检查，并记录有问题数据。

根据本申请的第二方面，本申请提供一种数据处理界面，包括：

元数据处理模块，用于建立元数据库，对数据元进行定义，选取数据元建立数据模型；

数据采集模块，用于根据所述元数据库的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；；

数据质量控制模块，用于根据数据的及时性、准确性和完整性配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；

资源目录模块，用于对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。

进一步地，上界面还包括数据源模块，

所述数据源模块，包括数据仓库、数据集市和/或多个数据源，所述数据仓库、所述数据集市和所述数据源分别用于提供各种数据。

根据本申请的第三方面，本申请提供一种数据处理装置，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现上述方法。

由于采用了以上技术方案，使本申请具备的有益效果在于：

本申请的数据处理方法和界面，由于包括：建立元数据库，对数据元进行定义，选取数据元建立数据模型，基于标准的数据模型可从多种数据源采集数据，整合各类分散、独立的数据源数据；由于配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，因而可借助元数据库的定义进行数据采集及数据质量的控制，对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。本申请实施例通过建立标准规范的元数据库，借助元数据库中数据模型的定义，实现对各类分散、独立的数据源数据进行采集入库及数据质量的控制，最终形成面向应用的资源目录。

附图说明

图1为本申请实施例一中的方法在一种实施方式中的流程图；

图2为本申请实施例一中的方法在一种实施方式中的数据流向示意图；

图3为本申请实施例二中的数据处理界面在一种实施方式中的程序模块示意图；

图4为本申请实施例二中的数据处理界面在另一种实施方式中的程序模块示意图；

图5为本申请实施例二中的数据处理界面在一种具体实施方式中的程序模块示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。本申请可以以多种不同的形式来实现，并不限于本实施例所描述的实施方式。提供以下具体实施方式的目的是便于对本申请公开内容更清楚透彻的理解，其中上、下、左、右等指示方位的字词仅是针对所示结构在对应附图中位置而言。

然而，本领域的技术人员可能会意识到其中的一个或多个的具体细节描述可以被省略，或者还可以采用其他的方法、组件或材料。在一些例子中，一些实施方式并没有描述或没有详细的描述。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

此外，本文中记载的技术特征、技术方案还可以在一个或多个实施例中以任意合适的方式组合。对于本领域的技术人员来说，易于理解与本文提供的实施例有关的方法的步骤或操作顺序还可以改变。因此，附图和实施例中的任何顺序仅仅用于说明用途，并不暗示要求按照一定的顺序，除非明确说明要求按照某一顺序。

实施例一：

如图1、图2所示，本申请提供的数据处理方法，其一种实施方式，包括以下步骤：

步骤102：建立元数据库，对数据元进行定义，选取数据元建立数据模型。

数据元是数据的最小单位，通过数据元的定义信息包括中文名称、英文名称、类型、格式、值域等进行增加、更新、删除的管理，同时通过选取定义好的数据元进行建立模型，达到规范限制数据模型的属性，数据模型应用于数据集的封装、数据质量的校验定义、数据开放的数据基础及应用系统设计标准。

对于元数据的管理，主要通过以下几个方面实现：

数据模型，模型创建时提取数据元，进行初始化名称、类型、格式、值域，模型信息只能使用数据元属性。

数据质量，数据校验规则创建读取到库表的元数据定义信息，选取对应的字段信息进行值域、类型的校验。

数据集，封装数据集可通过关联单个或多个数据模型的字段项信息，模型对应于数据库，保存配置信息，实则是查询数据库表，从而封装数据结果集。

数据开放，数据开放是基于数据集来开放数据。

应用系统，应用系统的数据库设计，包括名称、编码、格式、值域可直接基于定义好的元数据生成设计文件。

步骤104：根据元数据库中数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库。

进一步地，步骤104具体可以通过以下两种方式实现：

如目标库的表结构和来源库的表结构一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，后台通过改造ETL，读取配置表进行数据交换。

如目标库的表结构和来源库的表结构不一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，并根据两边字段配置建立字段对应关系，保存到关联关系表，后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。

实现对数据采集可视化管理，明确数据来源和数据流向，借助ETL技术等机制，保障数据库、文件、其它来源的数据可持续的入库。

对数据采集按数据的场景分为两种实现方式：

目标库的表结构和来源库的表结构一致的情况，通过在界面配置来源及目标的数据库、表名以及抽取方式(增量、全量)，将配置信息保存到一张基本配置表，后台通过改造ETL(Extract-Transform-Load，数据仓库技术)，读取这张配置表进行数据交换。

目标库及来源库表结构不一样的情况，通过在界面配置来源及目标的数据库、表名以及抽取方式(增量、全量)，将配置信息保存到一张基本配置表，并根据两边字段配置建立字段对应关系，保存到一张关联关系表，后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。

步骤106：根据数据的及时性、准确性和完整性配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则。

在一种实施方式中，检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验。

进一步地，步骤106具体可以包括：

步骤1062：检查出的问题数据，通过线下对问题数据进行处理，线上对问题数据进行标志处理状态。

检查出的问题数据，可以通过线下对问题数据进行处理，在界面对问题数据进行标志处理状态，使数据问题从发现到处理再到回归检查整个过程，形成问题数据闭环处理。

其中，步骤106中，配置检查规则，具体可以包括：

对数据表及数据的更新周期进行配置并保存到数据库，后台根据配置信息查询每个配置表中的时间戳，进行判断数据是否及时更新，并记录未及时更新表。

其中，步骤106中，配置检查规则还可以包括：

后台根据设置的数据字段长度、类型、格式、含义进行检查，并记录有问题数据；或者，通过自定义的sql脚本实现，脚本里通过对表建立关系，实现对数据的业务逻辑校验；

其中，步骤106中，配置检查规则还包括：

后台通根据设置的非空字段、特殊字段进行检查，并记录有问题数据。

数据质量主要检查数据的及时性、准确性、完整性三个维度，并定期形成质量报告，及时发现数据问题，并进行标记处理，形成闭环管理。

通过对数据配置检查规则，检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称、自定义业务逻辑进行校验，检查出不符合规则的垃圾数据，通过标记的方式进行处理，。主要过程包括质量规则定义、问题数据处理、质量报告。

质量方案配置数据的校验规则，按及时性、准确性和准确性等三个维度进行设计。

及时性：对数据表及数据的更新周期进行配置并保存到数据库，后台自动根据配置信息查询每个配置表中的时间戳(数据更新时间)，进行判断数据是否及时更新，并记录未及时更新表。

准确性：准确性检查支持2种方式，第一种是内置的数据检查，后台通过数据模型(表)中设置的数据字段长度、类型、格式、含义进行检查，并记录有问题数据；第二种通过自定义的sql(Structured Query Language，结构化查询语言)脚本实现，脚本里通过对表建立关系关系，实现对数据的业务逻辑校验。

完整性：后台通过数据模型(表)中设置的非空字段、特殊字段、进行检查，并记录有问题数据

基于数据质量检查的结果信息，还可以通过报表工具形成及时性、准确性、完整性的质量报告，质量报告能按问题分类，展示数据的质量详情，精确到具体的表及字段信息。

步骤108：对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。

完成对数据资产进行适当的分类和编码，并通过新增、修改、删除进行管理。其中，通过对数据目录对数据的操作主要是对数据进行查看和下载。

本申请可通过元数据管理建立数据标准体系，并对数据采集ETL过程进行封装保障数据按照标准体系入库，同时读取事先制定的标准体系或自定义规则进行数据的清洗，形成数据质量报告。

实施例二：

如图3至图5所示，本申请实施例提供的数据处理界面，其一种实施方式，包括：

元数据处理模块310，用于建立元数据库，对数据元进行定义，选取数据元建立数据模型；

数据采集模块320，用于根据元数据库中数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；

数据质量控制模块330，用于配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；

资源目录模块340，用于对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。

本申请实施例提供的数据处理界面，其另一种实施方式，包括：

元数据处理模块410，用于建立元数据库，对数据元进行定义，选取数据元建立数据模型；

数据采集模块420，用于根据元数据库中数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；

数据质量控制模块430，用于配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；

资源目录模块440，用于对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。

数据源模块450，包括数据仓库、数据集市和/或多个数据源，数据仓库、数据集市和所述数据源分别用于提供各种数据。

如图5所示，在一种具体实施方式中，元数据处理模块510具体可以包括：

数据元处理单元，用于通过定义数据元的中文名称、英文名称、类型、格式、值域等，用于将数据标准规范以结构化的方式进行管理，并能够在数据模型、数据表实例的管理中直接应用，使数据元标准得到执行。

数据模块处理单元，用于基于数据元，可设计数据模型，建立数据存储标准结构；

数据源处理单元，用于对平台采集的所有数据来源库进行管理；

代码集处理单元，且于定义管理平台的基础公共代码集、行政区划、行业类型等数据；

数据集单元，用于通过可视化的方式让用户自行构建数据集，可应用于日常数据报表，数据开放、资源目录，灵活快速满足用户对数据应用的各类需求进一步地，数据采集模块520具体可以包括：

ETL单元，用于数据抽取、转换、加载的过程，实现将数据从一个数据库交换到另外一个数据库。

任务调度单元，用于提供对ETL数据采集任务的统一管理，保障数据可以按照既定频率频次进行采集。

数据清洗单元，用于针对复杂多样、标准不一的数据进行清洗转换，保障进行按照规范入库。

执行引擎单元，用于提供分步式的执行引擎管理，将采集任务分配到不同的引擎去运行，降低大量数据采集任务集中运行的压力，保障数据稳定性、高效的交换。

进一步地，数据质量控制模块530具体可以包括：

数据质量方案单元，用于配置质量方案配置数据的校验规则，按以下三个维度进行设计。

及时性：对数据表及数据的更新周期进行配置并保存到数据库，后台自动根据配置信息查询每个配置表中的时间戳(数据更新时间)，进行判断数据是否及时更新，并记录未及时更新表。

准确性：准确性检查支持2种方式，第一种是内置的数据检查，后台通过数据模型(表)中设置的数据字段长度、类型、格式、含义进行检查，并记录有问题数据；第二种通过自定义的sql脚本实现，脚本里通过对表建立关系关系，实现对数据的业务逻辑校验。

完整性：后台通过数据模型(表)中设置的非空字段、特殊字段、进行检查，并记录有问题数据。

数据质量分析单元，用于台按照配置的质量方案进行数据问题查找分析。

异常数据处理单元，用于检查出的问题数据，通过线下对问题数据进行处理，在界面对问题数据进行标志处理状态，使数据问题从发现到处理再到回归检查整个过程，形成问题数据闭环处理。

数据质量报告单元，用于基于数据质量检查的结果信息，通过报表工具形成及时性、准确性、完整性的质量报告，质量报告能按问题分类，展示数据的质量详情，精确到具体的表及字段信息。

进一步地，资源目录模块540具体可以包括：

目录管理单元，用于对环境数据分类目录进行管理，根据国家相关规范，系统默认提供一套目录，同时可灵活修改满足各地差异化需求，是形成科学、合理的信息资源目录体系，实现有序管理和查看各类环境数据的基础。

资源注册单元，用于对封装好的数据集挂载到资源目录，实现将分散、无分类的数据，按标准化的目录进行分类管理，进而呈现给用户查阅。

权限控制单元，用于对资源目录的数据进行权限控制，不同的人员角色不同，数据资源查看的权限不同。

数据查阅单元，用于资源目录数据查询功能，将数据治理的成果按标准化的资源目录体系呈现给用户，目录体系支持按环境信息分类、组织机构分类、职能域分类，给用户说清数据资源种类，数据资源数量。

进一步地，数据源模块550具体可以包括：

数据仓库，用于分别提供RDBMS、TSDB、MongoDB、ES等数据库中的数据。

数据集市，用于分别提供气环境、水环境、噪声环境、土壤环境、自然生态、污染环境、污染源、行政办公、标准规范和空间数据等数据。

数据源，用于提供省厅环境数据、地市环境数据、区县环境数据、互联网数据和外部单位数据等。

实施例三：

本申请的数据处理装置，其一种实施方式，包括存储器和处理器。

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现实施例一中的方法。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (6)

1.一种数据处理方法，其特征在于，包括：

建立元数据库，对数据元进行定义，选取数据元建立数据模型；

根据所述数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；

配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；

对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作；

所述从数据源采集数据，进行可视化处理，并导入目标数据库，包括：

如目标库的表结构和来源库的表结构一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，后台通过改造ETL，读取所述配置表进行数据交换；

如目标库的表结构和来源库的表结构不一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，并根据两边字段配置建立字段对应关系，保存到关联关系表，后台通过改造ETL,读取基本配置表、字段关系表进行数据交换；

所述检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验；

所述检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则，包括：

检查出的问题数据，通过线下对问题数据进行处理，线上对问题数据进行标志处理状态；

所述配置检查规则包括：

对数据表及数据的更新周期进行配置并保存到数据库，后台根据配置信息查询每个配置表中的时间戳，进行判断数据是否及时更新，并记录未及时更新表。

2.如权利要求1所述的方法，其特征在于，所述配置检查规则还包括：

后台根据设置的数据字段长度、类型、格式、含义进行检查，并记录有问题数据；或者，通过自定义的sql脚本实现，脚本里通过对表建立关系，实现对数据的业务逻辑校验。

3.如权利要求2所述的方法，其特征在于，所述配置检查规则还包括：

后台通根据设置的非空字段、特殊字段进行检查，并记录有问题数据。

4.一种数据处理界面，其特征在于，用于应用如权利要求1至3任一项所述的数据处理方法，所述数据处理界面包括：

元数据处理模块，用于建立元数据库，对数据元进行定义，选取数据元建立数据模型；

数据采集模块，用于根据所述数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；

数据质量控制模块，用于配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；

资源目录模块，用于对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。

5.如权利要求4所述的界面，其特征在于，还包括数据源模块，

所述数据源模块，包括数据仓库、数据集市和/或多个数据源，所述数据仓库、所述数据集市和所述数据源分别用于提供各种数据。

6.一种数据处理装置，其特征在于，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-3中任一项所述的方法。

Images