CN107103025B

CN107103025B - 一种数据处理方法及数据处理平台

Info

Publication number: CN107103025B
Application number: CN201710007813.7A
Authority: CN
Inventors: 王全胜; 汪超; 冯文; 冯海军
Original assignee: Asiainfo Technologies China Inc
Current assignee: Asiainfo Technologies China Inc
Priority date: 2017-01-05
Filing date: 2017-01-05
Publication date: 2020-08-14
Anticipated expiration: 2037-01-05
Also published as: CN107103025A

Abstract

本发明提供一种数据处理方法及数据处理平台，从数据库中采集至少一个元数据，并确定元数据在数据仓库中所属层次以及在所属层次下的所属分类，这样在采集到元数据下的数据后，可以将至少一个元数据下的数据的格式转换为数据处理平台预先设定的格式，并将转换格式后的数据存储到对应的数据库表中，而数据库表对应一个元数据对应字段的属性信息，因此可根据元数据将元数据下的数据存储到对应的数据库表中，实现数据的分类存储，以有利于对每个分类下数据统一管理。并且还可以基于数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，以使得数据处理平台具有质量校验功能，进而实现对存量数据和增量数据的统一监控。

Description

一种数据处理方法及数据处理平台

技术领域

本发明属于数据处理技术领域，更具体的说，尤其涉及一种数据处理方法及数据处理平台。

背景技术

数据库(Database)是按照预设的数据结构来组织、存储和管理数据的仓库，目前数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

众所周知不论是简单的存储有各种数据的表格还是能够进行海量数据存储的大型数据库系统来说，都有自己的数据属性管理方式，以关系型数据库MYSQL为例：

MYSQL中show Databases可以统计出Mysql中所有的数据库；

MYSQL中sshow tables fromdb_name可以列出指定数据库的所有表；

MYSQL中show table status from db_name可以查看表的描述性信息；

MYSQL中show create table tbl_name可以查看表的数据库模式定义语言(DDL，Data Definition Language)；

MYSQL中show columns from tbl_name可以查看列信息；

MYSQL中show index from tbl_name可以查看索引信息。

同样的，数据库Oracle、DB2和msSQL等都有不同于MYSQL的数据属性管理方式，因此在采用数据处理平台来处理不同类型的数据库中的数据时，需要数据处理平台能够统一维护不同类型的数据库的数据属性信息，并提供数据校验功能，这样才能对数据处理平台的存量数据和增量数据进行统一监控，其中存量数据是数据处理平台已经获取到的各种数据，增量数据则是数据处理平台将来会获取到的各种数据。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理方法及数据处理平台，用于分类存储元数据下的数据，并对元数据下的数据进行质量校验，以使得数据处理平台具有质量校验功能，进而实现对存量数据和增量数据的统一监控。

本发明提供一种数据处理方法，所述方法包括：

通过数据处理平台从数据库中采集至少一个元数据和所述至少一个元数据下的数据，所述元数据用于指示所述数据库中对应字段的属性信息；

根据所述元数据指示的对应字段的属性信息，确定所述元数据在数据仓库中所属层次以及在所属层次下的所属分类，所述数据处理平台以数据仓库的形式存储数据，所述数据仓库基于所述数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，所述数据库表用于存储一个元数据下的数据；

将所述至少一个元数据下的数据的格式转换为所述数据处理平台预先设定的格式，并将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中；

基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验。

优选的，所述基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，至少包括：

基于所述数据处理平台预先设定的完整性监控规则，对所述至少一个元数据下的数据进行完整性校验；

基于所述数据处理平台预先设定的准确性监控规则，对所述至少一个元数据下的数据进行准确性校验；

基于所述数据处理平台预先设定的有效性监控规则，对所述至少一个元数据下的数据进行有效性校验；

基于所述数据处理平台预先设定的重复性监控规则，对所述至少一个元数据下的数据进行重复性校验；

基于所述数据处理平台预先设定的及时性监控规则，对所述至少一个元数据下的数据进行及时性校验；

基于所述数据处理平台预先设定的分布性监控规则，对所述至少一个元数据下的数据进行分布性校验。

优选的，所述方法还包括：当对至少一个元数据下的数据进行质量校验的校验结果指示所述数据质量超出所述数据处理平台的预设质量范围时，输出告警信息。

优选的，所述方法还包括：对所述至少一个元数据进行分类汇总，得到记录相同元数据的元数据表。

优选的，所述方法还包括：根据元数据的用途确定元数据的对象类型，并将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项。

本发明还提供一种数据处理平台，所述平台包括：

采集单元，用于从数据库中采集至少一个元数据和所述至少一个元数据下的数据，其中元数据用于指示数据库中对应字段的属性信息，数据处理平台以数据仓库的形式存储采集到的数据，所述数据仓库基于所述数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，所述数据库表用于存储一个元数据下的数据；

确定单元，用于根据所述元数据指示的对应字段的属性信息，确定元数据在所述数据仓库中的所属层次以及在所属层次下的所属分类；

转换单元，用于将所述至少一个元数据下的数据的格式转换为所述数据处理平台预先设定的格式；

存储单元，用于将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中；

校验单元，用于基于所述数据处理平台预先设定的数据监控规则，对所述至少一个元数据下的数据进行质量校验。

优选的，所述校验单元，至少包括：

完整性校验子单元，用于基于所述数据处理平台预先设定的完整性监控规则，对所述至少一个元数据下的数据进行完整性校验；

准确性校验子单元，用于基于所述数据处理平台预先设定的准确性监控规则，对所述至少一个元数据下的数据进行准确性校验；

有效性校验子单元，用于基于所述数据处理平台预先设定的有效性监控规则，对所述至少一个元数据下的数据进行有效性校验；

重复性校验子单元，用于基于所述数据处理平台预先设定的重复性监控规则，对所述至少一个元数据下的数据进行重复性校验；

及时性校验子单元，用于基于所述数据处理平台预先设定的及时性监控规则，对所述至少一个元数据下的数据进行及时性校验；

分布性校验子单元，用于基于所述数据处理平台预先设定的分布性监控规则，对所述至少一个元数据下的数据进行分布性校验。

优选的，所述平台还包括：输出单元，用于当对至少一个元数据下的数据进行质量校验的校验结果指示所述数据质量超出所述数据处理平台的预设质量范围时，输出告警信息。

优选的，所述平台还包括：分类单元，用于对所述至少一个元数据进行分类汇总，得到记录相同元数据的元数据表。

优选的，所述平台还包括：配置单元，用于根据元数据的用途确定元数据的对象类型，并将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项。

与现有技术相比，本发明提供的上述技术方案具有如下优点：

从上述技术方案可知，本发明提供的数据处理方法可以从数据库中采集至少一个元数据，并根据元数据指示的对应字段的属性信息，确定元数据在数据仓库中所属层次以及在所属层次下的所属分类，这样在采集到元数据下的数据后，可以将至少一个元数据下的数据的格式转换为数据处理平台预先设定的格式，并将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中，而数据库表对应一个元数据对应字段的属性信息，因此可根据元数据将元数据下的数据存储到对应的数据库表中，实现数据的分类存储，以有利于对每个分类下数据统一管理。

并且本发明提供的数据处理方法还可以基于数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，以使得数据处理平台具有质量校验功能，进而实现对存量数据和增量数据的统一监控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据处理方法的一种流程图；

图2是本发明实施例提供的数据仓库的示意图；

图3是对图2所示数据仓库进行横向划分后的示意图；

图4是对图2所示数据仓库进行纵向划分后的示意图；

图5是本发明实施例提供的数据处理方法进行质量校验的流程图；

图6是本发明实施例提供的数据处理方法的另一种流程图；

图7是本发明实施例提供的数据处理平台的一种结构示意图；

图8是图7所示数据处理平台中校验单元的结构示意图；

图9是本发明实施例提供的数据处理平台的另一种结构示意图。

具体实施方式

目前不同数据库的数据属性管理方式不同，在采用数据处理平台来处理不同类型的数据库中的数据时，需要数据处理平台能够统一维护不同类型的数据库的元数据，并提供数据校验功能，这样才能对数据处理平台的存量数据和增量数据进行统一监控，本发明实施例提供一种数据处理方法及数据处理平台，以使数据处理平台可以统一维护不同类型的数据库的元数据，以及对存量数据和增量数据的统一监控，其中元数据用于指示数据库中对应字段的属性信息。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的数据处理方法的一种流程图，可以包括以下步骤：

101：通过数据处理平台从数据库中采集至少一个元数据和至少一个元数据下的数据，元数据用于指示数据库中对应字段的属性信息。以下述表1所示，表1为一个数据库包含的各个字段以及各个字段的属性信息，则一个字段的属性信息可以视为一个元数据。

表1数据库包含的各个字段以及各个字段的属性信息

列名	中文名	类型
			dbname	数据库名称	varchar(18)
cnname	中文名	varchar(50)
			dbtype	数据库类型	varchar(32)
dbver	驱动程序	varchar(4)
			jndiname	JNDI名称	varchar(60)
localalias	本地别名	varchar(32)
			username	用户名	varchar(32)
password	密码	varchar(64)
			jdbc_drivername	JDBC驱动名	varchar(128)
jdbc_dbname	JDBC数据库名	varchar(128)
			jdbc_jdbcurl	JDBC的URL名	varchar(128)

在获取到任意一个数据库后，从任意一个数据库中采集至少一个元数据，得到数据库中的所有元数据，而元数据下的数据是指数据库中在对应字段下实际记录的数据。

102：根据元数据指示的对应字段的属性信息，确定元数据在数据仓库中所属层次以及在所属层次下的所属分类，其中数据处理平台以数据仓库的形式存储数据。

可以理解的是：数据仓库一般情况下存储的数据量较大，因此采用数据仓库可以实现PB(PetaByte，数据存储单位)级数据存储。并且为能够对数据仓库中的数据进行管理，首先需要对数据进行归纳分类，归纳分类作为认识和理解一个复杂对象的最有效的办法，本发明实施例对数据管理采用分层和分类的方式，即数据仓库基于数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，数据库表用于存储一个元数据下的数据。也就是说，每个分类下的数据库表对应一个元数据，使得元数据和分类具有一定对应关系，这样根据这一对应关系可以确定元数据所属层次和所属层次下的分类，而不同元数据指示不同的属性信息，因此通过元数据可以获知数据库表结构，如表2所示。

表2数据库表结构

数据库名	表名	字段名	字段中文名	字段类型	字段长度
						ORACLE	D_AAC_ACCT_BKNG_TRANS	CITY_ID	地市编码	string	4
ORACLE	D_AAC_ACCT_BKNG_TRANS	N_ACCT_ID	划入账户编码	long	20
						ORACLE	D_AAC_ACCT_BKNG_TRANS	OUT_ACCT_ID	划出账户编码	long	20
ORACLE	D_AAC_ACCT_BKNG_TRANS	CREATE_DATE	创建日期	datetime	(null)
						ORACLE	D_AAC_ACCT_BKNG_TRANS	ORD_TRANS	预约转移时间	datetime	(null)
ORACLE	D_AAC_ACCT_BKNG_TRANS	IN_BRAND_ID	划入品牌编码	long	20
						ORACLE	D_AAC_ACCT_BKNG_TRANS	P_CITY	分区_地市	string	6
ORACLE	D_AAC_ACCT_BKNG_TRANS	OUT_CITY_ID	划出地市编码	string	4
						ORACLE	D_AAC_ACCT_BKNG_TRANS	STATE	状态	string	4
ORACLE	D_AAC_ACCT_BKNG_TRANS	ORD_ID	预约编号	long	20
						ORACLE	D_AAC_ACCT_BKNG_TRANS	STATE_DATE	状态时间	datetime	(null)

在采集到数据库的各个元数据和元数据下的数据后，将元数据下的数据存储到对应的数据库表中，例如一个数据库中记录有活动信息、用户信息和客户信息，这些信息在数据库中的属性信息不同，即这些信息对应不同的元数据，根据元数据可以将数据库中的数据记录到对应的数据库表中。

而对于数据库中的至少一个元数据来说，本发明实施例提供的数据处理方法还可以包括：对至少一个元数据进行分类汇总，得到记录相同元数据的元数据表，即一个元数据表下记录不同数据库的一个相同的元数据，实现的元数据的分类汇总，这样通过元数据表则可以确定哪些数据库中含有相同的元数据，以便于在获取某些元数据下的数据时，通过元数据表可以获知要获取的数据存储在哪些数据库中，进而从这些数据库中获取数据。

而从数据库中采集哪些元数据可以根据数据处理平台中预设采集规则来确定需采集的元数据，并将采集到的元数据存储到对应的元数据表中，其中数据处理平台中预设采集规则是根据用户的业务需求而预设设定的，具体预设采集规则的具体内容以及采集哪些元数据可以根据实际应用而定，对此本发明实施例不再阐述。

在本发明实施例中，预设采集规则可以是根据元数据的数据来源、元数据的数据存储周期和元数据的用途，对至少一个元数据进行分类汇总，得到记录相同元数据的元数据表。

比如根据元数据的数据来源对至少一个元数据进行分类汇总，如下表3所示。

表3根据元数据的数据来源分类

根据元数据的数据存储周期进行分类，其中数据存储周期指元数据在数据处理平台中存储的期限，对于元数据的数据存储周期可以根据实际应用而定，比如通话记录的元数据的数据存储周期为一个月，短信的元数据的数据存储周期数据为一周，超过期限的元数据的处理方式包括但不限于：删除、归档和规则转移中的至少一种。其中根据元数据的数据存储周期对元数据进行分类汇总如表4所示。

表4根据元数据的数据存储周期进行分类

根据元数据的用途，数据处理平台把元数据分成不同的数据类型，如表、接口、接口、指标和应用等，对于不同对象类型的元数据来说，将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项，实现对元数据的动态配置，这样对于元数据的处理方式中除属性和行为之外的其他参数可以在配置表中进行配置，实现数据处理平台的灵活性和扩展性，并且不同对象的元数据的行为不同，降低各种类型数据之间的耦合。

在本发明实施例中，根据元数据的用途对元数据进行分类如表5所示，其中表5中的数据类型指示的是某种元数据，中文名是根据元数据的用途得到的对象类型。

表5根据元数据的用途分类

数据类型	处理方式	中文名	序号	备注
					INTER	META-PRCOSS-INTE	接口	2	(null)
TAB	META-CATALOG-TAB	表	3	(null)
					PROC	META-PRCOSS-PROC	程序	4	(null)
DIM	META-CATALOG-DIM	维度表	6	(null)
					ZB	META-CATALOG-ZB	指标	5	(null)
META-APP	META-APP	应用类模型	4	(null)
					DATAFLOW	META-DATAFLOW	数据流程	8	(null)
MINDER	META-APP-MINDER	脑图	(null)	(null)
					VIEW	META-CATALOG-VIR	视图	(null)	(null)
topIC	META-CATALOG-top	主题	(null)	(null)

而对于不同对象类型的元数据来说，为其分配的属性和行为等如表6所示配置表，这种采用配置表把各种对象类型的元数据的属性和行为设置为配置表中的配置项可以实现对元数据的动态配置，这样在增加一种对象类型的元数据后，只需要编写对象类型的元数据的具体行为，其他的属性都可以通过配置表来实现，对于不同对象类型的元数据，其具体行为以及属性根据实际应用而定。

表6配置表的格式

在本发明实施例中，数据仓库至少包括五层层次，如图5所示分别是：应用层、中心区、汇总层、基础层和公共区，其中公共区存储各层处理共用的参数表；应用层存储应用程序对应的数据；中心区和汇总层用于存储与分类相关的数据，具体的中心区是跨类汇总，不同类下的数据具有一定联系，汇总层则是类内汇总，数据彼此不存在联系；基础层存储一些基础细粒度数据，如所分类可以是客户类、账户类、资源类和交互办理等。

以数据仓库的上述五层层次，基于某个数据划分规则横向划分的划分结果如图3所示，其中图3中未示出中心区，信息子层和汇总层对应图2中的汇总层、基础层和存储层则对应图2中的基础层。具体的，应用层存储应用个性数据；信息子层为每类整合的数据层，存储有供每类使用的分类表以及整合的数据表；汇总层用来汇总相应类内的数据；基础层可以视为转换后的数据层，用于处理类内的数据；存储层可以视为操作数据层，和现有boss(业务操作支撑系统)的数据结构相同，用来增加层的定义，但是不进行数据的处理。

若以主题作为一种分类方式进行纵向划分，会使得各个主题下的数据横跨多个层次，其划分结果如图4所示，其中图4中未示出中心区，信息子层和汇总层对应图2中的汇总层、基础层和数据层则对应图2中的基础层，并且从图4可知，每个主题均横跨多个层次，且图4右半部分为本发明实施例提供的主题名称。

这里需要说明的一点是：上述层次可以视为其下所属主题的父级主题，而数据划分规则可以根据实际应用来确定，本发明实施例并不限定具体采用哪种规则进行划分。并且数据仓库中不同数据具有一定的存储周期，若上述横跨多个层次下的数据具有不同的存储周期，则会按照每条数据各自的存储周期进行更新。

103：将至少一个元数据下的数据的格式转换为数据处理平台预先设定的格式，并将转换后的数据存储到所确定的所属层次下的所属分类下的数据库表中。

其中预先设定的格式是数据处理平台为使从不同数据源系统和接口文件采集到的元数据下的数据具有统一的格式而设定，本发明实施例并不具体限定采用何种格式。并且上述每个分类下对应一个数据库表，每个数据库表均设置有对应的数据属性信息，转换后的数据可以存储到自身对应的分类下，这样存储到同一分类下数据库表中的数据具有相同的数据属性信息，使得数据处理平台可以对不同分类下的数据属性信息进行分类的统一管理。

104：基于数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验。其中数据监控规则是本发明实施例进行质量校验的关键部分，是识别数据质量问题的主要判断标准，在本发明实施例中数据监控规则的属性信息如表7所示，但不限于表7所示，在实际使用中可以根据实际情况来设定数据监控规则的属性信息。

表7数据监控规则的属性信息

对上表中各个字段的说明如下：监控对象标识：所监控的数据的标识(ID)；

监控对象名称：所监控的数据名称，如客户信息汇总表；

监控对象类型：数据仓库中数据的分类，包括接口文件、数据库表、抽取-转换-加载(ETL，Extract-Transform-Load)作业和指标等；

监控对象维度：监控对象的数据维度，如地域维度、品牌维度等；

规则编码：规则的唯一标识，可以由数字序列构成，如347011；

规则名称：规则的具体名称，如客户发展波动检查；

监控规则类型：根据监控数据质量属性进行划分，如在本发明实施例中，至少从完整性、有效性、及时性、重复性、准确性和分布性这六个规则进行质量校验，具体有哪些类型视实际情况而定；

监控规则算法：对应监控规则类型的具体算法，即实现方式；

算法描述：对监控规则算法的描述说明；

规则阈值：监控规则计算的对比值，如波动率的允许范围为±5％；

规则描述：监控规则的其他注释信息。

在本发明实施例中，上述完整性、有效性、及时性、重复性、准确性和分布性这六个规则的描述如表8所示。

表8监控规则描述

规则类型	描述
		完整性	检查数据是否完整的记录了其所表示的真实实体或事件信息的方法
准确性	检查数据与真实对象的一致程度的方法
		有效性	检查数据符合其值域或业务规则定义的程度的方法
重复性	检查数据记录与其所表示的真实实体或事件是否一一对应的方法
		及时性	检查数据是否满足所需的更新频率的方法
分布性	检查数据在值域上的分布状况的方法

相对应的，基于上述完整性、有效性、及时性、重复性、准确性和分布性这六个规则进行质量校验的过程如图5所示，可以包括以下步骤：

1041：基于数据处理平台预先设定的完整性监控规则，对至少一个元数据下的数据进行完整性校验。

在本发明实施例中完整性校验可以参照表9所示，也就是说完整性监控规则至少包括：从关键属性空值检查和外键引用检查，并且从表9的算法描述和算法说明中可知，当关键属性为空值时，说明至少一个元数据下的数据不符合完整性要求；当关键属性不为空值时，说明至少一个元数据下的数据符合完整性要求。当外键关联不满足引用完整性的规则时，说明至少一个元数据下的数据不符合完整性要求；当外键关联满足引用完整性的规则时，说明至少一个元数据下的数据符合完整性要求。在基于关键属性空值检查和外键引用检查这两个方面校验完整性的情况下，需要关键属性不为空值且外键关联满足引用完整性的规则时，至少一个元数据下的数据才满足完整性要求。其中引用完整性的规则是指外键存在于数据所在数据表之外的其他数据表中，且外键必须是主键。

表9完整性校验描述

1042：基于数据处理平台预先设定的准确性监控规则，对至少一个元数据下的数据进行准确性校验。

在本发明实施例中准确性校验可以参照表10所示，也就是说准确性监控规则至少包括：同比波动检查、环比波动检查、均值波动检查、加权波动检查、数值检查和平衡规则这六个方面，并且可以参照算法描述中给出的公式进行准确性校验。在实际应用中，可以从表10中的选取至少一种算法进行准确性校验，并根据数据的分类，为所选取的算法设置阈值，当根据所选取的算法对数据进行准确性校验得到的计算结果在阈值范围内时，表明数据符合准确性校验，否则表明数据不符合准确性校验。

表10准确性校验描述

1043：基于数据处理平台预先设定的有效性监控规则，对至少一个元数据下的数据进行有效性校验。

在本发明实施例中有效性校验可以参照表11所示，也就是说有效性监控规则至少包括：关联检查、阈值检查和业务主键唯一性检查，并且可以参照算法描述中的描述进行有效性校验。比如对于关联检查来说，根据数据的分类为对应类型的数据设置阈值，当根据关联检查对数据进行有效性校验得到的计算结果在阈值范围内时，表明数据符合有效性校验，否则表明数据不符合有效性校验；而对于值域检查来说，则需要检查特定字段的取值是否在预定的取值范围之内，若是则表明数据符合有效性校验，否则表明数据不符合有效性校验。

表11有效性校验描述

1044：基于数据处理平台预先设定的重复性监控规则，对至少一个元数据下的数据进行重复性校验。

在本发明实施例中重复性校验可以参照表12所示，也就是说重复性监控规则至少包括：数值重复检查，并且从表12的算法描述和算法说明可知，当数据存在违反业务定义的重复检查时，说明检查的数据记录与其表示的真实实体或时间不一一对应，此时可以确定数据不满足重复性要求；当数据不存在违反业务定义的重复检查时，说明检查的数据记录与其表示的真实实体或时间一一对应，此时可以确定数据满足重复性要求。

表12重复性校验描述

1045：基于数据处理平台预先设定的及时性监控规则，对至少一个元数据下的数据进行及时性校验。

在本发明实施例中及时性校验可以参照表13所示，也就是说及时性监控规则至少包括：数值重复检查，并且从表13的算法描述和算法说明可知，当当前时间与基准时间的差值到达预设时间时，说明至少一个元数据下的数据满足及时性要求；当前时间与基准时间的差值未到达预设时间时，说明至少一个元数据下的数据不满足及时性要求。

表13及时性校验描述

1046：基于数据处理平台预先设定的分布性监控规则，对至少一个元数据下的数据进行分布性校验。分布性监控规则用于设置数据的分布情况，比如中国共有56个民族，那么每个中国人就必须是其中的一个民族，若采集的数据不在这56个民族之中，那么表明数据不符合分布性校验，否则表明数据符合分布性校验。

在本发明实施例中，上述数据处理方法还可以进行告警监控，如图6所示，在图1基础上还可以包括以下步骤：

105：当对至少一个元数据下的数据进行质量校验的校验结果指示数据质量超出数据处理平台的预设质量范围时，输出告警信息。

其中数据质量超出数据处理平台的预设质量范围可以是：在采用数据监控规则对采集到的数据进行质量校验时，采集到的数据超出数据监控规则允许范围，当采集到的数据超出数据监控规则允许范围时，输出告警信息。

以上述完整性监控规则中关键属性空值检查为例，当采集到的数据的关键属性为空值时，说明采集到的数据不符合完整性要求，这样就表示采集到的数据超出完整性监控规则允许范围；而对于具有一些阈值的数据监控规则来说，若采集到的数据的校验结果指示超过阈值，则说明超出对应的数据监控规则允许范围。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

与上述方法实施例相对应，本发明实施例还提供一种数据处理平台，其结构示意图如图7所示，可以包括：采集单元11、确定单元12、转换单元13、存储单元14和校验单元15。

采集单元11，用于从数据库中采集至少一个元数据和至少一个元数据下的数据，元数据用于指示数据库中对应字段的属性信息，如表1所示数据库表中各个字段的属性信息，这样就可以将一个字段的属性信息视为一个元数据。

确定单元12，用于根据元数据指示的对应字段的属性信息，确定元数据在数据仓库中的所属层次以及在所属层次下的所属分类。

其中数据处理平台以数据仓库的形式存储采集到的数据，可以理解的是：数据仓库一般情况下存储的数据量较大，因此采用数据仓库可以实现PB级数据存储。并且为能够对数据仓库中的数据进行管理，首先需要对数据进行归纳分类，归纳分类作为认识和理解一个复杂对象的最有效的办法，本发明实施例对数据管理采用分层和分类的方式。即数据仓库基于数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，，每个分类下对应一个数据库表，数据库表用于存储一个元数据下的数据。

也就是说，每个分类下的数据库表对应一个元数据，使得元数据和分类具有一定对应关系，这样根据这一对应关系可以确定元数据所属层次和所属层次下的分类。

转换单元13，用于将至少一个元数据下的数据的格式转换为数据处理平台预先设定的格式。其中预先设定的格式是数据处理平台为使从不同数据源系统和接口文件采集到的至少一个元数据下的数据具有统一的格式而设定，本发明实施例并不具体限定采用何种格式。

存储单元14，用于将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中。在本发明实施例中，为数据的每个分类均设置有对应的数据属性信息，转换后的数据可以存储到自身对应的分类下，这样存储到同一分类下的数据具有相同的数据属性信息，使得数据处理平台可以对不同分类下的数据属性信息进行分类的统一管理。

校验单元15，用于基于数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验。其中数据监控规则是本发明实施例进行质量校验的关键部分，是识别数据质量问题的主要判断标准，在本发明实施例中数据监控规则的属性信息方法实施例中相关说明，对此本发明实施例不再阐述。

并且数据监控规则至少包括完整性、有效性、及时性、重复性、准确性和分布性这六个规则，这六个规则的描述如上述表8所示，至此本发明实施例需要对存储的数据至少进行完整性、有效性、及时性、重复性、准确性和分布性这六个方面的校验，相对应的，上述校验单元15的结构示意图如图9所示，至少可以包括：完整性校验子单元151、准确性校验子单元152、有效性校验子单元153、重复性校验子单元154、及时性校验子单元155和分布性校验子单元156。

完整性校验子单元151，用于基于数据处理平台预先设定的完整性监控规则，对至少一个元数据下的数据进行完整性校验。

准确性校验子单元152，用于基于数据处理平台预先设定的准确性监控规则，对至少一个元数据下的数据进行准确性校验。

有效性校验子单元153，用于基于数据处理平台预先设定的有效性监控规则，对至少一个元数据下的数据进行有效性校验。

重复性校验子单元154，用于基于数据处理平台预先设定的重复性监控规则，对至少一个元数据下的数据进行重复性校验。

及时性校验子单元155，用于基于数据处理平台预先设定的及时性监控规则，对至少一个元数据下的数据进行及时性校验。

分布性校验子单元156，用于基于数据处理平台预先设定的分布性监控规则，对至少一个元数据下的数据进行分布性校验。

对于图9中完整性校验子单元151、准确性校验子单元152、有效性校验子单元153、重复性校验子单元154、及时性校验子单元155和分布性校验子单元156的执行过程请参阅方法实施例部分的相关说明，对此本发明实施例不再阐述。

从上述技术方案可知，本发明提供的数据处理平台可以从数据库中采集至少一个元数据，并根据元数据指示的对应字段的属性信息，确定元数据在数据仓库中所属层次以及在所属层次下的所属分类，这样在采集到元数据下的数据后，可以将至少一个元数据下的数据的格式转换为数据处理平台预先设定的格式，并将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中，而数据库表对应一个元数据对应字段的属性信息，因此可根据元数据将元数据下的数据存储到对应的数据库表中，实现数据的分类存储，以有利于对每个分类下数据统一管理。

并且本发明提供的数据处理平台还可以基于数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，以使得数据处理平台具有质量校验功能，进而实现对存量数据和增量数据的统一监控。

在本发明实施例中，上述数据处理平台还可以进行告警监控，如图9所示，在图8基础上还可以包括：输出单元16，用于当对至少一个元数据下的数据进行质量校验的校验结果指示数据质量超出数据处理平台的预设质量范围时，输出告警信息。

其中数据质量超出数据处理平台的预设质量范围可以是：在采用数据监控规则对至少一个元数据下的数据进行质量校验时，至少一个元数据下的数据超出数据监控规则允许范围，当至少一个元数据下的数据超出数据监控规则允许范围时，输出告警信息。

而对于数据库中的至少一个元数据来说，本发明实施例提供的数据处理平台还可以包括：分类单元和配置单元。

分类单元，用于对至少一个元数据进行分类汇总，得到记录相同元数据的元数据表，即一个元数据表下记录不同数据库的一个相同的元数据，实现的元数据的分类汇总，这样通过元数据表则可以确定哪些数据库中含有相同的元数据，以便于在获取某些元数据下的数据时，通过元数据表可以获知要获取的数据存储在哪些数据库中，进而从这些数据库中获取数据。

配置单元，用于根据元数据的用途确定元数据的对象类型，并将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项。

根据元数据的用途，配置单元把元数据分成不同的数据类型，如表、接口、接口、指标和应用等，对于不同对象类型的元数据来说，将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项，实现对元数据的动态配置，这样对于元数据的处理方式中除属性和行为之外的其他参数可以在配置表中进行配置，实现数据处理平台的灵活性和扩展性，并且不同对象的元数据的行为不同，降低各种类型数据之间的耦合。需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，其中，所述数据监控规则包括完整性监控规则、准确性监控规则、有效性监控规则、重复性监控规则、及时性监控规则以及分布性监控规则。

2.根据权利要求1所述的方法，其特征在于，所述基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，至少包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：当对至少一个元数据下的数据进行质量校验的校验结果指示数据质量超出所述数据处理平台的预设质量范围时，输出告警信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述至少一个元数据进行分类汇总，得到记录相同元数据的元数据表。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据元数据的用途确定元数据的对象类型，并将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项。

6.一种数据处理平台，其特征在于，所述平台包括：

校验单元，用于基于所述数据处理平台预先设定的数据监控规则，对所述至少一个元数据下的数据进行质量校验，其中，所述数据监控规则包括完整性监控规则、准确性监控规则、有效性监控规则、重复性监控规则、及时性监控规则以及分布性监控规则。

7.根据权利要求6所述的平台，其特征在于，所述校验单元，至少包括：

8.根据权利要求6所述的平台，其特征在于，所述平台还包括：输出单元，用于当对至少一个元数据下的数据进行质量校验的校验结果指示数据质量超出所述数据处理平台的预设质量范围时，输出告警信息。

9.根据权利要求6所述的平台，其特征在于，所述平台还包括：分类单元，用于对所述至少一个元数据进行分类汇总，得到记录相同元数据的元数据表。

10.根据权利要求9所述的平台，其特征在于，所述平台还包括：配置单元，用于根据元数据的用途确定元数据的对象类型，并将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项。