CN105653565A - 一种数据核查方法和数据核查装置 - Google Patents

Abstract

本发明公开了一种数据核查方法和数据核查装置，该方法包括：统一存储系统中所有的元数据；根据统一存储的所有的元数据之间的相互关系生成关系元数据，关系元数据至少包括如下信息：关系类型信息、源端元数据信息和目标端元数据信息；利用关系元数据以及统一存储的所有的元数据对待核查数据进行血统分析，生成待核查数据的血统分析页面；在血统分析页面上进行数据核查。本方法可以很直观地看到待核查数据的整个数据来源过程；简单可靠，提高了数据核查的准确性和效率。另外，数据核查人员只需要打开相应的待核查数据的血统分析页面就能看到整个数据的溯源，清楚、直观的找到出错的数据达到数据核查的目的，对核查人员的专业能力要求不高。

Description

一种数据核查方法和数据核查装置

技术领域

本发明涉及数据分析技术领域，具体涉及一种数据核查方法和数据核查装置。

背景技术

随着企业信息化建设的全面展开，企业对数据的依赖程度也在加大，数据质量的好坏直接关系到信息的准确程度，也影响了企业的生存和竞争能力。然而，企业系统的数据仓库的数据来自于多个数据源，而系统中对数据的清洗、抽取、加载、汇聚等数据处理是一个数据量庞大而且复杂的过程，其中涉及很多业务相关的算法等，所以，对数据的核查是一件很困难并且非常耗时的工作。目前大部分企业系统数据核查工作的方案是：发现问题后，需要熟悉业务和经验丰富的人员去进行核查，甚至有时会专门专业安排核查人员去做这些核查工作以保证数据核查的可靠性。并且通常发现数据出现问题进行核查时都需要编写复杂的数据库查询语句从上到下一层一层地查询很多张数据库表，并根据算法对照每一个数据来最终定位问题，这种方式不仅难度很大而且很容易由于人为原因而出错。

总之，现有的数据核查方案存在以下问题：1、数据核查结果不可靠；2、数据核查工作难度大；3、数据核查过程不直观；4、对数据核查人员的专业能力要求高。

发明内容

本发明提供了一种数据核查方法和数据核查装置，以解决现有的数据核查方案存在的结果不可靠、难度大、过程不直观以及对数据核查人员的专业能力要求高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据核查方法，该方法包括：

统一存储系统中的所有元数据；

根据统一存储的所有元数据之间的相互关系生成关系元数据；关系元数据至少包括如下信息：关系类型信息、源端元数据信息和目标端元数据信息；

利用关系元数据以及统一存储的所有的元数据对待核查数据进行血统分析，生成待核查数据的血统分析页面；

在血统分析页面上进行数据核查。

可选地，在血统分析页面上进行数据核查包括：

为血统分析页面上的某一个或多个关键元数据节点配置业务规则，判断配置了业务规则的节点是否符合已配置的业务规则，如果不符合，则在血统分析页面上进行告警提示，并启动血统分析溯源。

可选地，利用关系元数据以及统一存储的所有的元数据对待核查数据进行血统分析包括：

根据关系元数据，逐层级查找待核查数据的来源；

若待核查数据的来源是一个或者多个接口元数据，则停止查找，并生成记录待核查数据与接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是字段元数据，则进一步查找该字段元数据的来源，直至找到作为字段元数据的来源的接口元数据；并生成记录待核查数据与字段元数据、接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是由多个字段元数据根据数据处理元数据进行数据处理后得到的数据，则分别查找多个字段元数据的来源，直至找到每个字段元数据的接口元数据，并生成记录待核查数据与多个字段元数据、数据处理元数据、接口元数据之间来源关系的血统分析页面。

可选地，统一存储系统中所有的元数据包括：

创建一个存储元数据的数据库，并建立相应元数据的模型；

通过导入或者配置的方式把系统中所有的元数据保存到该数据库里。

可选地，为血统分析页面上的某一个或多个关键元数据节点配置业务规则包括：

在将系统中所有的元数据导入数据库时配置业务规则，或者在对待核查数据进行核查时在血统分析页面上动态配置业务规则。

根据本发明的另一个方面，还提供了一种数据核查装置，该装置包括：元数据存储单元、关系元数据生成单元，血统分析页面生成单元和数据核查单元；

元数据存储单元，用于统一存储系统中所有的元数据；

关系元数据生成单元，用于根据元数据存储单元统一存储的所有的元数据之间的相互关系生成关系元数据；关系元数据至少包括信息：关系类型信息、源端元数据信息和目标端元数据信息；

血统分析页面生成单元，用于利用关系元数据以及统一存储的所有的元数据对待核查数据进行血统分析，生成待核查数据的血统分析页面；

数据核查单元，用于在血统分析页面生成单元的血统分析页面上进行数据核查。

可选地，数据核查单元具体用于，为血统分析页面上的某一个或多个关键元数据节点配置业务规则，判断配置了业务规则的节点是否符合已配置的业务规则，如果不符合，则在血统分析页面上进行告警提示，并启动血统分析溯源。

可选地，血统分析页面生成单元具体用于，

根据关系元数据，逐层级查找待核查数据的来源；

若待核查数据的来源是一个或者多个接口元数据，则停止查找，并生成记录待核查数据与接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是字段元数据，则进一步查找该字段元数据的来源，直至找到作为字段元数据的来源的接口元数据；并生成记录待核查数据与字段元数据、接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是由多个字段元数据根据数据处理元数据进行数据处理后得到的数据，则分别查找多个字段元数据的来源，直至找到每个字段元数据的接口元数据，并生成记录待核查数据与多个字段元数据、数据处理元数据、接口元数据之间来源关系的血统分析页面。

可选地，元数据存储单元具体用于，创建一个存储元数据的数据库，并建立相应元数据的模型，通过导入或者配置的方式把系统中所有的元数据保存到该数据库里。

可选地，数据核查单元进一步具体用于，在将系统中所有的元数据导入数据库时配置业务规则，或者在对待核查数据进行核查时在血统分析页面上动态配置业务规则。

本发明的这种数据核查方法和数据核查装置，通过统一存储系统中所有的元数据并记录元数据之间来源关系，再根据元数据之间的来源关系进行血统分析并在核查时呈现该血统分析页面，因而，可以很直观地看到待核查数据的整个数据来源过程，并且核查的结果简单、可靠，提高了企业系统中数据核查的准确性和效率。另外，在进行数据核查工作时，数据核查人员只需要打开相应的待核查数据的血统分析页面就能看到整个数据的溯源，清楚、直观的找到出错的数据达到数据核查的目的，对核查人员的专业能力要求不高，节省人力成本。

附图说明

图1是本发明一个实施例提供的数据核查方法的流程图；

图2是本发明一个实施例提供的对数据进行血统分析的示意图；

图3是本发明一个实施例提供的系统中所有的元数据的统一存储的示意图；

图4是本发明一个实施例提供的关系元数据的示意图；

图5是本发明一个实施例提供的生成的血统分析页面示意图；

图6是本发明一个实施例提供的一种数据核查装置的框图。

具体实施方式

本发明的核心思想是：把系统中分散各个存储的所有的元数据进行统一存储，并根据元数据之间的来源关系以及统一存储的结构生成关系元数据，利用关系元数据和统一存储的所有的元数据对待核查数据进行血统分析，并生成血统分析页面，在该页面上呈现待核查数据的来源以直观的逐层级查找出错的数据，达到数据核查的目的。

元数据是描述数据及其环境的数据。企业系统一般有众多的业务系统，多种工具集成，元数据分布在各种工具中，依据不同的来源，根据元数据涉及的环节可分为很多类型的元数据。在数据仓库系统中，元数据主要支持以下五类系统管理功能:(1)描述哪些数据在数据仓库中；(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据；(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排；(4)记录并检测系统数据一致性的要求和执行情况；(5)衡量数据质量。

图1是本发明一个实施例提供的数据核查方法的流程图，参见图1，本发明的这种数据核查方法包括：

步骤S110，统一存储系统中的所有元数据；

步骤S120，根据统一存储的所有元数据之间的相互关系生成关系元数据；关系元数据至少包括如下信息：关系类型信息、源端元数据信息和目标端元数据信息；

步骤S130，利用关系元数据以及统一存储的所有的元数据对待核查数据进行血统分析，生成待核查数据的血统分析页面；

步骤S140，在血统分析页面上进行数据核查。

经过上述步骤，可以很直观的进行数据核查，发现问题，不需要编写复杂的查询语句，对数据核查人员的专业能力要求不高；而且，通过血统分析对待核查数据进行的溯源也确保了由于数据核查人员的原因导致的核查结果的不准确，提高了数据核查的效率。

在本发明的一个实施例中以下列元数据为例对本发明的数据核查方法进行具体说明：

1)指标元数据：描述企业系统中的业务指标；

2)报表元数据：描述企业系统中的业务报表；

3)数据仓库元数据：描述企业系统中的数据库、表、字段等；

4)ETL元数据：描述数据仓库元数据之间的数据处理过程单元；

5)接口元数据：主要来源于外部系统，一般指数据源；

在本发明的一个实施例中，将分散存储的所有的元数据进行统一存储，并根据所有的元数据之间的相互关系，以及统一存储的结构生成关系元数据，关系元数据记录了每个元数据的源端元数据信息、目标端元数据信息以及关系类型。上面提到的指标、报表、数据仓库等元数据只是数据处理过程中的一个节点，然而单独的一个节点对数据核查是没有意义的，本发明通过建立关系元数据，利用关系元数据把各个节点关联起来成为一个完整的数据处理过程，因此，每个元数据节点都可以通过关系元数据溯源到上一节点(如果有上一节点的话)。

具体对数据溯源过程是通过对血统分析来完成的，血统分析是对元数据进行数据同溯，显示组成其数据来源的相关元数据，以及数据来源关系的数据处理方式，血统分析结果可以用图形化形式进行直观展现。图2是血统分析原理示意图，下面结合血统分析和本发明一个实施例中用到的元数据进行说明。参见图2，在本实施例中，上述指标元数据也可以看作数据仓库元数据中的字段元数据，将上述元数据可以分为三类：字段元数据，数据处理ETL元数据以及接口元数据。

根据关系元数据，逐层级查找待核查数据的来源；若待核查数据的来源是一个或者多个接口元数据，则停止查找，并生成记录待核查数据与接口元数据之间来源关系的血统分析页面；若待核查数据的来源是字段元数据，则进一步查找该字段元数据的来源，直至找到作为字段元数据的来源的接口元数据；并生成记录待核查数据与字段元数据、接口元数据之间来源关系的血统分析页面；若待核查数据的来源是由多个字段元数据根据数据处理元数据进行数据处理后得到的数据，则分别查找多个字段元数据的来源，直至找到每个字段元数据的接口元数据，并生成记录待核查数据与多个字段元数据、数据处理元数据、接口元数据之间来源关系的血统分析页面。具体的，确定待核查数据，以对报表中某一指标元数据进行核查为例进行说明。参见图2，首先，根据指标元数据和关系元数据，找到指标元数据的上一个来源：字段元数据，接着根据字段元数据与ETL(Extract抽取-Transform转换-Load加载)元数据的关系查找字段元数据的上一个来源ETL元数据，根据数据来源的不同，在查找字段元数据和ETL元数据时可能会存在重复查找字段元数据→ETL元数据→字段元数据的多个步骤；最后，根据ETL元数据与接口元数据的关系找到指标元数据的来源接口，完成了指标元数据的溯源过程。将该溯源过程的每一个步骤以图形化展现，在图形化的血统分析页面上进行数据核查。

在本实施例中，在血统分析页面上进行数据核查时，可以为血统分析页面上的某一个或多个关键元数据节点配置业务规则，判断配置了业务规则的节点是否符合已配置的业务规则，如果不符合，则在血统分析页面上进行告警提示，并启动血统分析溯源。具体地对节点配置业务可以在在将系统中所有的元数据导入数据库时，或者在对待核查数据进行核查时在血统分析页面上动态配置。通过配置规则更加直观的在血统分析页面上呈现数据哪里出现了问题，进一步提高数据核查的效率。此外，具体在哪些节点配置业务规则，应当根据实际使用需要，确定关键节点，该关键节点可以是实际计算或者数据处理采集过程中经常出错的节点或者对待核查数据至关重要的节点，在这些关键节点配置业务规则比较容易发现问题，节省数据核查时间。

图3是本发明一个实施例提供的系统中所有的元数据的统一存储的示意图，图4是本发明一个实施例提供的生成的关系元数据的示意图，图5是本发明一个实施例提供的生成的血统分析页面示意图。下面结合图3至图5对本发明的数据核查方法进行具体说明:

参见图3，第一，创建一个存储元数据的数据库，并建立相应元数据的模型，通过导入或者配置的方式把系统中所有的元数据保存到该数据库里。其中元数据实体表(MD-ENTITY表)保存了所有的元数据节点，在本实施例中，元数据节点为7个。参见图3的下方的MD-ENTITY表，其中，ID表示在元数据实体表中的编号、Name表示元数据节点的名称，C-ObjectType表示元数据的类型，C-Id表示该元数据在各自对应的元数据表中的编号。在图3中，可以看到字段元数据表中的字段一元数据的值C-Value等于80，在定义元数据模型后导入元数据信息时配置了字段一的值应当满足的业务规则C-Rule：>100。其他的元数据节点没有配置业务规则。

第二，根据图3中统一存储的元数据信息以及元数据之间的相互关系，生成关系元数据，具体地关系元数据的结构参见图4，图4中示出的关系元数据包括下列信息：ID、Source-Id(源端元数据信息)Target-Id(目标端元数据信息)、C-type(关系类型)。其中，源端元数据信息和目标端元数据信息对应于图3中MD-ENTITY表，在本实施例中，关系类型C-type为独立。

第三，根据图4中的关系元数据以及图3中统一存储的元数据，对待核查数据进行血统分析。在本实施例中待核查数据为指标元数据kpi1，根据关系元数据表(MD-Relation)的第6条记录，找到目标端元数据ID为7的元数据，并根据MD-ENTITY表ID为7对应的元数据即kpi1。然后对指标元数据kpi1进行溯源，找到源端元数据ID为1的元数据，并根据MD-ENTITY表找到ID为1对应的元数据即字段一元数据。接着查找字段一的来源，根据关系元数据表的第5条记录，找到字段一元数据的源端元数据的ID为4，即元数据ETL1。根据关系元数据表的第3和4条记录以及元数据实体表的第4条记录找到ETL1元数据的来源为字段2和字段3元数据。根据关系元数据表第1条记录以及元数据实体表的第5条记录找到字段2的源端元数据为接口1。以及根据关系元数据表第2条记录以及元数据实体表的第6条记录找到字段3的源端元数据为接口2，至此，找到了指标元数据kpi1的源头，停止溯源。

第四，根据第三步骤中的血统分析过程，生成血统分析页面，通过血统分析页面能从指标kpi1溯源到输入源Input1和Input2，通过开发血统分析页面，可以得到如图5所示的一个血统分析示意图，图5中在字段一上配置了业务规则，字段一的值为80，与已经设置的业务规则不符，所以产生告警闪烁，而通过血统分析溯源能发现字段二的值为无，从而发现Input1输入一的数据问题，因此在字段一所在的节点进行闪烁告警提示。此外，图5中还清楚直观的展现了待核查数据的每一步来源，数据核查人员只需要在该血统分析页面上进行数据核查即可，不需要再一步一步的编写复杂的查询语句等简化了数据核查工作的难度。

在本发明的其他实施例中，可以在生成的血统分析页面上动态配置业务规则，并且可以在多个关键节点都配置业务规则，以判断待核查数据的关键节点是否符合已配置的业务规则，如果不符合的话，在血统分析页面上进行告警提示，具体的提示方式可以根据需要进行设置。

通过上述过程，数据核查工作能够大大简化，数据核查结果的准确性和效率得到提高，并且，对数据核查人员的专业能力要求不高节省企业的人力成本。

根据本发明的另一个方面还提供了一种数据核查装置，该装置600包括：元数据存储单元601、关系元数据生成单元602，血统分析页面生成单元603和数据核查单元604；

元数据存储单元601，用于统一存储系统中所有的元数据；

关系元数据生成单元602，用于根据元数据存储单元统一存储的所有的元数据之间的相互关系生成关系元数据；关系元数据至少包括信息：关系类型信息、源端元数据信息和目标端元数据信息；

血统分析页面生成单元603，用于利用关系元数据以及统一存储的所有的元数据对待核查数据进行血统分析，生成待核查数据的血统分析页面；

数据核查单元604，用于在血统分析页面生成单元603的血统分析页面上进行数据核查。

在本实施例中，数据核查单元604具体用于，为血统分析页面上的某一个或多个关键元数据节点配置业务规则，判断配置了业务规则的节点是否符合已配置的业务规则，如果不符合，则在血统分析页面上进行告警提示，并启动血统分析溯源。

在本实施例中，血统分析页面生成单元603具体用于，

根据关系元数据，逐层级查找待核查数据的来源；

若待核查数据的来源是一个或者多个接口元数据，则停止查找，并生成记录待核查数据与接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是字段元数据，则进一步查找该字段元数据的来源，直至找到作为字段元数据的来源的接口元数据；并生成记录待核查数据与字段元数据、接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是由多个字段元数据根据数据处理元数据进行数据处理后得到的数据，则分别查找多个字段元数据的来源，直至找到每个字段元数据的接口元数据，并生成记录待核查数据与多个字段元数据、数据处理元数据、接口元数据之间来源关系的血统分析页面。

在本实施例中，元数据存储单元601具体用于，创建一个存储元数据的数据库，并建立相应元数据的模型，通过导入或者配置的方式把系统中所有的元数据保存到该数据库里。

在本实施例中，数据核查单元604还用于：在将系统中所有的元数据导入数据库时配置业务规则，或者在对待核查数据进行核查时在血统分析页面上动态配置业务规则。

需要说明的是，本发明的这种数据核查装置是和前面描述的数据核查方法部分对应的，该数据核查装置的详细工作过程可以参见前述数据核查方法的说明，在此不再赘述。

综上所述，本发明实施例提供的数据核查方法和数据核查装置，可以很直观地看到待核查数据的整个数据来源过程，并且核查的结果简单、可靠，提高了企业系统中数据核查的准确性和效率。另外，在进行数据核查工作时，数据核查人员只需要打开相应的待核查数据的血统分析页面就能看到整个数据的溯源，清楚、直观的找到出错的数据达到数据核查的目的，对核查人员的专业能力要求不高。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据核查方法，其特征在于，所述方法包括：

统一存储系统中所有的元数据；

根据统一存储的所有的元数据之间的相互关系生成关系元数据；所述关系元数据至少包括如下信息：关系类型信息、源端元数据信息和目标端元数据信息；

利用所述关系元数据以及所述统一存储的所有的元数据对待核查数据进行血统分析，生成所述待核查数据的血统分析页面；

在所述血统分析页面上进行数据核查。

2.如权利要求1所述的数据核查方法，其特征在于，所述在所述血统分析页面上进行数据核查包括：

为所述血统分析页面上的某一个或多个关键元数据节点配置业务规则，判断配置了业务规则的节点是否符合已配置的业务规则，如果不符合，则在所述血统分析页面上进行告警提示，并启动血统分析溯源。

3.如权利要求1或2所述的数据核查方法，其特征在于，所述利用所述关系元数据以及所述统一存储的所有的元数据对待核查数据进行血统分析包括：

根据所述关系元数据，逐层级查找所述待核查数据的来源；

若所述待核查数据的来源是一个或者多个接口元数据，则停止查找，并生成记录所述待核查数据与所述接口元数据之间来源关系的血统分析页面；

若所述待核查数据的来源是字段元数据，则进一步查找该字段元数据的来源，直至找到作为所述字段元数据的来源的接口元数据；并生成记录所述待核查数据与所述字段元数据、接口元数据之间来源关系的血统分析页面；

若所述待核查数据的来源是由多个字段元数据根据数据处理元数据进行数据处理后得到的数据，则分别查找所述多个字段元数据的来源，直至找到每个字段元数据的接口元数据，并生成记录所述待核查数据与所述多个字段元数据、数据处理元数据、接口元数据之间来源关系的血统分析页面。

4.如权利要求1所述的数据核查方法，其特征在于，所述统一存储系统中所有的元数据包括：

创建一个存储元数据的数据库，并建立相应元数据的模型；

通过导入或者配置的方式把系统中所有的元数据保存到该数据库里。

5.如权利要求2所述的数据核查方法，其特征在于，所述为所述血统分析页面上的某一个或多个关键元数据节点配置业务规则包括：

在将系统中所有的元数据导入数据库时配置业务规则，或者在对待核查数据进行核查时在血统分析页面上动态配置业务规则。

6.一种数据核查装置，其特征在于，该装置包括：元数据存储单元、关系元数据生成单元，血统分析页面生成单元和数据核查单元；

所述元数据存储单元，用于统一存储系统中所有的元数据；

所述关系元数据生成单元，用于根据所述元数据存储单元统一存储的所有的元数据之间的相互关系生成关系元数据；所述关系元数据至少包括信息：关系类型信息、源端元数据信息和目标端元数据信息；

所述血统分析页面生成单元，用于利用所述关系元数据以及所述统一存储的所有的元数据对待核查数据进行血统分析，生成所述待核查数据的血统分析页面；

所述数据核查单元，用于在所述血统分析页面生成单元的所述血统分析页面上进行数据核查。

7.如权利要求6所述的数据核查装置，其特征在于，所述数据核查单元具体用于，为所述血统分析页面上的某一个或多个关键元数据节点配置业务规则，判断配置了业务规则的节点是否符合已配置的业务规则，如果不符合，则在所述血统分析页面上进行告警提示，并启动血统分析溯源。

8.如权利要求6或7所述的数据核查装置，其特征在于，所述血统分析页面生成单元具体用于，

根据所述关系元数据，逐层级查找所述待核查数据的来源；

若所述待核查数据的来源是一个或者多个接口元数据，则停止查找，并生成记录所述待核查数据与所述接口元数据之间来源关系的血统分析页面；

若所述待核查数据的来源是字段元数据，则进一步查找该字段元数据的来源，直至找到作为所述字段元数据的来源的接口元数据；并生成记录所述待核查数据与所述字段元数据、接口元数据之间来源关系的血统分析页面；

若所述待核查数据的来源是由多个字段元数据根据数据处理元数据进行数据处理后得到的数据，则分别查找所述多个字段元数据的来源，直至找到每个字段元数据的接口元数据，并生成记录所述待核查数据与所述多个字段元数据、数据处理元数据、接口元数据之间来源关系的血统分析页面。

9.如权利要求6所述的数据核查装置，其特征在于，所述元数据存储单元具体用于，创建一个存储元数据的数据库，并建立相应元数据的模型，通过导入或者配置的方式把系统中所有的元数据保存到该数据库里。

10.如权利要求7所述的数据核查装置，其特征在于，所述数据核查单元进一步具体用于，在将系统中所有的元数据导入所述数据库时配置业务规则，或者在对待核查数据进行核查时在血统分析页面上动态配置业务规则。