CN110737650A

CN110737650A - 数据质量检测方法及装置

Info

Publication number: CN110737650A
Application number: CN201910927963.9A
Authority: CN
Inventors: 郑伟波; 张毅然
Original assignee: Beijing Mininglamp Software System Co ltd
Current assignee: Beijing Mininglamp Software System Co ltd
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2020-01-31

Abstract

本发明提供了一种数据质量检测方法及装置，该方法包括：获取需进行数据质量检测的数据表；对所述数据表的每个字段采用对应的检核规则进行数据质量检测，以获得每个字段在每个维度下的数据质量检测值，其中，所述维度至少包括以下之一：一致性、及时性、准确性、唯一性；对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。在本发明中，从一致性、及时性、准确性和唯一性多个维度对数据质量进行质量检测，并且可从字段级、数据表级、数据源级以及数据库级逐级对数据质量进行评价，从而在很大程度上保证了接入数据的质量可靠性。

Description

数据质量检测方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据质量检测方法及装置。

背景技术

在数据的采集、存储、传输的过程中,难免会出现数据错误、缺失等问题，数据的存在是因为它的价值,有些数据用作证据,有些数据用来做分析和预测。不管数据的作用是什么,如果数据出现错误、缺失以及其他问题,都会降低数据存在的价值，有时甚至带来深重的灾难。因此，确保数据的高质量是有效利用数据的基础。但是，如何全面判断数据质量的好坏也是目前面临的一个问题。

发明内容

本发明实施例提供了一种一种数据质量检测方法及装置，以至少解决相关技术中如何全面判断数据质量的好坏的问题。

根据本发明的一个实施例，提供了一种数据质量检测方法，包括：获取需进行数据质量检测的数据表；对所述数据表的每个字段采用对应的检核规则进行数据质量检测，以获得每个字段在每个维度下的数据质量检测值，其中，所述维度至少包括以下之一：一致性、及时性、准确性、唯一性；对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

可选地，对每个字段的数据质量检测值进行加权计算获得所述数据表的数据质量检测值之后，还包括：获取同一数据源下的多个数据表的数据质量检测值；对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

可选地，对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值之后，还包括：获取同一数据库下的多个数据源的数据质量检测值；对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

可选地，所述方法还包括：预先设置至少以下之一的门限值：字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值；当满足以下至少以下之一的条件时触发告警信息：字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值；数据表的数据质量检测值未达到该数据表的门限值；数据源的数据质量检测值未达到该数据源的门限值；数据库的数据质量检测值未达到该数据库的门限值。

根据本发明的另一个实施例，提供了一种数据质量检测装置，包括：第一获取模块，用于获取需进行数据质量检测的数据表；检测模块，用于对所述数据表的每个字段采用对应的检核规则进行数据质量检测，以获得每个字段在每个维度下的数据质量检测值，其中，所述维度至少包括以下之一：一致性、及时性、准确性、唯一性；第一计算模块，用于对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

可选地，所述装置还包括：第二获取模块，用于获取同一数据源下的多个数据表的数据质量检测值；第二计算模块，用于对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

可选地，所述装置还包括：第三获取模块，用于获取同一数据库下的多个数据源的数据质量检测值；第三计算模块，用于对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

可选地，所述装置还包括：告警模块，用于预先设置至少以下之一的门限值：字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值；并且，在满足以下至少以下之一的条件时触发告警信息：字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值；数据表的数据质量检测值未达到该数据表的门限值；数据源的数据质量检测值未达到该数据源的门限值；数据库的数据质量检测值未达到该数据库的门限值。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

在本发明的上述实施例中，从一致性、及时性、准确性和唯一性多个维度对数据质量进行质量检测，并且可从字段级、数据表级、数据源级以及数据库级逐级对数据质量进行评价，从而在很大程度上保证了接入数据的质量可靠性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据质量检测方法的流程图；

图2是根据本发明实施例的数据质量检测总体示意图；

图3是根据本发明实施例的数据质量检测总体流程图；

图4是根据本发明实施例的数据质量检测具体执行流程图；

图5是根据本发明实施例的数据质量检测装置的结构示意图；

图6是根据本发明可选实施例的数据质量检测装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种数据质量检测方法，图1是根据本发明实施例的方法流程图，如图1所示，该流程包括如下步骤：

步骤S102，获取需进行数据质量检测的数据表；

步骤S104，对所述数据表的每个字段采用对应的检核规则进行数据质量检测，以获得每个字段在每个维度下的数据质量检测值，其中，所述维度至少包括以下之一：一致性、及时性、准确性、唯一性；

步骤S106，对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

在本实施例的步骤S106之后，还可以包括：获取同一数据源下的多个数据表的数据质量检测值；对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

在本实施例，还可以进一步包括：获取同一数据库下的多个数据源的数据质量检测值；对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

在本实施例，还可以进一步包括：预先设置至少以下之一的门限值：字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值；当满足以下至少以下之一的条件时触发告警信息：字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值；数据表的数据质量检测值未达到该数据表的门限值；数据源的数据质量检测值未达到该数据源的门限值；数据库的数据质量检测值未达到该数据库的门限值。

为了便于对本发明的实施例的理解，下面将结合具体应用场景的实施例进行详细描述。

在本实施例中，基于数据质量的一致性、及时性、准确性、唯一性评判标准制定多维度规则，提供一个可以从字段级、表级、数据源级、数据库级逐级计算评分的多层次数据质量评分方法。

下面从总体流程方面对本实施例进行说明，图2为本实施例的总体流程示意图，图3为本案实施例的具体流程图。如图2-3所示，主要包括如下步骤：

步骤S301，将应用到的规则根据一致性、及时性、准确性、唯一性四个维度进行分类；

步骤S302，获取数据库每个表的元数据信息及样例数据，同步保存；

步骤S303，通过内置计算引擎，自动识别每个字段的字段类型以及适用的规则；

步骤S304，根据字段适用的检核规则对字段进行检测，记录每个字段的检核规则得分情况；

步骤S305，通过表的字段得分，加权计算得出表级综合得分；

步骤S306，通过数据源下每个表的得分，加权计算得到数据源级综合得分；

步骤S307，通过数据库下每个数据源的得分，加权计算得到库级综合得分；

步骤S308，配置字段级、表级、数据源级、数据库级分数阈值，进行数据质量预警。

下面将结合具体应用场景对本实施例进行详细描述。

在本实施例，有一个需要做数据质量评分的数据库A，数据库下有两个数据源B和C，每个数据源下有10张表，以其中一张表D为例，该表元数据信息如下表1所示：

表1

如图4所示，本实施例具体包括如下步骤：

步骤S401，同步需要数据质量评分的表D的元数据信息及样例数据；

步骤S402，系统自动识别每个字段的类型及适用的检核规则，比如采集时间适用于及时性维度的数据采集时间规则，身份证号适用于准确性维度下的身份证逻辑校验等；

步骤S403，配置需要检核的规则后，开始进行数据质量检查，根据每个字段在每个维度下不同检核规则的得分，加权计算得出每个字段在每个维度下的得分，字段得分如下表2所示：

表2

步骤S404，字段的综合得分取平均值得到表的综合得分，字段各维度得分的平均值为表的各维度得分；

步骤S405，通过同样的计算逻辑得到数据源级得分和数据库级得分；

步骤S406，当表D在某一维度下的实际得分未达到预设的得分阈值时，则发送告警信息。假设设置了表D及时性得分阈值为80分，实际表D及时性得分只有50分，则发送告警信息。

在本发明的上述实施例中，通过这个完善的多级数据质量评分方法，保证接入数据的完全可靠，提高用户对系统的信赖性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种数据质量检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的数据质量检测装置的结构框图，如图5所示，该装置包括第一获取模块10、检测模块20和第一计算模块30。

第一获取模块10用于获取需进行数据质量检测的数据表。

检测模块20用于对所述数据表的每个字段采用对应的检核规则进行数据质量检测，以获得每个字段在每个维度下的数据质量检测值，其中，所述维度至少包括以下之一：一致性、及时性、准确性、唯一性。

第一计算模块30用于对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

图6是根据本发明可选实施例的数据质量检测装置的结构框图，如图6所示，该装置除包括图5所示的所有模块外，还包括第二获取模块40、

第二计算模块50、第三获取模块60、第三计算模块70和告警模块80。

第二获取模块40用于获取同一数据源下的多个数据表的数据质量检测值。

第二计算模块50用于对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

第三获取模块60用于获取同一数据库下的多个数据源的数据质量检测值。

第三计算模块70用于对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

告警模块80用于预先设置至少以下之一的门限值：字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值；并且，在满足以下至少以下之一的条件时触发告警信息：字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值；数据表的数据质量检测值未达到该数据表的门限值；数据源的数据质量检测值未达到该数据源的门限值；数据库的数据质量检测值未达到该数据库的门限值。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据质量检测方法，其特征在于，包括：

获取需进行数据质量检测的数据表；

对所述数据表的每个字段采用对应的检核规则进行数据质量检测，以获得每个字段在每个维度下的数据质量检测值，其中，所述维度至少包括以下之一：一致性、及时性、准确性、唯一性；

对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

2.根据权利要求1所述的方法，其特征在于，对每个字段的数据质量检测值进行加权计算获得所述数据表的数据质量检测值之后，还包括：

获取同一数据源下的多个数据表的数据质量检测值；

对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

3.根据权利要求2所述的方法，其特征在于，对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值之后，还包括：

获取同一数据库下的多个数据源的数据质量检测值；

对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

4.根据权利要求1所述的方法，其特征在于，还包括：

预先设置至少以下之一的门限值：字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值；

当满足以下至少以下之一的条件时触发告警信息：

字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值；

数据表的数据质量检测值未达到该数据表的门限值；

数据源的数据质量检测值未达到该数据源的门限值；

数据库的数据质量检测值未达到该数据库的门限值。

5.一种数据质量检测装置，其特征在于，包括：

第一获取模块，用于获取需进行数据质量检测的数据表；

检测模块，用于对所述数据表的每个字段采用对应的检核规则进行数据质量检测，以获得每个字段在每个维度下的数据质量检测值，其中，所述维度至少包括以下之一：一致性、及时性、准确性、唯一性；

第一计算模块，用于对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

6.根据权利要求5所述的装置，其特征在于，还包括：

第二获取模块，用于获取同一数据源下的多个数据表的数据质量检测值；

第二计算模块，用于对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

7.根据权利要求6所述的装置，其特征在于，还包括：

第三获取模块，用于获取同一数据库下的多个数据源的数据质量检测值；

第三计算模块，用于对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

8.根据权利要求5所述的装置，其特征在于，还包括：

告警模块，用于预先设置至少以下之一的门限值：字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值；并且，在满足以下至少以下之一的条件时触发告警信息：字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值；数据表的数据质量检测值未达到该数据表的门限值；数据源的数据质量检测值未达到该数据源的门限值；数据库的数据质量检测值未达到该数据库的门限值。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。