CN108647358A - 数据质量校验方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种数据质量校验方法、装置、存储介质及电子设备能够自适应地给数据表结构的各个字段添加校验规则，提升数据校验的效率。所述方法包括：确定待校验数据的数据表结构包括的各个字段的属性信息；根据所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为所述数据表结构包括的每个字段添加校验规则；根据添加的校验规则，对所述待校验数据进行校验。

Description

数据质量校验方法、装置、存储介质及电子设备

技术领域

本公开涉及计算机技术领域，具体地，涉及一种数据质量校验方法、装置、存储介质及电子设备。

背景技术

信息技术的飞速发展，催生了大数据时代的到来，在各行各业的领域中，伴随着大数据而来的一个重大问题就是数据质量的问题，比如，数据可能存在不一致、不正确、不完全，等等质量问题。因此，数据质量的校验工作具有重要的意义。

目前，可以设置校验规则来对数据质量进行校验，在校验数据质量的时候，质检人员会分别给数据表结构的每个字段添加校验规则，例如，某个字段对应的数据为身份证号，那么就给该字段添加用来校验身份证号的规则(比如包括数字类校验规则、字母类校验规则、位数类校验规则，等等)，然后利用添加的规则对数据进行质量检测。

可见，由质检人员添加校验规则的方式需要人工参与，效率较为低下，且对于数据表结构多的情况，操作起来更是繁琐与不便。

发明内容

本公开的目的是提供一种数据质量校验方法、装置、存储介质及电子设备，能够自适应地给数据表结构的各个字段添加校验规则，提升数据校验的效率。

根据本公开实施例的第一方面，提供一种数据质量校验方法，包括：

确定待校验数据的数据表结构包括的各个字段的属性信息；

根据所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为所述数据表结构包括的每个字段添加校验规则；

根据添加的校验规则，对所述待校验数据进行校验。

可选的，在根据添加的校验规则，对所述待校验数据进行校验之前，还包括：

取所述待校验数据中预设数量的数据，按照所述添加的校验规则进行预校验；

根据所述预校验的结果，对所述添加的校验规则进行调整；

根据添加的校验规则，对所述待校验数据进行校验，包括：

根据调整后的校验规则，对所述待校验数据进行校验。

可选的，根据所述预校验的结果，对所述添加的校验规则进行调整，包括：

保留校验通过率达到预设比例的校验规则；

删除校验通过率未达到所述预设比例的校验规则。

可选的，所述方法还包括：

获取对所述数据表结构包括的字段增加校验规则的操作；

将增加的校验规则与对应字段的属性信息之间的对应关系添加到预备规则库中，并令该对应关系使用次数的计数加一；

其中，针对所述预备规则库中的对应关系，将使用次数达到预设次数的对应关系添加到所述预设校验规则库中。

可选的，所述属性信息包括字段名称和字段类型中的至少一者。

根据本公开实施例的第二方面，提供一种数据质量校验装置，包括：

确定模块，用于确定待校验数据的数据表结构包括的各个字段的属性信息；

规则添加模块，用于根据所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为所述数据表结构包括的每个字段添加校验规则；

校验模块，用于根据添加的校验规则，对所述待校验数据进行校验。

可选的，所述装置还包括：

预校验模块，用于在所述校验模块根据添加的校验规则，对所述待校验数据进行校验之前，取所述待校验数据中预设数量的数据，按照所述添加的校验规则进行预校验；

规则调整模块，用于根据所述预校验的结果，对所述添加的校验规则进行调整；

所述校验模块用于：

根据所述规则调整模块调整后的校验规则，对所述待校验数据进行校验。

可选的，所述规则调整模块用于：

保留校验通过率达到预设比例的校验规则；

删除校验通过率未达到所述预设比例的校验规则。

可选的，所述装置还包括：

获取模块，用于获取对所述数据表结构包括的字段增加校验规则的操作；

添加模块，用于将增加的校验规则与对应字段的属性信息之间的对应关系添加到预备规则库中；

计数模块，用于令该对应关系使用次数的计数加一；

其中，针对所述预备规则库中的对应关系，将使用次数达到预设次数的对应关系添加到所述预设校验规则库中。

可选的，所述属性信息包括字段名称和字段类型中的至少一者。

根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，该程序被处理器执行时实现第一方面任一项所述方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括第三方面中所述的计算机可读存储介质；以及一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。

本公开实施例中，可以先确定待校验数据的数据表结构包括的各个字段的属性信息，然后根据预设校验规则库中的属性信息与校验规则之间的对应关系，给每个字段添加校验规则，再根据添加的校验规则对待校验数据进行校验。通过上述技术方案，无需人工参与即可实现校验规则的自适应添加，过程方便、快捷，提高了添加校验规则的效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的数据表结构与校验规则的示意图；

图2是根据一示例性实施例示出的一种数据质量校验方法的流程图；

图3是根据一示例性实施例示出的一种数据质量校验装置的框图；

图4是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

首先，对本公开的发明背景进行说明，请参见图1，数据表结构比如为某个学校用来存储学生数据的结构，至少包括学生编号(ID)字段、学生名字(NAME)字段、学生电话号码(PHONE_NUMBER)字段、以及身份证号(IDENTITY_NUM)字段。校验规则库中有数量多的校验规则供数据质检人员选择，比如，质检人员根据数据表结构，将校验规则1与校验规则3添加给字段ID，将校验规则2添加到字段NAME，将校验规则4添加到字段PHONE_NUM，等等。可见，这样的方式需要质检人员在校验规则库中分别给每个字段查找匹配的校验规则，效率较低，且较为繁琐。本公开提供一种能够实现校验规则自适应添加的方法，以下将对本公开的技术方案进行说明。

图2是根据一示例性实施例示出的一种数据质量校验方法的流程图，如图2所示，该数据质量校验方法可以应用于计算机中，包括以下步骤。

步骤S11：确定待校验数据的数据表结构包括的各个字段的属性信息。

待校验数据可以是大量的需要进行逐条校验的数据，比如包括某学校20000条学生个人信息，等等。每一条待校验数据是按照数据表结构进行存储的，数据表结构的每个字段表征数据的对应部分是何种信息，比如为图1所示的数据表结构，表示每一条待校验数据由学生编号(ID)、学生名字(NAME)、学生电话号码(PHONE_NUMBER)、以及身份证号(IDENTITY_NUM)组成。

可选的，数据表结构包括的字段的属性信息可以是字段名称、字段类型、字段大小、字段格式、字段索引等等信息，本公开实施例对此不作限定。

例如，字段名称为“TIME”表示该字段对应的数据为时间数据，或者例如，字段类型为数字型，那么表示该字段对应的数据为数字类数据，等等。

步骤S12：根据属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为数据表结构包括的每个字段添加校验规则。

预设校验规则库可以存储有大量的属性信息与校验规则之间的对应关系，这些对应关系可以是预先根据各式各样的属性信息(比如字段名称或字段类型)来设定的，同一属性信息可以与一个或多个校验规则相对应。例如，预设校验规则库中包括有字段名称“NUMBER”与数字类型校验规则的对应关系、字段类型“日期时间型”与日期类校验规则的对应关系，以及与时间类校验规则的对应关系，等等。

在确定了待校验数据的数据表结构包括的各个字段的属性信息后，可以基于预设校验规则库中存储的对应关系，自适应地为每个字段添加校验校验规则，比如根据预设校验规则库中的对应关系，为名称为“NAME”的字段添加校验规则1，为名称为“ID”的字段添加校验规则2和校验规则3，等等。这样，无需进行手动添加，提高了效率。

步骤S13：根据添加的校验规则，对待校验数据进行校验。

自适应地添加了校验规则之后，便可直接进行数据校验，比如对待校验的20000条学生个人信息进行校验。

然而，在实际应用中，不同的数据表结构可能具有特殊性，对于具有相同属性信息的字段，在不同的数据表结构中时，并不一定都适用于同样的校验规则，因此，在添加了校验规则后，进行实际校验之前，可以先进行一次预校验，来确定添加的校验规则是否合适。

可选的，在根据添加的校验规则，对待校验数据进行校验之前，还可以取待校验数据中预设数量的数据，按照添加的校验规则进行预校验，根据预校验的结果，对添加的校验规则进行调整。那么验证时，可以根据调整后的校验规则，对待校验数据进行校验。

通常情况下，待校验数据中大部分都是正确的数据，因此可以直接用待校验数据其中的一小部分数据按照添加的校验规则进行预校验，根据预校验的结果可以判断添加的校验规则是否合理，如果不合理可以进一步对添加的校验规则进行调整，使得调整后的校验规则更为合理，最后用调整后的校验规则对全部的待验证数据进行正式的校验。

可选的，对于如何根据预校验的结果来调整添加的校验规则，本公开实施例对此不作限定，只要能够让调整后的校验规则更为适应本次校验即可。比如可以保留校验通过率达到预设比例的校验规则，删除校验通过率未达到预设比例的校验规则。

预设比例可以是根据需求进行设定，比如设定为50％、60％，等等，本公开实施例不作限定。

例如，待校验数据有20000条，取其中的1000条数据进行预校验，预设比例为50％，基于校验规则库中的对应关系，添加到字段名称为“ID”的校验规则有校验规则1和校验规则2，进行预校验后，通过校验规则1校验的结果为正确的数据有800条，通过校验规则2校验的结果为正确的数据有100条，即，校验规则1的通过率为80％，校验规则2的通过率为10％，校验规则2未达到预设比例50％，删除校验规则2，保留校验规则1。

通过以上预校验的方式，可以删除添加的不适用的校验规则，提升校验规则的准确性和适用性。

可选的，还可以获取对数据表结构包括的字段增加校验规则的操作，将增加的校验规则与对应字段的属性信息之间的对应关系添加到预备规则库中，并令该对应关系使用次数的计数加一。其中，针对预备规则库中的对应关系，将使用次数达到预设次数的对应关系添加到预设校验规则库中。

也即是说，质检人员还可以根据业务需求来对自动添加的校验规则或者预校验之后调整过的校验规则再进行微调，那么如果微调的操作是增加校验规则的操作，可以将增加的校验规则与对应的字段的属性信息之间的对应关系添加到预备规则库中，使用次数加1。对于预备规则库中的对应关系，每使用一次，便使用次数计数加1，当使用次数达到预设次数(比如设定为10次、20次，等等)，便可将该对应关系添加到预设校验规则库中，作为常规的添加校验规则的对应关系来使用。

通过以上的方式，预设校验规则库中的对应关系可以基于实际应用情况来进行补充，能够更为准确地基于预设校验规则库来添加校验规则。

请参见图3，基于同一发明构思，本公开实施例提供一种数据质量校验装置300，该装置300可以包括：

确定模块301，用于确定待校验数据的数据表结构包括的各个字段的属性信息；

规则添加模块302，用于根据所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为所述数据表结构包括的每个字段添加校验规则；

校验模块303，用于根据添加的校验规则，对所述待校验数据进行校验。

可选的，所述装置300还包括：

预校验模块，用于在所述校验模块303根据添加的校验规则，对所述待校验数据进行校验之前，取所述待校验数据中预设数量的数据，按照所述添加的校验规则进行预校验；

规则调整模块，用于根据所述预校验的结果，对所述添加的校验规则进行调整；

所述校验模块303用于：

根据所述规则调整模块调整后的校验规则，对所述待校验数据进行校验。

可选的，所述规则调整模块用于：

保留校验通过率达到预设比例的校验规则；

删除校验通过率未达到所述预设比例的校验规则。

可选的，所述装置300还包括：

获取模块，用于获取对所述数据表结构包括的字段增加校验规则的操作；

添加模块，用于将增加的校验规则与对应字段的属性信息之间的对应关系添加到预备规则库中；

计数模块，用于令该对应关系使用次数的计数加一；

其中，针对所述预备规则库中的对应关系，将使用次数达到预设次数的对应关系添加到所述预设校验规则库中。

可选的，所述属性信息包括字段名称和字段类型中的至少一者。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备400的框图。如图4所示，该电子设备400可以包括：处理器401，存储器402。该电子设备400还可以包括多媒体组件403，输入/输出(I/O)接口404，以及通信组件405中的一者或多者。

其中，处理器401用于控制该电子设备400的整体操作，以完成上述的数据质量校验方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该电子设备400的操作，这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402或通过通信组件405发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口404为处理器401和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件405用于该电子设备400与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件405可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的数据质量校验方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据质量校验方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器402，上述程序指令可由电子设备400的处理器401执行以完成上述的数据质量校验方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种数据质量校验方法，其特征在于，包括：

确定待校验数据的数据表结构包括的各个字段的属性信息；

根据所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为所述数据表结构包括的每个字段添加校验规则；

根据添加的校验规则，对所述待校验数据进行校验。

2.根据权利要求1所述的方法，其特征在于，在根据添加的校验规则，对所述待校验数据进行校验之前，还包括：

取所述待校验数据中预设数量的数据，按照所述添加的校验规则进行预校验；

根据所述预校验的结果，对所述添加的校验规则进行调整；

根据添加的校验规则，对所述待校验数据进行校验，包括：

根据调整后的校验规则，对所述待校验数据进行校验。

3.根据权利要求2所述的方法，其特征在于，根据所述预校验的结果，对所述添加的校验规则进行调整，包括：

保留校验通过率达到预设比例的校验规则；

删除校验通过率未达到所述预设比例的校验规则。

4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

获取对所述数据表结构包括的字段增加校验规则的操作；

将增加的校验规则与对应字段的属性信息之间的对应关系添加到预备规则库中，并令该对应关系使用次数的计数加一；

其中，针对所述预备规则库中的对应关系，将使用次数达到预设次数的对应关系添加到所述预设校验规则库中。

5.根据权利要求1-3任一所述的方法，其特征在于，所述属性信息包括字段名称和字段类型中的至少一者。

6.一种数据质量校验装置，其特征在于，包括：

确定模块，用于确定待校验数据的数据表结构包括的各个字段的属性信息；

规则添加模块，用于根据所述属性信息及预设校验规则库中的属性信息与校验规则之间的对应关系，分别为所述数据表结构包括的每个字段添加校验规则；

校验模块，用于根据添加的校验规则，对所述待校验数据进行校验。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

预校验模块，用于在所述校验模块根据添加的校验规则，对所述待校验数据进行校验之前，取所述待校验数据中预设数量的数据，按照所述添加的校验规则进行预校验；

规则调整模块，用于根据所述预校验的结果，对所述添加的校验规则进行调整；

所述校验模块用于：

根据所述规则调整模块调整后的校验规则，对所述待校验数据进行校验。

8.根据权利要求7所述的装置，其特征在于，所述规则调整模块用于：

保留校验通过率达到预设比例的校验规则；

删除校验通过率未达到所述预设比例的校验规则。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

权利要求9中所述的计算机可读存储介质；以及

一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。