CN110362563A - 数据表的处理方法及装置、存储介质、电子装置 - Google Patents

Abstract

本发明提供了一种数据表的处理方法及装置、存储介质、电子装置，其中，上述方法包括：确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量，采用上述技术方案，解决了相关技术中无法确定数据表的数据质量等问题。

Description

数据表的处理方法及装置、存储介质、电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据表的处理方法及装置、存储介质、电子装置。

背景技术

大数据的应用场景越来越多，而随着数据量的增长，数据来源的多样以及数据采集方式的多样，用户所拥有的数据质量也不一样，其中，有的表的数据采集比较全，但是有的表的数据某些重要字段的数据基本上都为空，这些都非常影响一个表的数据质量，一个表的数据质量的高低对后续应用的使用会造成一个非常大的影响。

针对相关技术中，无法确定数据表的数据质量等问题，目前尚未存在有效的解决方案。

发明内容

本发明实施例提供了一种数据表的处理方法及装置、存储介质、电子装置，以解决相关技术中无法确定数据表的数据质量等问题。

根据本发明的一个实施例，提供了一种数据表的处理方法，包括：确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

在本发明实施例中，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类之前，所述方法还包括：设置在所述数据库中的字段分类和部分规则的对应关系。

在本发明实施例中，对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数，包括：对于所述数据表中存在数字的每个字段，根据所述数字与该字段的每个规则进行计算，得到第一分数，以得到所述数据表中所有字段分别对应的多个第一分数。

在本发明实施例中，根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，包括：分别获取所述待处理的数据表中每个字段的第一分数；将所有字段的多个第一分数相加，得到第一分数的和；将所述第一分数的和与所述待处理的数据表中所有字段的个数之商，确定所述第二分数。

根据本发明的另一个实施例，还提供了一种数据表的处理装置，包括：第一确定模块，用于确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；第二确定模块，用于对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；第三确定模块，用于根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

在本发明实施例中，所述装置还包括：设置模块，用于设置在所述数据库中的字段分类和部分规则的对应关系。

在本发明实施例中，所述第二确定模块，用于对于所述数据表中存在数字的每个字段，根据所述数字与该字段的每个规则进行计算，得到第一分数，以得到所述数据表中所有字段分别对应的多个第一分数。

在本发明实施例中，所述第三确定模块，用于分别获取所述待处理的数据表中每个字段的第一分数；将所有字段的多个第一分数相加，得到第一分数的和；将所述第一分数的和与所述待处理的数据表中所有字段的个数之商，确定所述第二分数。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量，采用上述技术方案，解决了相关技术中，无法确定数据表的数据质量等问题，进而能够根据字段分类和规则等信息确定数据表的数据质量的高低，也为后续对该数据表的使用提供依据。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的数据表的处理方法的流程图；

图2是根据本发明实施例的一种可选的数据表的处理装置的结构框图；

图3是根据本发明实施例的一种可选的数据表的处理装置的另一结构框图；

图4为根据本发明优选实施例的数据质量的确定流程示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

图1是根据本发明实施例的一种可选的数据表的处理方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则。

步骤S104，对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数。

步骤S106，根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

根据本发明的上述技术方案，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量，采用上述技术方案，解决了相关技术中，无法确定数据表的数据质量等问题，进而能够根据字段分类和规则等信息确定数据表的数据质量的高低，也为后续对该数据表的使用提供依据。

在本发明实施例中，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类之前，所述方法还包括：设置在所述数据库中的字段分类和部分规则的对应关系，可选地，数据库中存在N个规则，那么可以选择N个规则中的部分规则与某一个字段分类对应设置。

在本发明实施例中，对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数，可以通过以下技术方案实现：对于所述数据表中存在数字的每个字段，根据所述数字与该字段的每个规则进行计算，得到第一分数，以得到所述数据表中所有字段分别对应的多个第一分数，例如，对于存在数字的身份证号这样的字段，根据该字段的数值和该字段对应的每个规则，确定出该字段的每个规则的多个分数，即能够多少个规则，就会得到多少个分数，此外，可以将得到的多个分数取平均后，得到该字段的第一分数；还可以针对每个规则设置对应的权重，将权重和多个分数相乘，最终得到该字段的第一分数。

需要说明的是，对于不存在数字的字段，例如，姓名等字段，如果数据表中存在该字段，则设置该字段的值为第一阈值(优选可以取1)，如果数据表中该字段为空，则设置该字段的值为第二阈值(优选可以为0)，根据设置的该字段的阈值(第一阈值或第二阈值)，和该字段对应的每个规则，确定出该字段的每个规则的多个分数。

在本发明实施例中，根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，包括：分别获取所述待处理的数据表中每个字段的第一分数；将所有字段的多个第一分数相加，得到第一分数的和；将所述第一分数的和与所述待处理的数据表中所有字段的个数之商，确定所述第二分数，进而通过第二分数就能够确定数据表的数据质量。

在一个可选实施例中，通过以下技术方案对上述数据表的处理流程进行说明，但不用于限定本发明实施例的技术方案。

本发明实施例的主要思路是通过对原始表的字段进行分类后，由于分类和部分规则存在绑定关系，因此，可以通过对规则的处理进而执行对数据质量的检测，主要包括以下步骤：

1)假设知识库中有X个字段分类，有Y个规则，每个字段分类和Y个规则中的部分规则进行绑定，X和Y均为正整数；

首先，对原始表中的字段选择知识库中的某个分类A，假设分类A绑定了a，b，c三个规则，具体字段和分类的对应规则可以采用现有技术中的任意一种实现方式；

2)在对原始表中的字段计算数据质量的时候使用a，b，c三个规则进行计算，并且每个规则都计算出一个得分；

3)对该字段三个规则得到的分数进行求平均，得到该字段的分数；

需要说明的是，也可以不采用取平均的方式确定分数，可以对每一种规则都设定权重，进而根据对应的权重值确定最终分数。

重复上述1)-3)的步骤，直到该原始表的所有字段都完成计算，得到了数据质量的分数；

在完成所有字段计算完成数据质量的分数，该表的数据质量分数通过对所有字段的分数求平均得到该表的数据质量分数。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种数据表的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的一种可选的数据表的处理装置的结构框图，如图2所示，该装置包括：

第一确定模块20，用于确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；

第二确定模块22，用于对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；

第三确定模块24，用于根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

根据本发明的上述技术方案，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量，采用上述技术方案，解决了相关技术中，无法确定数据表的数据质量等问题，进而能够根据字段分类和规则等信息确定数据表的数据质量的高低，也为后续对该数据表的使用提供依据。

在本发明实施例中，图3是根据本发明实施例的一种可选的数据表的处理装置的另一结构框图，如图3所示，所述装置还包括：

设置模块26，用于设置在所述数据库中的字段分类和部分规则的对应关系。

在本发明实施例中，所述第二确定模块22，用于对于所述数据表中存在数字的每个字段，根据所述数字与该字段的每个规则进行计算，得到第一分数，以得到所述数据表中所有字段分别对应的多个第一分数。

在本发明实施例中，所述第三确定模块24，用于分别获取所述待处理的数据表中每个字段的第一分数；将所有字段的多个第一分数相加，得到第一分数的和；将所述第一分数的和与所述待处理的数据表中所有字段的个数之商，确定所述第二分数。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

为了更好的理解上述数据表的数据质量的确定流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。

在一个知识库，假如设置了三个分类：分类A，分类B，分类C，而在知识库中有三个规则分别是规则X，规则Y，规则Z，其中，分类A和规则X，Y进行绑定，分类B和规则Y，Z进行绑定，分类C和规则X，Z进行绑定。现有一个原始表，有字段a，b，c，现在需要计算出原始表的数据质量得分，具体可以通过以下方式实现：

首先对原始表中字段选择相应的分类，给字段a选择分类A，给字段b选择分类B，给字段c选择分类C；

对字段a使用规则X和Y，并分别计算得分为m和n，那么字段a的得分就是(m+n)/2；

重复进行字段b和c的计算得分，字段b使用规则Y和Z，分别计算得分为l和h，那么字段b的数据质量得分为(l+h)/2；字段c使用规则X和Z，分别计算得分为o和p，那么字段c的数据质量得分为(o+p)/2；

计算原始表的得分为((m+n)/2+(l+h)/2+(o+p)/2)/3，至此完成了基于字段分类进行原始表数据质量得分的计算。

图4为根据本发明优选实施例的数据质量的确定流程示意图，如图4所示，包括以下步骤：

步骤S401，根据原始表(相当于上述实施例中的待处理的数据表)和知识库(相当于上述实施例的数据库)对原始表中的字段选择知识库中的分类；

步骤S402，对字段进行每个规则的得分计算，并求平均得到该字段的数据质量分数；

步骤S403，对原始表中的所有的字段进行求平均得到该表的数据质量分数；

步骤S404，完成通过字段分类获得该表的数据质量分数的计算。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；

S2，对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；

S3，根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；

S2，对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；

S3，根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据表的处理方法，其特征在于，包括：

确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；

对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；

根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

2.根据权利要求1所述的方法，其特征在于，确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类之前，所述方法还包括：

设置在所述数据库中的字段分类和部分规则的对应关系。

3.根据权利要求1所述的方法，其特征在于，对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数，包括：

对于所述数据表中存在数字的每个字段，根据所述数字与该字段的每个规则进行计算，得到第一分数，以得到所述数据表中所有字段分别对应的多个第一分数。

4.根据权利要求1所述的方法，其特征在于，根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，包括：

分别获取所述待处理的数据表中每个字段的第一分数；

将所有字段的多个第一分数相加，得到第一分数的和；

将所述第一分数的和与所述待处理的数据表中所有字段的个数之商，确定所述第二分数。

5.一种数据表的处理装置，其特征在于，包括：

第一确定模块，用于确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；

第二确定模块，用于对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；

第三确定模块，用于根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

设置模块，用于设置在所述数据库中的字段分类和部分规则的对应关系。

7.根据权利要求5所述的装置，其特征在于，所述第二确定模块，用于对于所述数据表中存在数字的每个字段，根据所述数字与该字段的每个规则进行计算，得到第一分数，以得到所述数据表中所有字段分别对应的多个第一分数。

8.根据权利要求5所述的装置，其特征在于，所述第三确定模块，用于分别获取所述待处理的数据表中每个字段的第一分数；将所有字段的多个第一分数相加，得到第一分数的和；将所述第一分数的和与所述待处理的数据表中所有字段的个数之商，确定所述第二分数。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4中任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。