CN106446125A

CN106446125A - 提升数据质量的方法及装置

Info

Publication number: CN106446125A
Application number: CN201610832173.9A
Authority: CN
Inventors: 陈乐华; 涂继来; 黄晓晖
Original assignee: Guangdong Idatatech Co Ltd
Current assignee: Guangdong Idatatech Co Ltd
Priority date: 2016-09-19
Filing date: 2016-09-19
Publication date: 2017-02-22
Anticipated expiration: 2036-09-19
Also published as: CN106446125B

Abstract

本发明公开了一种提升数据质量的方法及装置，方法包括：在数据库中对所有数据表进行扫描，找出字段名称一致的字段，程序将字段名称一致的字段自动生成关联对；判断生成的关联对是否大于或等于设定对数，如是，通过所述关联对中的键值，获取所述数据表中的数据值；否则，返回上一步骤；计算所获取的所有数据值的权重值，并根据计算结果将权重值最高的数据值作为可信数据；当用户要求或程序无法做出自动性判断时，系统生成自动对比结果的表格，将所述计算结果以报表的形式罗列给所述用户，通过所述用户的人工核对，获取最后的正确数据值。本发明能提高数据准确性、优化数据质量、提高数据统计业务工作的质量、有利于管理决策。

Description

提升数据质量的方法及装置

技术领域

本发明涉及数据统计领域，特别涉及一种提升数据质量的方法及装置。

背景技术

现阶段中，数据库中的统计数据与实际情况相差甚远，数据准确性低，现实数据存在缺失、误差等问题，严重影响数据质量。尤其是将纸质版信息通过人工录入时，将会存在错填或缺失等问题。其次，由于系统设计不合理，程序控制程度难以掌握，如两个同性质的表格，在不同系统中填入的内容不相同，或在一个表格内所需必填的内容在另一表格内缺失，从而造成数据不实。目前，存在许多因素造成数据质量低下，难以保证数据的准确度。

另外，现阶段，数据库中大量的同类数据以人工核对的方式进行校验。通过人手逐个录入、核对，并校对数据的准确性。虽然人工核对方式能整合数据库中各式同类数据，但效率低下，易产生错误。

当前，经济社会快速发展，人们对数据的需求不断增加。高准确度的数据对实行科学决策和现代化管理至关重要。而不实的数据不仅会造成财务成本核算失实，还会导致管理人员在决策上造成重大失误。因此，提升数据质量是数据管理领域中最迫切的需求。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能提高数据准确性、优化数据质量、提高数据统计业务工作的质量、有利于管理决策的提升数据质量的方法及装置。

本发明解决其技术问题所采用的技术方案是：构造一种提升数据质量的方法，包括如下步骤：

A)在数据库中对所有数据表进行扫描，找出字段名称一致的字段，程序将字段名称一致的字段自动生成关联对；

B)判断生成的关联对是否大于或等于设定对数，如是，通过所述关联对中的键值，获取所述数据表中的数据值，执行步骤C)；否则，返回步骤A)；

C)计算所获取的所有数据值的权重值，并根据计算结果将权重值最高的数据值作为可信数据；

D)当用户要求或程序无法做出自动性判断时，系统生成自动对比结果的表格，将所述计算结果以报表的形式罗列给所述用户，通过所述用户的人工核对，获取最后的正确数据值。

在本发明所述的提升数据质量的方法中，在所述步骤C)和步骤D)之间还包括：

C′)检测所述数据值是否有校验码，如是，根据编码规则对所述校验位进行校验计算，并判断所述数据值的可信度，执行步骤D)；否则，执行步骤D)。

在本发明所述的提升数据质量的方法中，所述设定对数为三对。

在本发明所述的提升数据质量的方法中，当所述数据值为居民身份证编号时，所述校验位为所述居民身份证编号的最后一位；当所述数据值为组织机构代码证号时，所述校验位为所述组织机构代码证号的最后一位；当所述数据值为车辆识别号时，所述校验位为所述车辆识别号的第九位；当所述数据值为社会信用代码时，所述校验位为所述社会信用代码的最后一位。

本发明还涉及一种实现如权利要求1所述的提升数据质量的方法的装置，包括：

扫描关联单元：用于在数据库中对所有数据表进行扫描，找出字段名称一致的字段，程序将字段名称一致的字段自动生成关联对；

关联对判断单元：用于判断生成的关联对是否大于或等于设定对数，如是，通过所述关联对中的键值，获取所述数据表中的数据值；否则，返回到所述扫描关联单元；

权重计算单元：用于计算所获取的所有数据值的权重值，并根据计算结果将权重值最高的数据值作为可信数据；

结果获取单元：用于当用户要求或程序无法做出自动性判断时，系统生成自动对比结果的表格，将所述计算结果以报表的形式罗列给所述用户，通过所述用户的人工核对，获取最后的正确数据值。

在本发明所述的实现上述提升数据质量的方法的装置中，在所述权重计算单元和结果获取单元之间还包括：

校验码检测单元：用于检测所述数据值是否有校验码，如是，根据编码规则对所述校验位进行校验计算，并判断所述数据值的可信度；否则，转到所述结果获取单元。

在本发明所述的实现上述提升数据质量的方法的装置中，所述设定对数为三对。

在本发明所述的实现上述提升数据质量的方法的装置中，当所述数据值为居民身份证编号时，所述校验位为所述居民身份证编号的最后一位；当所述数据值为组织机构代码证号时，所述校验位为所述组织机构代码证号的最后一位；当所述数据值为车辆识别号时，所述校验位为所述车辆识别号的第九位；当所述数据值为社会信用代码时，所述校验位为所述社会信用代码的最后一位。

实施本发明的提升数据质量的方法及装置，具有以下有益效果:由于通过扫描数据库字段名称自动获取关联对，以加权方式判断权重值较高的数据为可信数据，通过报表的方案，结合程序自动判断和人工判断两种数据提升数据质量的方法，相当于通过对数据库的数据进行整合，加强数据质量管理、增强整合数据的能力、减少同类数据中存在的误差，这样就可以提高数据准确性，优化数据质量；通过提高数据库的数据质量，有助于业务工作人员有效运用数据，提高工作效率，为其工作带来便利；当管理用户在制定决策时，高质量的数据成为他们决策的最佳依据，能有效帮助他们做出准确的判断，确保做出信心十足的决策；所以其能提高数据准确性、优化数据质量、提高数据统计业务工作的质量、有利于管理决策。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提升数据质量的方法及装置一个实施例中方法的流程图；

图2为所述实施例中进行校验码判断的流程图；

图3为所述实施例中装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明提升数据质量的方法及装置实施例中，其提升数据质量的方法的流程图如图1所示。图1中，该提升数据质量的方法包括如下步骤：

步骤S01在数据库中对所有数据表进行扫描，找出字段名称一致的字段，程序将字段名称一致的字段自动生成关联对:本步骤中，通过扫描数据库字段名称，自动获取关联对，具体就是通过在数据库中队所有数据表进行扫描，找出字段名称一致的字段，程序将字段名称一致的字段自动生成关联对。

步骤S02判断生成的关联对是否大于或等于设定对数：本步骤中，判断生成的关联对是否大于或等于设定对数，本实施例中，设定对数为三对，也就是说，本步骤中，实际就是判断生成的并联对是否大于或等于三对，如果判断的结果为是，则执行步骤S03；否则，返回步骤S01。

步骤S03通过关联对中的键值，获取数据表中的数据值：如果上述步骤S02的判断结果为是，也就是生成了三对或三对以上的关联对，则执行本步骤。本步骤中，关联对比对，加权信任，具体就是通过关联对中的键值，获取数据表中的数据值。执行完本步骤，执行步骤S04。

步骤S04计算所获取的所有数据值的权重值，并根据计算结果将权重值最高的数据值作为可信数据：本步骤中，计算所获取的所有数据值的权重值，并根据计算结果将权重值最高的数据值作为可信数据。具体来讲，如果一个数据值出现一次，即对该数据值的权重值加一。在此情况下，数据值重复出现的次数越多，其权重值就越高。因此完成对比后，权重值越高的数据值越可信。本实施例中，如果程序处于全自动运行无需人工干预状态，权重值最高的数据值为可信数据。执行完本步骤，执行步骤S05。

步骤S05当用户要求或程序无法做出自动性判断时，系统生成自动对比结果的表格，将计算结果以报表的形式罗列给用户，通过用户的人工核对，获取最后的正确数据值：本步骤中，人工分析，列值比对，具体的，完成上述比对后，如果用户要求或者程序无法做出自动性判断时，系统会生成自动对比结果的表格，将步骤S04中的自动算法计算之后的计算结果以报表的形式罗列给用户自行核对，最终通过用户的人工核对，获取最终的正确数据值。

本发明的提升数据质量的方法通过对数据库的数据进行整合，可以加强数据质量管理、增强整合数据的能力、减少同类数据中存在的误差、提高数据质量，这样就可以提高数据准确性，优化数据质量。通过提高数据库数据质量，有助于业务工作人员有效运用数据，提高工作效率，为其工作带来便利，这样就可以提高数据统计业务工作的质量。当管理用户在制定决策时，高质量的数据成为他们决策的最佳依据，能有效帮助他们做出准确的判断，确保做出信心十足的决策，所以这样就有利于管理决策。

值得一提的是，本实施例中，当数据库中个别字段有校验码时，可通过校验码获取可信数据。具体的，进行校验码判断的流程图如图2所示，图2中，在步骤S04和步骤S05之间还包括如下步骤：

步骤S04′检测数据值是否有校验码：本步骤中，检测数据值是否有校验码，如果检测的结果为是，则执行步骤S05′；否则，执行步骤S05。

步骤S05′根据编码规则对校验位进行校验计算，并判断数据值的可信度：如果上述步骤S04′的判断结果为是，则执行本步骤。本步骤中，根据编码规则对校验位进行校验计算，并判断数据值的可信度。当数据值为居民身份证编号时，校验位为居民身份证编号的最后一位；当数据值为组织机构代码证号时，校验位为组织机构代码证号的最后一位；当数据值为车辆识别号时，校验位为所述车辆识别号的第九位；当数据值为社会信用代码时，校验位为社会信用代码的最后一位。

具体来讲，居民身份证编号的校验位为身份证编号的最后一位，可以根据编码规则《GB11643-1999公民身份号码》检验计算；组织机构代码证号的校验位为组织机构代码证号的最后一位，可以根据编码规则《GB11714-1997全国组织机构代码编制规则》检验计算；车辆识别号(VIN)的校验位为车辆识别号的第九位，可以根据编码规则《GB16735-2004道路车辆车辆识别代号(VIN)》检验计算；社会信用代码的校验位为社会信用代码的最后一位，可以根据编码规则《GB32100-2015法人和其他组织统一社会信用代码编码规则》检验计算。执行完本步骤，执行步骤S05。

此种情况下，在上述步骤S05中，就可以将步骤S04中自动算法和步骤S05′中附加算法计算后的计算结果，以报表的形式罗列给用户自行核对。最终通过用户的人工核对，获取最后的正确数据值。这样获取的正确数据值的精度会更高。如果数据值不涉及校验值算法，则步骤S04′和步骤S05′可忽略。通过加入以上所述的校验码算法，可协助判断数据值的可信度。

本实施例还涉及一种实现上述提升数据质量的方法的装置，其结构示意图如图3所示。图3中，该装置包括扫描关联单元1、关联对判断单元2、权重计算单元3和结果获取单元4；其中，扫描关联单元1用于在数据库中对所有数据表进行扫描，找出字段名称一致的字段，程序将字段名称一致的字段自动生成关联对；关联对判断单元2用于判断生成的关联对是否大于或等于设定对数，如是，通过关联对中的键值，获取数据表中的数据值；否则，返回到扫描关联单元1；上述设定对数为三对。当然，在本实施例的一些情况下，上述设定对数也可以为其他值。权重计算单元3用于计算所获取的所有数据值的权重值，并根据计算结果将权重值最高的数据值作为可信数据；结果获取单元4用于当用户要求或程序无法做出自动性判断时，系统生成自动对比结果的表格，将计算结果以报表的形式罗列给用户，通过用户的人工核对，获取最后的正确数据值。

本发明的装置通过对数据库的数据进行整合，可以加强数据质量管理、增强整合数据的能力、减少同类数据中存在的误差、提高数据质量，这样就可以提高数据准确性，优化数据质量。通过提高数据库数据质量，有助于业务工作人员有效运用数据，提高工作效率，为其工作带来便利，这样就可以提高数据统计业务工作的质量。当管理用户在制定决策时，高质量的数据成为他们决策的最佳依据，能有效帮助他们做出准确的判断，确保做出信心十足的决策，所以这样就有利于管理决策。

本实施例中，当数据库中个别字段有校验码时，可通过校验码获取可信数据。此时，在权重计算单元3和结果获取单元4之间还包括校验码检测单元3′，校验码检测单元3′用于检测数据值是否有校验码，如是，根据编码规则对校验位进行校验计算，并判断数据值的可信度；否则，转到结果获取单元4。

本实施例中，当数据值为居民身份证编号时，校验位为所述居民身份证编号的最后一位；当数据值为组织机构代码证号时，校验位为组织机构代码证号的最后一位；当数据值为车辆识别号时，校验位为所述车辆识别号的第九位；当数据值为社会信用代码时，校验位为社会信用代码的最后一位。通过加入以上所述的校验码算法，可协助判断数据值的可信度。

总之，本发明通过使用通过扫描数据库字段名称，自动获取关联对；多值比对，加权信任；人工分析，列值比对步骤，提升数据库数据的质量。具体就是通过扫描数据库字段名称，自动获取关联对；以加权方式，判断权重值较高的数据值为可信数据；通过报表的方案，结合程序自动判断和人工判断两种数据提升数据质量的方法。本发明能提升数据库数据质量，并提供精确的数据分析的相关资料。其能解决传统技术中数据库中由于有许多同性质的数据表格，然而这些表格由于存在不同原因导致数据错漏情况发生的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种提升数据质量的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的提升数据质量的方法，其特征在于，在所述步骤C)和步骤D)之间还包括：

3.根据权利要求1或2所述的提升数据质量的方法，其特征在于，所述设定对数为三对。

4.根据权利要求2所述的提升数据质量的方法，其特征在于，当所述数据值为居民身份证编号时，所述校验位为所述居民身份证编号的最后一位；当所述数据值为组织机构代码证号时，所述校验位为所述组织机构代码证号的最后一位；当所述数据值为车辆识别号时，所述校验位为所述车辆识别号的第九位；当所述数据值为社会信用代码时，所述校验位为所述社会信用代码的最后一位。

5.一种实现如权利要求1所述的提升数据质量的方法的装置，其特征在于，包括：

6.根据权利要求5所述的实现如权利要求1所述的提升数据质量的方法的装置，其特征在于，在所述权重计算单元和结果获取单元之间还包括：

7.根据权利要求5或6所述的实现如权利要求1所述的提升数据质量的方法的装置，其特征在于，所述设定对数为三对。

8.根据权利要求6所述的实现如权利要求1所述的提升数据质量的方法的装置，其特征在于，当所述数据值为居民身份证编号时，所述校验位为所述居民身份证编号的最后一位；当所述数据值为组织机构代码证号时，所述校验位为所述组织机构代码证号的最后一位；当所述数据值为车辆识别号时，所述校验位为所述车辆识别号的第九位；当所述数据值为社会信用代码时，所述校验位为所述社会信用代码的最后一位。