CN112035287B - 一种数据清洗结果的测试方法、装置、存储介质及设备 - Google Patents

Abstract

本申请公开了一种数据清洗结果的测试方法、装置、存储介质及设备，能够确保数据清洗结果的测试能够高效准确智能的完成，大大减少测试成本，提高测试效率。该方法包括：首先接收用户输入的测试请求信息；其中，测试请求信息包括待清洗的数据信息，然后，对测试请求信息进行属性的全量验证，得到第一验证结果，接着，根据测试请求信息的属性进行抽样，得到抽样信息，进而可以利用预先构建的精准测试模型，对抽样信息进行验证，得到第二验证结果，最后，可以根据第一验证结果和第二验证结果，生成测试报告，完成测试。

Description

一种数据清洗结果的测试方法、装置、存储介质及设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据清洗结果的测试方法、装置、存储介质及设备。

背景技术

随着大数据时代的到来，推进了数据需求量，从而使得在数据处理方面越来越复杂，通过数据清洗的方式对海量的数据进行挖掘分析，以抽取出有价值的信息是非常重要的，在此基础上，如何对大数据清洗进行准确测试，已成为当前面临的难点。

但是，现有对数据清洗结果的验证方式通常仅是通过人工对将清洗后的数据与之前的数据进行简单比对，以确定出清洗掉的数据是否为异常、无作用的数据，以测试出数据的清洗结果是否正确，但这种人工测试方式，主观性强、难以量化，不仅测试的效率低，而且还需要花费大量的人力资源。

发明内容

本申请实施例的主要目的在于提供一种数据清洗结果的测试方法、装置、存储介质及设备，能够确保数据清洗结果的测试能够高效准确智能的完成，大大减少测试成本，提高测试效率。

第一方面，本申请实施例提供了一种数据清洗结果的测试方法，包括：

接收用户输入的测试请求信息；所述测试请求信息包括待清洗的数据信息；

对所述测试请求信息进行属性的全量验证，得到第一验证结果；

根据所述测试请求信息的属性进行抽样，得到抽样信息；

利用预先构建的精准测试模型，对所述抽样信息进行验证，得到第二验证结果；

根据所述第一验证结果和所述第二验证结果，生成测试报告，完成测试。

可选的，所述接收用户输入的测试请求信息之后，方法还包括：

判断所述用户是否具有测试权限；

若是，则执行根据所述测试请求信息的属性进行抽样，得到抽样信息及后续步骤。

可选的，所述方法还包括：

若判断出所述用户不具有测试权限，则发出提示信息；

其中，所述提示信息包括文本信息、语音信息和频闪灯光信号中的至少一种。

可选的，所述方法还包括：

通过引流打标和/或人工造数的方式，获取训练数据；

按照预设清洗规则对所述训练数据进行清洗，得到清洗结果；

根据所述清洗结果对应的人工测试标签对初始精准测试模型进行测试训练，生成所述精准测试模型。

第二方面，本申请实施例还提供了一种数据清洗结果的测试装置，包括：

接收单元，用于接收用户输入的测试请求信息；所述测试请求信息包括待清洗的数据信息；

第一验证单元，用于对所述测试请求信息进行属性的全量验证，得到第一验证结果；

抽样单元，用于根据所述测试请求信息的属性进行抽样，得到抽样信息；

第二验证单元，用于利用预先构建的精准测试模型，对所述抽样信息进行验证，得到第二验证结果；

生成单元，用于根据所述第一验证结果和所述第二验证结果，生成测试报告，完成测试。

可选的，所述装置还包括：

判断单元，用于判断所述用户是否具有测试权限；

调用单元，用于若判断除所述用户是具有测试权限的，则调用并执行所述第一验证单元、所述抽样单元、所述第二验证单元和所述生成单元。

可选的，所述装置还包括：

发出单元，用于若判断出所述用户不具有测试权限，则发出提示信息；

其中，所述提示信息包括文本信息、语音信息和频闪灯光信号中的至少一种。

可选的，所述装置还包括：

获取单元，用于通过引流打标和/或人工造数的方式，获取训练数据；

清洗单元，用于按照预设清洗规则对所述训练数据进行清洗，得到清洗结果；

训练单元，用于根据所述清洗结果对应的人工测试标签对初始精准测试模型进行测试训练，生成所述精准测试模型。

本申请实施例还提供了一种数据清洗结果的测试设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述数据清洗结果的测试方法中的任意一种实现方式。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述数据清洗结果的测试方法中的任意一种实现方式。

本申请实施例提供的一种数据清洗结果的测试方法、装置、存储介质及设备，首先接收用户输入的测试请求信息；其中，测试请求信息包括待清洗的数据信息，然后，对测试请求信息进行属性的全量验证，得到第一验证结果，接着，根据测试请求信息的属性进行抽样，得到抽样信息，进而可以利用预先构建的精准测试模型，对抽样信息进行验证，得到第二验证结果，最后，可以根据第一验证结果和第二验证结果，生成测试报告，完成测试。可见，由于本申请实施例是通过全量测试和精准测试相结合的方式，对待清洗数据的清洗结果进行全量验证和抽样验证，从而能够确保数据清洗结果的测试能够高效准确智能的完成，大大减少测试成本，提高测试效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据清洗结果的测试方法的流程示意图；

图2为本申请实施例提供的一种数据清洗结果的测试装置的组成示意图。

具体实施方式

目前，随着大数据的发展和应用，越来越多的企业使用大数据来处理业务系统保存数据，分析建模抽取出有价值的信息，来推动企业的发展，如金融领域的各个银行通常会利用数据清洗的方式对海量的银行业务数据进行挖掘分析，以抽取出有价值的信息，在此基础上，如何对大数据清洗进行测试，成为当前面临的难点。但是，现有对数据清洗结果的验证方式通常仅是通过人工对将清洗后的数据与之前的数据进行简单比对，以确定出清洗掉的数据是否为异常、无作用的数据，以测试出数据的清洗结果是否正确，但这种人工测试方式，主观性强、难以量化，不仅测试的效率低，而且还需要花费大量的人力资源。

为解决上述缺陷，本申请实施例提供了一种数据清洗结果的测试方法，首先接收用户输入的测试请求信息；其中，测试请求信息包括待清洗的数据信息，然后，对测试请求信息进行属性的全量验证，得到第一验证结果，接着，根据测试请求信息的属性进行抽样，得到抽样信息，进而可以利用预先构建的精准测试模型，对抽样信息进行验证，得到第二验证结果，最后，可以根据第一验证结果和第二验证结果，生成测试报告，完成测试。可见，由于本申请实施例是通过全量测试和精准测试相结合的方式，对待清洗数据的清洗结果进行全量验证和抽样验证，从而能够确保数据清洗结果的测试能够高效准确智能的完成，大大减少测试成本，提高测试效率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

第一实施例

参见图1，为本实施例提供的一种数据清洗结果的测试方法的流程示意图，该方法包括以下步骤：

S101：接收用户输入的测试请求信息；其中，测试请求信息包括待清洗的数据信息。

需要说明的是，随着大数据的发展和应用，越来越多的企业使用大数据来处理业务系统保存数据，分析建模抽取出有价值的信息，来推动企业的发展，如金融领域的各个银行通常会利用数据清洗的方式对海量的银行业务数据进行挖掘分析，以抽取出有价值的信息，在此基础上，如何对大数据清洗进行测试，成为当前面临的难点。但目前仅是通过简单对比的人工测试方式，测试的主观性强、难以量化，成本较高。

为此，为了提高测试效率、降低测试成本，在本申请实施例中，首先接收用户输入的包括待清洗的数据信息的测试请求信息，用以执行后续步骤S102。

其中，待清洗的数据可以包括成功的文件数、失败的文件数等。

S102：对测试请求信息进行属性的全量验证，得到第一验证结果。

需要说明的是，在本实施例中，通过步骤S101接收到用户输入的测试请求信息后，为了保证数据的安全性，一种可选的实现方式是，在对其中的数据清洗结果进行测试之前，还需要调用用户的权限进行验证，以判断出该用户是否具有相应的测试权限。

若判断出该用户是具有测试权限的，则可以获取该测试请求信息包括的所有待清洗的数据，然后在将这些数据清洗后，判断各项数据处理结果是否是正常的，即，可以对测试请求信息进行全量属性的验证，比如，包括整体的文件数量、文件的大小、文件的格式、文件的类型等等属性，得到第一验证结果，用以执行后续步骤S105。

举例说明：假设测试请求信息中包括10000张表，且涉及了待清洗的数据量为1亿条，对此，首对改测试请求信息进行全量属性的验证，包括验证整体的文件数量是否为10000张表(正常+异常)，文件的类型是否都是一致的等等，并将验证结果作为第一验证结果，用以执行后续步骤S105。

相反，在本申请实施例的一种可能的实现方式中，若判断出该用户是不具有测试权限的，则说明该用户不具有对数据清洗结果进行测试的权力，不能进行后续的测试步骤，此时，可以向用户发出提示信息，作为提醒。

其中，一直可选的实现方式是，该提示信息可以包括文本信息、语音信息和频闪灯光信号中的至少一种。

在实际应用中，当判断出该用户是不具有测试权限时，可以发出提示信息。该提示信息可以是以文字和/或图片的短信或信息通知的形式提醒用户不具有对数据清洗结果进行测试的权力，需要先进行授权操作；或者，也可以是以发出频闪灯光的形式提醒用户不具有对数据清洗结果进行测试的权力，需要先进行授权操作；再或者，也可以是以声音信号的形式提醒用户不具有对数据清洗结果进行测试的权力，需要先进行授权操作，例如可以是蜂鸣声或者是语音播报的形式等。

S103：根据测试请求信息的属性进行抽样，得到抽样信息。

在本实施例中，通过步骤S102对测试请求信息进行属性的全量验证，得到第一验证结果后，进一步可以根据测试请求信息的属性，利用预先设定的抽样方法，开展抽样验证，得到抽样信息，用以执行后续步骤S104。

举例说明：假设测试请求信息包括的待清洗的数据全部都是随机的，没有规律，则可以采用随机抽样的方法进行抽样；若待清洗的数据具有一定的层次特性，那就可以采用分层抽样的方法进行抽样；若待清洗的数据的数据量非常大，且无明显特征，则可以采用蓄水池方法进行抽样，得到抽样信息，比如可以抽取出10张表，并通过后续步骤S104对这10张表的数据经过清洗后的结果正确性进行验证验证。

S104：利用预先构建的精准测试模型，对抽样信息进行验证，得到第二验证结果。

在本实施例中，通过步骤S103对测试请求信息的属性进行抽样，得到抽样信息后，进一步可以利用预先构建的精准测试模型，对抽样信息进行验证，得到第二验证结果，并将其记录到测试报告中。

其中，一种可选的实现方式是，精准测试模型主要用于测试数据清洗程序的各项处理逻辑和处理结果。具体构建过程可以包括：首先，通过引流打标和/或人工造数的方式，获取训练数据，然后，按照预设清洗规则对所述训练数据进行清洗，得到清洗结果，进而可以根据该清洗结果对应的人工测试标签对初始精准测试模型进行测试训练，生成精准测试模型。

举例说明：假设预设清洗规则为清洗异常数据、清洗缺失数据、清洗空格、清洗多余的控制行这四项内容。此时，在对清洗结果进行精准测试时，需要利用相应的异常数据、缺失数据、带空格的数据、带多余控制行的数据，从不同维度来测试数据清洗程序是否能够正常将这些清洗掉，并验证初始精准测试模型的各项正常处理和容错能力，由此，可以通过引流打标或人工造数的方式，生成验证数据的加工处理逻辑规则，覆盖程序每个处理分支(包括正确值、错误值和异常值等)，并将测试结果与人工测试标签进行对比，以根据对比结果对初始精准测试模型进行测试训练，直至满足预设的训练条件(如达到预设的训练次数或对比结果满足预设条件等)，生成精准测试模型。

S105：根据第一验证结果和第二验证结果，生成测试报告，完成测试。

在本实施例中，通过步骤S102得到第一验证结果以及通过步骤S104得到第二验证结果后，进一步可以将第一验证结果和第二验证结果均记录在测试报表中，以生成相应的日志，构成最终的测试报告，完成对数据清洗结果的测试。

综上，本实施例提供的一种数据清洗结果的测试方法，首先接收用户输入的测试请求信息；其中，测试请求信息包括待清洗的数据信息，然后，对测试请求信息进行属性的全量验证，得到第一验证结果，接着，根据测试请求信息的属性进行抽样，得到抽样信息，进而可以利用预先构建的精准测试模型，对抽样信息进行验证，得到第二验证结果，最后，可以根据第一验证结果和第二验证结果，生成测试报告，完成测试。可见，由于本申请实施例是通过全量测试和精准测试相结合的方式，对待清洗数据的清洗结果进行全量验证和抽样验证，从而能够确保数据清洗结果的测试能够高效准确智能的完成，大大减少测试成本，提高测试效率。

第二实施例

本实施例将对一种数据清洗结果的测试装置进行介绍，相关内容请参见上述方法实施例。

参见图2，为本实施例提供的一种数据清洗结果的测试装置的组成示意图，该装置包括：

接收单元201，用于接收用户输入的测试请求信息；所述测试请求信息包括待清洗的数据信息；

第一验证单元202，用于对所述测试请求信息进行属性的全量验证，得到第一验证结果；

抽样单元203，用于根据所述测试请求信息的属性进行抽样，得到抽样信息；

第二验证单元204，用于利用预先构建的精准测试模型，对所述抽样信息进行验证，得到第二验证结果；

生成单元205，用于根据所述第一验证结果和所述第二验证结果，生成测试报告，完成测试。

在本实施例的一种实现方式中，所述装置还包括：

判断单元，用于判断所述用户是否具有测试权限；

调用单元，用于若判断除所述用户是具有测试权限的，则调用并执行所述第一验证单元202、所述抽样单元203、所述第二验证单元204和所述生成单元205。

在本实施例的一种实现方式中，所述装置还包括：

发出单元，用于若判断出所述用户不具有测试权限，则发出提示信息；

其中，所述提示信息包括文本信息、语音信息和频闪灯光信号中的至少一种。

在本实施例的一种实现方式中，所述装置还包括：

获取单元，用于通过引流打标和/或人工造数的方式，获取训练数据；

清洗单元，用于按照预设清洗规则对所述训练数据进行清洗，得到清洗结果；

训练单元，用于根据所述清洗结果对应的人工测试标签对初始精准测试模型进行测试训练，生成所述精准测试模型。

综上，本实施例提供的一种数据清洗结果的测试装置，首先接收用户输入的测试请求信息；其中，测试请求信息包括待清洗的数据信息，然后，对测试请求信息进行属性的全量验证，得到第一验证结果，接着，根据测试请求信息的属性进行抽样，得到抽样信息，进而可以利用预先构建的精准测试模型，对抽样信息进行验证，得到第二验证结果，最后，可以根据第一验证结果和第二验证结果，生成测试报告，完成测试。可见，由于本申请实施例是通过全量测试和精准测试相结合的方式，对待清洗数据的清洗结果进行全量验证和抽样验证，从而能够确保数据清洗结果的测试能够高效准确智能的完成，大大减少测试成本，提高测试效率。

进一步地，本申请实施例还提供了一种数据清洗结果的测试设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述数据清洗结果的测试方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述数据清洗结果的测试方法的任一种实现方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据清洗结果的测试方法，其特征在于，包括：

接收用户输入的测试请求信息；所述测试请求信息包括待清洗的数据信息；

对所述测试请求信息进行属性的全量验证，得到第一验证结果；

根据所述测试请求信息的属性进行抽样，得到抽样信息；

利用预先构建的精准测试模型，对所述抽样信息进行验证，得到第二验证结果；

根据所述第一验证结果和所述第二验证结果，生成测试报告，完成测试。

2.根据权利要求1所述的方法，其特征在于，所述接收用户输入的测试请求信息之后，方法还包括：

判断所述用户是否具有测试权限；

若是，则执行根据所述测试请求信息的属性进行抽样，得到抽样信息及后续步骤。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若判断出所述用户不具有测试权限，则发出提示信息；

其中，所述提示信息包括文本信息、语音信息和频闪灯光信号中的至少一种。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

通过引流打标和/或人工造数的方式，获取训练数据；

按照预设清洗规则对所述训练数据进行清洗，得到清洗结果；

根据所述清洗结果对应的人工测试标签对初始精准测试模型进行测试训练，生成所述精准测试模型。

5.一种数据清洗结果的测试装置，其特征在于，包括：

接收单元，用于接收用户输入的测试请求信息；所述测试请求信息包括待清洗的数据信息；

第一验证单元，用于对所述测试请求信息进行属性的全量验证，得到第一验证结果；

抽样单元，用于根据所述测试请求信息的属性进行抽样，得到抽样信息；

第二验证单元，用于利用预先构建的精准测试模型，对所述抽样信息进行验证，得到第二验证结果；

生成单元，用于根据所述第一验证结果和所述第二验证结果，生成测试报告，完成测试。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

判断单元，用于判断所述用户是否具有测试权限；

调用单元，用于若判断除所述用户是具有测试权限的，则调用并执行所述第一验证单元、所述抽样单元、所述第二验证单元和所述生成单元。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

发出单元，用于若判断出所述用户不具有测试权限，则发出提示信息；

其中，所述提示信息包括文本信息、语音信息和频闪灯光信号中的至少一种。

8.根据权利要求5-7任一项所述的装置，其特征在于，所述装置还包括：

获取单元，用于通过引流打标和/或人工造数的方式，获取训练数据；

清洗单元，用于按照预设清洗规则对所述训练数据进行清洗，得到清洗结果；

训练单元，用于根据所述清洗结果对应的人工测试标签对初始精准测试模型进行测试训练，生成所述精准测试模型。

9.一种数据清洗结果的测试设备，其特征在于，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-4任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-4任一项所述的方法。

Images