CN113868141A - 数据测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种数据测试方法、装置、电子设备及存储介质，该方法包括：获取待测试的数据表，数据表为测试流程中所需数据信息的集合；对数据表中的数据信息执行抽样处理，得到至少一个抽样表，抽样表用于保存数据表中被抽样出的数据信息；将待测试的数据表替换为至少一个抽样表，并执行测试流程，得到与至少一个抽样表对应的抽样测试结果；根据至少一个抽样测试结果，确定出数据表的测试结果。实现了对数据表进行抽样得到数据信息较少的抽样表，从而减小数据测试过程中的数据量；同时利用抽样表执行测试流程，根据多个抽样测试结果确定出数据表的测试结果，还提高了对数据表进行数据测试的全面性及准确性，进一步提高了数据测试的效率。

Description

数据测试方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据测试方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的迅速发展，在开发相应功能时需要利用现有数据进行测试；数据测试通过后可将该功能上线应用。

相关技术中，测试环境需要依次执行数据测试请求，且通常数据测试的数据量较为庞大，导致完成各个数据测试请求的耗时较长；因此，现有的数据测试效率还较低。

发明内容

本公开提供一种数据测试方法、装置、电子设备及存储介质，以至少解决相关技术中数据测试效率较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据测试方法，包括：

获取待测试的数据表，所述数据表为测试流程中所需调用数据信息的集合；

对所述数据表中的数据信息执行抽样处理，得到至少一个抽样表，所述抽样表用于保存所述数据表中被抽样出的数据信息；

将所述待测试的数据表替换为所述至少一个抽样表，并执行所述测试流程，得到与所述至少一个抽样表对应的抽样测试结果；

根据所述至少一个抽样测试结果，确定出所述数据表的测试结果。

在一示例性实施例中，所述获取待测试的数据表，包括：

响应于包含有待测试任务的测试请求，获取所述待测试任务的数据表血缘关系，所述数据表血缘关系用于表征各个数据表之间的上下游关系；

根据所述数据表血缘关系，获取与所述待测试任务对应的所述待测试的数据表。

在一示例性实施例中，所述根据所述数据表血缘关系，获取与所述待测试任务对应的所述待测试的数据表，包括：

根据所述数据表血缘关系构建数据表网络，确定出所述数据表网络中的目标网络分支；

从各个所述目标网络分支中分别选取至少一个数据表，作为与所述待测试任务对应的所述待测试的数据表。

在一示例性实施例中，在获取与所述待测试任务对应的所述待测试的数据表之后，还包括：

获取各个所述待测试的数据表的元数据信息；

根据所述元数据信息，获取各个所述待测试的数据表中的数据信息的标识、属性及属性数值。

在一示例性实施例中，抽样参数至少包含时间范围、抽样数量以及抽样方法；

所述对所述数据表中的数据信息执行抽样处理，得到至少一个抽样表，包括：

从所述数据表中筛选出符合所述时间范围的数据信息；

根据所述抽样方法，从筛选后的数据信息的所述标识中，抽取出所述抽样数量的数据信息，作为所述抽样表的数据信息。

在一示例性实施例中，所述抽样方法为分层抽样；

所述根据所述抽样方法，从筛选后的数据信息的所述标识中，抽取出所述抽样数量的数据信息，作为所述抽样表的数据信息，包括：

根据所述属性及所述属性数值，将所述筛选后的数据信息划分为多个层级；

根据所述标识分别从各个层级中抽取预设抽样数量的数据信息，其中，所述预设抽样数量的数据信息为所述抽样表的数据信息。

在一示例性实施例中，在对所述数据表中的数据信息执行抽样处理，得到至少一个抽样表之后，还包括：

获取所述数据表的第一统计结果以及所述至少一个抽样表的第二统计结果；

对比所述第一统计结果与所述第二统计结果，得到对比结果；

根据所述对比结果确定出所述数据表与所述至少一个抽样表之间的匹配程度；所述匹配程度用于从至少一个抽样表中，确定出与所述数据表性能最接近的抽样表。

在一示例性实施例中，所述执行所述测试流程，得到与所述至少一个抽样表对应的抽样测试结果，包括：

获取与所述测试流程对应的预设评估指标，根据所述预设评估指标对所述抽样表进行评估处理，得到与所述预设评估指标匹配的指标评估结果；

根据所述指标评估结果生成指标评估报告，所述指标评估报告用于确定所述数据表的数据情况。

根据本公开实施例的第二方面，提供一种数据测试装置，包括：

数据表获取单元，被配置为执行获取待测试的数据表，所述数据表为测试流程中所需数据信息的集合；

抽样表获取单元，被配置为执行对所述数据表中的数据信息执行抽样处理，得到至少一个抽样表，所述抽样表用于保存所述数据表中被抽样出的数据信息；

数据测试单元，被配置为执行将所述待测试的数据表替换为所述至少一个抽样表，并执行所述测试流程，得到与所述至少一个抽样表对应的抽样测试结果；

结果获取单元，被配置为执行根据所述至少一个抽样测试结果，确定出所述数据表的测试结果。

在一示例性实施例中，所述数据表获取单元，还被配置为执行响应于包含有待测试任务的测试请求，获取所述待测试任务的数据表血缘关系，所述数据表血缘关系用于表征各个数据表之间的上下游关系；根据所述数据表血缘关系，获取与所述待测试任务对应的所述待测试的数据表。

在一示例性实施例中，所述数据表获取单元，还被配置为执行根据所述数据表血缘关系构建数据表网络，确定出所述数据表网络中的目标网络分支；从各个所述目标网络分支中分别选取至少一个数据表，作为与所述待测试任务对应的所述待测试的数据表。

在一示例性实施例中，所述数据表获取单元，还被配置为执行获取各个所述待测试的数据表的元数据信息；根据所述元数据信息，获取各个所述待测试的数据表中的数据信息的标识、属性及属性数值。

在一示例性实施例中，抽样参数至少包含时间范围、抽样数量以及抽样方法；

所述抽样表获取单元，还被配置为执行从所述数据表中筛选出符合所述时间范围的数据信息；根据所述抽样方法，从筛选后的数据信息的所述标识中，抽取出所述抽样数量的数据信息，作为所述抽样表的数据信息。

在一示例性实施例中，所述抽样方法为分层抽样；

所述抽样表获取单元，还被配置为执行根据所述属性及所述属性数值，将所述筛选后的数据信息划分为多个层级；根据所述标识分别从各个层级中抽取预设抽样数量的数据信息，其中，所述预设抽样数量的数据信息为所述抽样表的数据信息。

在一示例性实施例中，所述抽样表获取单元，还被配置为执行获取所述数据表的第一统计结果以及所述至少一个抽样表的第二统计结果；对比所述第一统计结果与所述第二统计结果，得到对比结果；根据所述对比结果确定出所述数据表与所述至少一个抽样表之间的匹配程度；所述匹配程度用于从至少一个抽样表中，确定出与所述数据表性能最接近的抽样表。

在一示例性实施例中，所述数据测试单元，还被配置为执行获取与所述测试流程对应的预设评估指标，根据所述预设评估指标对所述抽样表进行评估处理，得到与所述预设评估指标匹配的指标评估结果，根据所述指标评估结果生成指标评估报告；所述指标评估报告用于确定所述数据表的数据情况。

根据本公开实施例的第三方面，提供一种服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面任一项所述的数据测试方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行如第一方面任一项所述的数据测试方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被服务器的处理器执行时，使得所述服务器能够执行如第一方面任一项所述的数据测试方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过获取待测试的数据表，数据表为测试流程中所需数据信息的集合；然后对数据表中的数据信息执行抽样处理，得到至少一个抽样表，抽样表用于保存数据表中被抽样出的数据信息；之后将待测试的数据表替换为至少一个抽样表，并执行测试流程，得到与至少一个抽样表对应的抽样测试结果；最后根据至少一个抽样测试结果，确定出数据表的测试结果。实现了通过对数据表进行抽样得到数据信息较少的至少一个抽样表，从而减小数据测试过程中的数据量，提高了数据的处理效率；同时利用至少一个抽样表执行测试流程，根据多个抽样测试结果确定出数据表的测试结果，还提高了对数据表进行数据测试的全面性及准确性，进一步提高了数据测试的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种数据测试方法的应用环境图。

图2是根据一示例性实施例示出的一种数据测试方法的流程图。

图3是根据一示例性实施例示出的根据数据表血缘关系，获取与待测试任务对应的待测试的数据表方法的流程图。

图4是根据一示例性实施例示出的一种表血缘关系示意图。

图5是根据一示例性实施例示出的根据元数据信息，获取各个待测试的数据表中的数据信息的标识、属性及属性数值方法的流程图。

图6是根据一示例性实施例示出的通过元数据信息获取数据信息的标识、属性及属性数值的示意图的流程图。

图7是根据一示例性实施例示出的对数据表中的数据信息执行抽样处理，得到至少一个抽样表方法的流程图。

图8是根据一示例性实施例示出的执行测试流程，得到与至少一个抽样表对应的抽样测试结果方法的流程图。

图9是根据另一示例性实施例示出的针对不同数量的抽样表执行测试流程的示意图。

图10是根据一示例性实施例示出的得到至少一个抽样表的方法的流程图。

图11是根据一示例性实施例示出的又一种数据测试方法的流程图。

图12是根据一示例性实施例示出的一种数据测试装置的框图。

图13是根据一示例性实施例示出的一种服务器的内部结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据；对应的，本公开还提供有相应的用户授权入口，供用户选择授权或者选择拒绝。

本公开所提供的数据测试方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120进行交互；服务器120从终端110处获取待测试的数据表，数据表为测试流程中所需数据信息的集合；服务器120对数据表中的数据信息执行抽样处理，得到至少一个抽样表，抽样表用于保存数据表中被抽样出的数据信息；服务器120将待测试的数据表替换为至少一个抽样表，并执行测试流程，得到与至少一个抽样表对应的抽样测试结果；服务器120根据至少一个抽样测试结果，确定出数据表的测试结果；服务器120将数据表的测试结果通过网络发送回终端110。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图2是根据一示例性实施例示出的一种数据测试方法的流程图，如图2所示，数据测试方法用于如图1所示应用环境中的服务器120，包括以下步骤：

在步骤S210中，获取待测试的数据表，数据表为测试流程中所需数据信息的集合。

其中，待测试的数据表是与某一待测试任务或某一待测试代码相关联的数据表；数据表中包含多条数据信息。例如待测试任务Q执行时需调用数据表Q1、Q2、Q3，则从数据仓库的成千上万个表中获取到的数据表Q1、Q2、Q3，即为与待测试任务或待测试代码关联的待测试的数据表；数据表Q1、Q2、Q3中的数据信息即为测试流程中所需数据信息，可以被调用。

其中，待测试代码可以是数据库语句，例如SQL(Structured Query Language，结构化查询语言)语句，能够实现数据表的增加、删除、查询、修改等功能。测试流程是指与待测试任务或者待测试代码对应的执行逻辑，例如待测试代码执行时会分别进行A、B、C三个步骤，则A、B、C三个步骤构成了测试流程。

具体地，服务器根据待测试任务和待测试代码等的触发，识别待测试任务及待测试代码等所需的数据表类型、数量、时间、存储位置等信息，根据前述信息从数据仓库等数据表存储介质中获取出符合条件的数据表，作为待测试的数据表。需要说明的是，待测试的数据表的获取过程不限于从数据仓库等介质中获取，还可以是终端直接发送需要进行测试流程的测试表至服务器进行测试流程的形式等。

在步骤S220中，对数据表中的数据信息执行抽样处理，得到至少一个抽样表，抽样表用于保存数据表中被抽样出的数据信息。

其中，抽样表是将数据表中的数据信息进行抽样后重新形成的和数据表格式相同的表文件，抽样表中数据信息的数量、排序等可能根据抽样参数的不同而不同；一个数据表经过抽样处理后可以得到一个或多个抽样表，不同抽样表之间根据抽样参数的不同，所包含的数据信息的数量等也会不同。

其中，抽样处理的过程受到多种类型抽样参数的控制，例如抽样表数量、时间范围、抽样数量、抽样方法、抽样方式等；抽样方式又可以分为有放回抽样和无放回抽样，抽样方法可以包括随机抽样、分层抽样等。可以根据不同的抽样参数对同一数据表进行多次抽样处理，得到多个抽样表。

其中，抽样参数可以由待测试任务或待测试代码所携带，也可以预先设置或者采用默认设置的方式进行设定。

具体地，服务器预先根据待测试的数据表生成格式相同的空表；然后服务器逐个或同时获取待测试的数据表，根据预先设定的抽样参数分别从各个数据表中获取相应的数据信息；将抽取出的数据信息放入空表中，即得到与数据表格式相同的抽样表。

在步骤S230中，将待测试的数据表替换为至少一个抽样表，并执行测试流程，得到与至少一个抽样表对应的抽样测试结果。

具体地，抽样表中数据信息的数量少于数据表，因此将待测试的数据表替换为格式相同的抽样表，能够提高待测试任务及待测试代码的执行速度，加快测试流程；并且由于抽样表与数据表格式相同，因此替换的过程无需进行多余的调试，可直接将映射至数据表的关系修改为抽样表。进一步地，由于数据表抽样后可以得到多个抽样表，因此对多个抽样表执行相同的测试流程后，能够更为全面准确的反映出数据表的测试结果。例如，若仅选择一个抽样表执行测试流程，则得到一个抽样测试结果A1；若选择多个抽样表分别执行测试流程，例如选择三个抽样表执行测试流程，则分别得到三个抽样测试结果A2、A3、A4，抽样结果与执行测试流程的抽样表相对应。由于抽样表是基于待测试的数据表抽样得到的，因此各个抽样表的抽样测试结果能够反映出数据表的测试结果，若各个抽样测试结果均相互趋近，则可能说明数据表也具备与抽样测试结果相匹配的特征；若各个抽样测试结果存在明显差异，则可能说明数据表中的数据不够均衡或其他问题，因此导致抽样表之间差异较大等；即通过抽样测试结果能够反映出数据表的数据特性。

在步骤S240中，根据至少一个抽样测试结果，确定出数据表的测试结果。

其中，抽样测试结果是指对至少一个抽样表执行测试流程后得到的结果；测试结果是指根据至少一个抽样测试结果进行整合后得到的测试结果，其效果相当于对数据表进行测试后得到的结果。

上述数据测试方法中，实现了通过对数据表进行抽样得到数据信息较少的至少一个抽样表，从而减小数据测试过程中的数据量，提高了数据的处理效率；同时利用至少一个抽样表执行测试流程，根据多个抽样测试结果确定出数据表的测试结果，还提高了对数据表进行数据测试的全面性及准确性，进一步提高了数据测试的效率。

在一示例性实施例中，如图3所示，上述步骤S210中，获取待测试的数据表，包括以下步骤：

在步骤S310中，响应于包含有待测试任务的测试请求，获取待测试任务的数据表血缘关系，数据表血缘关系用于表征各个数据表之间的上下游关系；

其中，测试请求是终端等设备向服务器发送的携带有待测试任务的请求信息；待测试任务是指能够使服务器明确出相应测试流程、需调用数据表等信息以建立相应测试流程的指令信息。

其中，表血缘关系是数据仓库等存储介质中抽象的描述数据表字段之间关联关系的逻辑；如图4所示，为一种表血缘关系示意图，其中与数据表A在同一支线上的数据表即为数据表A的上游数据表或者下游数据表，因此通过表血缘关系可以获取各个数据表之间的上下游关系，以便在数据仓库中对该数据表进行定位及获取。

在步骤S320中，根据数据表血缘关系，获取与待测试任务对应的待测试的数据表。

具体地，服务器根据数据表血缘关系，从数据仓库中根据上下游关系将需要进行测试的数据表进行获取，得到待测试数据表。

本公开实施例提供的技术方案中，通过表血缘关系能够准确地从数据仓库中对待测试数据表进行定位，同时表血缘关系能够确保选取出的待测试数据表之间不属于上下游关系且存在一定差异，因此根据表血缘关系选取出的待测试数据表能够更好的体现出数据表的特征，据此执行测试流程得到的测试结果也会更为准确。

在一示例性实施例中，上述步骤S320中，根据数据表血缘关系，获取与待测试任务对应的待测试的数据表，还包括以下步骤：根据数据表血缘关系构建数据表网络，确定出数据表网络中的目标网络分支；从各个目标网络分支中分别选取至少一个数据表，作为与待测试任务对应的待测试的数据表。

具体地，表血缘关系表征各个数据表之间的连接关系，以及因此根据表血缘关系能够构建得到数据表与数据表之间相互连接的数据表网络；同时表血缘关系中还记载有互相存在血缘关系的数据表，因此能够保证存在血缘关系的数据表存在于数据表网络上的同一支线。因此根据待测试任务能够确定出所需的待测试数据表的具体参数，根据该参数先确定数据表网络中的至少一个网络分支，再从该至少一个网络分支中依据待测试任务规定的时间范围、版本、更新时间等参数对具体地数据表进行定位，得到至少一个待测试的数据表，以此类推，直到获取到与待测试任务对应的全部待测试数据表。

例如，表血缘关系记载了数据表a1、a2、a3存在血缘关系，b1、b2、b3存在血缘关系，c1、c2、c3存在血缘关系，数据表生成的时间随着序号逐渐减小，a1、a2、b1、c1、c2的生成时间在t0-t1时间范围内，a2、a3、b2、b3、c2、c3的生成时间在t1-t2时间范围内；且a系列数据表为b系列数据表的临近血缘，且c系列数据表为b系列的临近血缘且不为a系列的临近血缘。根据上述关系可以构建出一个三分支数据表网络，该网络中的第一分支为包括数据表a1、a2、a3，第二分支包括数据表b1、b2、b3，第三分支包括c1、c2、c3，第二分支分别与第一分支、第三分支临近。若待测试任务规定本次测试以a系列数据表与c系列数据表为测试对象，则确定第一分支与第三分支为数据表网络中的目标网络分支。进一步地，待测试任务还规定数据表的时间范围在t1-t2之间，由于a1、c1、a2、c2的生成时间在t0-t1时间范围内，则不被选取到，故将第一分支中的a3与第三分支中的c3作为待测试数据表，完成待测试数据表的获取过程。

本公开实施例提供的技术方案中，通过表血缘关系构建的数据表网络存在明确的数据表之间的联系，同时各个分支起到了对数据表进行分类的作用；因此从数据表网络中能够快速选取出与待测试任务对应的待测试数据表，提高了待测试的数据表的获取效率和获取准确性。

在一示例性实施例中，如图5所示，上述步骤S320中，在从数据仓库中获取与待测试任务对应的待测试的数据表之后，还包括以下步骤：

在步骤S510中，获取各个待测试的数据表的元数据信息；

其中，元数据(Metadata)为描述数据的数据，主要是描述数据表数据属性的信息，基于元数据信息能够实现多种功能，例如指示存储位置、历史数据、资源查找、文件记录等；元数据可以存储于数据仓库或者单独的元数据库中；元数据信息可以是指定义数据表中字段属性的数据，例如某个字段的类型、长度等；通常根据字段类型不同，对应有不同的字符长度要求，对于主键类型或者外键类型的字段，通常要求非空。

在步骤S520中，根据元数据信息，获取各个待测试的数据表中的数据信息的标识、属性及属性数值。

其中，如图6所示，为通过元数据信息获取数据信息的标识、属性及属性数值的示意图；标识是用于识别某一数据信息的特征信息，还可以是唯一键或者特征建的形式；属性是指数据信息对应维度的一种，是属性数值应用的环境，用来反映业务数据的一类指标，这类指标的集合构成一个维度；属性数值是属性对应的明确参数，例如属性为用户数量，则属性数值为100万；标识、属性及属性数值能够用于对某条数据信息的识别、分类，例如执行抽样处理时可以考虑属性、属性数值的分布情况，并将标识作为抽样的具体依据。

本公开实施例提供的技术方案中，通过获取待测试的数据表的元数据信息，解析得到数据信息的标识、属性及属性数值，能够实现对数据表进行抽样处理，提高了对数据表进行抽样的效率。

在一示例性实施例中，抽样参数至少包含时间范围、抽样数量以及抽样方法；如图7所示，上述步骤S220中，对数据表中的数据信息执行抽样处理，得到至少一个抽样表，具体可以通过以下步骤实现：

在步骤S710中，从数据表中筛选出符合时间范围的数据信息；

具体地，时间范围是对数据信息获取时间的限定，时间范围能够从数据表中获取对应时间范围内生成的数据信息，实现数据信息的初步筛选。

在步骤S720中，根据抽样方法，从筛选后的数据信息的标识中，抽取出抽样数量的数据信息，作为抽样表的数据信息。

具体地，抽样方法可以包括随机抽样、分层抽样等；不同的抽样方法所需的抽样参数不同；例如随机抽样可以根据数据信息的标识进行随机取值，得到与抽样数量对应个数的数据信息形成抽样表；分层抽样可以进一步根据数据信息不同的属性进行划分，从划分后的每一层级中抽样得到抽样数量的数据信息。

本公开实施例提供的技术方案中，通过时间范围能够实现对数据表中数据信息的筛选，并根据不同的抽样方法得到抽样数量对应的数据信息，使得抽样表中的数据信息更为有效，得到的抽样表能够具备与数据表相同的性能；即在不损失数据表数据性能的前提下简化数据表中的数据信息的数量，提高了数据测试的效率。

在一示例性实施例中，抽样方法为分层抽样；在步骤S620中，根据抽样方法，从筛选后的数据信息的标识中，抽取出抽样数量的数据信息，作为抽样表的数据信息，还包括：根据属性及属性数值，将筛选后的数据信息划分为多个层级；根据标识分别从各个层级中抽取预设抽样数量的数据信息，其中，预设抽样数量的数据信息为抽样表的数据信息。

具体地，通过属性以及属性数值能够对数据表这种的数据信息进一步分类及划分；划分层级能够使得抽样出的数据信息分布更平均。划分层级还能够使得多个抽样表的数据信息相统一，以便于进行比较分析。例如属性包括用户观看直播、用户观看短视频；用户观看直播的属性信息为观看直播的具体时长，数值分布从10分钟到110分钟；用户观看短视频的属性信息为观看直播的具体时长，数值分布从20分钟到120分钟。基于此，若想比较得到观看直播和观看短视频时长相同的两个用户团体，在观看过程中商品下单的数据，则可以分别将用户观看直播及用户观看短视频的数据信息依据观看直播的具体时长划分为20分钟-60分钟、60分钟-100分钟两个层级，并分别从20分钟-60分钟层级中抽取出A1数量的数据信息，以及从60分钟-100分钟抽取出A2数量的数据信息，两个层级共抽取出A1+A2数量即A3数量的数据信息并作为抽样表的数据信息，以此统一了两个不同属性抽样表的层级，使其可以进行对比以获取其他特征。

本公开实施例提供的技术方案中，通过属性数值将数据信息划分层级，使得抽样处理得到的抽样表中数据信息的分布更加平均，保障抽样结果能够准确映出数据表的数据特征。

在一示例性实施例中，在上述步骤S220中，在对数据表中的数据信息执行抽样处理，得到至少一个抽样表之后，还包括：获取数据表的第一统计结果以及至少一个抽样表的第二统计结果；对比第一统计结果与第二统计结果，得到对比结果；根据对比结果确定出数据表与至少一个抽样表之间的匹配程度；匹配程度用于从至少一个抽样表中，确定出与数据表性能最接近的抽样表。

其中，统计结果是至少根据数据信息的标识、属性及属性数值各自的分布情况等参数信息作出的数学统计；例如获取数据表中各个属性的枚举值分布进行统计，对数据表中数据信息的标识进行去重后量级进行统计，对某些属性的属性数值进行求和统计。第一统计结果是指对数据表进行数学统计后得到的抽样结果；第二统计结果是指对抽样表进行数学统计后得到的统计结果。对比结果是指将第一统计结果与第二统计结果进行对比后得到的结果，对比结果能够反映出数据表与抽样表在各种维度下的相似性和差异性，便于判断抽样表与数据表的匹配程度。第二统计结果中包含的统计结果数量与抽样表的数量相对应，即若只选取一个抽样表进行统计，则得到包含一个统计结果的第二统计结果；若选取三个抽样表进行统计，则第二统计结果中包含三个统计结果；进一步地，对比第一统计结果与第二统计结果时，若第二统计结果中包含多个抽样表的统计结果时，对比结果可以是针对多个抽样表的多个结果。

具体地，将数据表以及对应的至少一个抽样表，按照相同的方式对各自包含的数据信息的标识、属性及属性数值等进行统计得到统计结果后，可以将数据表以及对应的至少一个抽样表统计结果进行对比；由于是采用相同的统计方式得到的统计结果，可以通过多种计算方式计算出两个统计结果之间的匹配程度，例如抽取出某些指标的数值计算相关性，根据相关性的大小作为匹配程度。通过匹配程度能够从至少一个抽样表的统计结果中，筛选出与数据表性能最接近的抽样表，该抽样表由于性能与数据表最接近，因此能在某些场景下代替数据表，以此实现简化数据表数据量的目的。举例说明，若数据表Q中包含100万条数据信息，计算机处理起来可能时间较长；因此可以对数据表Q进行多次抽样处理，得到多个包含有10万条数据信息的抽样表q1、q2、q3等；对数据表和多个抽样表进行统计，得到统计结果；例如对数据表Q进行两次抽样处理，得到两个数据表q1、q2，选取的统计指标为“x属性分布、时间分布”，且x属性分布的权重为0.8，时间分布的权重占0.2；对数据表Q进行统计后得到结果为：x属性的值分布在0.15-0.36之间，且值为0.20的数量最多，时间在t3-t4之间的数据信息占比90％；然后对q1、q2进行相同的统计，若q1中x属性的值分布在0.15-0.38之间，且值为0.20的数量最多，时间在t3-t4之间的数据信息占比达89％；q2中x属性的值分布在0.10-0.33之间，且值为0.17的数量最多，时间在t3-t4之间的数据信息占比65％；若将q1、q2的第二统计结果与Q的第一统计结果对比可以明显发现，q1为与Q匹配程度最接近的数据表，能够反映出数据表Q的数据信息分布特征。将与数据表的匹配程度最接近的抽样表作为与数据表性能最接近的抽样表，即该包含有10万条数据信息的抽样表已经能够反映出数据表的数据特征，因此在利用时可以将数据表替换为抽样表，达到在计算时简化数据量的目的。

具体地，还可以根据统计结果进行对比评估，并分别生成相应的评估报告返回至终端设备；这样用户可以对抽样得到的抽样表有大致了解。举例说明，评估报告可以根据多个指标从统计结果中进行数据提取评估，根据评估结果生成表格、统计图等数据，将数据按照预设的评估报告模板进行填充，得到评估报告。

进一步地，由于数据表是预先存储与数据仓库的，当该数据表被选中进行抽样处理后，服务器可以预先对该数据表进行多种方式的统计，并且统计的过程可以选取服务器资源闲置的时候进行，以实现对数据表统计结果的预处理，同时不会在负载较高时占用系统资源，提高了服务器数据处理的效率。

本公开实施例提供的技术方案中，通过对数据表及至少一个抽样表中数据信息的标识、属性及属性数值进行统计，得到统计结果，根据统计结果确定出数据表及至少一个抽样表之间的匹配程度，能够实现从至少一个抽样表选出性能最接近原数据表的抽样表，在不损失数据表性能的前提下确定出数据量更小的抽样表，以实现数据表数据量的简化。

在一示例性实施例中，如图8所示，在上述步骤S230中，执行测试流程，得到与至少一个抽样表对应的抽样测试结果，具体可以通过以下步骤实现：

在步骤S810中，获取与测试流程对应的预设评估指标，根据预设评估指标对抽样表进行评估处理，得到与预设评估指标匹配的指标评估结果；

在步骤S820中，根据指标评估结果生成指标评估报告；指标评估报告用于确定数据表的数据情况。

具体地，评估指标可以包括一致性评估指标、统计学评估指标、任务执行效率评估指标以及自定义指标。其中，一致性评估指标为针对和数据表上游数据表强相关指标所进行的评估，例如标识的条数、某个属性值的和等；统计学评估指标是指在得到多个抽样表的后，计算多个抽样表产出的统计结果计算得到标准差、极值等统计学指标；任务执行效率评估指标是指对包括数据表在内及多个抽样表，执行相同任务计算任务执行时长指标、效率等得到的指标；自定义指标为根据业务逻辑设置的评估指标。

如图9所示，为另一个实施例中针对不同数量的抽样表执行测试流程的示意图；

以执行待测试代码为例进行说明：首先对数据表进行抽样得到抽样表；若抽样表数量为一，则替换待测试代码依赖的数据表为对应的抽样表；替换完成后执行该待测试代码，执行过程中从抽样表中获取相应数据信息进行计算等流程，得到测试结果；将测试结果写与该抽样表对应的抽样结果表中。若抽样表的数量大于一，则分别替换待测试代码依赖的数据表为多个抽样表中的一个；每次替换完成后执行该待测试代码，直到所有抽样表都得到了相应的测试结果；将多个测试结果根据对应抽样表的不同分别写入不同的抽样结果表中。抽样结果表可以以“(数据表名)_micro_model_(第n抽样表测试结果)”的形式进行设置，例如“aggr_user_1d_micro_model_1”。

本公开实施例提供的技术方案中，通过根据指标评估结果生成指标评估报告能够确定数据表的数据情况，以进一步对抽样参数进行调整完善，以获取到各个评估指标都能贴近原数据表的抽样表。

在一示例性实施例中，还提供了一种对数据表中的数据信息进行抽样处理，得到至少一个抽样表的方法，其流程示意图如图10所示；以执行待测试代码对应测试流程为例，首先获取与待测试代码关联的数据表；确定数据信息的时间范围，根据要得到的抽样表数量进行抽样，其中若抽样表数量大于一份时，还可以选择有放回抽样或无放回抽样的方式；其中无放回抽样可以通过例如：(rand(hash(key))*m)％n<n*P(rand为随机函数，hash为哈希函数，key为标识，P为抽样数量，m为数据信息数量，n为抽样次数)的语句实现，有放回抽样可以通过例如(rand()*m)％n<n*P(rand为随机函数，P为抽样数量，m为数据信息数量，n为抽样次数)的语句实现。得到的抽样表可以以“(抽样表名)_sample_(抽样序号)”的形式命名，例如A_sample_1,B_sample_1,C_sample_1。

确定抽样数量以及抽样方法，根据不同的抽样方法结合之前确定的抽样参数对数据表中的数据信息进行抽样，将抽样得到的数据信息整合为抽样表，完成抽样处理。

在一示例性实施例中，如图11所示，提供了又一种数据测试方法，包括：

步骤S1110，响应于包含有待测试任务的测试请求，获取待测试任务的数据表血缘关系，数据表血缘关系用于表征各个数据表之间的上下游关系；根据数据表血缘关系，获取与待测试任务对应的待测试的数据表。

步骤S1120，获取待测试的数据表的元数据信息；根据元数据信息，获取各个待测试的数据表中的数据信息的标识、属性及属性数值。

步骤S1130，从数据表中筛选出符合时间范围的数据信息；根据属性及属性数值，将筛选后的数据信息划分为多个层级；根据标识分别从各个层级中抽取预设抽样数量的数据信息，其中，预设抽样数量的数据信息为抽样表的数据信息。

步骤S1140，将待测试的数据表替换为至少一个抽样表，获取与测试流程对应的预设评估指标，根据预设评估指标对抽样表进行评估处理，得到与预设评估指标匹配的指标评估结果；根据指标评估结果生成指标评估报告，指标评估报告用于确定数据表的数据情况。

步骤S1150，获取数据表的第一统计结果以及至少一个抽样表的第二统计结果；对比第一统计结果与第二统计结果，得到对比结果；根据对比结果确定出数据表与至少一个抽样表之间的匹配程度；匹配程度用于从至少一个抽样表中，确定出与数据表性能最接近的抽样表。

本公开实施例提供的技术方案，实现了通过对数据表进行抽样得到数据信息较少的至少一个抽样表，从而减小数据测试过程中的数据量，提高了数据的处理效率；同时利用至少一个抽样表执行测试流程，根据多个抽样测试结果确定出数据表的测试结果，还提高了对数据表进行数据测试的全面性及准确性，进一步提高了数据测试的效率。

应该理解的是，虽然图2、3、5-11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、5-11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

图12是根据一示例性实施例示出的一种数据测试装置框图。参照图12，该装置包括数据表获取单元1202，抽样表获取单元1204，数据测试单元1206和结果获取单元1208。

该数据表获取单元1202被配置为执行获取待测试的数据表，数据表为测试流程中所需数据信息的集合。

该抽样表获取单元1204被配置为执行对数据表中的数据信息执行抽样处理，得到至少一个抽样表，抽样表用于保存数据表中被抽样出的数据信息。

该数据测试单元1206被配置为执行将待测试的数据表替换为至少一个抽样表，并执行测试流程，得到与至少一个抽样表对应的抽样测试结果。

该结果获取单元1208被配置为执行根据至少一个抽样测试结果，确定出数据表的测试结果。

在一示例性实施例中，数据表获取单元1202，还被配置为执行响应于包含有待测试任务的测试请求，获取待测试任务的数据表血缘关系，数据表血缘关系用于表征各个数据表之间的上下游关系；根据数据表血缘关系，获取与待测试任务对应的待测试的数据表。

在一示例性实施例中，数据表获取单元1202，还被配置为执行根据数据表血缘关系构建数据表网络，确定出数据表网络中的目标网络分支；从各个目标网络分支中分别选取至少一个数据表，作为与待测试任务对应的待测试的数据表。

在一示例性实施例中，数据表获取单元1202，还被配置为执行获取各个待测试的数据表的元数据信息；根据元数据信息，获取各个待测试的数据表中的数据信息的标识、属性及属性数值。

在一示例性实施例中，抽样参数至少包含时间范围、抽样数量以及抽样方法；抽样表获取单元1204，还被配置为执行从数据表中筛选出符合时间范围的数据信息；根据抽样方法，从筛选后的数据信息的标识中，抽取出抽样数量的数据信息，作为抽样表的数据信息。

在一示例性实施例中，抽样方法为分层抽样；抽样表获取单元1204，还被配置为执行根据属性及属性数值，将筛选后的数据信息划分为多个层级；根据标识分别从各个层级中抽取预设抽样数量的数据信息，其中，预设抽样数量的数据信息为抽样表的数据信息。

在一示例性实施例中，抽样表获取单元1204，还被配置为执行获取数据表的第一统计结果以及至少一个抽样表的第二统计结果；对比第一统计结果与第二统计结果，得到对比结果；根据对比结果确定出数据表与至少一个抽样表之间的匹配程度；匹配程度用于从至少一个抽样表中，确定出与数据表性能最接近的抽样表。

在一示例性实施例中，数据测试单元1206，还被配置为执行获取与测试流程对应的预设评估指标，根据预设评估指标对抽样表进行评估处理，得到与预设评估指标匹配的指标评估结果，根据指标评估结果生成指标评估报告；指标评估报告用于确定数据表的数据情况。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图13是根据一示例性实施例示出的一种用于数据测试的电子设备1300的框图。例如，电子设备1300可以为服务器。参照图13，电子设备1300包括处理组件1320，其进一步包括一个或多个处理器，以及由存储器1322所代表的存储器资源，用于存储可由处理组件1320的执行的指令，例如应用程序。存储器1322中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1320被配置为执行指令，以执行上述方法。

电子设备1300还可以包括：电源组件1324被配置为执行电子设备1300的电源管理，有线或无线网络接口1326被配置为将电子设备1300连接到网络，和输入输出(I/O)接口1328。电子设备1300可以操作基于存储在存储器1322的操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1322，上述指令可由电子设备1300的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，计算机程序产品中包括指令，上述指令可由电子设备1300的处理器执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据测试方法，其特征在于，包括：

获取待测试的数据表，所述数据表为测试流程中所需数据信息的集合；

对所述数据表中的数据信息执行抽样处理，得到至少一个抽样表，所述抽样表用于保存所述数据表中被抽样出的数据信息；

将所述待测试的数据表替换为所述至少一个抽样表，并执行所述测试流程，得到与所述至少一个抽样表对应的抽样测试结果；

根据所述至少一个抽样测试结果，确定出所述数据表的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待测试的数据表，包括：

响应于包含有待测试任务的测试请求，获取所述待测试任务的数据表血缘关系，所述数据表血缘关系用于表征各个数据表之间的上下游关系；

根据所述数据表血缘关系，获取与所述待测试任务对应的所述待测试的数据表。

3.根据权利要求2所述的方法，其特征在于，所述根据所述数据表血缘关系，获取与所述待测试任务对应的所述待测试的数据表，包括：

根据所述数据表血缘关系构建数据表网络，确定出所述数据表网络中的目标网络分支；

从各个所述目标网络分支中分别选取至少一个数据表，作为与所述待测试任务对应的所述待测试的数据表。

4.根据权利要求2所述的方法，其特征在于，在获取与所述待测试任务对应的所述待测试的数据表之后，还包括：

获取各个所述待测试的数据表的元数据信息；

根据所述元数据信息，获取各个所述待测试的数据表中的数据信息的标识、属性及属性数值。

5.根据权利要求4所述的方法，其特征在于，抽样参数至少包含时间范围、抽样数量以及抽样方法；

所述对所述数据表中的数据信息执行抽样处理，得到至少一个抽样表，包括：

从所述数据表中筛选出符合所述时间范围的数据信息；

根据所述抽样方法，从筛选后的数据信息的所述标识中，抽取出所述抽样数量的数据信息，作为所述抽样表的数据信息。

6.根据权利要求5所述的方法，其特征在于，所述抽样方法为分层抽样；

所述根据所述抽样方法，从筛选后的数据信息的所述标识中，抽取出所述抽样数量的数据信息，作为所述抽样表的数据信息，包括：

根据所述属性及所述属性数值，将所述筛选后的数据信息划分为多个层级；

根据所述标识分别从各个层级中抽取预设抽样数量的数据信息，其中，所述预设抽样数量的数据信息为所述抽样表的数据信息。

7.一种数据测试装置，其特征在于，包括：

数据表获取单元，被配置为执行获取待测试的数据表，所述数据表为测试流程中所需数据信息的集合；

抽样表获取单元，被配置为执行对所述数据表中的数据信息执行抽样处理，得到至少一个抽样表，所述抽样表用于保存所述数据表中被抽样出的数据信息；

数据测试单元，被配置为执行将所述待测试的数据表替换为所述至少一个抽样表，并执行所述测试流程，得到与所述至少一个抽样表对应的抽样测试结果；

结果获取单元，被配置为执行根据所述至少一个抽样测试结果，确定出所述数据表的测试结果。

8.一种服务器，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的数据测试方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行如权利要求1至6中任一项所述的数据测试方法。

10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被服务器的处理器执行时，使得所述服务器能够执行如权利要求1至6任一项所述的数据测试方法。

Images