CN111125222B

CN111125222B - 一种数据测试方法及装置

Info

Publication number: CN111125222B
Application number: CN201911320129.XA
Authority: CN
Inventors: 朱占磊; 张英龙; 王东石; 赵晓燕
Original assignee: Beijing SF Intra City Technology Co Ltd
Current assignee: Beijing SF Intra City Technology Co Ltd
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2023-05-02
Anticipated expiration: 2039-12-19
Also published as: CN111125222A

Abstract

本申请提供了一种数据测试方法及装置，针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；从所述目标测试数据集中，抽取预设数量的目标类型数据；确定所述抽取的目标类型数据在所述预设类型下的第二统计值；根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。与现有技术相比，本申请能够使测试结果更加准确，并且不依赖于业务人员的专业知识，可以应用于多种数据的测试，通用性强。

Description

一种数据测试方法及装置

技术领域

本申请涉及计算机技术领域，尤其是涉及一种数据测试方法及装置。

背景技术

随着科技的不断发展，大数据处理成为了时下的热门技术。大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。通常，大数据需要进行处理才能反映出一些具有可用性的信息，大数据的处理过程通常包括数据抽取、数据转换、数据装载三个流程。而在大数据的使用当中，大数据处理的正确性尤为重要。

目前，现有的大数据测试方法通常是先计算出处理结果的各种数据指标，再由专业人员依据业务经验观察数据指标是否符合预期。然而，业务人员只能在数据指标发生较为明显的偏差时才能发现问题，而且，这个过程严重依赖于业务人员对业务的熟悉程度，难以成为一个通用的测试技术。

发明内容

有鉴于此，本申请的目的在于提供一种数据测试方法及装置，能够使测试结果更加准确，并且不依赖于业务人员的专业知识，可以应用于多种数据的测试，通用性强。

本申请实施例提供了一种数据测试方法，所述方法包括：

针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；

从所述目标测试数据集中，抽取预设数量的目标类型数据；

确定所述抽取的目标类型数据在所述预设类型下的第二统计值；

根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。

在一种可能的实施方式中，所述根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确，包括：

对比所述第一统计值与所述第二统计值；

若所述第一统计值与所述第二统计值之间满足所述预设类型对应的目标关系，则确定所述目标数据处理流程的数据处理结果正确；

若所述第一统计值与所述第二统计值之间不满足所述预设类型对应的目标关系，则确定所述目标数据处理流程的数据处理结果不正确。

在一种可能的实施方式中，所述预设类型包括以下至少一种：

均值、方差、最大值、1/4分位数、中位数、3/4分位数、最小值、众数、峰度、偏度。

在一种可能的实施方式中，所述从所述目标测试数据集中，抽取预设数量的目标类型数据，包括：

利用蓄水池采样算法，从所述目标测试数据集中，抽取预设数量的目标类型数据。

在一种可能的实施方式中，在确定所述目标数据处理流程的数据处理结果不正确之后，所述方法还包括：

确定所述目标数据处理流程中出现错误的位置，和/或，确定所述目标处理流程对应的原始数据中的异常数据。

本申请实施例还提供了一种数据测试装置，所述装置包括：

第一确定模块，用于针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；

抽取模块，用于从所述目标测试数据集中，抽取预设数量的目标类型数据；

第三确定模块，用于确定所述抽取的目标类型数据在所述预设类型下的第二统计值；

数据测试模块，用于根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。

在一种可能的实施方式中，所述数据测试模块具体用于：

对比所述第一统计值与所述第二统计值；

在一种可能的实施方式中，所述抽取模块具体用于：

在一种可能的实施方式中，所述装置还包括：

第三确定模块，用于确定所述目标数据处理流程中出现错误的位置，和/或，确定所述目标处理流程对应的原始数据中的异常数据。

本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的数据测试方法的步骤。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的数据测试方法的步骤。

本申请实施例提供的数据测试方法及装置，针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；从所述目标测试数据集中，抽取预设数量的目标类型数据；确定所述抽取的目标类型数据在所述预设类型下的第二统计值；根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。与现有技术相比，本申请通过确定目标数据集中全量目标类型数据在预设类型下的第一统计值，从目标数据集中抽取部分目标类型数据，计算抽取的目标类型数据在所述预设类型下的第二统计值，并根据第一统计值与第二统计值确定目标数据处理流程的数据处理结果是否正确，能够使测试结果更加准确，并且不依赖于业务人员的专业知识，可以应用于多种数据的测试，通用性强。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种数据测试方法的流程图；

图2示出了本申请实施例所提供的另一种数据测试方法的流程图；

图3示出了本申请实施例所提供的一种数据测试装置的结构示意图；

图4示出了本申请实施例所提供的另一种数据测试装置的结构示意图；

图5示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

经研究发现，现有的大数据测试方法通常是先计算出处理结果的各种数据指标，再由专业人员依据业务经验观察数据指标是否符合预期。然而，业务人员只能在数据指标发生较为明显的偏差时才能发现问题，而且，这个过程严重依赖于业务人员对业务的熟悉程度，难以成为一个通用的测试技术。

基于此，本申请实施例提供了一种数据测试方法，以降低数据传输的丢包率，减少数据传输时延。

请参阅图1，图1为本申请实施例所提供的一种数据测试方法的流程图。如图1中所示，本申请实施例提供的数据测试方法，包括：

S101、针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值。

该步骤中，针对经过目标数据处理流程得到目标测试数据集，可以计算目标数据集中全部目标类型数据在一种或多种预设类型下的第一统计值。

这里，目标数据处理流程可以是针对大数据的数据处理流程，目标数据处理流程可以包括数据抽取、数据转换、数据装载等过程，由于大数据是从不同数据库中提取出来的，来自不同数据库的数据可能会有不同的形式与内容，就需要对数据进行数据抽取、数据转换，将这些数据转换为能够统一处理的结构化数据，在这个过程中，可能会出现偏差等错误，因此，需要对数据处理进行测试。

其中，预设类型可以包括均值、方差、最大值、1/4分位数、中位数、3/4分位数、最小值、众数、峰度、偏度等，第一统计值可以是上述预设类型的一种或多种。

S102、从所述目标测试数据集中，抽取预设数量的目标类型数据。

该步骤中，可以从目标测试数据集中，按照每个数据被抽取的概率值，抽取出预设数量的目标类型数据，目标测试数据集中可以包括一种或多种类型的数据，目标类型数据可以是目标测试数据集中多种数据的一种。由于目标测试数据集中的数据数量极其庞大，可以通过蓄水池采样算法或其他抽样算法进行抽样。

S103、确定所述抽取的目标类型数据在所述预设类型下的第二统计值。

该步骤中，可以计算抽取到的目标类型数据在预设类型下的第二统计值，确定第二统计值的方式与确定第一统计值的方式相同，具体的，若预设类型为均值，则第一统计值为全量的目标类型数据的均值，而第二统计值则为抽取到的目标类型数据的均值。

S104、根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。

这里，抽样数据对应的第二统计值，与全量数据的第一统计值，之间存在一定的关系，不同类型的统计值之间的关系可以通过合理的推导得到，比如，预设类型为均值时，第一统计值和第二统计值的理论值相等，由于数据的分布特性，在实施过程中，二者之间可以存在一定的变化幅度，也即二者之间存在置信区间，具体的，置信区间的大小可以为百分之5，也即第一统计值与第二统计值之间相差的大小不超过百分之5，即可认为目标数据处理流程的数据处理结果是正确的，反之则可以认为目标数据处理流程的处理结果不正确，目标数据处理流程中的一个或多个步骤出现错误，或从数据库中提取的原始数据存在异常数据。

请参阅图2，图2为本申请另一实施例提供的数据测试方法的流程图。如图2中所示，本申请实施例提供的数据测试方法，包括：

S201、针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值。

S202、从所述目标测试数据集中，抽取预设数量的目标类型数据。

S203、确定所述抽取的目标类型数据在所述预设类型下的第二统计值。

S204、对比所述第一统计值与所述第二统计值。

该步骤中，可以对比第一统计值与第二统计值的大小，并根据二者之间的差值判断目标数据处理流程的数据处理结果是否正确。

S205、若所述第一统计值与所述第二统计值之间满足所述预设类型对应的目标关系，则确定所述目标数据处理流程的数据处理结果正确。

该步骤中，不同预设类型的第一统计值和第二统计值之间具有不同的关系，比如，在预设类型为均值的情况下，若数据处理流程无误，第一统计值与第二统计值之间的差值应在置信区间之内。

其中，目标关系的具体内容可以视预设类型而定，目标关系可以根据预设类型、目标类型数据的类型等因素推导得到。

S206、若所述第一统计值与所述第二统计值之间不满足所述预设类型对应的目标关系，则确定所述目标数据处理流程的数据处理结果不正确。

其中，S201至S203的描述可以参照S101至S103的描述，并且能达到相同的技术效果，对此不做赘述。

该步骤中，通过利用蓄水池采样算法，可以通过流式的方式对数据进行采样，不需要预先知道数据的总量，对于每一个输入的数据，根据采样概率直接算出该样本是否采样，最终可以从任意大小的数据集中等概率的采样出一个固定大小的数据集。

具体的，可以先构建一个样本量为k的采样池，顺序将目标测试数据集中前k个目标类型数据放入池中，并从第k+i(i为正整数)个目标类型数据开始，对于每个新的目标类型数据，使用概率为k/(k+i)的概率函数决定该新数据是否进入池中，如果需要进入，则使用等概率的方式替换池中的k个目标类型数据的某一个，被替换的目标类型数据被舍弃。如果不需要进入池中，则直接舍弃该新的目标类型数据。这样，即使不确定目标测试数据集中目标类型数据的总数n，每个目标类型数据被抽取到的概率都为k/n。

其中，对于目标测试数据集前k个目标类型数据，其被抽取为样本的概率为(k/(k+1))*((k+1)/(k+2))*…*((n-1)/n)＝k/n，而对于第k+i个目标类型数据，其被抽取到的概率为(k/(k+i))*((k+i)/(k+i+1))*…*((n-1)/n)＝k/n。

该步骤中，可以使用遍历的方法，确定目标数据处理流程中出现错误的位置和/或，确定所述目标处理流程对应的原始数据中的异常数据。

本申请实施例提供的数据测试方法，针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；从所述目标测试数据集中，抽取预设数量的目标类型数据；确定所述抽取的目标类型数据在所述预设类型下的第二统计值；根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。与现有技术相比，本申请通过确定目标数据集中全量目标类型数据在预设类型下的第一统计值，从目标数据集中抽取部分目标类型数据，计算抽取的目标类型数据在所述预设类型下的第二统计值，并根据第一统计值与第二统计值确定目标数据处理流程的数据处理结果是否正确，能够使测试结果更加准确，并且不依赖于业务人员的专业知识，可以应用于多种数据的测试，通用性强。

请参阅图3、图4，图3为本申请实施例所提供的一种数据测试装置的结构示意图，图4为本申请实施例所提供的另一种数据测试装置的结构示意图。如图3中所示，所述数据测试装置300包括：

第一确定模块310，用于针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；

抽取模块320，用于从所述目标测试数据集中，抽取预设数量的目标类型数据；

第二确定模块330，用于确定所述抽取的目标类型数据在所述预设类型下的第二统计值；

数据测试模块340，用于根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。

进一步的，如图4所示，所述数据测试装置400包括第一确定模块410、抽取模块420、第二确定模块430、数据测试模块440、第三确定模块450，所述第三确定模块450用于：

在一种可能的实施方式中，所述数据测试模块440具体用于：

对比所述第一统计值与所述第二统计值；

在一种可能的实施方式中，所述抽取模块420具体用于：

本申请实施例提供的数据测试装置，针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；从所述目标测试数据集中，抽取预设数量的目标类型数据；确定所述抽取的目标类型数据在所述预设类型下的第二统计值；根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。与现有技术相比，本申请通过确定目标数据集中全量目标类型数据在预设类型下的第一统计值，从目标数据集中抽取部分目标类型数据，计算抽取的目标类型数据在所述预设类型下的第二统计值，并根据第一统计值与第二统计值确定目标数据处理流程的数据处理结果是否正确，能够使测试结果更加准确，并且不依赖于业务人员的专业知识，可以应用于多种数据的测试，通用性强。

请参阅图5，图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示，所述电子设备500包括处理器510、存储器520和总线530。

所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过总线530通信，所述机器可读指令被所述处理器510执行时，可以执行如上述图1以及图2所示方法实施例中的数据测试方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的数据测试方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种数据测试方法，其特征在于，所述方法包括：

从所述目标测试数据集中，抽取预设数量的目标类型数据；

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确，包括：

对比所述第一统计值与所述第二统计值；

3.根据权利要求1所述的方法，其特征在于，所述预设类型包括以下至少一种：

4.根据权利要求1所述的方法，其特征在于，所述从所述目标测试数据集中，抽取预设数量的目标类型数据，包括：

5.根据权利要求2所述的方法，其特征在于，在确定所述目标数据处理流程的数据处理结果不正确之后，所述方法还包括：

确定所述目标数据处理流程中出现错误的位置，和/或，确定所述目标数据处理流程对应的原始数据中的异常数据。

6.一种数据测试装置，其特征在于，所述装置包括：

第二确定模块，用于确定所述抽取的目标类型数据在所述预设类型下的第二统计值；

7.根据权利要求6所述的装置，其特征在于，所述数据测试模块具体用于：

对比所述第一统计值与所述第二统计值；

8.根据权利要求6所述的装置，其特征在于，所述抽取模块具体用于：

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至5任一所述的数据测试方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一所述的数据测试方法的步骤。