CN105335407A - 一种数据自动化测试方法及装置 - Google Patents

Abstract

本申请实施例公开了一种数据自动化测试方法及装置。通过对被测数据集进行抽样，获得代表被测数据特征的抽样数据集，获得抽样数据集后，判断其每列数据的类型，根据每列数据的类型查找对应的数据检测规则，运行所述规则得到异常数据，完成数据测试。由于以抽样数据集替代被测数据集进行测试，降低了数据测试量和规则编制量，提高了测试效率。

Description

一种数据自动化测试方法及装置

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据自动化测试方法及装置。

背景技术

数据在信息整合、程序执行或者数据库迁移等过程中，会因为系统、网络或者数据处理等出现错误引起数据的缺失或异常，因此在使用数据前，例如在信息整合之后展示整合的数据之前，或者数据库迁移之后，需要对数据进行测试，以保证数据的完整、正确和一致。

在数据库系统中，通常以数据表的形式组织数据。数据测试的主要手段或方法是根据数据表每列所代表的类型或含义，编写相应的数据检测规则，然后对数据进行全量扫描，从而得到不符合所述规则的异常数据。但是，当数据类型较多时，如果对每份数据的每一列都要配置相应的数据检测规则去测试，效率会非常低。而且如果数据的类型发生变化，其对应的数据检测规则也要相应修改，数据测试的成本大且适应性低。

发明内容

为克服相关技术中数据测试效率低的问题，本申请提供一种数据自动化测试方法及装置。

根据本申请实施例的第一方面，提供一种数据自动化测试方法，包括：

对被测数据集进行抽样，获得抽样数据集；

判断所述抽样数据集中每列数据的类型；

根据每列数据的类型查找每列数据对应的数据检测规则；

运行查找到的数据检测规则，得到检测结果。

可选的，所述判断抽样数据集中每列数据的类型，包括：在判断每列数据的通用类型之后，判断每列数据的领域特定类型，其中，所述通用类型包括：枚举、整数、浮点数和字符串，所述领域特定类型为列数据表征的物理类型，包括：名称、时间、地址、统一资源定位符。

可选的，所述判断每列数据的通用类型，包括：

当列的数据中有取值的数据占所述列所有数据的比例小于10％时，判断所述列的类型为枚举；

当列的数据的取值全部为数字且存在小数点时，判断所述列的类型为浮点数；

当列的数据的取值全部为数字且小数点的个数为零时，即当列的数据的取值全部为数字且不存在小数点时，判断所述列的类型为整数；

当列的数据全部有取值且取值中存在数字之外的其他字符时，判断所述列的类型为字符串。

可选的，所述判断每列数据的领域特定类型，包括：

将列的数据的格式与各个领域特定类型格式对比；

当列的数据中格式与领域特定类型格式其中之一相同的数据占所有列的数据的比例大于或等于95％时，判断列的类型为对应的格式相同的领域特定类型。

可选的，所述根据每列数据的类型查找每列数据对应的数据检测规则，包括：

判断是否存在自定义规则；

当存在自定义规则时，在所述自定义规则中查找每列数据对应的数据检测规则，否则，在内置规则中查找每列数据对应的数据检测规则。

可选的，所述的数据自动化测试方法，分布式运行查找到的数据检测规则。

根据本申请实施例的第二方面，提供一种数据自动化测试装置，包括：

抽样模块，用于对被测数据集进行抽样，并获得抽样数据集；

类型判断模块，用于判断所述抽样数据集中每列数据的类型；

规则映射模块，用于根据每列数据的类型查找每列数据对应的数据检测规则；

规则运行模块，运行查找到的数据检测规则，得到检测结果。

可选的，所述的数据自动化测试装置中，所述类型判断模块，包括：

通用类型判断子模块，用于判断每列数据的通用类型；

领域特定类型判断子模块，用于判断每列数据的领域特定类型，

其中，所述通用类型包括：枚举、整数、浮点数和字符串，所述领域特定类型为列数据表征的物理类型，包括：名称、时间、地址、统一资源定位符。

可选的，所述的数据自动化测试装置中，所述领域特定类型判断子模块，包括：

格式对比子模块，用于将列的数据的格式与各个领域特定类型格式对比；

记录子模块，用于记录列的数据中格式与领域特定类型格式其中之一相同的数据的个数；

计算子模块，用于计算列的数据中格式与领域特定类型格式其中之一相同的数据的占所有列的数据的比例；

判断子模块，用于当列的数据中格式与领域特定类型格式其中之一相同的数据占所有列的数据的比例大于或等于95％时，判断列的类型为对应的格式相同的领域特定类型。

可选的，所述的数据自动化测试装置中，所述规则映射模块，包括：

规则判断子模块，用于判断是否存在自定义规则；

映射子模块，用于当存在自定义规则时，在所述自定义规则中查找每列数据对应的数据检测规则，否则，在内置规则中查找每列数据对应的数据检测规则。

可选的，所述的数据自动化测试装置中，所述规则运行模块为分布式规则运行模块。

本申请实施例提供的技术方案可以包括以下有益效果：对被测数据集进行抽样，获得代表被测数据特征的抽样数据集。获得抽样数据集后，判断其每列数据的类型，根据每列数据的类型查找对应的数据检测规则，运行所述规则得到异常数据，完成数据测试。由于以抽样数据集替代被测数据集进行测试，降低了数据测试量和规则编制量，提高了测试效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一示例性实施例示出的一种数据自动化测试方法的流程示意图。

图2为本申请一示例性实施例示出的一种数据自动化测试装置的框图。

图3为图2所示装置中类型判断模块的框图。

图4为图3所示装置中领域特定类型判断子模块的框图。

图5为图2所示装置中规则映射模块的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了全面理解本申请，在以下详细描述中提到了众多具体的细节，但是本领域技术人员应该理解，本申请可以无需这些具体细节而实现。在其他实施例中，不详细描述公知的方法、过程、组件和电路，以免不必要地导致实施例模糊。

图1为本申请一示例性实施例示出的一种数据自动化测试方法的流程示意图。如图1所示，所述方法包括：

在步骤S101，对被测数据集进行抽样，获得抽样数据集。

其中，抽样的目的是获得代表被测数据全量特征的抽样数据集。所述抽样可以为常规的分层抽样和系统抽样，优选为均匀抽样，例如按照预设的步长或间距抽样。获得抽样数据集后，以抽样数据集替代被测数据集进行测试，从而降低测试量，提高测试效率。

在步骤S102，判断所述抽样数据集中每列数据的类型。

其中，判断每列数据的类型可以包括：在判断每列数据的通用类型后判断每列数据的领域特定类型。所述通用类型包括：枚举、整数、浮点数和字符串等，所述领域特定类型为列数据表征的物理类型，包括：名称、时间、地址、统一资源定位符(UniformResourceLocator，URL)、号码等。在优选的实施方式中，对每列数据，先进行通用类型判断，再进行领域特定类型判断，由于在一种通用类型下可能对应多个领域特定类型，例如名称、地址、URL都可以用字符串表示，因此在得到每列数据的通用类型后，不必将所述数据和所有领域特定类型进行比对，而只需找到该通用类型对应的领域特定类型，在该通用类型对应的领域特定类型中进行每列数据领域特定类型的判断，从而提高类型判断的效率，节约系统资源。在一种可能的实施方式中，对每列数据，也可以先进行领域特定类型判断，再进行通用类型判断。

其中，所述判断每列数据的通用类型，可以包括：

当列的数据中有取值的数据占所述列所有数据的比例小于10％时，判断所述列的类型为枚举；

当列的数据的取值全部为数字且存在小数点时，判断所述列的类型为浮点数；

当列的数据的取值全部为数字且小数点的个数为零时，即当列的数据的取值全部为数字且不存在小数点时，判断所述列的类型为整数；

当列的数据全部有取值且取值中存在数字之外的其他字符时，判断所述列的类型为字符串。

由于每列数据中所有数据的类型是相同的，根据通用类型的特点可以得到上述通用类型判断的方法：由于枚举数据本身表示一个数值，因此当多数数据无取值，例如无取值数据的比例超过90％，则可以判断该列的数据为枚举类型；由于整数不可能存在小数点，因此当存在小数点时可以判断该列数据的类型为浮点数；同理，当列的数据全部有取值且取值中存在非数字字符时，判断所述列的类型为字符串。

其中，所述判断每列数据的领域特定类型，可以包括：

将列的数据的格式与各个领域特定类型格式对比；

当列的数据中格式与领域特定类型格式其中之一相同的数据占所有列的数据的比例大于或等于95％时，判断列的类型为对应的格式相同的领域特定类型。

例如，当先判断得到列的通用类型为字符串，则将该列的数据的格式和以字符串形式存储的领域特定类型格式对比，例如名称、地址、URL等，以URL为例，当该列的数据的格式有95％以上符合URL格式时，判断该列的领域特定类型为URL。

每列数据的类型可以以二元组的形式存储，与每列数据对应，作为每列数据的类型二元组。所述二元组中通用类型不能为空，领域特定类型可以为空，这是英文，当通过通用类型可以查找到每列数据对应的数据检测规则时，可以不考虑领域特定类型。

在步骤S103中，根据每列数据的类型查找每列数据对应的数据检测规则。

其中，所述根据每列数据的类型查找每列数据对应的数据检测规则，包括：

判断是否存在自定义规则；

当存在自定义规则时，在所述自定义规则中查找每列数据对应的数据检测规则，否则，在内置规则中查找每列数据对应的数据检测规则，所述内置规则为常规的测试系统中存在的数据检测规则。

所述判断是否存在自定义规则，可以为在测试系统中查找是否存在自定义规则。测试者可以根据被测数据的特点，自行编制数据检测规则，通过引入自定义规则，可以提高数据测试的扩展性，降低数据测试的成本。

数据检测规则根据每一种类型编制，类型和对应的数据检测规则可以存放于一张二维表中，所述类型包括通用类型和进一步的领域特定类型。当判断得到每列数据的类型后，根据所述类型在所述二维表中查找对应的数据检测规则，其中，可以先通过每列数据的通用类型找到对应于该通用类型的多个数据检测规则，再根据每列数据的领域特定类型在所述多个数据检测规则中查找对应于该领域特定类型的数据检测规则，从而得到每列数据对应的数据检测规则。本申请中，自定义规则也可以按照常规数据检测规则编制。

在步骤S104中，运行查找到的数据检测规则，得到检测结果。

运行查找到的每列数据对应的数据检测规则，所述数据检测规则检测每列数据中的异常数据，得到检测结果，完成数据测试。所述检测结果可以以检测报告形式输出，所述检测报告可以包括数据正常或异常状态、异常在数据库中出现的位置等，当检测到异常数据时，检测报告中还可以包括所有异常数据。如果被测数据的数据量非常大，则可以分布式运行数据检测规则，所述分布式运行可以采用常规的分布式规则运行技术，例如，使用Hadoop(Hadoopdistributedfilesystem，分布式文件系统)来运行数据检测规则，从而缩短运行时间，提高测试效率。

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，并存储在一个存储介质中，包括若干指令用以使得一台智能设备执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储数据和程序代码的介质。

图2为本申请实施例示出的一种数据自动化测试装置的框图图。如图2所示，在一种可能的实施方式中，所述装置包括：

抽样模块U201，用于对被测数据集进行抽样，并获得抽样数据集，所述抽样模块优选为均匀抽样模块；

类型判断模块U202，与U201连接，用于判断抽样数据集中每列数据的类型；

规则映射模块U203，与U202连接，用于根据每列数据的类型查找每列数据对应的数据检测规则；

规则运行模块U204，与U203连接，运行查找到的数据检测规则，得到检测结果。

其中，在一种可能的实施方式中，所述类型判断模块U202，包括：

通用类型判断子模块U301，用于判断每列数据的通用类型；

领域特定类型判断子模块U302，与U301连接，用于判断每列数据的领域特定类型，

其中，所述通用类型包括：枚举、整数、浮点数和字符串，所述领域特定类型为列数据表征的物理类型，包括：名称、时间、地址、统一资源定位符。

其中，在一种可能的实施方式中，所述领域特定类型判断子模块U302，包括：

格式对比子模块U401，用于将列的数据的格式与各个领域特定类型格式对比；

记录子模块U402，与U401连接，用于记录列的数据中格式与领域特定类型格式其中之一相同的数据的个数；

计算子模块U403，与U402连接，用于计算列的数据中格式与领域特定类型格式其中之一相同的数据的占所有列的数据的比例；

判断子模块U404，与U403连接，用于当列的数据中格式与领域特定类型格式其中之一相同的数据占所有列的数据的比例大于或等于95％时，判断列的类型为对应的格式相同的领域特定类型。

其中，在一种可能的实施方式中，所述规则映射模块U203，包括：

规则判断子模块U501，用于判断是否存在自定义规则；

映射子模块U502，与U501连接，用于当存在自定义规则时，在所述自定义规则中查找每列数据对应的数据检测规则，否则，在内置规则中查找每列数据对应的数据检测规则。

其中，在一种可能的实施方式中，所述规则运行模块为分布式规则运行模块，所述分布式规则运行模块可以采用Hadoop系统模块。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者逆序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、模块或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、模块或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种数据自动化测试方法，其特征在于，包括：

对被测数据集进行抽样，获得抽样数据集；

判断所述抽样数据集中每列数据的类型；

根据每列数据的类型查找每列数据对应的数据检测规则；

运行查找到的数据检测规则，得到检测结果。

2.如权利要求1所述的数据自动化测试方法，其特征在于，所述判断抽样数据集中每列数据的类型，包括：在判断每列数据的通用类型之后，判断每列数据的领域特定类型，其中，所述通用类型包括：枚举、整数、浮点数和字符串，所述领域特定类型为列数据表征的物理类型，包括：名称、时间、地址、统一资源定位符。

3.如权利要求2所述的数据自动化测试方法，其特征在于，所述判断每列数据的通用类型，包括：

当列的数据中有取值的数据占所述列所有数据的比例小于10％时，判断所述列的类型为枚举；

当列的数据的取值全部为数字且存在小数点时，判断所述列的类型为浮点数；

当列的数据的取值全部为数字且小数点的个数为零时，即当列的数据的取值全部为数字且不存在小数点时，判断所述列的类型为整数；

当列的数据全部有取值且取值中存在数字之外的其他字符时，判断所述列的类型为字符串。

4.如权利要求3所述的数据自动化测试方法，其特征在于，所述判断每列数据的领域特定类型，包括：

将列的数据的格式与各个领域特定类型格式对比；

当列的数据中格式与领域特定类型格式其中之一相同的数据占所有列的数据的比例大于或等于95％时，判断列的类型为对应的格式相同的领域特定类型。

5.如权利要求1所述的数据自动化测试方法，其特征在于，所述根据每列数据的类型查找每列数据对应的数据检测规则，包括：

判断是否存在自定义规则；

当存在自定义规则时，在所述自定义规则中查找每列数据对应的数据检测规则，否则，在内置规则中查找每列数据对应的数据检测规则。

6.如权利要求1所述的数据自动化测试方法，其特征在于，分布式运行查找到的数据检测规则。

7.一种数据自动化测试装置，其特征在于，包括：

抽样模块，用于对被测数据集进行抽样，并获得抽样数据集；

类型判断模块，用于判断所述抽样数据集中每列数据的类型；

规则映射模块，用于根据每列数据的类型查找每列数据对应的数据检测规则；

规则运行模块，运行查找到的数据检测规则，得到检测结果。

8.如权利要求7所述的数据自动化测试装置，其特征在于，所述类型判断模块，包括：

通用类型判断子模块，用于判断每列数据的通用类型；

领域特定类型判断子模块，用于判断每列数据的领域特定类型，

其中，所述通用类型包括：枚举、整数、浮点数和字符串，所述领域特定类型为列数据表征的物理类型，包括：名称、时间、地址、统一资源定位符。

9.如权利要求8所述的数据自动化测试装置，其特征在于，所述领域特定类型判断子模块，包括：

格式对比子模块，用于将列的数据的格式与各个领域特定类型格式对比；

记录子模块，用于记录列的数据中格式与领域特定类型格式其中之一相同的数据的个数；

计算子模块，用于计算列的数据中格式与领域特定类型格式其中之一相同的数据的占所有列的数据的比例；

判断子模块，用于当列的数据中格式与领域特定类型格式其中之一相同的数据占所有列的数据的比例大于或等于95％时，判断列的类型为对应的格式相同的领域特定类型。

10.如权利要求7所述的数据自动化测试装置，其特征在于，所述规则映射模块，包括：

规则判断子模块，用于判断是否存在自定义规则；

映射子模块，用于当存在自定义规则时，在所述自定义规则中查找每列数据对应的数据检测规则，否则，在内置规则中查找每列数据对应的数据检测规则。

11.如权利要求7所述的数据自动化测试装置，其特征在于，所述规则运行模块为分布式规则运行模块。