CN115408367A - 数据测试方法、存储介质和电子设备 - Google Patents

Abstract

本发明公开了一种数据测试方法、存储介质和电子设备。其中，该方法包括：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。本发明解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

Description

数据测试方法、存储介质和电子设备

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据测试方法、存储介质和电子设备。

背景技术

在大数据系统中，尤其在数据在线分析处理(Online Analytical Processing，OLAP)的场景下，通常使用数据仓库作为服务底层的支撑。数据仓库往往涉及多来源、多渠道、多种类的大量级数据，并且对数据加工的逻辑较复杂，因此，数据仓库的多个工作环节(如数据采集、数据加工、数据生产、同步等)中都可能出现逻辑错误或故障(Bug)，进而降低数据的正确性(如出现数据缺失、数据异常、数据错误和数据不一致等问题)。然而，数据的正确性直接影响大数据服务的上层分析决策、产品效益和用户体验，因此，如何保障大数据系统中多源数据的正确性成为相关领域中亟待解决的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据测试方法、存储介质和电子设备，以至少解决相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

根据本发明实施例的一个方面，提供了一种数据测试方法，包括：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。

根据本发明实施例的另一方面，还提供了一种数据测试方法，包括：从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中；基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务；执行电商广告数据测试脚本集合，得到电商广告数据测试结果；对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

根据本发明实施例的另一方面，还提供了一种数据测试方法，包括：从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中；基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务；执行电商订单数据测试脚本集合，得到电商订单数据测试结果；对电商订单数据测试结果进行汇总，生成电商订单数据测试报告。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行任意一项上述的数据测试方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。

在本发明实施例中，通过从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中，基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务，并通过执行测试脚本集合，得到测试结果，进而对测试结果进行汇总，生成测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试数据，基于用于测试数据质量的多个测试指标，生成并执行测试脚本集合，以得到测试结果并生成测试报告，达到了利用多个测试指标自动生成测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现数据测试方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本发明实施例的一种数据测试方法的流程图；

图3是根据本发明实施例的一种数据正确性测试平台的结构示意图；

图4是根据本发明实施例的一种数据正确性测试执行过程的示意图；

图5是根据本发明实施例的一种数据正确性测试指标的分类示意图；

图6是根据本发明实施例的一种执行测试脚本的过程的示意图；

图7是根据本发明实施例的另一种数据测试方法的流程图；

图8是根据本发明实施例的另一种数据测试方法的流程图；

图9是根据本发明实施例的一种数据测试装置的结构示意图；

图10是根据本发明实施例的另一种可选的数据测试装置的结构示意图；

图11是根据本发明实施例的另一种可选的数据测试装置的结构示意图；

图12是根据本发明实施例的另一种数据测试装置的结构示意图；

图13是根据本发明实施例的另一种可选的数据测试装置的结构示意图；

图14是根据本发明实施例的另一种数据测试装置的结构示意图；

图15是根据本发明实施例的另一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

多源数据：在本发明中指多来源、多渠道、多种类的大量数据。

数据仓库(Data Warehouse，DW)：是指为服务决策过程提供多种类型数据支持的数据集合。DW通常是为了出具分析性报告而创建，用于为需要业务智能的企业提供业务流程改进、时间监控、成本监控和质量监控。涉及多源数据的数据仓库称为多源数据仓库。

数据正确性：在本发明中指大数据系统中所加工生产的数据满足生产预期的程度。数据正确性可以包括：数据及时性、数据完整性、数据准确性和数据一致性。

实施例1

根据本发明实施例，还提供了一种数据测试方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据测试方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a，102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本发明实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的数据测试方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据测试方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。

目前，随着大数据系统的快速发展，单一来源的数据往往难以支持大数据服务需求，多源数据的融合分析在大数据系统中被应用得越来越普遍。然而，对多源数据进行加工和使用的过程中，数据质量面临更大的挑战，如何保证多源数据的正确性成为大数据系统中服务分析和服务决策场景的重要问题。

具体地，在涉及多源数据的数据仓库使用场景中，主要存在如下问题：数据正确性问题种类多(如常见的包括：数值缺失，数值错误，数据表之间数值不匹配等)，数据正确性难以衡量；不同数据源对应的测试方案差异大，缺少针对数据仓库的测试工具；数据正确性测试效率低，对经验判断依赖度高，复用难度大；对于周期性产出的数据，无法持续地进行数据正确性测试。

针对上述问题，相关技术中提供的数据正确性测试方法主要有以下几种。

第一种，抽样测试法。通过测试页面或者测试接口获取分析报表数据，然后查验该分析报表数据与数据库中对应数据的数值是否一致。这种方法的缺陷在于：仅适用于对少量数据的抽样测试，且测试结果的偶然误差较大，数据正确性测试结果准确度低。

第二种，接口回放测试。在线录制大量接口流量，然后对这些接口流量进行预发批量回放验证(预发处理结果不回推)，也就是说，通过大量接口流量来保证预发数据与在线数据的一致性。这种方法的缺陷在于：仅适用于预发环境的回归测试，无法检测在线数据本身的数据正确性；即使使用大量接口流量，仍无法进行全量数据的全覆盖测试，数据正确性测试结果准确度较低。

第三种，结构化查询语言(Structured Query Language，SQL)人工测试。通过人工编写SQL用于验证所生产的数据是否符合生产预期。这种方法的缺陷在于：对测试人员的相关知识和经验依赖度较高，测试人员针对多源数据的学习成本高，容易产生人为失误；数据正确性测试流程繁琐、效率低。

第四种，使用其他自动化测试平台进行测试。基于现有的针对离线数据进行数据测试的平台，引入测试SQL进行自动化测试。这种方法的缺陷在于：缺乏客观、准确的测试指标沉淀，用户须凭个人经验使用，缺乏测试系统化程度低；仅支持单数据源测试，无法满足涉及多源数据或跨多个数据仓库的数据正确性测试需求。

因此，针对上述问题，现有技术中尚未提出有效的解决方案。

在上述运行环境下，本发明提供了如图2所示的一种数据测试方法。图2是根据本发明实施例的一种数据测试方法的流程图，如图2所示，该数据测试方法包括：

步骤S21，从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；

步骤S22，基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；

步骤S23，执行测试脚本集合，得到测试结果；

步骤S24，对测试结果进行汇总，生成测试报告。

在本发明实施例中，上述多种类型数据源可以是存储于云端的多源数据仓库中的多源数据。该云端的多源数据仓库可以但不限于包括：开放数据处理服务(Open DataProcessing Service，ODPS)，关系型数据库管理系统(MySQL)，分析型数据库(AnalyticDataBase，ADB)，企业自主研发的一站式实时数据仓库引擎(如Hologres)等。

上述待测试数据可以是具体应用场景中待测试数据正确性的数据。该应用场景可以是云计算、金融、交通、制造、能源等技术领域中的任何涉及大数据系统中数据正确性测试的场景。

从上述云端的多源数据仓库中查询上述待测试数据，需要访问或获取该云端的多源数据仓库中的多源数据，具体的访问方式或者获取方式可以是：通过网络连接下载、通过通信网络实时加载等。

上述待测试数据可以是上述多种类型数据源中待测试的数据表。例如，该待测试数据可以是单个数据表(用于单表测试)、多个数据表(用于多表测试)和数据表标签(用于标签测试)等。

上述待测试数据与上述多个测试指标相关联。该多个测试指标可以用于验证该待测试数据的数据质量。技术人员可以根据应用场景需求，确定需要测试的数据正确性测试指标作为上述多个测试指标，例如，该多个测试指标可以包括：数据及时性指标、数据完整性指标、数据准确性指标和数据一致性指标。

上述多个测试指标可以是由技术人员根据大量的测试经验沉淀得到的一套完整的数据正确性测试指标。

基于上述多个测试指标，可以生成上述测试脚本集合。该测试脚本集合可以包括多个测试脚本，该多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务。例如：该测试脚本集中可以包括：及时性测试脚本，用于执行及时性测试子任务以测试数据的数据及时性指标；完整性测试脚本，用于执行完整性测试子任务以测试数据的数据完整性指标；准确性测试脚本，用于执行准确性测试子任务以测试数据的数据准确性指标；一致性测试脚本，用于执行一致性测试子任务以测试数据的数据一致性指标。

进一步地，执行上述测试脚本集合中的每个测试脚本，可以得到上述待测试数据的测试结果。对该测试结果进行汇总，可以生成测试报告。将该测试报告提供给用户，以展示该待测试数据关联的多个测试指标对应的结果。

在本发明实施例中，通过从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中，基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务，并通过执行测试脚本集合，得到测试结果，进而对测试结果进行汇总，生成测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试数据，基于用于测试数据质量的多个测试指标，生成并执行测试脚本集合，以得到测试结果并生成测试报告，达到了利用多个测试指标自动生成测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

例如，在电商视频直播场景下，利用数据正确性测试平台进行数据正确性测试的过程中，可以采用本发明实施例提供的方法。图3是根据本发明实施例的一种数据正确性测试平台的结构示意图，如图3所示，该数据正确性测试平台可以包括：应用层、服务层、适配层和数据源层。

仍然如图3所示，数据正确性测试平台中，应用层可以用于向电商视频直播的用户提供服务，应用层可以包括：指标管理，数据源管理，规则创建，任务管理、报告服务和任务监控。

仍然如图3所示，数据正确性测试平台中，服务层用于在应用层之下构建应用的核心服务。该服务层可以包括：模型管理组块、基础服务组块和任务调度组块。

具体地，服务层的模型管理组块可以用于对领域模型(如指标、规则、任务、指标集、实例和监控)进行增加、删除或修改操作。服务层的基础服务组块可以用于提供通用的基础服务(如任务调度、权限管理、加密服务、规则转换、并发控制和异常处理)。服务层的任务调度组块可以用于提供多个异步任务(如实例创建、任务分解、任务执行、状态查询、结果收集和报告汇总)以实现后端任务处理逻辑和状态机流转。

仍然如图3所示，数据正确性测试平台中，适配层可以针对每种异构数据源单独设定对应的任务执行中转适配器。当数据正确性测试平台所支持的数据源包括ODPS、ADB和Hologres，则适配层中设定有ODPS中转适配器、ADB中转适配器和Hologres中转适配器。在使用过程中，当数据正确性测试平台所支持的数据源每增加一种新数据源时，则在适配层中增加该新数据源的中转适配器即可。

容易理解的是，上述适配层可以用于隔离上层(如上述服务层)和下层(如上述数据源层)，该适配层所提供的功能可以包括：数据源连接、数据表搜索、表源数据查询、结构化查询语言(SQL)执行和结果解析等。

仍然如图3所示，数据正确性测试平台中，数据源层可以用于存储大数据系统中的常用数据，还可以用于执行测试任务。该数据源层可以包括：开放数据处理服务(ODPS)、分析型数据库(ADB)、关系型数据库服务(Relation Data System，RDS)、企业自主研发的一站式实时数据仓库引擎(如Hologres)等。

在一种可选的实施例中，数据测试方法还包括如下方法步骤：

步骤S25，为多种类型数据源中的每种类型数据源设置数据源链接信息，其中，数据源链接信息用于连接目标数据库，并从目标数据库中查询待测试数据，目标数据库用于存储多种类型数据源。

在上述可选的实施例中，上述多种类型数据源可以是涉及数据正确性测试的应用场景中对应的多种类型的数据源。

通过为上述多种类型数据源中每种类型数据源设置数据源链接信息，可以支持连接目标数据库，并从该目标数据库中查询待测试数据。该目标数据库用于存储该多种类型数据源。

仍然以在电商视频直播场景下进行多源数据仓库的数据正确性测试为例，图4是根据本发明实施例的一种数据正确性测试执行过程的示意图，如图4所示，对电商视频直播对应的多源数据仓库进行数据正确性测试包括配置数据源。

具体地，配置数据源的过程包括：根据数据源的类型设置对应数据源的链接信息；从数据源中查询待测试的数据表(相当于上述待测试数据)；针对待测试的数据表，分析待测试的数据正确性指标。

需要说明的是，将上述待测试的不同类型的数据源配置入系统时，需要保存链接信息，不同类型的数据源对应的链接方式和链接信息不同。

通过本发明实施例提供的上述方法，利用一套完整的数据测试指标(可以包括单表测试指标、多表测试指标和标签测试指标等)，针对涉及多源数据的数据仓库场景，能够进行灵活地数据源适配，提高数据正确性的验证效率。

在一种可选的实施例中，多个测试指标包括以下部分或全部类型测试指标：数据及时性测试指标、数据完整性测试指标、数据准确性测试指标、数据一致性测试指标，在步骤S22中，基于待测试数据关联的多个测试指标生成测试脚本集合，包括如下方法步骤：

步骤S221，选取测试指标规则，其中，测试指标规则用于确定待测试数据对应的测试任务；

步骤S222，配置测试指标规则对应的参数信息；

步骤S223，基于参数信息，确定待测试数据对应的多个测试指标，其中，多个测试指标中每个测试指标分别对应一个测试脚本模板；

步骤S224，根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合。

在上述可选的实施例中，多个测试指标可以是根据用户预先配置的参数信息从大数据系统中沉淀的全部测试指标中确定的测试指标。上述测试指标规则可以由用户预先选取，该测试指标规则可以用于确定待测试数据对应的测试任务。该测试任务可以包括多个测试子任务。

上述多个测试指标可以是由技术人员根据大量的测试经验沉淀得到的一套完整的数据正确性测试指标。图5是根据本发明实施例的一种数据正确性测试指标的分类示意图，如图5所示，对于单数据源的数据，数据正确性测试指标包括：数据及时性指标、数据完整性指标和数据准确性指标；对于多数据源的数据，数据正确性测试指标主要包括数据一致性指标。

具体地，仍然如图5所示，数据及时性指标用于测试周期性数据生产任务是否按时产出数据，以将所产出的数据提供给用户使用。在电商视频直播场景下，数据及时性指标主要包括表非空校验和表分区非空校验，该表非空校验和该表分区非空校验通常通过在数据生产任务节点的下游挂载对应的脚本进行校验。

具体地，仍然如图5所示，数据完整性指标用于测试数据是否完整(不多不少)。通过主键唯一校验和数据不重复校验，可以测试数据是否多余；通过数据无缺失校验和字段非空校验，可以测试数据是否缺少。

具体地，仍然如图5所示，数据准确性指标用于测试数据是否存在异常。数据准确性指标中包含如下多维度多层次的数据字段校验：类型正确校验、格式正确校验、取值范围合理校验、枚举分布合理校验、数量关系合理校验和数值波动正常校验等。

此外，在进行单数据源的数据准确性指标校验时，还可以结合电商视频直播的场景需求，根据待测试数据的数据类型进行测试指标推荐。

具体地，仍然如图5所示，对于多数据源，数据一致性指标用于测试相关联的数据是否一致。数据一致性指标可以包含如下校验：同源数据量对比校验、同源数据全文对比校验、不同源数据量一致校验、不同源聚合结果一致校验、不同源字段枚举关系合理校验和不同源数据数量关系合理校验等。

进一步地，基于上述所制定的数据正确性测试指标，在多源数据的实际测试过程中，可以遵循以下规则：针对多数据源中每个数据源，首先进行单表数据正确性测试，然后进行多表数据正确性测试；当多数据源中每个数据源均未出现数据正确性问题时，进行多数据源的跨源数据正确性测试；然后对上述数据正确性测试过程中生成的测试任务转换为监控以实现线上生产任务的日常检测和及时预警。

仍然如图4所示，对电商视频直播对应的多源数据仓库进行数据正确性测试包括创建正确性规则。在创建正确性规则的过程中：首先新建数据正确性测试任务，并录入上述待测试的数据表；然后针对不同测试计划，选定对应的数据正确性测试指标；针对所选定的数据正确性测试指标，按照表单形式填写数据正确性规则，该数据正确性规则的底层配置有默认的测试脚本模板；将用户录入的参数套进数据正确性规则对应的测试脚本模板，并根据用户的其他设置将每条数据正确性规则和每天(或者其他指定的时间周期)的分区数据构建成一个测试子任务，进而得到测试脚本集合。

容易理解的是，在创建正确性规则时，可以对待测试的数据表进行操作，还可以参照系统推荐的测试指标为待测试的数据表关联正确性测试指标。进一步地，通过设置详细的测试内容，保存正确性测试规则，可以生成测试脚本集合。

在一种可选的实施例中，在步骤S23中，执行测试脚本集合，得到测试结果，包括如下方法步骤：

步骤S231，分别对测试脚本集合中包含的每个测试脚本进行拆分处理，得到每个测试脚本对应的多个测试子任务；

步骤S232，确定多个测试子任务中每个测试子任务的任务类型和执行顺序；

步骤S233，基于任务类型和执行顺序执行测试脚本集合，得到测试结果。

在上述可选的实施例中，对测试脚本集合中包含的每个测试脚本进行拆分处理可以是，将该每个测试脚本拆分得到多个测试子任务。进一步地，确定该多个测试子任务的任务类型和执行顺序，以确定该多个测试子任务的执行方式。

在一种可选的实施例中，在步骤S233中，基于任务类型和执行顺序执行测试脚本集合，得到测试结果，包括如下方法步骤：

步骤S2331，基于任务类型和执行顺序生成每个测试脚本对应的树状结构任务流，其中，树状结构任务流包括：多个节点，多个节点中每个节点分别对应每个测试脚本中不同的测试子任务，任务类型用于确定每个节点对应的执行结果获取方式，执行顺序用于确定多个节点的连接方式；

步骤S2332，依据树状结构任务流执行每个测试脚本，得到测试结果。

在上述可选的实施例中，上述任务类型可以是查询类任务和非查询类任务。非查询类任务对应的测试脚本的执行结果获取方式可以是检测任务正常结束即可，查询类任务对应的测试脚本的执行结果获取方式可以是监控测试脚本执行结束后收集查询结果。

仍然如图4所示，对电商视频直播对应的多源数据仓库进行数据正确性测试包括拆分测试子任务。在拆分测试子任务的过程中：将上述测试脚本集合中每个测试脚本进行分别处理，拆分得到在数据源上待执行的测试子任务(可以是SQL任务)；针对上述每个测试脚本生成的多个测试子任务，根据任务类型确定该多个测试子任务的执行优先级和执行顺序，进而得到一个待执行测试任务的树状结构任务流。

容易理解的是，在拆分测试子任务时，可以根据用户的测试指教配置和数据源类型，生成测试任务对应的测试脚本，还可以对测试脚本进行分解得到测试子任务，并同时确定测试子任务的执行优先级和顺序。

仍然如图4所示，对电商视频直播对应的多源数据仓库进行数据正确性测试包括执行测试子任务。在执行测试子任务的过程中：针对每个测试脚本对应的测试子任务的数量，分别执行上述树状结构任务流中每个节点的测试子任务。

执行测试子任务分为同步执行和异步执行两种：同步执行一般针对响应速度快的任务，能够立即获取执行结果；异步执行一般针对支持异步任务提交的数据源，能够基于在先提交的任务轮训任务状态，待任务成功后再获取任务结果。

容易理解的是，在执行测试子任务时，可以根据测试子任务的执行顺序向对应的数据源发送测试任务，还可以以同步执行或异步执行的方式执行不同类型的测试子任务，不同类型的测试子任务的执行结果不同。特别地，对于非查询类的测试子任务，检测任务正常结束即可，而对于查询类的测试子任务，需要收集查询结果(即下文所述的执行结果)。

在一种可选的实施例中，上述测试结果包括：

测试任务对应的第一汇总结果，其中，第一汇总结果用于表明测试任务是否成功执行以及在测试任务未成功执行时，测试任务对应的失败记录；

失败记录对应的异常明细数据，其中，异常明细数据用于定位失败记录对应的失败原因。

仍然如图4所示，对电商视频直播对应的多源数据仓库进行数据正确性测试包括收集执行结果。在收集执行结果的过程中：针对查询类的测试子任务，等待该测试子任务执行成功后收集执行结果。

上述所收集的执行结果可以有如下两类：第一类，任务执行的汇总结果数据(如任务结果记录)，用于表征测试子任务是否执行成功，当测试子任务执行失败，该汇总结果数据还用于表征执行失败的任务数目；第二类，任务执行的异常明细数据，当测试子任务执行失败，该任务执行的异常明细数据用于表征执行失败的明细记录，为用户直观地展示指标检验异常，帮助用户快速定位数据异常原因。

在一种可选的实施例中，在步骤S24中，对测试结果进行汇总，生成测试报告，包括如下方法步骤：

步骤S241，利用测试结果判定测试脚本集合是否执行完毕；

步骤S242，响应于测试脚本集合执行完毕，基于测试结果汇总多个测试指标是否通过本次测试，得到第二汇总结果；

步骤S243，按照第二汇总结果生成并展示测试报告，其中，测试报告用于展示多个测试指标的测试情况，以及在确定测试任务出现异常时，触发异常告警。

仍然如图4所示，对电商视频直播对应的多源数据仓库进行数据正确性测试包括判定测试结果。在判定测试结果的过程中：首先汇总所有测试子任务的执行结果，判定所有测试子任务是否执行完毕；当所有测试子任务执行完毕，汇总每个任务对应的树状结构任务流的结果，进而得到数据正确性测试指标的通过情况；如果所有数据正确性指标全部通过，可以得到最终测试结果，并生成测试报告展示给用户；如果有数据正确性指标出现错误，会触发系统报警。

示例性地，仍然以在电商视频直播场景下进行多源数据仓库的数据正确性测试为例，对数据正确性测试脚本的执行过程进行进一步说明。图6是根据本发明实施例的一种执行测试脚本的过程的示意图，如图6所示，基于所新建的明细临时表、所读取的待测试表数据和所新建的汇总临时表，通过本发明实施例提供的上述方法，执行测试脚本，能够查询获取全量汇总数据，还能够查询获取明细数据样例。

仍然如图6所示，针对所查询获取的明细数据样例，可以进一步清理明细分区以及删除明细临时表。针对所查询获取的全量汇总数据，可以进一步清理汇总分区以及删除汇总临时表。

容易理解的是，根据本发明实施例提供的上述方案，在支持的数据源范围内进行数据正确性测试时，执行测试脚本后并没有临时数据和无用数据生成，且执行测试脚本的过程中，汇总数据和明细数据的样例均已获取完毕，该汇总数据和明细数据足以支持测试结果的判定以及问题细节的排查。

示例性地，本发明实施例提供的上述方法可以在企业自主研发的多源数据仓库数据测试平台。例如，企业自主研发的datapro-cloud平台可以实现本发明实施例提供的上述方法，该datapro-cloud平台部署在云上虚拟自由云(Virtual Private Cloud，VPC)环境。

在datapro-cloud平台实现本发明实施例提供的方法可以包括如下方法步骤：

步骤1：在企业弹内ODPS对数据进行离线加工，将加工后的数据导入云上VPC环境的RDS，ADB，ODPS等数据源，同时将用户数据通过采集或上传等方式导入云上数据源；

步骤2：将企业弹内ODPS接入datapro-cloud平台的测试系统，对企业弹内ODPS中待测试的数据表进行测试，测试包括：为待测试的数据表关联测试指标(如当天分区数据不为空，品牌字段不能为空，购买率应该在0至1之间等)，启动测试任务(自动拆分测试任务、在ODPS创建临时表和完成规则验证)，将汇总结果和异常结果保存，最终完成ODPS的源头数据测试；

步骤3：对云上其他数据源(如云上VPC环境的RDS，ADB，ODPS等数据源)，进行与步骤2类似的数据验证，完成所涉及数据源的验证工作；

步骤4：针对同步任务进行一致性验证，跨数据源的验证弹内ODPS和云上ADB的数据一致性，同时，发起一个跨库对比任务以验证数据同步过程是否存在人为因素或系统偶发问题导致的数据丢失问题；

步骤5：根据业务逻辑，对不同数据源之间的数据进行跨数据源的数据测试；

步骤6：待测试通过后，生成监控以对上述步骤1至步骤5的测试工作进行日常监控和报警。

需要说明的是，上述步骤5中，对不同数据源之间的数据进行跨数据源的数据测试可以是：对多数据源下的数据表进行混合逻辑验证，其中，混合逻辑验证可以例如“ODPS中保留商品的交易明细数据，RDS报表中只包含商品交易总额(Gross Merchandise Volume，GMV)汇总数据，那么明细数据的求和就应该等于GMV单条数据。

通过本发明实施例提供的上述方法，能够在云上VPC环境进行数据正确性测试的单独部署，能够满足云上ODPS、ADB、RDS等数据源的数据正确性测试需求。

此外，本发明实施例提供的上述方法还可以扩展至新生数据源的数据仓库场景中，可扩展性较高。根据上述方法，还能够实现多源数据的生产任务监控，进而保证经监控所生成的数据的正确性。

在一种可选的实施例中，通过目标云上数据测试平台提供一图形用户界面，图形用户界面所显示的内容至少部分地包含一多数据源测试场景，数据测试方法还包括如下方法步骤：

步骤S261，响应作用于图形用户界面的第一触控操作，为多种类型数据源中的每种类型数据源设置数据源链接信息；

步骤S262，响应作用于图形用户界面的第二触控操作，基于数据源链接信息连接目标数据库，并从目标数据库中查询待测试数据，目标数据库用于存储多种类型数据源；

步骤S263，响应作用于图形用户界面的第三触控操作，选取测试指标规则，配置测试指标规则对应的参数信息，基于参数信息，确定待测试数据对应的多个测试指标，以及根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合，其中，测试指标规则用于确定待测试数据对应的测试任务；

步骤S264，响应作用于图形用户界面的第四触控操作，执行测试脚本集合以得到测试结果，以及对测试结果进行汇总生成测试报告；

步骤S265，在图形用户界面内展示测试报告。

在上述可选的实施例中，目标云上数据测试平台可以是企业自主研发的多源数据仓库数据测试平台(如datapro-cloud平台，在云上VPC环境完成部署)。通过该目标云上数据测试平台可以提供一图形用户界面，该图形用户界面可以显示有多数据源测试场景，用户可以通过该图形用户界面进行指定的数据正确性测试。

在上述可选的实施例中，用户可以对图形用户界面进行第一触控操作。用户可以通过触控该图形用户界面的“创建”按钮、“数据源”按钮、“配置”按钮或“数据源配置入系统”按钮等，为多种类型数据源中的每种类型数据源设置数据源链接信息。

在上述可选的实施例中，用户还可以对图形用户界面进行第二触控操作。用户可以触控该图形用户界面中的“查询”按钮或“查询待测试数据”按钮等，以实现如下过程：基于数据源链接信息连接目标数据库，并从目标数据库中查询待测试数据，目标数据库用于存储多种类型数据源。

在上述可选的实施例中，用户还可以对图形用户界面进行第三触控操作。用户可以触控该图形用户界面中的“查询多个测试指标”按钮、“创建测试指标规则”按钮或“生成测试脚本”按钮等，以实现如下过程：选取测试指标规则，配置测试指标规则对应的参数信息，基于参数信息，确定待测试数据对应的多个测试指标，以及根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合，其中，测试指标规则用于确定待测试数据对应的测试任务。

在上述可选的实施例中，用户还可以对图形用户界面进行第四触控操作。用户可以触控该图形用户界面中的“执行”按钮或“生成测试报告”按钮等，以实现如下过程：执行测试脚本集合以得到测试结果，以及对测试结果进行汇总生成测试报告。

在上述可选的实施例中，当响应上述第四触控操作对测试结果进行汇总，生成测试报告后，可以自动在上述图形用户界面中将该测试报告显示给用户。

特别地，上述第一触控操作、上述第二触控操作、上述第三触控操作和上述第四触控操作均可以是用户用手指接触上述终端设备的显示屏并触控该终端设备的操作。该触控操作可以包括单点触控、多点触控，其中，每个触控点的触控操作可以包括点击、长按、重按、划动等。上述第一触控操作、上述第二触控操作、上述第三触控操作和上述第四触控操作还可以是通过鼠标、键盘等输入设备实现的触控操作。

容易理解的是，通过本发明实施例提供的上述方案，能够克服相关技术中提供的数据正确性测试方法存在的缺陷，实现提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

具体地，与相关技术提供的第一种数据正确性测试方法(即上述抽样测试法)相比，本发明实施例提供的方案能够对多源数据仓库中的全量数据进行测试，避免测试结果的偶然误差，数据正确性测试结果准确度较高。

具体地，与相关技术提供的第二种数据正确性测试方法(即上述接口回放测试)相比，本发明实施例提供的方案能够针对数据本身进行测试，测试方式更加直接，且能够对多源数据仓库中的全量数据进行全覆盖测试，不存在线上预发同时有数据质量问题而不能发现的问题。

具体地，与相关技术提供的第三种数据正确性测试方法(即上述SQL人工测试)相比，本发明实施例提供的方案不依赖测试人员的相关知识和经验，系统中的测试指标可以直接供测试人员使用，操作方便快捷，且测试任务无需人工看守推进而自动执行；此外，本方案还可以实现分解任务、执行任务、收集结果、验证结果和记录结果的全自动化效果，能够避免人为失误；本方案中一套数据正确性测试指标可以应用于多种数据源，可扩展性强。

具体地，与相关技术提供的第四种数据正确性测试方法(即上述使用其他自动化测试平台进行测试)相比，本发明实施例提供的方案的优势在于：一方面数据测试领域的经验，沉淀为一套完整的数据正确性测试指标，支持用户能够零技术基础进行数据测试，不依赖测试人员的相关知识和经验；另一方面，将针对离线数据源的测试方案扩展为针对多源数据仓库的大数据正确性测试方案，探索和实现了跨多个数据源的数据正确性测试方案。

需要说明的是，本发明实施例提供的上述方案，通过使用云原生的技术架构，还能够实现在集团弹内、云上多环境以及其他独立环境中灵活地部署和使用。

综上所述，本发明的有益效果至少在于：提供一套完整的数据正确性测试指标，将数据正确性测试过程标准化；对底层多种数据源进行适配，发起任务执行，将一套指标任务灵活地应用于系统内不同类型的数据仓库，满足多源数据正确性测试的需求；支持当前多种主流的数据仓库类型，同时能够支持新数据源的快速低成本扩展；将数据正确性测试的流程进行了产品化和自动化，增加测试过程中的监控逻辑，能够解决现有技术不可测的问题，还能够提高测试效率。

在上述运行环境下，本发明提供了如图7所示的一种数据测试方法。图7是根据本发明实施例的另一种数据测试方法的流程图，如图7所示，该数据测试方法，包括：

步骤S71，从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中；

步骤S72，基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务；

步骤S73，执行电商广告数据测试脚本集合，得到电商广告数据测试结果；

步骤S74，对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

在本发明实施例中，上述多种类型电商广告数据源可以是存储于云端的多源数据仓库中的多源电商广告数据。该云端的多源数据仓库可以但不限于包括：ODPS、MySQL、ADB、企业自主研发的一站式实时数据仓库引擎(如Hologres)等。

上述待测试电商广告数据可以是具体应用场景中待测试电商广告数据正确性的数据。该应用场景可以是云计算、金融、交通、制造、能源等技术领域中的任何涉及电商广告数据正确性测试的场景。

从上述云端的多源数据仓库中查询上述待测试电商广告数据，需要访问或获取该云端的多源数据仓库中的多源电商广告数据，具体的访问方式或者获取方式可以是：通过网络连接下载、通过通信网络实时加载等。

上述待测试电商广告数据可以是上述多种类型电商广告数据源中待测试的电商广告数据表。例如，该待测试电商广告数据可以是单个电商广告数据表(用于单表测试)、多个电商广告数据表(用于多表测试)和电商广告数据表标签(用于标签测试)等。

上述待测试电商广告数据与上述多个电商广告数据测试指标相关联。该多个电商广告数据测试指标可以用于验证该待测试电商广告数据的数据质量。技术人员可以根据应用场景需求，确定需要测试的电商广告数据正确性测试指标作为上述多个电商广告数据测试指标，例如，该多个电商广告数据测试指标可以包括：电商广告数据及时性指标、电商广告数据完整性指标、电商广告数据准确性指标和电商广告数据一致性指标。

上述多个电商广告数据测试指标可以是由技术人员根据大量的测试经验沉淀得到的一套完整的电商广告数据正确性测试指标。

基于上述多个电商广告数据测试指标，可以生成上述电商广告数据测试脚本集合。该电商广告数据测试脚本集合可以包括多个电商广告数据测试脚本，该多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同电商广告类型数据源中的电商广告数据测试子任务。例如：该测试脚本集中可以包括：及时性测试脚本，用于执行及时性电商广告数据测试子任务以测试数据的数据及时性指标；完整性测试脚本，用于执行完整性电商广告数据测试子任务以测试数据的数据完整性指标；准确性测试脚本，用于执行准确性电商广告数据测试子任务以测试数据的数据准确性指标；一致性测试脚本，用于执行一致性电商广告数据测试子任务以测试数据的数据一致性指标。

进一步地，执行上述电商广告数据测试脚本集合中的每个电商广告数据测试脚本，可以得到上述待测试电商广告数据的电商广告数据测试结果。对该电商广告数据测试结果进行汇总，可以生成电商广告数据测试报告。将该电商广告数据测试报告提供给用户，以展示该待测试电商广告数据关联的多个电商广告数据测试指标对应的结果。

在本发明实施例中，通过从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中，基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务，并通过执行电商广告数据测试脚本集合，得到电商广告数据测试结果，进而对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试电商广告数据，基于用于测试数据质量的多个电商广告数据测试指标，生成并执行电商广告数据测试脚本集合，以得到电商广告数据测试结果并生成电商广告数据测试报告，达到了利用多个电商广告数据测试指标自动生成电商广告数据测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

在一种可选的实施例中，通过目标云上数据测试平台提供一图形用户界面，图形用户界面所显示的内容至少部分地包含一多数据源电商广告数据测试场景，数据测试方法还包括如下方法步骤：

步骤S751，响应作用于图形用户界面的第一触控操作，为多种类型电商广告数据源中的每种类型电商广告数据源设置电商广告数据源链接信息；

步骤S752，响应作用于图形用户界面的第二触控操作，基于电商广告数据源链接信息连接目标电商广告数据库，并从目标电商广告数据库中查询待测试电商广告数据，目标电商广告数据库用于存储多种类型电商广告数据源；

步骤S753，响应作用于图形用户界面的第三触控操作，选取电商广告数据测试指标规则，配置电商广告数据测试指标规则对应的电商广告参数信息，基于电商广告参数信息，确定待测试电商广告数据对应的多个电商广告数据测试指标，以及根据多个电商广告数据测试指标对应的多个电商广告数据测试脚本模板，生成电商广告数据测试脚本集合，其中，电商广告数据测试指标规则用于确定待测试电商广告数据对应的电商广告数据测试任务；

步骤S754，响应作用于图形用户界面的第四触控操作，执行电商广告数据测试脚本集合以得到电商广告数据测试结果，以及对电商广告数据测试结果进行汇总生成电商广告数据测试报告；

步骤S755，在图形用户界面内展示电商广告数据测试报告。

在上述可选的实施例中，目标云上数据测试平台可以是企业自主研发的多源数据仓库数据测试平台(如datapro-cloud平台，在云上VPC环境完成部署)。通过该目标云上数据测试平台可以提供一图形用户界面，该图形用户界面可以显示有多数据源电商广告数据测试场景，用户可以通过该图形用户界面进行指定的电商广告数据正确性测试。

在上述可选的实施例中，用户可以对图形用户界面进行第一触控操作。用户可以通过触控该图形用户界面的“创建”按钮、“数据源”按钮、“配置”按钮或“数据源配置入系统”按钮等，为多种类型电商广告数据源中的每种类型电商广告数据源设置电商广告数据源链接信息。

在上述可选的实施例中，用户还可以对图形用户界面进行第二触控操作。用户可以触控该图形用户界面中的“查找”按钮或“查询待测试电商广告数据”按钮等，以实现如下过程：基于电商广告数据源链接信息连接目标电商广告数据库，并从目标电商广告数据库中查询待测试电商广告数据，目标电商广告数据库用于存储多种类型电商广告数据源。

在上述可选的实施例中，用户还可以对图形用户界面进行第三触控操作。用户可以触控该图形用户界面中的“查询多个电商广告数据测试指标”按钮、“创建测试指标规则”按钮或“生成测试脚本”按钮等，以实现如下过程：选取电商广告数据测试指标规则，配置电商广告数据测试指标规则对应的电商广告参数信息，基于电商广告参数信息，确定待测试电商广告数据对应的多个电商广告数据测试指标，以及根据多个电商广告数据测试指标对应的多个电商广告数据测试脚本模板，生成电商广告数据测试脚本集合，其中，电商广告数据测试指标规则用于确定待测试电商广告数据对应的电商广告数据测试任务。

在上述可选的实施例中，用户还可以对图形用户界面进行第四触控操作。用户可以触控该图形用户界面中的“执行”按钮或“生成电商广告数据测试报告”按钮等，以实现如下过程：执行电商广告数据测试脚本集合以得到电商广告数据测试结果，以及对电商广告数据测试结果进行汇总生成电商广告数据测试报告。

在上述可选的实施例中，当响应上述第四触控操作对电商广告数据测试结果进行汇总生成电商广告数据测试报告后，可以自动在上述图形用户界面中将该电商广告数据测试报告显示给用户。

特别地，上述第一触控操作、上述第二触控操作、上述第三触控操作和上述第四触控操作均可以是用户用手指接触上述终端设备的显示屏并触控该终端设备的操作。该触控操作可以包括单点触控、多点触控，其中，每个触控点的触控操作可以包括点击、长按、重按、划动等。上述第一触控操作、上述第二触控操作、上述第三触控操作和上述第四触控操作还可以是通过鼠标、键盘等输入设备实现的触控操作。

综上所述，本发明实施例提供的方法的有益效果至少在于：提供一套完整的电商广告数据正确性测试指标，将电商广告数据正确性测试过程标准化；对底层多种电商广告数据源进行适配，发起任务执行，将一套指标任务灵活地应用于系统内不同类型的电商广告数据仓库，满足多源电商广告数据正确性测试的需求；支持当前多种主流的数据仓库类型，同时能够支持电商广告新数据源的快速低成本扩展；将电商广告数据正确性测试的流程进行了产品化和自动化，增加电商广告数据测试过程中的监控逻辑，能够解决现有技术不可测的电商广告问题，还能够提高电商广告数据测试效率。

在上述运行环境下，本发明提供了如图8所示的一种数据测试方法。图8是根据本发明实施例的另一种数据测试方法的流程图，如图8所示，该数据测试方法，包括：

步骤S81，从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中；

步骤S82，基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务；

步骤S83，执行电商订单数据测试脚本集合，得到电商订单数据测试结果；

步骤S84，对电商订单数据测试结果进行汇总，生成电商订单数据测试报告。

在本发明实施例中，上述多种类型电商订单数据源可以是存储于云端的多源数据仓库中的多源电商订单数据。该云端的多源数据仓库可以但不限于包括：ODPS、MySQL、ADB、企业自主研发的一站式实时数据仓库引擎(如Hologres)等。

上述待测试电商订单数据可以是具体应用场景中待测试电商订单数据正确性的数据。该应用场景可以是云计算、金融、交通、制造、能源等技术领域中的任何涉及电商订单数据正确性测试的场景。

从上述云端的多源数据仓库中查询上述待测试电商订单数据，需要访问或获取该云端的多源数据仓库中的多源电商订单数据，具体的访问方式或者获取方式可以是：通过网络连接下载、通过通信网络实时加载等。

上述待测试电商订单数据可以是上述多种类型电商订单数据源中待测试的电商订单数据表。例如，该待测试电商订单数据可以是单个电商订单数据表(用于单表测试)、多个电商订单数据表(用于多表测试)和电商订单数据表标签(用于标签测试)等。

上述待测试电商订单数据与上述多个电商订单数据测试指标相关联。该多个电商订单数据测试指标可以用于验证该待测试电商订单数据的数据质量。技术人员可以根据应用场景需求，确定需要测试的电商订单数据正确性测试指标作为上述多个电商订单数据测试指标，例如，该多个电商订单数据测试指标可以包括：电商订单数据及时性指标、电商订单数据完整性指标、电商订单数据准确性指标和电商订单数据一致性指标。

上述多个电商订单数据测试指标可以是由技术人员根据大量的测试经验沉淀得到的一套完整的电商订单数据正确性测试指标。

基于上述多个电商订单数据测试指标，可以生成上述电商订单数据测试脚本集合。该电商订单数据测试脚本集合可以包括多个电商订单数据测试脚本，该多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务。例如：该测试脚本集中可以包括：及时性测试脚本，用于执行及时性电商订单数据测试子任务以测试数据的数据及时性指标；完整性测试脚本，用于执行完整性电商订单数据测试子任务以测试数据的数据完整性指标；准确性测试脚本，用于执行准确性电商订单数据测试子任务以测试数据的数据准确性指标；一致性测试脚本，用于执行一致性电商订单数据测试子任务以测试数据的数据一致性指标。

进一步地，执行上述电商订单数据测试脚本集合中的每个电商订单数据测试脚本，可以得到上述待测试电商订单数据的电商订单数据测试结果。对该电商订单数据测试结果进行汇总，可以生成电商订单数据测试报告。将该电商订单数据测试报告提供给用户，以展示该待测试电商订单数据关联的多个电商订单数据测试指标对应的结果。

在本发明实施例中，通过从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中，基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务，并通过执行电商订单数据测试脚本集合，得到电商订单数据测试结果，进而对电商订单数据测试结果进行汇总生成电商订单数据测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试电商订单数据，基于用于测试数据质量的多个电商订单数据测试指标，生成并执行电商订单数据测试脚本集合，以得到电商订单数据测试结果并生成电商订单数据测试报告，达到了利用多个电商订单数据测试指标自动生成电商订单数据测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

综上所述，本发明实施例提供的方法的有益效果至少在于：提供一套完整的电商订单数据正确性测试指标，将电商订单数据正确性测试过程标准化；对底层多种电商订单数据源进行适配，发起任务执行，将一套指标任务灵活地应用于系统内不同类型的电商订单数据仓库，满足多源电商订单数据正确性测试的需求；支持当前多种主流的数据仓库类型，同时能够支持电商订单测试新数据源的快速低成本扩展；将电商订单数据正确性测试的流程进行了产品化和自动化，增加电商订单测试过程中的监控逻辑，能够解决现有技术不可测的电商订单测试问题，还能够提高电商订单测试效率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述数据测试方法的装置实施例，图9是根据本发明实施例的一种数据测试装置的结构示意图，如图9所示，该装置包括：查询模块901、生成模块902、执行模块903和报告模块904，其中，

查询模块901，用于从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；

生成模块902，用于基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；

执行模块903，用于执行测试脚本集合，得到测试结果；

报告模块904，用于对测试结果进行汇总，生成测试报告。

可选地，图10是根据本发明实施例的另一种可选的数据测试装置的结构示意图，如图10所示，该装置除包括图9所示的所有模块外，还包括：设置模块905，用于为多种类型数据源中的每种类型数据源设置数据源链接信息，其中，数据源链接信息用于连接目标数据库，并从目标数据库中查询待测试数据，目标数据库用于存储多种类型数据源。

可选地，多个测试指标包括以下部分或全部类型测试指标：数据及时性测试指标、数据完整性测试指标、数据准确性测试指标、数据一致性测试指标，上述生成模块902还用于：选取测试指标规则，其中，测试指标规则用于确定待测试数据对应的测试任务；配置测试指标规则对应的参数信息；基于参数信息，确定待测试数据对应的多个测试指标，其中，多个测试指标中每个测试指标分别对应一个测试脚本模板；根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合。

可选地，上述执行模块903还用于：分别对测试脚本集合中包含的每个测试脚本进行拆分处理，得到每个测试脚本对应的多个测试子任务；确定多个测试子任务中每个测试子任务的任务类型和执行顺序；基于任务类型和执行顺序执行测试脚本集合，得到测试结果。

可选地，上述执行模块903还用于：基于任务类型和执行顺序生成每个测试脚本对应的树状结构任务流，其中，树状结构任务流包括：多个节点，多个节点中每个节点分别对应每个测试脚本中不同的测试子任务，任务类型用于确定每个节点对应的执行结果获取方式，执行顺序用于确定多个节点的连接方式；依据树状结构任务流执行每个测试脚本，得到测试结果。

可选地，在数据测试装置中，测试结果包括：测试任务对应的第一汇总结果，其中，第一汇总结果用于表明测试任务是否成功执行以及在测试任务未成功执行时，测试任务对应的失败记录；失败记录对应的异常明细数据，其中，异常明细数据用于定位失败记录对应的失败原因。

可选地，上述报告模块904还用于：利用测试结果判定测试脚本集合是否执行完毕；响应于测试脚本集合执行完毕，基于测试结果汇总多个测试指标是否通过本次测试，得到第二汇总结果；按照第二汇总结果生成并展示测试报告，其中，测试报告用于展示多个测试指标的测试情况，以及在确定测试任务出现异常时，触发异常告警。

可选地，图11是根据本发明实施例的另一种可选的数据测试装置的结构示意图，如图11所示，该装置除包括图10所示的所有模块外，还包括：显示模块906，用于响应作用于图形用户界面的第一触控操作，为多种类型数据源中的每种类型数据源设置数据源链接信息；响应作用于图形用户界面的第二触控操作，基于数据源链接信息连接目标数据库，并从目标数据库中查询待测试数据，目标数据库用于存储多种类型数据源；响应作用于图形用户界面的第三触控操作，选取测试指标规则，配置测试指标规则对应的参数信息，基于参数信息，确定待测试数据对应的多个测试指标，以及根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合，其中，测试指标规则用于确定待测试数据对应的测试任务；响应作用于图形用户界面的第四触控操作，执行测试脚本集合以得到测试结果，以及对测试结果进行汇总生成测试报告；在图形用户界面内展示测试报告。

此处需要说明的是，上述查询模块91、生成模块92、执行模块93和报告模块94对应于实施例1中的步骤S21至步骤S24，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

在本发明实施例中，通过从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中，基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务，并通过执行测试脚本集合，得到测试结果，进而对测试结果进行汇总，生成测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试数据，基于用于测试数据质量的多个测试指标，生成并执行测试脚本集合，以得到测试结果并生成测试报告，达到了利用多个测试指标自动生成测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

根据本发明实施例，还提供了另一种用于实施上述数据测试方法的装置实施例，图12是根据本发明实施例的另一种数据测试装置的结构示意图，如图12所示，该装置包括：查询模块1201、生成模块1202、执行模块1203和报告模块1204，其中，

查询模块1201，用于从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中；

生成模块1202，用于基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务；

执行模块1203，用于执行电商广告数据测试脚本集合，得到电商广告数据测试结果；

报告模块1204，用于对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

可选地，图13是根据本发明实施例的另一种可选的数据测试装置的结构示意图，如图13所示，该装置除包括图12所示的所有模块外，还包括：显示模块1205，用于响应作用于图形用户界面的第一触控操作，为多种类型电商广告数据源中的每种类型电商广告数据源设置电商广告数据源链接信息；响应作用于图形用户界面的第二触控操作，基于电商广告数据源链接信息连接目标电商广告数据库，并从目标电商广告数据库中查询待测试电商广告数据，目标电商广告数据库用于存储多种类型电商广告数据源；响应作用于图形用户界面的第三触控操作，选取电商广告数据测试指标规则，配置电商广告数据测试指标规则对应的电商广告参数信息，基于电商广告参数信息，确定待测试电商广告数据对应的多个电商广告数据测试指标，以及根据多个电商广告数据测试指标对应的多个电商广告数据测试脚本模板，生成电商广告数据测试脚本集合，其中，电商广告数据测试指标规则用于确定待测试电商广告数据对应的电商广告数据测试任务；响应作用于图形用户界面的第四触控操作，执行电商广告数据测试脚本集合以得到电商广告数据测试结果，以及对电商广告数据测试结果进行汇总生成电商广告数据测试报告；在图形用户界面内展示电商广告数据测试报告。

此处需要说明的是，上述查询模块1201、生成模块1202、执行模块1203和报告模块1204对应于实施例1中的步骤S71至步骤S74，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

在本发明实施例中，通过从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中，基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务，并通过执行电商广告数据测试脚本集合，得到电商广告数据测试结果，进而对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试电商广告数据，基于用于测试数据质量的多个电商广告数据测试指标，生成并执行电商广告数据测试脚本集合，以得到电商广告数据测试结果并生成电商广告数据测试报告，达到了利用多个电商广告数据测试指标自动生成电商广告数据测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

根据本发明实施例，还提供了另一种用于实施上述数据测试方法的装置实施例，图14是根据本发明实施例的另一种数据测试装置的结构示意图，如图14所示，该装置包括：查询模块1401、生成模块1402、执行模块1403和报告模块1404，其中，

查询模块1401，用于从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中；

生成模块1402，用于基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务；

执行模块1403，用于执行电商订单数据测试脚本集合，得到电商订单数据测试结果；

报告模块1404，用于对电商订单数据测试结果进行汇总，生成电商订单数据测试报告。

此处需要说明的是，上述查询模块1401、生成模块1402、执行模块1403和报告模块1404对应于实施例1中的步骤S81至步骤S84，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

在本发明实施例中，通过从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中，基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务，并通过执行电商订单数据测试脚本集合，得到电商订单数据测试结果，进而对电商订单数据测试结果进行汇总，生成电商订单数据测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试电商订单数据，基于用于测试数据质量的多个电商订单数据测试指标，生成并执行电商订单数据测试脚本集合，以得到电商订单数据测试结果并生成电商订单数据测试报告，达到了利用多个电商订单数据测试指标自动生成电商订单数据测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例3

根据本发明实施例，还提供了一种电子装置的实施例，该电子装置可以是计算装置群中的任意一个计算装置。该电子装置包括：处理器和存储器，其中：

存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。

在本发明实施例中，通过从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中，基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务，并通过执行测试脚本集合，得到测试结果，进而对测试结果进行汇总，生成测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试数据，基于用于测试数据质量的多个测试指标，生成并执行测试脚本集合，以得到测试结果并生成测试报告，达到了利用多个测试指标自动生成测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例4

本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行数据测试方法中以下步骤的程序代码：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。

可选地，图15是根据本发明实施例的另一种计算机终端的结构框图，如图15所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器122、存储器124、以及外设接口126。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的数据测试方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据测试方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。

可选地，上述处理器还可以执行如下步骤的程序代码：为多种类型数据源中的每种类型数据源设置数据源链接信息，其中，数据源链接信息用于连接目标数据库，并从所述目标数据库中查询所述待测试数据，所述目标数据库用于存储所述多种类型数据源。

可选地，上述处理器还可以执行如下步骤的程序代码：选取测试指标规则，其中，测试指标规则用于确定待测试数据对应的测试任务；配置测试指标规则对应的参数信息；基于参数信息，确定待测试数据对应的多个测试指标，其中，多个测试指标中每个测试指标分别对应一个测试脚本模板；根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合。

可选地，上述处理器还可以执行如下步骤的程序代码：分别对测试脚本集合中包含的每个测试脚本进行拆分处理，得到每个测试脚本对应的多个测试子任务；确定多个测试子任务中每个测试子任务的任务类型和执行顺序；基于任务类型和执行顺序执行测试脚本集合，得到测试结果。

可选地，上述处理器还可以执行如下步骤的程序代码：基于任务类型和执行顺序生成每个测试脚本对应的树状结构任务流，其中，树状结构任务流包括：多个节点，多个节点中每个节点分别对应每个测试脚本中不同的测试子任务，任务类型用于确定每个节点对应的执行结果获取方式，执行顺序用于确定多个节点的连接方式；依据树状结构任务流执行每个测试脚本，得到测试结果。

可选地，上述处理器还可以执行如下步骤的程序代码：测试结果包括：测试任务对应的第一汇总结果，其中，第一汇总结果用于表明测试任务是否成功执行以及在测试任务未成功执行时，测试任务对应的失败记录；失败记录对应的异常明细数据，其中，异常明细数据用于定位失败记录对应的失败原因。

可选地，上述处理器还可以执行如下步骤的程序代码：利用测试结果判定测试脚本集合是否执行完毕；响应于测试脚本集合执行完毕，基于测试结果汇总多个测试指标是否通过本次测试，得到第二汇总结果；按照第二汇总结果生成并展示测试报告，其中，测试报告用于展示多个测试指标的测试情况，以及在确定测试任务出现异常时，触发异常告警。

可选地，上述处理器还可以执行如下步骤的程序代码：响应作用于图形用户界面的第一触控操作，为多种类型数据源中的每种类型数据源设置数据源链接信息；响应作用于图形用户界面的第二触控操作，基于数据源链接信息连接目标数据库，并从目标数据库中查询待测试数据，目标数据库用于存储多种类型数据源；响应作用于图形用户界面的第三触控操作，选取测试指标规则，配置测试指标规则对应的参数信息，基于参数信息，确定待测试数据对应的多个测试指标，以及根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合，其中，测试指标规则用于确定待测试数据对应的测试任务；响应作用于图形用户界面的第四触控操作，执行测试脚本集合以得到测试结果，以及对测试结果进行汇总生成测试报告；在图形用户界面内展示测试报告。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中；基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务；执行电商广告数据测试脚本集合，得到电商广告数据测试结果；对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

可选地，上述处理器还可以执行如下步骤的程序代码：响应作用于图形用户界面的第一触控操作，为多种类型电商广告数据源中的每种类型电商广告数据源设置电商广告数据源链接信息；响应作用于图形用户界面的第二触控操作，基于电商广告数据源链接信息连接目标电商广告数据库，并从目标电商广告数据库中查询待测试电商广告数据，目标电商广告数据库用于存储多种类型电商广告数据源；响应作用于图形用户界面的第三触控操作，选取电商广告数据测试指标规则，配置电商广告数据测试指标规则对应的电商广告参数信息，基于电商广告参数信息，确定待测试电商广告数据对应的多个电商广告数据测试指标，以及根据多个电商广告数据测试指标对应的多个电商广告数据测试脚本模板，生成电商广告数据测试脚本集合，其中，电商广告数据测试指标规则用于确定待测试电商广告数据对应的电商广告数据测试任务；响应作用于图形用户界面的第四触控操作，执行电商广告数据测试脚本集合以得到电商广告数据测试结果，以及对电商广告数据测试结果进行汇总生成电商广告数据测试报告；在图形用户界面内展示电商广告数据测试报告。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中；基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务；执行电商订单数据测试脚本集合，得到电商订单数据测试结果；对电商订单数据测试结果进行汇总，生成电商订单数据测试报告。

在本发明实施例中，通过从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中，基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务，并通过执行测试脚本集合，得到测试结果，进而对测试结果进行汇总，生成测试报告。

容易注意到的是，通过本发明实施例，针对多源数据仓库中的待测试数据，基于用于测试数据质量的多个测试指标，生成并执行测试脚本集合，以得到测试结果并生成测试报告，达到了利用多个测试指标自动生成测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。

本领域普通技术人员可以理解，图15所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图15其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图15中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图15所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

根据本发明实施例，还提供了一种计算机可读存储介质的实施例。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的数据测试方法所执行的程序代码。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：为多种类型数据源中的每种类型数据源设置数据源链接信息，其中，数据源链接信息用于连接目标数据库，并从所述目标数据库中查询所述待测试数据，所述目标数据库用于存储所述多种类型数据源。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：选取测试指标规则，其中，测试指标规则用于确定待测试数据对应的测试任务；配置测试指标规则对应的参数信息；基于参数信息，确定待测试数据对应的多个测试指标，其中，多个测试指标中每个测试指标分别对应一个测试脚本模板；根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：分别对测试脚本集合中包含的每个测试脚本进行拆分处理，得到每个测试脚本对应的多个测试子任务；确定多个测试子任务中每个测试子任务的任务类型和执行顺序；基于任务类型和执行顺序执行测试脚本集合，得到测试结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于任务类型和执行顺序生成每个测试脚本对应的树状结构任务流，其中，树状结构任务流包括：多个节点，多个节点中每个节点分别对应每个测试脚本中不同的测试子任务，任务类型用于确定每个节点对应的执行结果获取方式，执行顺序用于确定多个节点的连接方式；依据树状结构任务流执行每个测试脚本，得到测试结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：测试任务对应的第一汇总结果，其中，第一汇总结果用于表明测试任务是否成功执行以及在测试任务未成功执行时，测试任务对应的失败记录；失败记录对应的异常明细数据，其中，异常明细数据用于定位失败记录对应的失败原因。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：利用测试结果判定测试脚本集合是否执行完毕；响应于测试脚本集合执行完毕，基于测试结果汇总多个测试指标是否通过本次测试，得到第二汇总结果；按照第二汇总结果生成并展示测试报告，其中，测试报告用于展示多个测试指标的测试情况，以及在确定测试任务出现异常时，触发异常告警。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于图形用户界面的第一触控操作，为多种类型数据源中的每种类型数据源设置数据源链接信息；响应作用于图形用户界面的第二触控操作，基于数据源链接信息连接目标数据库，并从目标数据库中查询待测试数据，目标数据库用于存储多种类型数据源；响应作用于图形用户界面的第三触控操作，选取测试指标规则，配置测试指标规则对应的参数信息，基于参数信息，确定待测试数据对应的多个测试指标，以及根据多个测试指标对应的多个测试脚本模板，生成测试脚本集合，其中，测试指标规则用于确定待测试数据对应的测试任务；响应作用于图形用户界面的第四触控操作，执行测试脚本集合以得到测试结果，以及对测试结果进行汇总生成测试报告；在图形用户界面内展示测试报告。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中；基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务；执行电商广告数据测试脚本集合，得到电商广告数据测试结果；对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于图形用户界面的第一触控操作，为多种类型电商广告数据源中的每种类型电商广告数据源设置电商广告数据源链接信息；响应作用于图形用户界面的第二触控操作，基于电商广告数据源链接信息连接目标电商广告数据库，并从目标电商广告数据库中查询待测试电商广告数据，目标电商广告数据库用于存储多种类型电商广告数据源；响应作用于图形用户界面的第三触控操作，选取电商广告数据测试指标规则，配置电商广告数据测试指标规则对应的电商广告参数信息，基于电商广告参数信息，确定待测试电商广告数据对应的多个电商广告数据测试指标，以及根据多个电商广告数据测试指标对应的多个电商广告数据测试脚本模板，生成电商广告数据测试脚本集合，其中，电商广告数据测试指标规则用于确定待测试电商广告数据对应的电商广告数据测试任务；响应作用于图形用户界面的第四触控操作，执行电商广告数据测试脚本集合以得到电商广告数据测试结果，以及对电商广告数据测试结果进行汇总生成电商广告数据测试报告；在图形用户界面内展示电商广告数据测试报告。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中；基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务；执行电商订单数据测试脚本集合，得到电商订单数据测试结果；对电商订单数据测试结果进行汇总，生成电商订单数据测试报告。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种数据测试方法，其特征在于，包括：

从多种类型数据源中查询待测试数据，其中，所述多种类型数据源存储于云端的多源数据仓库中；

基于所述待测试数据关联的多个测试指标生成测试脚本集合，其中，所述多个测试指标用于验证所述待测试数据的数据质量，所述测试脚本集合包括：多个测试脚本，所述多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；

执行所述测试脚本集合，得到测试结果；

对所述测试结果进行汇总，生成测试报告。

2.根据权利要求1所述的数据测试方法，其特征在于，所述数据测试方法还包括：

为所述多种类型数据源中的每种类型数据源设置数据源链接信息，其中，所述数据源链接信息用于连接目标数据库，并从所述目标数据库中查询所述待测试数据，所述目标数据库用于存储所述多种类型数据源。

3.根据权利要求1所述的数据测试方法，其特征在于，所述多个测试指标包括以下部分或全部类型测试指标：数据及时性测试指标、数据完整性测试指标、数据准确性测试指标、数据一致性测试指标，基于所述待测试数据关联的所述多个测试指标生成所述测试脚本集合包括：

选取测试指标规则，其中，所述测试指标规则用于确定所述待测试数据对应的测试任务；

配置所述测试指标规则对应的参数信息；

基于所述参数信息，确定所述待测试数据对应的所述多个测试指标，其中，所述多个测试指标中每个测试指标分别对应一个测试脚本模板；

根据所述多个测试指标对应的多个测试脚本模板，生成所述测试脚本集合。

4.根据权利要求1所述的数据测试方法，其特征在于，执行所述测试脚本集合，得到所述测试结果包括：

分别对所述测试脚本集合中包含的每个测试脚本进行拆分处理，得到每个测试脚本对应的多个测试子任务；

确定所述多个测试子任务中每个测试子任务的任务类型和执行顺序；

基于所述任务类型和所述执行顺序执行所述测试脚本集合，得到所述测试结果。

5.根据权利要求4所述的数据测试方法，其特征在于，基于所述任务类型和所述执行顺序执行所述测试脚本集合，得到所述测试结果包括：

基于所述任务类型和所述执行顺序生成每个测试脚本对应的树状结构任务流，其中，所述树状结构任务流包括：多个节点，所述多个节点中每个节点分别对应每个测试脚本中不同的测试子任务，所述任务类型用于确定每个节点对应的执行结果获取方式，所述执行顺序用于确定所述多个节点的连接方式；

依据所述树状结构任务流执行每个测试脚本，得到所述测试结果。

6.根据权利要求3所述的数据测试方法，其特征在于，所述测试结果包括：

所述测试任务对应的第一汇总结果，其中，所述第一汇总结果用于表明所述测试任务是否成功执行以及在所述测试任务未成功执行时，所述测试任务对应的失败记录；

所述失败记录对应的异常明细数据，其中，所述异常明细数据用于定位所述失败记录对应的失败原因。

7.根据权利要求1所述的数据测试方法，其特征在于，按照所述测试结果生成所述测试报告包括：

利用所述测试结果判定所述测试脚本集合是否执行完毕；

响应于所述测试脚本集合执行完毕，基于所述测试结果汇总所述多个测试指标是否通过本次测试，得到第二汇总结果；

按照所述第二汇总结果生成并展示所述测试报告，其中，所述测试报告用于展示所述多个测试指标的测试情况，以及在确定所述测试任务出现异常时，触发异常告警。

8.根据权利要求1所述的数据测试方法，其特征在于，通过目标云上数据测试平台提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一多数据源测试场景，所述数据测试方法还包括：

响应作用于所述图形用户界面的第一触控操作，为所述多种类型数据源中的每种类型数据源设置数据源链接信息；

响应作用于所述图形用户界面的第二触控操作，基于所述数据源链接信息连接目标数据库，并从所述目标数据库中查询所述待测试数据，所述目标数据库用于存储所述多种类型数据源；

响应作用于所述图形用户界面的第三触控操作，选取测试指标规则，配置所述测试指标规则对应的参数信息，基于所述参数信息，确定所述待测试数据对应的所述多个测试指标，以及根据所述多个测试指标对应的多个测试脚本模板，生成所述测试脚本集合，其中，所述测试指标规则用于确定所述待测试数据对应的测试任务；

响应作用于所述图形用户界面的第四触控操作，执行所述测试脚本集合以得到所述测试结果，以及对所述测试结果进行汇总生成所述测试报告；

在所述图形用户界面内展示所述测试报告。

9.一种数据测试方法，其特征在于，包括：

从多种类型电商广告数据源中查询待测试电商广告数据，其中，所述多种类型电商广告数据源存储于云端的多源数据仓库中；

基于所述待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，所述多个电商广告数据测试指标用于验证所述待测试电商广告数据的数据质量，所述电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，所述多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务；

执行所述电商广告数据测试脚本集合，得到电商广告数据测试结果；

对所述电商广告数据测试结果进行汇总，生成电商广告数据测试报告。

10.根据权利要求9所述的数据测试方法，其特征在于，通过目标云上数据测试平台提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一多数据源电商广告数据测试场景，所述数据测试方法还包括：

响应作用于所述图形用户界面的第一触控操作，为所述多种类型电商广告数据源中的每种类型电商广告数据源设置电商广告数据源链接信息；

响应作用于所述图形用户界面的第二触控操作，基于所述电商广告数据源链接信息连接目标电商广告数据库，并从所述目标电商广告数据库中查询所述待测试电商广告数据，所述目标电商广告数据库用于存储所述多种类型电商广告数据源；

响应作用于所述图形用户界面的第三触控操作，选取电商广告数据测试指标规则，配置所述电商广告数据测试指标规则对应的电商广告参数信息，基于所述电商广告参数信息，确定所述待测试电商广告数据对应的所述多个电商广告数据测试指标，以及根据所述多个电商广告数据测试指标对应的多个电商广告数据测试脚本模板，生成所述电商广告数据测试脚本集合，其中，所述电商广告数据测试指标规则用于确定所述待测试电商广告数据对应的电商广告数据测试任务；

响应作用于所述图形用户界面的第四触控操作，执行所述电商广告数据测试脚本集合以得到所述电商广告数据测试结果，以及对所述电商广告数据测试结果进行汇总生成所述电商广告数据测试报告；

在所述图形用户界面内展示所述电商广告数据测试报告。

11.一种数据测试方法，其特征在于，包括：

从多种类型电商订单数据源中查询待测试电商订单数据，其中，所述多种类型电商订单数据源存储于云端的多源数据仓库中；

基于所述待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，所述多个电商订单数据测试指标用于验证所述待测试电商订单数据的数据质量，所述电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，所述多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务；

执行所述电商订单数据测试脚本集合，得到电商订单数据测试结果；

对所述电商订单数据测试结果进行汇总，生成电商订单数据测试报告。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至11中任意一项所述的数据测试方法。

13.一种电子设备，其特征在于，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：

从多种类型数据源中查询待测试数据，其中，所述多种类型数据源存储于云端的多源数据仓库中；

基于所述待测试数据关联的多个测试指标生成测试脚本集合，其中，所述多个测试指标用于验证所述待测试数据的数据质量，所述测试脚本集合包括：多个测试脚本，所述多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；

执行所述测试脚本集合，得到测试结果；

对所述测试结果进行汇总，生成测试报告。

Images