CN116126696A - 数据中台的数据测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种数据中台的数据测试方法、装置、电子设备及计算机可读存储介质，该数据中台的数据测试方法包括：在获取到多种数据的情况下，标记多种数据中的关键字段数据；将未标记的字段数据录入为完全相同的第一测试数据，关键字段数据按照等差数列的方式录入为第二测试数据；基于第一测试数据以及第二测试数据构建目标数据表；对目标数据表进行测试，生成测试结果。本申请能够有效地提高海量数据测试的准确性。

Description

数据中台的数据测试方法、装置、电子设备及存储介质

技术领域

本申请属于数据测试领域，尤其涉及一种数据中台的数据测试方法、装置、电子设备及计算机可读存储介质。

背景技术

数据中台指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，是将数据加工以后封装成一个公共的数据产品或服务。

为了对数据进行测试，现有技术中，主要采用的测试方法是对少量数据处理进行精准测试(验证数据处理任务运行成功，中间数据及结果数据的准确性)，达到验证数据处理组件能力正确性的目的；再辅以对海量数据处理进行模糊测试(仅验证数据处理任务运行成功，简单规则会验证中间数据及结果数据总条数的准确性)。

但是，但是处理海量数据时，对于资源消耗，程序规则运算的影响是非常大的，仅仅只做模糊测试是不够的，无法准确确定数据测试的准确性。

因此，如何提高海量数据测试的准确性是本领域技术人员亟需解决的技术问题。

发明内容

本申请实施例提供一种数据中台的数据测试方法、装置、设备及计算机可读存储介质，能够有效地提高海量数据测试的准确性。

第一方面，本申请实施例提供一种数据中台的数据测试方法，方法包括：

在获取到多种数据的情况下，标记多种数据中的关键字段数据；

将未标记的字段数据录入为完全相同的第一测试数据，关键字段数据按照等差数列的方式录入为第二测试数据；

基于第一测试数据以及第二测试数据构建目标数据表；

对目标数据表进行测试，生成测试结果。

可选的，在获取到多种数据的情况下，标记多种数据中的关键字段数据，包括：

在获取到多种数据的情况下，基于业务需求文档梳理出交易流程；

基于交易流程确定数据的走向；

基于数据的走向标记关键字段数据。

可选的，对目标数据表进行测试，生成测试结果，包括：

将数据库的连接工具与目标数据库进行连接；其中，数据库包括数据源表；目标数据库包括目标数据表；

对数据源表的数据总行数进行统计，得到第一总行数；

对目标数据表的数据总行数进行统计，得到第二总行数；

将第一总行数与第二总行数进行比对，生成第一比对结果。

可选的，方法还包括：

在第一比对结果为第一总行数与第二总行数不相同的情况下，对目标数据表进行修正；

对修正后的目标数据表的总行数进行统计，得到第三总行数；

将第三总行数与第一总行数进行比对，生成第二比对结果；

在第二比对结果为第一总行数与第三总行数不相同的情况下，重复执行对目标数据表进行修正的步骤，直到目标数据表的总行数与数据源表的总行数相同为止。

可选的，在第一比对结果为第一总行数与第二总行数相同时，对目标数据表中的第一测试数据执行第一结构化查询语言，生成第一查询结果；

对目标数据表中的第二测试数据执行第二结构化查询语言，生成第二查询结果；

基于第一查询结果以及第二查询结果验证目标数据表是否正确。

可选的，基于第一查询结果以及第二查询结果验证目标数据表是否正确，包括：

在第一查询结果为第一测试数据中所有数据相同和第二查询结果为第二测试数据中所有数据不相同的情况下，目标数据表正确。

可选的，方法还包括：

在第二查询结果为第二测试数据中存在数据相同的情况下，对第二测试数据进行修正，直到第二测试数据中不存在相同数据为止。

第二方面，本申请实施例提供了一种数据中台的测试装置，装置包括：标记模块，用于在获取到多种数据的情况下，标记多种数据中的关键字段数据；录入模块，用于将未标记的字段数据录入为完全相同的第一测试数据，关键字段数据按照等差数列的方式录入为第二测试数据；构建模块，用于基于第一测试数据以及第二测试数据构建目标数据表；测试模块，用于对目标数据表进行测试，生成测试结果。

可选的，标记模块，用于在获取到多种数据的情况下，基于业务需求文档梳理出交易流程；基于交易流程确定数据的走向；基于数据的走向标记关键字段数据。

可选的，测试模块，用于将数据库的连接工具与目标数据库进行连接；其中，数据库包括数据源表；目标数据库包括目标数据表；对数据源表的数据总行数进行统计，得到第一总行数；对目标数据表的数据总行数进行统计，得到第二总行数；将第一总行数与第二总行数进行比对，生成第一比对结果。

可选的，装置还包括：第一修正模块，用于在第一比对结果为第一总行数与第二总行数不相同的情况下，对目标数据表进行修正；统计模块，用于对修正后的目标数据表的总行数进行统计，得到第三总行数；比对模块，用于将第三总行数与第一总行数进行比对，生成第二比对结果；重复执行模块，用于在第二比对结果为第一总行数与第三总行数不相同的情况下，重复执行对目标数据表进行修正的步骤，直到目标数据表的总行数与数据源表的总行数相同为止。

可选的，装置还包括：第一生成模块，用于在第一比对结果为第一总行数与第二总行数相同时，对目标数据表中的第一测试数据执行第一结构化查询语言，生成第一查询结果；第二生成模块，用于对目标数据表中的第二测试数据执行第二结构化查询语言，生成第二查询结果；验证模块，用于基于第一查询结果以及第二查询结果验证目标数据表是否正确性。

可选的，验证模块，用于在第一查询结果为第一测试数据中所有数据相同和第二查询结果为第二测试数据中所有数据不相同的情况下，目标数据表正确。

可选的，装置还包括：第二修正模块，用于在第二查询结果为第二测试数据中存在数据相同的情况下，对第二测试数据进行修正，直到第二测试数据中不存在相同数据为止。

第三方面，提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所示的数据中台的数据测试方法的步骤。

第四方面，提供了一种可读存储介质，该可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所示的数据中台的数据测试方法的步骤。

本申请实施例的数据中台的数据测试方法、装置、电子设备及计算机可读存储介质，能够在得到海量数据的情况下，对标记出来的关键字段数据通过等差数列的方式录入为第二测试数据，将未标记的字段数据录入为完全相同的第一测试数据，即本申请通过对数据分类的方式，能够有效地提高数据测试的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的数据中台的数据测试方法的流程示意图；

图2是本申请一个实施例提供的数据中台的数据测试装置的结构示意图；以及

图3是本申请一个实施例提供的电子设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

基于背景技术部分的内容可知，现有技术中，处理海量数据时，对于资源消耗，程序规则运算的影响是非常大的，仅仅只做模糊测试是不够的，无法准确确定数据测试的准确性。

为了解决现有技术问题，本申请实施例提供了一种数据中台的数据测试方法、装置、电子设备及计算机可读存储介质。下面首先对本申请实施例所提供的数据中台的数据测试方法进行介绍。

图1示出了本申请一个实施例提供的数据中台的数据测试方法的流程示意图。如图1所示，

步骤S11：在获取到多种数据的情况下，标记多种数据中的关键字段数据。

在一个可选的实施例中，在获取到多种数据的情况下，标记多种数据中的关键字段数据可以采用如下方式：

在获取到多种数据的情况下，基于业务需求文档梳理出交易流程。

基于交易流程确定数据的走向。

基于数据的走向标记关键字段数据。

在本实施例中，在测试数据准备阶段，首先需要梳理业务流，也就是说，在获取到海量数据的情况下，基于业务需求文档梳理出交易流程，然后甄别出数据流向(根据交易流程梳理出数据的走向)，再根据数据流，标记出进行数据处理的字段(即关键字段数据)。

比如：需要输出各部门月度销售额；其中，业务流：创建采集任务A采集元数据->创建集成任务B录入数据->创建数据仓库(Extract-Transform-Load，ETL)任务C计算出各部门月度销售额->创建数据服务任务输出结果；数据流向：收集录入部门人员表、流水表->过滤出无效信息，按部门、销售额进行关联分类->计算分析数据，得出各部门月度销售额->输出交付；关键字段数据：部门人员表中的部门、部门编码、人员信息；流水表中的销售人员、销售价格、销售时间。

步骤S13：将未标记的字段数据录入为完全相同的第一测试数据，关键字段数据按照等差数列的方式录入为第二测试数据。

具体的，在本申请中，将海量数据进行分类，将上述已经标记好的关键字段数据按照等差数列的方式录入为第二测试数据，将上述未标记的字段数据录入为完全相同的第一测试数据，也就是说，本申请将关键字段数据录入从a开始递增的公差为d的数据，使得关键字段数据中每一个数据均不相同，从而便于对数据进行测试。

比如：构建上述部门人员信息表、流水表；其中，部门人员信息表：表中有部门名称、人员名称、在职状态、在职时间、职务等字段；表数据预设有1部、2部、3部、4部4个部门，每个部门25个人，人员名称从name1到name25为1部，name26到name50为2部，name51到name75为3部，name51到name100为4部；其他未标记字段则录入完全一致的数据即可；流水表：表中有销售人员、商品名称、商品折扣、分类、品牌、销售价格、销售时间等字段；表数据预设每个部门人员每月销售一单，销售价格和数量都是对应name的后缀数字，销售日期为2021年1月到2022年1月的每月1号；其他未标记字段则录入完全一致的数据即可。

步骤S15：基于第一测试数据以及第二测试数据构建目标数据表。

步骤S17：对目标数据表进行测试，生成测试结果。

在一个可选的实施例中，对目标数据表进行测试，生成测试结果可以采用如下方式：

将数据库的连接工具与目标数据库进行连接；其中，数据库包括数据源表；目标数据库包括目标数据表。

对数据源表的数据总行数进行统计，得到第一总行数。

对目标数据表的数据总行数进行统计，得到第二总行数。

将第一总行数与第二总行数进行比对，生成第一比对结果。

在本实施例中，将已经进行分类的第一测试数据以及第二测试数据录入目标数据表中，然后通过数据库连接工具连接目标数据库，以验证目标数据库中的目标数据表是否完整。其中，可以对数据源表执行查询语句select count(*)from tableA(数据源表的数据总行数统计)，得到第一总行数；可以对目标数据表执行查询语句select count(*)fromtableB(目标数据表的数据总行数统计)，得到第二总行数，将第一总行数与第二总行数进行比对，生成第一比对结果。需要说明的是，在第一比对结果为第一总行数与第二总行数相同时，可以表征目标数据表中的数据完整；或，第一总行数与第二总行数不相同时，可以表征目标数据表中的数据不完整。

在一个可选的实施例中，在第一比对结果为第一总行数与第二总行数不相同的情况下，对目标数据表进行修正。

对修正后的目标数据表的总行数进行统计，得到第三总行数。

将第三总行数与第一总行数进行比对，生成第二比对结果。

在第二比对结果为第一总行数与第三总行数不相同的情况下，重复执行对目标数据表进行修正的步骤，直到目标数据表的总行数与数据源表的总行数相同为止。

在本实施例中，在目标数据表中的数据不完整，可以反馈给研发人员对目标数据表及时进行修正，开发修正版本(即修正后的目标数据表)后，重新查询修正后的目标数据表的总行数，得到第三总行数，然后再将第三总行数与第一总行数进行比对，生成第二比对结果，在第二比对结果为第一总行数与第三总行数不相同的情况下，重复执行对目标数据表进行修正的步骤，直到目标数据表的总行数与数据源表的总行数相同为止。本申请在目标数据表不完整时，重复修正以及比对的方式，能够有效地提高目标数据表的准确性。

在一个可选的实施例中，在第一比对结果为第一总行数与第二总行数相同时，对目标数据表中的第一测试数据执行第一结构化查询语言，生成第一查询结果。

对目标数据表中的第二测试数据执行第二结构化查询语言，生成第二查询结果。

基于第一查询结果以及第二查询结果验证目标数据表是否正确性。

在本实施例中，在目标数据表完整的情况下，对目标数据表进行正确性检验。其中，对目标数据表中的第一测试数据执行第一结构化查询语言，生成第一查询结果；对目标数据表中的第二测试数据执行第二结构化查询语言，生成第二查询结果；基于第一查询结果以及第二查询结果验证目标数据表是否正确性。

在一个可选的实施例中，基于第一查询结果以及第二查询结果验证目标数据表是否正确性可以采用如下方式：

在第一查询结果为第一测试数据中所有数据相同和第二查询结果为第二测试数据中所有数据不相同的情况下，目标数据表正确。

在本实施例中，已知未标记的字段数据是完全一致的，若未标记字段数据下面的数据全部是相同的，则查询结果为1(select count(*)from tableA group by字段)，则说明数据正确；已知标记的关键字段数据是递增的，若根据未标记字段查询是否有相同数据，若不存在重复数据则查询结果为空(select count(*)from tableA group by字段havingcount(字段)！＝1)，则说明数据正确。在二者均正确的情况下，目标数据表则为正确。反之，在未标记的字段数据中查询结果不为1和/或标记的关键字段数据中存在重复数据，那么目标数据表不正确。

在一个可选的实施例中，在第二查询结果为第二测试数据中存在数据相同的情况下，对第二测试数据进行修正，直到第二测试数据中不存在相同数据为止。

在本实施例中，标记的关键字段数据中存在重复数据时，则系统存在缺陷，反馈给开发人员及时修正，开发修改发版后，直到验证相等为止，也就是说，在验证不相等的时候，需要一直进行修改。

需要说明的是，在未标记的字段数据中查询结果不为1时，则系统存在缺陷，反馈给开发人员及时修正，开发修改发版后，直到验证相等为止。

在一个可选的实施例中，在海量数据处理时，因为所埋数据是有序的数据，我们可以通过数学公式快速运算出转换(Transformation)规则组件是否被正确应用。

比如：数据处理规则为2个条件筛选数据后，再以不同条件求和输出结果；我们可以设置a到k的数据满足条件A，设置m到n的数据满足条件B，然后运行数据中台的数据处理任务，任务执行完毕后，根据等差数列算出预期的结果1为(k^2-a^2)/2d+(a+k)/2,预期的结果2为(n^2-m^2)/2d+(n+m)/2，检查输出结果是否与预期结果一致。

比如：已上述部门人员信息表、流水表为例，上述各部门月度销售额如下：

1

2

3

4

本申请能够在得到海量数据的情况下，对标记出来的关键字段数据通过等差数列的方式录入为第二测试数据，将未标记的字段数据录入为完全相同的第一测试数据，即本申请通过对数据分类的方式，能够有效地提高数据测试的准确性，能更加高效准确的测试数据中台的数据处理能力，从而更好的提高了软件质量。

此外，在目标数据表中的关键字段数据和/或未标记的字段数据进行完整性和正确性校验时，在不正确或不完整的情况下，能够对关键字段数据和或未标记的字段数据进行及时修正，并通过重复验证的方式，保证其完整性和正确性。

图2示出了本申请实施例提供的数据中台的数据测试装置的结构示意图。如图2所示，

本申请实施例提供了一种数据中台的测试装置，装置包括：标记模块21，用于在获取到多种数据的情况下，标记多种数据中的关键字段数据；录入模块22，用于将未标记的字段数据录入为完全相同的第一测试数据，关键字段数据按照等差数列的方式录入为第二测试数据；构建模块23，用于基于第一测试数据以及第二测试数据构建目标数据表；测试模块24，用于对目标数据表进行测试，生成测试结果。

可选的，标记模块21，用于在获取到多种数据的情况下，基于业务需求文档梳理出交易流程；基于交易流程确定数据的走向；基于数据的走向标记关键字段数据。

可选的，测试模块24，用于将数据库的连接工具与目标数据库进行连接；其中，数据库包括数据源表；目标数据库包括目标数据表；对数据源表的数据总行数进行统计，得到第一总行数；对目标数据表的数据总行数进行统计，得到第二总行数；将第一总行数与第二总行数进行比对，生成第一比对结果。

可选的，装置还包括：第一修正模块，用于在第一比对结果为第一总行数与第二总行数不相同的情况下，对目标数据表进行修正；统计模块，用于对修正后的目标数据表的总行数进行统计，得到第三总行数；比对模块，用于将第三总行数与第一总行数进行比对，生成第二比对结果；重复执行模块，用于在第二比对结果为第一总行数与第三总行数不相同的情况下，重复执行对目标数据表进行修正的步骤，直到目标数据表的总行数与数据源表的总行数相同为止。

可选的，装置还包括：第一生成模块，用于在第一比对结果为第一总行数与第二总行数相同时，对目标数据表中的第一测试数据执行第一结构化查询语言，生成第一查询结果；第二生成模块，用于对目标数据表中的第二测试数据执行第二结构化查询语言，生成第二查询结果；验证模块，用于基于第一查询结果以及第二查询结果验证目标数据表是否正确性。

可选的，验证模块，用于在第一查询结果为第一测试数据中所有数据相同和第二查询结果为第二测试数据中所有数据不相同的情况下，目标数据表正确。

可选的，装置还包括：第二修正模块，用于在第二查询结果为第二测试数据中存在数据相同的情况下，对第二测试数据进行修正，直到第二测试数据中不存在相同数据为止。

本申请能够在得到海量数据的情况下，对标记出来的关键字段数据通过等差数列的方式录入为第二测试数据，将未标记的字段数据录入为完全相同的第一测试数据，即本申请通过对数据分类的方式，能够有效地提高数据测试的准确性，能更加高效准确的测试数据中台的数据处理能力，从而更好的提高了软件质量。

此外，在目标数据表中的关键字段数据和/或未标记的字段数据进行完整性和正确性校验时，在不正确或不完整的情况下，能够对关键字段数据和或未标记的字段数据进行及时修正，并通过重复验证的方式，保证其完整性和正确性。

图2所示装置中的各个模块具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。

图3示出了本申请实施例提供的电子设备的结构示意图。

电子设备可以包括处理器301以及存储有计算机程序指令的存储器302。

具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在电子设备的内部或外部。在特定实施例中，存储器302可以是非易失性固态存储器。

在一个实施例中，存储器302可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种数据中台的数据测试方法。

在一个示例中，电子设备还可包括通信接口303和总线310。其中，如图3所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。

通信接口303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线310包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的数据中台的数据测试方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据中台的数据测试方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种数据中台的数据测试方法，其特征在于，所述方法包括：

在获取到多种数据的情况下，标记多种数据中的关键字段数据；

将未标记的字段数据录入为完全相同的第一测试数据，所述关键字段数据按照等差数列的方式录入为第二测试数据；

基于所述第一测试数据以及所述第二测试数据构建目标数据表；

对所述目标数据表进行测试，生成测试结果。

2.根据权利要求1所述的数据中台的数据测试方法，其特征在于，所述在获取到多种数据的情况下，标记多种数据中的关键字段数据，包括：

在获取到多种数据的情况下，基于业务需求文档梳理出交易流程；

基于所述交易流程确定数据的走向；

基于所述数据的走向标记所述关键字段数据。

3.根据权利要求1所述的数据中台的数据测试方法，其特征在于，所述对所述目标数据表进行测试，生成测试结果，包括：

将数据库的连接工具与所述目标数据库进行连接；其中，所述数据库包括数据源表；所述目标数据库包括所述目标数据表；

对所述数据源表的数据总行数进行统计，得到第一总行数；

对所述目标数据表的数据总行数进行统计，得到第二总行数；

将所述第一总行数与所述第二总行数进行比对，生成第一比对结果。

4.根据权利要求3所述的数据中台的数据测试方法，其特征在于，所述方法还包括：

在所述第一比对结果为所述第一总行数与所述第二总行数不相同的情况下，对所述目标数据表进行修正；

对修正后的所述目标数据表的总行数进行统计，得到第三总行数；

将所述第三总行数与所述第一总行数进行比对，生成第二比对结果；

在所述第二比对结果为所述第一总行数与所述第三总行数不相同的情况下，重复执行所述对所述目标数据表进行修正的步骤，直到所述目标数据表的总行数与所述数据源表的总行数相同为止。

5.根据权利要求3所述的数据中台的数据测试方法，其特征在于，所述方法还包括：

在所述第一比对结果为所述第一总行数与所述第二总行数相同时，对所述目标数据表中的所述第一测试数据执行第一结构化查询语言，生成第一查询结果；

对所述目标数据表中的第二测试数据执行第二结构化查询语言，生成第二查询结果；

基于所述第一查询结果以及第二查询结果验证所述目标数据表是否正确性。

6.根据权利要求5所述的数据中台的数据测试方法，其特征在于，所述基于所述第一查询结果以及第二查询结果验证所述目标数据表是否正确，包括：

在所述第一查询结果为所述第一测试数据中所有数据相同和所述第二查询结果为所述第二测试数据中所有数据不相同的情况下，所述目标数据表正确。

7.根据权利要求6所述的数据中台的数据测试方法，其特征在于，所述方法还包括：

在所述第二查询结果为所述第二测试数据中存在数据相同的情况下，对所述第二测试数据进行修正，直到所述第二测试数据中不存在相同数据为止。

8.一种数据中台的数据测试装置，其特征在于，所述装置包括：

标记模块，用于在获取到多种数据的情况下，标记多种数据中的关键字段数据；

录入模块，用于将未标记的字段数据录入为完全相同的第一测试数据，所述关键字段数据按照等差数列的方式录入为第二测试数据；

构建模块，用于基于所述第一测试数据以及所述第二测试数据构建目标数据表；

测试模块，用于对所述目标数据表进行测试，生成测试结果。

9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的数据中台的数据测试方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的数据中台的数据测试方法。

Images