CN116010513A - 测试数据处理方法、装置、设备及介质 - Google Patents

测试数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116010513A
CN116010513A CN202211553199.1A CN202211553199A CN116010513A CN 116010513 A CN116010513 A CN 116010513A CN 202211553199 A CN202211553199 A CN 202211553199A CN 116010513 A CN116010513 A CN 116010513A
Authority
CN
China
Prior art keywords
distributed database
database table
test data
life cycle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211553199.1A
Other languages
English (en)
Inventor
胡玉杰
赵吉昆
胡凤校
杨嘉欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202211553199.1A priority Critical patent/CN116010513A/zh
Publication of CN116010513A publication Critical patent/CN116010513A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)

Abstract

本公开提供了一种测试数据处理方法,可以应用于计算机领域和软件测试领域。该测试数据处理方法包括:获取用于测试业务系统的待测功能的测试数据和与业务系统对应的分布式数据库表的信息;根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段;按照预设测试周期,根据生命周期字段删除分布式数据库表中的与生命周期字段对应的测试数据。

Description

测试数据处理方法、装置、设备及介质
技术领域
本公开涉及计算机领域和软件测试领域,更具体地,涉及一种测试数据处理方法、装置、设备及介质。
背景技术
在对大数据业务系统的功能进行测试的过程中,需要存储大量测试数据来实现对大数据业务系统的功能进行测试。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:在利用测试数据对大数据业务系统的待测功能进行测试的过程中,与业务系统对应的用于存储测试数据的分布式数据库的空间利用率低、存储空间压力大。
发明内容
鉴于上述问题,本公开提供了一种测试数据处理方法、装置、设备及介质。
本公开的第一个方面提供了一种测试数据处理方法,包括:
获取用于测试业务系统的待测功能的测试数据和与上述业务系统对应的分布式数据库表的信息,其中,上述分布式数据库表的信息包括分布式数据库表的表名及列簇;
根据上述分布式数据库表的信息向上述分布式数据库表的上述列簇中插入上述测试数据及生命周期字段,其中,上述生命周期字段用于指定从上述分布式数据库表中清理上述测试数据的时间;
按照预设测试周期,根据上述生命周期字段删除上述分布式数据库表中的与上述生命周期字段对应的上述测试数据。
根据本公开的实施例,上述按照预设周期,根据上述生命周期字段,删除上述分布式数据库表中的与上述生命周期字段对应的上述测试数据包括:
按照上述预设测试周期,对上述分布式数据库表进行映射,得到第一数据仓库工具外表;
根据上述生命周期字段及上述第一数据仓库工具外表,生成第二数据仓库工具外表;
根据上述分布式数据库表的表名及上述第二数据仓库工具外表,得到预设格式文件;
根据上述预设格式文件删除上述分布式数据库表中的与上述生命周期字段对应的上述测试数据。
根据本公开的实施例,上述根据上述生命周期字段及上述第一数据仓库工具外表,生成第二数据仓库工具外表包括:
根据上述生命周期字段,从上述第一数据仓库工具外表中获取与上述生命周期字段对应的上述测试数据;
根据上述与上述生命周期字段对应的上述测试数据生成第二数据仓库工具外表。
根据本公开的实施例,上述根据上述分布式数据库表的表名及上述第二数据仓库工具外表,得到预设格式文件包括:
根据上述分布式数据库表的表名及上述第二数据仓库工具外表,将上述第二数据仓库工具外表导入与上述分布式数据库表对应的分布式文件系统中,得到待删除数据文件;
利用基于分布式运算程序的编程框架对上述待删除数据文件进行处理,得到预设格式文件。
根据本公开的实施例,上述根据上述预设格式文件删除上述分布式数据库表中的与上述生命周期字段对应的上述测试数据包括:
将上述预设格式文件导入上述分布式数据库表中;
根据上述预设格式文件删除上述分布式数据库表中的与上述生命周期字段对应的上述测试数据。
根据本公开的实施例,上述测试数据处理方法还包括:在按预设测试周期,对上述分布式数据库表进行映射,得到第一数据仓库工具外表之前:
在预定服务器上安装能同时处理分布式数据库表与数据仓库工具外表中的数据的客户端。
根据本公开的实施例,上述测试数据处理方法还包括,在上述根据上述分布式数据库表的信息向上述分布式数据库表的上述列簇中插入上述测试数据及生命周期字段之前:
针对每个上述测试数据,按照测试需求确定与上述测试数据相对应的测试时长;
根据与上述测试数据相对应的测试时长,确定与上述测试数据对应的生命周期字段中的生命周期。
本公开的第二个方面提供了一种测试数据处理装置,包括:
获取模块,用于获取用于测试业务系统的待测功能的测试数据和与上述业务系统对应的分布式数据库表的信息,其中,上述分布式数据库表的信息包括分布式数据库表的表名及列簇;
插入模块,用于根据上述分布式数据库表的信息向上述分布式数据库表的上述列簇中插入上述测试数据及生命周期字段,其中,上述生命周期字段用于指定从上述分布式数据库表中清理上述测试数据的时间;
删除模块,用于按照预设测试周期,根据上述生命周期字段删除上述分布式数据库表中的与上述生命周期字段对应的上述测试数据。
本公开的第三个方面提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个指令,
其中,当上述一个或多个指令被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上所述的方法。
本公开的第四个方面提供了一种计算机可读存储介质,其上存储有可执行指令,上述指令被处理器执行时使处理器实现如上所述的方法。
本公开的第五个方面提供了一种计算机程序产品,上述计算机程序产品包括计算机可执行指令,上述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,通过获取用于测试业务系统的待测功能的测试数据和与业务系统对应的分布式数据库表的信息,得到业务系统中已有的分布式数据库表中可以用于存储测试数据的分布式数据库表,根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段,实现利用业务系统中已有的分布式数据库表存储测试数据,与建立新的数据库表存储测试数据相比,提高分布式数据库的空间利用率,同时实现为存储于分布式数据库表的列簇中的测试数据指定生命周期时间,使得后续可以按照预设测试周期,根据生命周期字段删除分布式数据库表中的与生命周期字段对应的测试数据的技术手段,实现按照预设测试周期,根据生命周期字段及时对测试数据进行生命周期管理,对测试数据的有效性进行灵活控制,提高对测试数据的生命周期的管理能力,减轻数据库的存储压力。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的测试数据处理方法、装置的应用场景图;
图2示意性示出了根据本公开实施例的测试数据处理方法的流程图;
图3示意性示出了根据本公开另一实施例的测试数据处理方法的流程图;
图4示意性示出了根据本公开实施例的测试数据处理装置的结构框图;以及
图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中,所涉及的数据(包括但不限于用户个人信息)的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
在利用测试数据对大数据业务系统的待测功能进行测试的过程中,与业务系统对应的用于存储测试数据的分布式数据库存在空间利用率低、存储空间压力大的问题。基于此,本公开提供了一种测试数据处理方法、装置、设备及介质。
本公开提供了一种测试数据处理方法,该方法包括:获取用于测试业务系统的待测功能的测试数据和与业务系统对应的分布式数据库表的信息,其中,分布式数据库表的信息包括分布式数据库表的表名及列簇;根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段,其中,生命周期字段用于指定从分布式数据库表中清理测试数据的时间;按照预设测试周期,根据生命周期字段删除分布式数据库表中的与生命周期字段对应的测试数据。
根据本公开的实施例,通过获取用于测试业务系统的待测功能的测试数据和与业务系统对应的分布式数据库表的信息,得到业务系统中已有的分布式数据库表中可以用于存储测试数据的分布式数据库表,根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段,实现利用业务系统中已有的分布式数据库表存储测试数据,与建立新的数据库表存储测试数据相比,提高分布式数据库的空间利用率,同时实现为存储于分布式数据库表的列簇中的测试数据指定生命周期时间,使得后续可以按照预设测试周期,根据生命周期字段删除分布式数据库表中的与生命周期字段对应的测试数据的技术手段,实现按照预设测试周期,根据生命周期字段及时对测试数据进行生命周期管理,对测试数据的有效性进行灵活控制,提高对测试数据的生命周期的管理能力,减轻数据库的存储压力。
图1示意性示出了根据本公开实施例的测试数据处理方法、装置的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括第一服务器101、第二服务器102及第三服务器103,网络104和终端设备105。网络104用以在第一服务器101、第二服务器102、第三服务器103和终端设备105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
测试人员可以使用终端设备105通过网络104与第一服务器101、第二服务器102及第三服务器103通过网络交互,以接收或发送信息等。终端设备105上可以安装有各种与第一服务器101、第二服务器102、第三服务器103进行通讯的应用,例如购物类应用、搜索类应用、即时通信工具、邮箱客户端等(仅为示例)。
终端设备105可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。
第一服务器101、第二服务器102及第三服务器103可以是存储业务系统中的数据(包括测试数据)的服务器。第一服务器101、第二服务器102及第三服务器103中存储的数据可以来自业务系统中的同一个分布式数据库表,也可以来自业务系统中的不同的分布式数据库表。第一服务器101、第二服务器102及第三服务器103可以响应于与业务系统对应的客户端的请求,实现对分布式数据库表进行增加数据、查询数据及删除数据等操作。
第一服务器101、第二服务器102及第三服务器103中的任意一个服务器,还可以用于安装能同时处理与业务系统对应的分布式数据库表与数据仓库工具外表中的数据的客户端,在对业务系统的待测功能进行测试的过程中,对与业务系统对应的分布式数据库表与数据仓库工具外表中的数据进行处理。
需要说明的是,本公开实施例所提供的测试数据处理方法一般可以由第一服务器101、第二服务器102及第三服务器103执行。相应地,本公开实施例所提供的测试数据处理装置一般可以设置于第一服务器101、第二服务器102及第三服务器103中。本公开实施例所提供的测试数据处理方法也可以由不同于第一服务器101、第二服务器102及第三服务器103且能够与终端设备105和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的测试数据处理装置也可以设置于不同于服务器101、102及103且能够与终端设备105和/或服务器101、102及103通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的测试数据处理方法的流程图。
如图2所示,该方法包括操作S201~S203。
在操作S201,获取用于测试业务系统的待测功能的测试数据和与业务系统对应的分布式数据库表的信息,其中,分布式数据库表的信息包括分布式数据库表的表名及列簇。
根据本公开的实施例,业务系统的待测功能可以为业务系统中新增加的功能或出现问题的频率较高的功能。
根据本公开的实施例,与业务系统对应的分布式数据库表存储有与业务系统的功能对应的数据,且这些数据不可删除。
根据本公开的实施例,分布式数据库表可以为对与业务系统对应的分布式数据库中存储的数据进行数据存储明细管理的数据表。
根据本公开的实施例,列簇表征分布式数据库表中用于存储数据的多列。
根据本公开的实施例,例如,与业务系统对应的分布式数据库表中存储的数据可以为2的50次方个字节的大数据,即拍字节(petabyte,PB)级别的大数据。
根据本公开的实施例,与业务系统对应的分布式数据库例如可以为分布式的、面向列的数据库HBASE数据库,分布式数据库表例如可以为与HBASE数据库对应的HBASE表,列簇可以为HBASE表中用于存储数据的多列。
根据本公开的实施例,通过获取与业务系统对应的分布式数据库表的信息,可以得到业务系统中已有的分布式数据库表中可以用于存储测试数据的分布式数据库表,为后续向与业务系统对应的分布式数据库表存储数据做准备。
在操作S202,根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段,其中,生命周期字段用于指定从分布式数据库表中清理测试数据的时间。
根据本公开的实施例,可以向与分布式数据库表的表名对应的分布式数据库表的列簇中插入测试数据及生命周期字段,其中,向分布式数据库表的列簇中插入的测试数据不能覆盖分布式数据库表的列簇中已经存在的数据。
根据本公开的实施例,在测试业务系统的多个待测功能的情况下,与多个待测功能分别对应的测试数据的生命周期字段可以相同,也可以不同,可以根据实际情况进行确定。
根据本公开的实施例,可以将多个测试数据作为一个数据集,数据集的头部和尾部均插入生命周期字段,然后将数据集中的数据插入分布式数据库表中的同一个列簇中,实现对存储于分布式数据库表的列簇中的测试数据指定生命周期时间,为后续利用生命周期时间,按照数据粒度对分布式数据库表中的测试数据的生命周期进行管理作准备,同时实现利用业务系统中已有的分布式数据库表存储测试数据,与建立新的数据库表存储测试数据相比,提高分布式数据库的空间利用率。
根据本公开的实施例,还可以将多个测试数据作为一个数据集,在将数据集包括的多个测试数据插入分布式数据库表的列簇的过程中,可以向列簇的每一行插入一个测试数据,同时插入一个生命周期时间,其中,测试数据与生命周期时间位于列簇的不同的列中,实现对存储于分布式数据库表的列簇中的每一个测试数据指定生命周期时间,为后续利用生命周期时间,按照数据粒度对分布式数据库表中每一个测试数据的生命周期进行管理作准备,同时实现利用业务系统中已有的分布式数据库表存储测试数据,与建立新的数据库表存储测试数据相比,提高分布式数据库的空间利用率。
根据本公开的实施例,例如可以利用上述方法向HBASE表的列簇中插入测试数据,同时指定生命周期字段_D=n,n表征此条测试数据的具体的生命周期时间。例如_D=1可以为此条数据生命周期时间为一周,此条测试数据保留一周。
在操作S203,按照预设测试周期,根据生命周期字段删除分布式数据库表中的与生命周期字段对应的测试数据。
根据本公开的实施例,预设测试周期表征对测试数据的生命周期是否到期进行周期性检查的时间。
根据本公开的实施例,预设测试周期例如可以为一天、一周、一个月等,预设测试周期可以根据实际情况进行确定,本公开的实施例不对预设测试周期进行限定。
根据本公开的实施例,例如可以选择一周对HBASE表中的生命周期字段进行筛查,与一周对应的生命周期字段可以为_D=1。在查询到_D=1的生命周期字段对应的测试数据后,可以将与生命周期字段_D=1对应的测试数据删除,实现利用生命周期字段,按照数据粒度对分布式数据库表中的测试数据的生命周期进行管理,对测试数据的有效性进行灵活控制,提高对测试数据的生命周期的管理能力,减轻数据库的存储压力。
根据本公开的实施例,通过获取用于测试业务系统的待测功能的测试数据和与业务系统对应的分布式数据库表的信息,得到业务系统中已有的分布式数据库表中可以用于存储测试数据的分布式数据库表,根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段,实现利用业务系统中已有的分布式数据库表存储测试数据,与建立新的数据库表存储测试数据相比,提高分布式数据库的空间利用率,同时实现为存储于分布式数据库表的列簇中的测试数据指定生命周期时间,使得后续可以按照预设测试周期,根据生命周期字段删除分布式数据库表中的与生命周期字段对应的测试数据的技术手段,实现按照预设测试周期,根据生命周期字段及时对测试数据进行生命周期管理,对测试数据的有效性进行灵活控制,提高对测试数据的生命周期的管理能力,减轻数据库的存储压力。
图3示意性示出了根据本公开另一实施例的测试数据处理方法的流程图。
如图3所示,该实施例的测试数据处理方法还可以包括操作S301~S304。
在操作S301,按照预设测试周期,对分布式数据库表进行映射,得到第一数据仓库工具外表;
在操作S302,根据生命周期字段及第一数据仓库工具外表,生成第二数据仓库工具外表;
在操作S303,根据分布式数据库表的表名及第二数据仓库工具外表,得到预设格式文件;
在操作S304,根据预设格式文件删除分布式数据库表中的与生命周期字段对应的测试数据。
根据本公开的实施例,可以利用数据仓库工具对分布式数据库表进行映射后得到第一数据仓库工具外表。
根据本公开的实施例,数据仓库工具例如可以为基于分布式系统基础架构Hadoop的数据仓库工具Hive。
根据本公开的实施例,例如可以利用数据仓库工具Hive将HBASE表映射为第一数据仓库工具外表,也可以称为第一Hive外表。
根据本公开的实施例,通过按照预设测试周期,对分布式数据库表进行映射,得到第一数据仓库工具外表,便于后续可以利用结构化查询语言(Structured QueryLanguage,SQL)对第一数据仓库工具外表中与生命周期字段对应的测试数据进行查询,进而可以简单快速得到生命周期字段对应的测试数据。
根据本公开的实施例,第二数据仓库工具外表存储有与生命周期字段对应的测试数据。
根据本公开的实施例,根据生命周期字段及第一数据仓库工具外表,生成第二数据仓库工具外表包括:
根据生命周期字段,从第一数据仓库工具外表中获取与生命周期字段对应的测试数据;
根据与生命周期字段对应的测试数据生成第二数据仓库工具外表。
根据本公开的实施例,可以利用SQL语言对第一数据仓库工具外表中与生命周期字段对应的测试数据进行查询,得到与生命周期字段对应的测试数据,将与生命周期字段对应的测试数据存储于第二数据仓库工具外表中,第二数据仓库工具外表也可以称为第二Hive外表。
根据本公开的实施例,例如可以利用SQL语言对第一Hive外表中与生命周期字段_D=1对应的测试数据进行查询,得到与生命周期字段_D=1对应的测试数据,此时,可以将与生命周期字段_D=1对应的测试数据存储于第二Hive外表中,第二Hive外表的表名可以用当日日期命名,第二Hive外表的表名例如可以为_20220608,_D=1可以表征此条数据生命周期时间为一周。
根据本公开的实施例,预设格式文件表征存储有与生命周期字段对应的测试数据且能被与分布式数据库表对应的分布式数据库进行数据处理的文件。
根据本公开的实施例,预设格式文件例如可以为Hfile文件。
根据本公开的实施例,例如可以将第二Hive外表中的数据转换为二进制格式的Hfile文件,然后与HBASE表对应的HBASE数据库可以根据Hfile文件删除HBASE表中的与生命周期字段对应的测试数据,其中,Hfile文件的名称与HBASE表的表名保持一致。
根据本公开的实施例,通过按照预设测试周期,对分布式数据库表进行映射,得到第一数据仓库工具外表,便于后续可以利用SQL语言对第一数据仓库工具外表中与生命周期字段对应的测试数据进行查询,简单快速得到与生命周期字段对应的测试数据,然后将与生命周期字段对应的测试数据存储于第二数据仓库工具外表中,根据分布式数据库表的表名及第二数据仓库工具外表,得到预设格式文件,得到存储有与生命周期字段对应的测试数据且能被与分布式数据库表对应的分布式数据库进行数据处理的文件,最后可以根据预设格式文件删除分布式数据库表中的与生命周期字段对应的测试数据,实现按照预设测试周期,根据生命周期字段及时对测试数据进行生命周期管理,对测试数据的有效性进行灵活控制,提高对测试数据的生命周期的管理能力,减轻数据库的存储压力。
根据本公开的实施例,根据分布式数据库表的表名及第二数据仓库工具外表,得到预设格式文件包括:
根据分布式数据库表的表名及第二数据仓库工具外表,将第二数据仓库工具外表导入与分布式数据库表对应的分布式文件系统中,得到待删除数据文件;
利用基于分布式运算程序的编程框架对待删除数据文件进行处理,得到预设格式文件。
根据本公开的实施例,分布式文件系统可以实现对第二数据仓库工具外表进行处理,生成待删除数据文件,并能利用基于分布式运算程序的编程框架对待删除数据文件进行处理,得到预设格式文件,并存储预设格式文件。
根据本公开的实施例,分布式文件系统例如可以为Hadoop Distributed FileSystem,简称HDFS,分布式运算程序的编程框架例如可以为MapReduce,本公开的实施例不对具体的分布式文件系统及分布式运算程序的编程框架进行限定,可以根据实际情况进行选择。
根据本公开的实施例,例如可以根据分布式数据库表的表名及第二数据仓库工具外表,将第二数据仓库工具外表导入与分布式数据库表对应的分布式文件系统HDFS中,得到待删除数据文件,然后分布式文件系统HDFS利用基于分布式运算程序的编程框架MapReduce对待删除数据文件进行处理,实现对待删除数据文件中与生命周期字段对应的测试数据进行批量处理,得到预设格式文件Hfile文件,得到存储有与生命周期字段对应的测试数据且能被与分布式数据库表对应的分布式数据库进行数据处理的文件,提高处理待删除数据文件中与生命周期字段对应的测试数据的效率。
根据本公开的实施例,根据预设格式文件删除分布式数据库表中的与生命周期字段对应的测试数据包括:
将预设格式文件导入分布式数据库表中;
根据预设格式文件删除分布式数据库表中的与生命周期字段对应的测试数据。
根据本公开的实施例,可以利用高速数据加载工具BulkLoad工具将预设格式文件导入分布式数据库表中,实现快速批量向分布式数据库表导入数据,然后与分布式数据库表对应的分布式数据库根据预设格式文件删除分布式数据库表中的与生命周期字段对应的测试数据,实现快速批量删除与生命周期字段对应的测试数据,提高删除与生命周期字段对应的测试数据的效率。
根据本公开的实施例,例如可以利用高速数据加载工具BulkLoad工具将Hfile文件导入HBASE表中,然后与HBASE表对应的HBASE数据库根据Hfile文件删除HBASE表中的与生命周期字段对应的测试数据,实现快速批量删除与生命周期字段对应的测试数据,提高删除与生命周期字段对应的测试数据的效率。
根据本公开的实施例,其中BulkLoad工具中配置了与分布式数据库表对应的分布式数据库集群的集群认证信息等文件,能够实现利用集群认证信息文件对与分布式数据库表对应的分布式数据库集群进行快速认证后再进行通信。
根据本公开的实施例,例如与HBASE表对应的HBASE数据库可以根据Hfile文件,自动生成对应的删除命令,而对应的删除操作为:根据与HBASE表中待删除数据所对应的HBASE表的表名,待删除数据所在的HBASE表的行值及待删除数据所在的HBASE表的列簇删除HBASE表中待删除数据。
根据本公开的实施例,上述测试数据处理方法还包括:在按预设测试周期,对分布式数据库表进行映射,得到第一数据仓库工具外表之前:
在预定服务器上安装能同时处理分布式数据库表与数据仓库工具外表中的数据的客户端。
根据本公开的实施例,预定服务器可以为分布式数据库表所在的服务器,也可以为能与分布式数据库表所在的服务器进行通信的服务器。
根据本公开的实施例,可以在预定服务器上先安装能同时处理分布式数据库表与数据仓库工具外表中的数据的客户端,用于实现对与分布式数据库表对应的分布式数据库集群上进行分布式数据库表导出和清理等操作。
根据本公开的实施例,例如可以在预定服务器上安装能处理HBASE表中的数据及Hive外表中的数据的Hadoop客户端,并为Hadoop客户端配置能对与HBASE表对应的HBASE集群进行用户认证的加密(keytab)文件,然后基于Hadoop客户端按预设周期,根据生命周期字段对HBASE表中的测试数据进行删除。
根据本公开的实施例,测试数据处理方法还包括,在根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段之前:
针对每个测试数据,按照测试需求确定与测试数据相对应的测试时长;
根据与测试数据相对应的测试时长,确定与测试数据对应的生命周期字段中的生命周期。
根据本公开的实施例,测试需求表征根据与测试数据对应的待测功能的重要性及出错频率而确定的测试时间。
根据本公开的实施例,例如在与测试数据对应的待测功能的重要性较高或出错频率较高的情况下,用于测试待测功能的测试时间较长,测试时长例如可以为半个月、一个月,两个月等,此时,与测试功能对应的测试数据需要根据测试需求保留半个月、一个月,两个月等。
根据本公开的实施例,例如在与测试数据对应的待测功能的重要性一般及出错频率较少的情况下,用于测试待测功能的测试时间较短,测试时长例如可以为两天、一周等,此时,与测试功能对应的测试数据需要根据测试需求保留两天、一周等。
根据本公开的实施例,生命周期表征生命周期字段中存储的从分布式数据库表中清理测试数据的具体时间信息。
根据本公开的实施例,在确定与测试数据相对应的测试时长后,可以将测试时长作为测试数据的生命周期,并将生命周期存储于与测试数据对应的生命周期字段中。
根据本公开的实施例,通过针对每个测试数据,按照测试需求确定与测试数据相对应的测试时长,然后根据与测试数据相对应的测试时长,确定与测试数据对应的生命周期字段中的生命周期,实现根据与测试数据对应的测试功能的重要性及出错频率确定与测试数据相对应的测试时长,进而可以根据测试时长合理设计测试数据的生命周期,使得后续根据测试数据的生命周期对数据粒度的测试数据进行生命周期管理更具有实用性。
需要说明的是,本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序,或者不同操作在技术实现上存在执行的先后顺序,否则,多个操作之间的执行顺序可以不分先后,多个操作也可以同时执行。
图4示意性示出了根据本公开实施例的测试数据处理装置的结构框图。
如图4所示,测试数据处理装置400包括获取模块410、插入模块420以及删除模块430。
获取模块410,用于获取用于测试业务系统的待测功能的测试数据和与业务系统对应的分布式数据库表的信息,其中,分布式数据库表的信息包括分布式数据库表的表名及列簇。
插入模块420,用于根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段,其中,生命周期字段用于指定从分布式数据库表中清理测试数据的时间。
删除模块430,用于按照预设测试周期,根据生命周期字段删除分布式数据库表中的与生命周期字段对应的测试数据。
根据本公开的实施例,删除模块包括第一数据仓库工具外表得到子模块、第二数据仓库工具外表生成子模块、预设格式文件得到子模块以及测试数据删除子模块。
第一数据仓库工具外表得到子模块,用于按照预设测试周期,对分布式数据库表进行映射,得到第一数据仓库工具外表。
第二数据仓库工具外表生成子模块,用于根据生命周期字段及第一数据仓库工具外表,生成第二数据仓库工具外表。
预设格式文件得到子模块,用于根据分布式数据库表的表名及第二数据仓库工具外表,得到预设格式文件。
测试数据删除子模块,用于根据预设格式文件删除分布式数据库表中的与生命周期字段对应的测试数据。
根据本公开的实施例,第二数据仓库工具外表生成子模块包括测试数据获取单元以及第二数据仓库工具外表生成单元。
测试数据获取单元,用于根据生命周期字段,从第一数据仓库工具外表中获取与生命周期字段对应的测试数据。
第二数据仓库工具外表生成单元,用于根据与生命周期字段对应的测试数据生成第二数据仓库工具外表。
根据本公开的实施例,预设格式文件得到子模块包括待删除数据文件得到单元以及预设格式文件得到单元。
待删除数据文件得到单元,用于根据分布式数据库表的表名及第二数据仓库工具外表,将第二数据仓库工具外表导入与分布式数据库表对应的分布式文件系统中,得到待删除数据文件。
预设格式文件得到单元,用于利用基于分布式运算程序的编程框架对待删除数据文件进行处理,得到预设格式文件。
根据本公开的实施例,测试数据删除子模块包括预设格式文件导入单元以及测试数据删除单元。
预设格式文件导入单元,用于将预设格式文件导入分布式数据库表中。
测试数据删除单元,用于根据预设格式文件删除分布式数据库表中的与生命周期字段对应的测试数据。
根据本公开的实施例,测试数据处理装置还包括:客户端安装模块。
客户端安装模块,用于在按预设测试周期,对分布式数据库表进行映射,得到第一数据仓库工具外表之前,在预定服务器上安装能同时处理分布式数据库表与数据仓库工具外表中的数据的客户端。
根据本公开的实施例,测试数据处理装置还包括测试时长确定模块以及生命周期确定模块。
测试时长确定模块,用于在根据分布式数据库表的信息向分布式数据库表的列簇中插入测试数据及生命周期字段之前,针对每个测试数据,按照测试需求确定与测试数据相对应的测试时长。
生命周期确定模块,用于根据与测试数据相对应的测试时长,确定与测试数据对应的生命周期字段中的生命周期。
需要说明的是,本公开的实施例中测试数据处理装置与本公开的实施例中测试数据处理方法部分是相对应的,在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,获取模块410、插入模块420以及删除模块430中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,获取模块410、插入模块420以及删除模块430中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块410、插入模块420以及删除模块430中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本公开的实施例中测试数据处理装置部分与本公开的实施例中测试数据处理方法部分是相对应的,测试数据处理装置部分的描述具体参考测试数据处理方法部分,在此不再赘述。
图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图5示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,根据本公开实施例的计算机系统500包括处理器501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中,存储有系统500操作所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统500还可以包括输入/输出(I/O)接口505,输入/输出(I/O)接口505也连接至总线504。系统500还可以包括连接至I/O接口505的以下部件中的一项或多项:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行本公开实施例所提供的方法的程序代码,当计算机程序产品在电子设备上运行时,该程序代码用于使电子设备实现本公开实施例所提供的测试数据处理方法。
在该计算机程序被处理器501执行时,执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分509被下载和安装,和/或从可拆卸介质511被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种测试数据处理方法,包括:
获取用于测试业务系统的待测功能的测试数据和与所述业务系统对应的分布式数据库表的信息,其中,所述分布式数据库表的信息包括分布式数据库表的表名及列簇;
根据所述分布式数据库表的信息向所述分布式数据库表的所述列簇中插入所述测试数据及生命周期字段,其中,所述生命周期字段用于指定从所述分布式数据库表中清理所述测试数据的时间;
按照预设测试周期,根据所述生命周期字段删除所述分布式数据库表中的与所述生命周期字段对应的所述测试数据。
2.根据权利要求1所述的方法,其中,所述按照预设周期,根据所述生命周期字段,删除所述分布式数据库表中的与所述生命周期字段对应的所述测试数据包括:
按照所述预设测试周期,对所述分布式数据库表进行映射,得到第一数据仓库工具外表;
根据所述生命周期字段及所述第一数据仓库工具外表,生成第二数据仓库工具外表;
根据所述分布式数据库表的表名及所述第二数据仓库工具外表,得到预设格式文件;
根据所述预设格式文件删除所述分布式数据库表中的与所述生命周期字段对应的所述测试数据。
3.根据权利要求2所述的方法,其中,所述根据所述生命周期字段及所述第一数据仓库工具外表,生成第二数据仓库工具外表包括:
根据所述生命周期字段,从所述第一数据仓库工具外表中获取与所述生命周期字段对应的所述测试数据;
根据所述与所述生命周期字段对应的所述测试数据生成第二数据仓库工具外表。
4.根据权利要求2所述的方法,其中,所述根据所述分布式数据库表的表名及所述第二数据仓库工具外表,得到预设格式文件包括:
根据所述分布式数据库表的表名及所述第二数据仓库工具外表,将所述第二数据仓库工具外表导入与所述分布式数据库表对应的分布式文件系统中,得到待删除数据文件;
利用基于分布式运算程序的编程框架对所述待删除数据文件进行处理,得到预设格式文件。
5.根据权利要求2所述的方法,其中,所述根据所述预设格式文件删除所述分布式数据库表中的与所述生命周期字段对应的所述测试数据包括:
将所述预设格式文件导入所述分布式数据库表中;
根据所述预设格式文件删除所述分布式数据库表中的与所述生命周期字段对应的所述测试数据。
6.根据权利要求2所述的方法,还包括:在按预设测试周期,对所述分布式数据库表进行映射,得到第一数据仓库工具外表之前:
在预定服务器上安装能同时处理分布式数据库表与数据仓库工具外表中的数据的客户端。
7.根据权利要求l所述的方法,还包括,在所述根据所述分布式数据库表的信息向所述分布式数据库表的所述列簇中插入所述测试数据及生命周期字段之前:
针对每个所述测试数据,按照测试需求确定与所述测试数据相对应的测试时长;
根据与所述测试数据相对应的测试时长,确定与所述测试数据对应的生命周期字段中的生命周期。
8.一种测试数据处理装置,包括:
获取模块,用于获取用于测试业务系统的待测功能的测试数据和与所述业务系统对应的分布式数据库表的信息,其中,所述分布式数据库表的信息包括分布式数据库表的表名及列簇;
插入模块,用于根据所述分布式数据库表的信息向所述分布式数据库表的所述列簇中插入所述测试数据及生命周期字段,其中,所述生命周期字段用于指定从所述分布式数据库表中清理所述测试数据的时间;
删除模块,用于按照预设测试周期,根据所述生命周期字段删除所述分布式数据库表中的与所述生命周期字段对应的所述测试数据。
9.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个指令,
其中,当所述一个或多个指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行指令,所述指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
11.一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现权利要求1至7中任一项所述的方法。
CN202211553199.1A 2022-12-05 2022-12-05 测试数据处理方法、装置、设备及介质 Pending CN116010513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211553199.1A CN116010513A (zh) 2022-12-05 2022-12-05 测试数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211553199.1A CN116010513A (zh) 2022-12-05 2022-12-05 测试数据处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116010513A true CN116010513A (zh) 2023-04-25

Family

ID=86034380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211553199.1A Pending CN116010513A (zh) 2022-12-05 2022-12-05 测试数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116010513A (zh)

Similar Documents

Publication Publication Date Title
CN112463729B (zh) 数据文件的入库方法、装置、电子设备和介质
CN114281803A (zh) 数据迁移方法、装置、设备、介质和程序产品
CN114780564A (zh) 数据处理方法、数据处理装置、电子设备和存储介质
WO2019148657A1 (zh) 关联环境测试方法、电子装置及计算机可读存储介质
CN114090113B (zh) 数据源处理插件动态加载的方法、装置、设备及存储介质
CN113032256B (zh) 自动化测试方法、装置、计算机系统和可读存储介质
US20200210164A1 (en) Preventing database package updates to fail customer requests and cause data corruptions
CN116069725A (zh) 文件迁移方法、装置、设备、介质和程序产品
CN116303620A (zh) 基于轻型数据库的对账方法、系统、设备、介质及产品
CN116360937A (zh) 任务调度方法、装置、设备及存储介质
CN114780361A (zh) 日志生成方法、装置、计算机系统及可读存储介质
CN112988604B (zh) 对象测试方法、测试系统、电子设备及可读存储介质
CN112148705A (zh) 数据迁移的方法和装置
CN116010513A (zh) 测试数据处理方法、装置、设备及介质
CN114637969A (zh) 目标对象的鉴权方法及装置
CN116452208B (zh) 变更交易码的确定方法、装置、设备及介质
CN115484149B (zh) 网络切换方法、网络切换装置、电子设备及存储介质
CN114268558B (zh) 监控图的生成方法、装置、设备、介质
CN117131018A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN116257825A (zh) 对象权限配置方法及装置、电子设备和可读存储介质
CN114528592A (zh) 业务处理方法、装置、设备、介质和程序产品
CN116701204A (zh) 服务资源测试方法、装置、设备及存储介质
CN116521549A (zh) 应用于程序开发的测试案例集执行方法、装置、设备、介质和产品
CN116128518A (zh) 电子档案管理方法、装置、设备及存储介质
CN114201297A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination