CN110837469A - 数据测试方法和装置、测试服务器和存储介质 - Google Patents
数据测试方法和装置、测试服务器和存储介质 Download PDFInfo
- Publication number
- CN110837469A CN110837469A CN201911075478.XA CN201911075478A CN110837469A CN 110837469 A CN110837469 A CN 110837469A CN 201911075478 A CN201911075478 A CN 201911075478A CN 110837469 A CN110837469 A CN 110837469A
- Authority
- CN
- China
- Prior art keywords
- data
- tested
- output
- component
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供的数据测试方法和装置、测试服务器和存储介质,涉及大数据测试技术领域。在本申请中,首先,通过预先配置的多个输入组件获取多组待测试数据,其中,多组待测试数据中至少包括两组不同类型的待测试数据。其次,通过预先配置的多个输出组件分别对多组待测试数据进行处理,得到多组输出数据,其中,多个输出组件中至少包括两个不同类型的输出组件,以对不同类型的待测试数据进行处理;然后,通过预先配置的报告组件对多组输出数据进行测试处理,得到多组待测试数据的测试结果。通过上述方法,可以改善在采用现有的测试技术对混合型数据进行测试处理时操作复杂和不便的问题。
Description
技术领域
本申请涉及大数据测试技术领域,具体而言,涉及一种数据测试方法和装置、测试服务器和存储介质。
背景技术
在大数据技术领域中,为了保证利用大数据进行计算得到的结果具有较高的准确性,一般会对存储的大数据进行测试。
其中,存储的大数据可能会包括多种类型,为了实现对多种类型的大数据进行测试处理,现有技术中一般是通过测试人员分别编写相应的测试代码,以分别进行测试处理。如此,在需要对多种不同类型的大数据进行测试处理时,存在操作复杂和不便的问题。
发明内容
有鉴于此,本申请的目的在于提供一种数据测试方法和装置、测试服务器和存储介质,以改善在采用现有的测试技术对混合型数据进行测试处理时操作复杂和不便的问题。
为实现上述目的,本申请实施例采用如下技术方案:
一种数据测试方法,包括:
通过预先配置的多个输入组件获取多组待测试数据,其中,所述多组待测试数据中至少包括两组不同类型的待测试数据;
通过预先配置的多个输出组件分别对所述多组待测试数据进行处理,得到多组输出数据,其中,所述多个输出组件中至少包括两个不同类型的输出组件,以对不同类型的待测试数据进行处理;
通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果。
在本申请实施例较佳的选择中,在上述数据测试方法中,所述通过预先配置的多个输出组件分别对所述多组待测试数据进行处理的步骤,包括:
判断是否需要对每组所述待测试数据进行解析预处理;
针对每组所述待测试数据,若需要对该组待测试数据进行解析预处理,则通过预先配置的规则解析组件对该组待测试数据进行解析处理,并通过该组待测试数据的目标输出组件对解析后的该组待测试数据进行格式化处理,其中,该组待测试数据的目标输出组件为,预先配置的多个输出组件中与该组待测试数据的类型相应的一个输出组件;
针对每组所述待测试数据,若不需要对该组待测试数据进行解析预处理,则通过该组待测试数据的目标输出组件对该组待测试数据进行解析处理和格式化处理,其中,该组待测试数据的目标输出组件为,预先配置的多个输出组件中与该组待测试数据的类型相应的一个输出组件。
在本申请实施例较佳的选择中,在上述数据测试方法中,所述通过预先配置的多个输出组件分别对所述多组待测试数据进行处理的步骤,还包括:
判断所述多个输入组件中是否存在目标输入组件,其中,所述目标输入组件为当前未完成获取所述待测试数据的操作的输入组件;
若存在所述目标输入组件,则判定不执行所述判断是否需要对每组所述待测试数据进行解析预处理的步骤;
若不存在所述目标输入组件,则判定执行所述判断是否需要对每组所述待测试数据进行解析预处理的步骤。
在本申请实施例较佳的选择中,在上述数据测试方法中,所述通过预先配置的多个输入组件获取多组待测试数据的步骤,包括:
通过预先配置的多个输入组件分别从多个数据源设备获取多组待测试数据,其中,所述多个输入组件中至少包括两个类型不同的输入组件,用于从不同类型的数据源设备获取待测试数据。
在本申请实施例较佳的选择中,在上述数据测试方法中,所述通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果的步骤,包括:
通过预先配置的报告组件和预先配置的对比规则对所述多组输出数据进行测试处理,得出测试通过的测试结果或测试失败的测试结果。
在本申请实施例较佳的选择中,在上述数据测试方法中,所述通过预先配置的报告组件和预先配置的对比规则对所述多组输出数据进行测试处理的步骤,包括:
针对每组所述输出数据,获取针对该组输出数据配置的对比数据;
针对每组所述输出数据,通过预先配置的报告组件将该组输出数据与所述对比数据进行比较处理。
在本申请实施例较佳的选择中,在上述数据测试方法中,还包括预先配置所述多个输出组件的步骤,该步骤包括:
a,获取终端设备发送的输出初始组件,其中,该输出初始组件由所述终端设备响应用户操作确定;
b,获取所述终端设备发送的组件参数,其中,该组件参数由所述终端设备响应用户对所述输出初始组件进行参数配置的操作生成;
c,基于所述输出初始组件和所述组件参数得到所述输出组件;
依次执行步骤a、步骤b和步骤c多次,且至少有两次执行步骤b时获取的组件参数不同,以得到至少两个不同类型的输出组件。
本申请实施例还提供了一种数据测试装置,包括:
数据获取模块,用于通过预先配置的多个输入组件获取多组待测试数据,其中,所述多组待测试数据中至少包括两组不同类型的待测试数据;
数据处理模块,用于通过预先配置的多个输出组件分别对所述多组待测试数据进行测试处理,得到多组输出数据,其中,所述多个输出组件中至少包括两个不同类型的输出组件,以对不同类型的待测试数据进行处理;
数据测试模块,用于通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果。
在上述基础上,本申请实施例还提供了一种测试服务器,包括;
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行所述计算机程序,以实现上述的数据测试方法。
在上述基础上,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被执行时实现上述的数据测试方法。
本申请提供的数据测试方法和装置、测试服务器和存储介质,通过预先配置的多个输出组件分别对多组待测试数据进行处理,并基于得到的多组输出数据进行测试处理得到测试结果。如此,一方面可以自动进行测试处理,另一方面,可以实现对多组具有不同类型的数据(即混合型数据)同时或并行处理的目标,从而改善在采用现有的测试技术对混合型数据进行测试处理时操作复杂和不便的问题,具有较高的实用价值,能够有效地保障大数据的有效利用。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本申请实施例提供的测试服务器的应用场景交互示意图。
图2为本申请实施例提供的数据测试方法包括的各步骤的流程图。
图3为图2中步骤S120包括的各子步骤的流程示意图。
图4为本申请实施例提供的各组件之间的逻辑关系图。
图5为本申请实施例提供的数据测试装置包括的各功能模块的方框示意图。
图标:10-测试服务器;12-存储器;14-处理器;100-数据测试装置;110-数据获取模块;120-数据处理模块;130-数据测试模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本申请的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,本申请实施例提供了一种测试服务器10,可以包括存储器12、处理器14和数据测试装置100。
详细地,所述存储器12和处理器14之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据测试装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序,例如,所述数据测试装置100所包括的软件功能模块及计算机程序等,以实现本申请实施例提供的数据测试方法。
其中,所述存储器12可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
所述处理器14可以是一种通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图1所示的结构仅为示意,所述测试服务器10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置,例如,还可以包括用于与其它设备进行信息交互的通信单元。
其中,所述其它设备可以包括,但不限于,用于存储待测试数据的数据源设备,以及用于对执行本申请提供的数据测试方法所需要的各组件进行配置的终端设备。
结合图2,本申请实施例还提供一种可应用于上述测试服务器10的数据测试方法。其中,所述数据测试方法有关的流程所定义的方法步骤可以由所述测试服务器10实现。下面将对图2所示的具体流程进行详细阐述。
步骤S110,通过预先配置的多个输入组件获取多组待测试数据。
在本实施例中,在需要对混合型数据进行测试时,可以先通过预先配置的多个输入组件获取多组待测试数据。其中,所述多组待测试数据中至少包括两组不同类型的待测试数据,以形成混合型数据。
也就是说,所述多个输入组件和所述多组待测试数据具有一一对应关系,使得一个所述输入组件可以获取一组所述待测试数据。
步骤S120,通过预先配置的多个输出组件分别对所述多组待测试数据进行处理,得到多组输出数据。
在本实施例中,通过步骤S110得到多组待测试数据之后,可以通过预先配置的多个输出组件分别对该多组待测试数据进行处理,从而得到多组输出数据。其中,所述多个输出组件中至少包括两个不同类型的输出组件,以对不同类型的待测试数据进行处理。
也就是说,所述多组待测试数据和所述多个输出组件也具有一一对应关系,使得一个所述输出组件可以对一组所述待测试数据进行处理,得到一组所述输出数据。如此,通过所述多个输出组件可以得到多组输出数据。
步骤S130,通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果。
在本实施例中,通过步骤S120得到多组输出数据之后,可以通过预先配置的报告组件对该多组输出数据进行一并处理,从而得到所述多组待测试数据的测试结果,进而实现对混合型数据同时或并行处理。
基于上述的数据测试方法,一方面可以自动对混合型数据进行测试处理,另一方面,可以对多组具有不同类型的待测试数据(即混合型数据)同时或并行处理,从而改善在采用现有的测试技术对混合型数据进行测试处理时操作复杂和不便的问题。
对于步骤S110需要说明的是,所述多组待测试数据具有的数据类型不受限制,例如,可以包括,但不限于ES(Elastic Search,分布式索引)类型、Hive(数据仓库)类型或MySQL(关系型数据库)类型,只要至少两组待测试数据具有不同的类型即可。
可选地,执行步骤S110获取所述多组待测试数据的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,所述多个输入组件的类型可以相同,以基于相同的方式,分别从多个类型相同的数据源设备获取多组所述待测试数据。
又例如,在另一种可以替代的示例中,所述多个输入组件中至少包括两个类型不同的输入组件,用于从不同类型的数据源设备获取待测试数据。如此,步骤S110可以包括以下子步骤:通过预先配置的多个输入组件分别从多个数据源设备获取多组待测试数据。
其中,所述输入组件的类型不受限制,可以根据实际应用需求进行配置,例如,可以包括,但不限于API(Application Program Interface,应用程序接口)类型、SFTP(Secure File Transfer Protocol,安全文件传送协议)类型和HDFS(Hadoop DistributedFile System,分布式文件系统)类型。
可以理解的是,若所述输入组件的类型为API类型,表明该输入组件通过应用程序接口从数据源设备获取待测试数据。若所述输入组件的类型为SFTP类型,表明该输入组件基于安全文件传输协议从数据源设备获取待测试数据。若所述输入组件的类型为HDFS类型,表明该输入组件可以从具有分布式架构的数据源设备中获取待测试数据。
对于步骤S120需要说明的是,对多组待测试数据进行处理的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,可以直接通过输出组件对获取的多组待测试数据进行处理,从而得到多组输出数据。
又例如,在另一种可以替代的示例中,也可以先通过其它组件对获取的待测试数据进行预处理,然后,再通过输出组件基于预处理后的待测试数据进行处理。
因此,结合图3,步骤S120可以包括步骤S121、步骤S123和步骤S125,具体内容如下所述。
步骤S121,判断是否需要对每组所述待测试数据进行解析预处理。
在本实施例中,通过步骤S110得到多组待测试数据之后,可以针对每组待测试数据,判断该组待测试数据是否需要进行解析预处理。
其中,针对每组所述待测试数据,若判定需要对该组待测试数据进行解析预处理,可以执行步骤S123;若判定不需要对该组待测试数据进行解析预处理,可以执行步骤S125。
步骤S123,通过预先配置的规则解析组件对需要进行解析预处理的每组待测试数据进行解析处理,并通过该组待测试数据的目标输出组件对解析后的该组待测试数据进行格式化处理。
在本实施例中,在基于步骤S121判定一组待测试数据需要进行解析预处理时,可以先基于预先配置的规则解析组件对该组待测试数据进行解析处理,然后,再基于该组待测试数据的目标输出组件对解析后的该组待测试数据进行格式化处理。
其中,一组待测试数据的目标输出组件为,预先配置的多个输出组件中与该组待测试数据的类型相应的一个输出组件。也就是说,预先会确定多组待测试数据与多个输出组件之间的一一对应关系。
步骤S125,通过不需要进行解析预处理的每组待测试数据的目标输出组件对该组待测试数据进行解析处理和格式化处理。
在本实施例中,在基于步骤S121判定一组待测试数据不需要进行解析预处理时,可以直接基于该组待测试数据的目标输出组件对该组待测试数据进行解析处理和格式化处理。
可选地,执行步骤S121判断一组所述待测试数据是否需要进行解析预处理的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,针对每组所述待测试数据,可以判断该组待测试数据的数据量是否大于预设值或数据类型是否为预设类型,并在该组待测试数据的数据量大于预设值或数据类型为预设类型时,可以判定需要对该组待测试数据进行解析预处理。反之,在该组待测试数据的数据量不大于预设值或数据类型不为预设类型时,可以判定不需要对该组待测试数据进行解析预处理。
又例如,在另一种可以替代的示例中,针对每组所述待测试数据,可以判断获取该组待测试数据的输入组件是否关联有规则解析组件,并在该输入组件关联有规则解析组件时,判定需要对该组待测试数据进行解析预处理。反之,在该输入组件未关联有规则解析组件时,可以判定需要对该组待测试数据进行解析预处理。
可选地,执行步骤S123对待测试数据进行解析处理的具体组件不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,针对多组需要进行解析处理的待测试数据,可以通过一个规则解析组件分别进行解析处理。
又例如,在另一种可以替代的示例中,针对多组需要进行解析处理的待测试数据,可以分别通过不同的多个规则解析组件分别进行解析处理。
如此,在一种具体的应用示例中,结合图4,所述输入组件可以为4个,分别为输入组件A、输入组件B、输入组件C和输入组件D,所述规则解析组件可以为2个,分别为规则解析组件B和规则解析组件C,所述输出组件可以为4个,分别为输出组件A、输出组件B、输出组件C和输出组件D。其中,输入组件A与输出组件A关联,输入组件D与输出组件D直接关联,输入组件B与规则解析组件B关联,且规则解析组件B与输出组件B关联,输入组件C与规则解析组件C关联,且规则解析组件C与输出组件C关联。
因此,通过4个输入组件,可以获取4组待测试数据,如通过输入组件A获取待测试数据A、通过输入组件B获取待测试数据B、通过输入组件C获取待测试数据C、通过输入组件D获取待测试数据D。
其中,待测试数据A在经过输入组件A之后,会直接传输至输出组件A进行解析处理和格式化处理,得到输出数据A。待测试数据B在经过输入组件B之后,会先传输至规则解析组件B进行解析处理后,再传输至输出组件B进行格式化处理,得到输出数据B。待测试数据C在经过输入组件C之后,会先传输至规则解析组件C进行解析处理后,再传输至输出组件C进行格式化处理,得到输出数据C。待测试数据D在经过输入组件D之后,会直接传输至输出组件D进行解析处理和格式化处理,得到输出数据D。
可选地,执行步骤S123或步骤S125对待测试数据进行解析处理的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,通过解析处理可以从所述待测试数据中筛选出部分数据,然后,再将该部分数据进行格式化处理,并将格式化处理后的数据作为所述输出数据。
详细地,在一种具体的应用示例中,若所述待测试数据包括不同年龄的用户的网络行为数据。那么,可以从各个年龄段中选择出具有代表性的年龄段的数据,如15-45岁。
基于上述筛选的处理方式,可以使得在测试时,数据计算量减少,既能够有效地提高测试的效率,也能降低所述测试服务器10的工作量,从而保障该测试服务器10的有效使用寿命。
可选地,执行步骤S123或步骤S125,对待测试数据进行解析处理时的具体对象也不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,可以先将所述待测试数据进行跑数任务,然后,基于进行跑数任务得到的结果进行解析处理。
其中,所述跑数任务可以包括,但不限于,映射归约(Map Reduce)任务,根据应用需求中的实际数据类型进行确定即可。
又例如,在另一种可以替代的示例中,也可以直接对所述待测试数据进行解析处理,如直接从所述待测试数据中筛选出部分数据。
需要说明的是,为了实现对不同组数据处理的同步性和一致性,在执行步骤S121之前,步骤S120还可以包括以下步骤:
首先,可以判断所述多个输入组件中是否存在目标输入组件;其次,若存在所述目标输入组件,则判定不执行步骤S121;然后,若不存在所述目标输入组件,则判定执行步骤S121。
在本实施例中,所述目标输入组件为当前未完成获取所述待测试数据的操作的输入组件。例如,基于前述的示例,若输入组件A已经获取到全部的待测试数据A、输入组件B已经获取到全部的待测试数据B、输入组件C已经获取到全部的待测试数据C、输入组件D仅获取到部分的待测试数据D,那么,输入组件D可以为所述目标输入组件。
也就是说,在执行步骤S110获取待测试数据的过程中,可以对各所述输入组件的状态进行监测,直到每个所述输入组件都完成待测试数据的获取操作之后,判定所述多个输入组件中不存在所述目标输入组件。
对于步骤S130需要说明的是,对执行步骤S120得到的多组输出数据的具体处理方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,步骤S130可以包括以下子步骤:
通过预先配置的报告组件和预先配置的对比规则对所述多组输出数据进行测试处理,得出测试结果。
在本实施例中,所述测试结果可以包括测试通过的测试结果或测试失败的测试结果。如此,可以通过最后形成的一个数据(通过或失败)来标识所述多组待测试数据的测试结果,以避免通过所述多组数据来标识所述多组待测试数据的测试结果而存在不容易被测试人员所理解的问题。
可选地,所述对比规则的具体内容不受限制,可以根据实际应用需求进行配置,只要能够使得得到的测试结果满足实际的应用需求即可。
例如,在一种可以替代的示例中,基于预先配置的对比规则对多组输出数据进行测试处理的步骤,可以包括以下子步骤:
首先,可以针对每组所述输出数据,获取针对该组输出数据配置的对比数据;其次,可以针对每组所述输出数据,通过预先配置的报告组件将该组输出数据与所述对比数据进行比较处理。
例如,在基于前述的示例中,针对输出数据A、输出数据B、输出数据C和输出数据D,可以分别配置不同的对比数据,如对比数据A、对比数据B、对比数据C和对比数据D。
如此,可以将输出数据A与对比数据A进行比较处理,从而完成对待测试数据A的测试处理。可以将输出数据B与对比数据B进行比较处理,从而完成对待测试数据B的测试处理。可以将输出数据C与对比数据C进行比较处理,从而完成对待测试数据C的测试处理。可以将输出数据D与对比数据D进行比较处理,从而完成对待测试数据D的测试处理。
其中,基于各所述输出数据对应的比较结果,得到测试结果的具体方式不受限制,例如,若对测试结果的精确度要求较高,可以在每组所述输出数据都满足对应的对比数据的条件时,才得出表示测试通过的测试结果。
详细地,基于前述的示例,若输出数据A满足对比数据A的条件,则输出数据A(即待测试数据A)为有效测试数据;若输出数据B满足对比数据B的条件,则输出数据B(即待测试数据B)为有效测试数据;若输出数据C满足对比数据C的条件,则输出数据C(即待测试数据C)为有效测试数据;若输出数据D不满足对比数据D的条件,则输出数据D(即待测试数据D)为无效测试数据。
如此,只要所述多组输出数据中存在一个或多个无效测试数据,就可以得出测试不通过的测试结果。
进一步地,为了保证上述各步骤的有效执行,所述数据测试方法还可以包括预先配置所述多个输入组件、所述多个输出组件和所述报告组件的步骤,以及在包括所述规则解析组件时,还包括预先配置所述规则解析组件的步骤。
在本实施例中,以配置所述多个输出组件的步骤为例进行说明。如此,在一种可以替代的示例中,该步骤可以包括以下子步骤:
a,获取终端设备发送的输出初始组件,其中,该输出初始组件由所述终端设备响应用户操作确定;
b,获取所述终端设备发送的组件参数,其中,该组件参数由所述终端设备响应用户对所述输出初始组件进行参数配置的操作生成;
c,基于所述输出初始组件和所述组件参数得到所述输出组件;
依次执行步骤a、步骤b和步骤c多次,且至少有两次执行步骤b时获取的组件参数不同,以得到至少两个不同类型的输出组件。
例如,基于前述的示例,可以依次执行步骤a、步骤b和步骤c四次,得到四个输出组件。其中,执行步骤b时,可以是用户根据需要生成的输出组件需要处理的待测试数据的类型选择不同的参数,如前述的ES类型、Hive类型或MySQL类型。
结合图5,本申请实施例还提供一种可应用于上述测试服务器10的数据测试装置100。其中,所述数据测试装置100可以包括数据获取模块110、数据处理模块120和数据测试模块130。
所述数据获取模块110,用于通过预先配置的多个输入组件获取多组待测试数据,其中,所述多组待测试数据中至少包括两组不同类型的待测试数据。在本实施例中,所述数据获取模块110可用于执行图2所示的步骤S110,关于所述数据获取模块110的相关内容可以参照前文对步骤S110的描述。
所述数据处理模块120,用于通过预先配置的多个输出组件分别对所述多组待测试数据进行处理,得到多组输出数据,其中,所述多个输出组件中至少包括两个不同类型的输出组件,以对不同类型的待测试数据进行处理。在本实施例中,所述数据处理模块120可用于执行图2所示的步骤S120,关于所述数据处理模块120的相关内容可以参照前文对步骤S120的描述。
所述数据测试模块130,用于通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果。在本实施例中,所述数据测试模块130可用于执行图2所示的步骤S130,关于所述数据测试模块130的相关内容可以参照前文对步骤S130的描述。
在本申请实施例中,对应于上述的数据测试方法,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序运行时执行上述数据测试方法的各个步骤。
其中,前述计算机程序运行时执行的各步骤,在此不再一一赘述,可参考前文对所述数据测试方法的解释说明。
综上所述,本申请提供的数据测试方法和装置、测试服务器和存储介质,通过预先配置的多个输出组件分别对多组待测试数据进行处理,并基于得到的多组输出数据进行测试处理得到测试结果。如此,一方面可以自动进行测试处理,另一方面,可以实现对多组具有不同类型的数据(即混合型数据)同时或并行处理的目标,从而改善在采用现有的测试技术对混合型数据进行测试处理时操作复杂和不便的问题,具有较高的实用价值,能够有效地保障大数据的有效利用。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储单元(ROM,Read-Only Memory)、随机存取存储单元(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据测试方法,其特征在于,包括:
通过预先配置的多个输入组件获取多组待测试数据,其中,所述多组待测试数据中至少包括两组不同类型的待测试数据;
通过预先配置的多个输出组件分别对所述多组待测试数据进行处理,得到多组输出数据,其中,所述多个输出组件中至少包括两个不同类型的输出组件,以对不同类型的待测试数据进行处理;
通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果。
2.根据权利要求1所述的数据测试方法,其特征在于,所述通过预先配置的多个输出组件分别对所述多组待测试数据进行处理的步骤,包括:
判断是否需要对每组所述待测试数据进行解析预处理;
针对每组所述待测试数据,若需要对该组待测试数据进行解析预处理,则通过预先配置的规则解析组件对该组待测试数据进行解析处理,并通过该组待测试数据的目标输出组件对解析后的该组待测试数据进行格式化处理,其中,该组待测试数据的目标输出组件为,预先配置的多个输出组件中与该组待测试数据的类型相应的一个输出组件;
针对每组所述待测试数据,若不需要对该组待测试数据进行解析预处理,则通过该组待测试数据的目标输出组件对该组待测试数据进行解析处理和格式化处理,其中,该组待测试数据的目标输出组件为,预先配置的多个输出组件中与该组待测试数据的类型相应的一个输出组件。
3.根据权利要求2所述的数据测试方法,其特征在于,所述通过预先配置的多个输出组件分别对所述多组待测试数据进行处理的步骤,还包括:
判断所述多个输入组件中是否存在目标输入组件,其中,所述目标输入组件为当前未完成获取所述待测试数据的操作的输入组件;
若存在所述目标输入组件,则判定不执行所述判断是否需要对每组所述待测试数据进行解析预处理的步骤;
若不存在所述目标输入组件,则判定执行所述判断是否需要对每组所述待测试数据进行解析预处理的步骤。
4.根据权利要求1所述的数据测试方法,其特征在于,所述通过预先配置的多个输入组件获取多组待测试数据的步骤,包括:
通过预先配置的多个输入组件分别从多个数据源设备获取多组待测试数据,其中,所述多个输入组件中至少包括两个类型不同的输入组件,用于从不同类型的数据源设备获取待测试数据。
5.根据权利要求1所述的数据测试方法,其特征在于,所述通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果的步骤,包括:
通过预先配置的报告组件和预先配置的对比规则对所述多组输出数据进行测试处理,得出测试通过的测试结果或测试失败的测试结果。
6.根据权利要求5所述的数据测试方法,其特征在于,所述通过预先配置的报告组件和预先配置的对比规则对所述多组输出数据进行测试处理的步骤,包括:
针对每组所述输出数据,获取针对该组输出数据配置的对比数据;
针对每组所述输出数据,通过预先配置的报告组件将该组输出数据与所述对比数据进行比较处理。
7.根据权利要求1-6任意一项所述的数据测试方法,其特征在于,还包括预先配置所述多个输出组件的步骤,该步骤包括:
a,获取终端设备发送的输出初始组件,其中,该输出初始组件由所述终端设备响应用户操作确定;
b,获取所述终端设备发送的组件参数,其中,该组件参数由所述终端设备响应用户对所述输出初始组件进行参数配置的操作生成;
c,基于所述输出初始组件和所述组件参数得到所述输出组件;
依次执行步骤a、步骤b和步骤c多次,且至少有两次执行步骤b时获取的组件参数不同,以得到至少两个不同类型的输出组件。
8.一种数据测试装置,其特征在于,包括:
数据获取模块,用于通过预先配置的多个输入组件获取多组待测试数据,其中,所述多组待测试数据中至少包括两组不同类型的待测试数据;
数据处理模块,用于通过预先配置的多个输出组件分别对所述多组待测试数据进行处理,得到多组输出数据,其中,所述多个输出组件中至少包括两个不同类型的输出组件,以对不同类型的待测试数据进行处理;
数据测试模块,用于通过预先配置的报告组件对所述多组输出数据进行测试处理,得到所述多组待测试数据的测试结果。
9.一种测试服务器,其特征在于,包括;
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行所述计算机程序,以实现权利要求1-7任意一项所述的数据测试方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被执行时实现权利要求1-7任意一项所述的数据测试方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911075478.XA CN110837469B (zh) | 2019-11-06 | 2019-11-06 | 数据测试方法和装置、测试服务器和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911075478.XA CN110837469B (zh) | 2019-11-06 | 2019-11-06 | 数据测试方法和装置、测试服务器和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110837469A true CN110837469A (zh) | 2020-02-25 |
CN110837469B CN110837469B (zh) | 2023-08-25 |
Family
ID=69574625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911075478.XA Active CN110837469B (zh) | 2019-11-06 | 2019-11-06 | 数据测试方法和装置、测试服务器和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110837469B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140123115A1 (en) * | 2012-10-26 | 2014-05-01 | Jsmapreduce Corporation | Hybrid local/remote infrastructure for data processing with lightweight setup, powerful debuggability, controllability, integration, and productivity features |
CN105260191A (zh) * | 2015-11-03 | 2016-01-20 | 中国电子科技集团公司第四十一研究所 | 一种基于配置的测试程序与操作员界面数据交互方法 |
CN106201886A (zh) * | 2016-07-18 | 2016-12-07 | 合网络技术(北京)有限公司 | 一种实时数据任务的验证的代理方法及装置 |
CN108255712A (zh) * | 2017-12-29 | 2018-07-06 | 曙光信息产业(北京)有限公司 | 数据系统的测试系统和测试方法 |
US20180365134A1 (en) * | 2017-06-20 | 2018-12-20 | Sap Se | Core Data Services Test Double Framework Automation Tool |
CN109144799A (zh) * | 2018-08-14 | 2019-01-04 | 深圳壹账通智能科技有限公司 | 一体化测试方法、装置、计算机设备和存储介质 |
CN109344049A (zh) * | 2018-08-17 | 2019-02-15 | 华为技术有限公司 | 测试数据处理系统的方法和装置 |
CN109656812A (zh) * | 2018-11-19 | 2019-04-19 | 平安科技(深圳)有限公司 | 数据质量检测方法、装置及存储介质 |
CN109840206A (zh) * | 2018-12-26 | 2019-06-04 | 深圳壹账通智能科技有限公司 | 数据测试方法、装置、终端及存储介质 |
CN110147305A (zh) * | 2019-04-19 | 2019-08-20 | 平安普惠企业管理有限公司 | 一种基于大数据的测试模型构建方法及系统 |
-
2019
- 2019-11-06 CN CN201911075478.XA patent/CN110837469B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140123115A1 (en) * | 2012-10-26 | 2014-05-01 | Jsmapreduce Corporation | Hybrid local/remote infrastructure for data processing with lightweight setup, powerful debuggability, controllability, integration, and productivity features |
CN105260191A (zh) * | 2015-11-03 | 2016-01-20 | 中国电子科技集团公司第四十一研究所 | 一种基于配置的测试程序与操作员界面数据交互方法 |
CN106201886A (zh) * | 2016-07-18 | 2016-12-07 | 合网络技术(北京)有限公司 | 一种实时数据任务的验证的代理方法及装置 |
US20180365134A1 (en) * | 2017-06-20 | 2018-12-20 | Sap Se | Core Data Services Test Double Framework Automation Tool |
CN108255712A (zh) * | 2017-12-29 | 2018-07-06 | 曙光信息产业(北京)有限公司 | 数据系统的测试系统和测试方法 |
CN109144799A (zh) * | 2018-08-14 | 2019-01-04 | 深圳壹账通智能科技有限公司 | 一体化测试方法、装置、计算机设备和存储介质 |
CN109344049A (zh) * | 2018-08-17 | 2019-02-15 | 华为技术有限公司 | 测试数据处理系统的方法和装置 |
CN109656812A (zh) * | 2018-11-19 | 2019-04-19 | 平安科技(深圳)有限公司 | 数据质量检测方法、装置及存储介质 |
CN109840206A (zh) * | 2018-12-26 | 2019-06-04 | 深圳壹账通智能科技有限公司 | 数据测试方法、装置、终端及存储介质 |
CN110147305A (zh) * | 2019-04-19 | 2019-08-20 | 平安普惠企业管理有限公司 | 一种基于大数据的测试模型构建方法及系统 |
Non-Patent Citations (2)
Title |
---|
CHIEN-HENG WU等: "Multi-node Big Data VM Platform and Job Submission Portlet", 《2017 5TH INTL CONF ON APPLIED COMPUTING AND INFORMATION TECHNOLOGY/4TH INTL CONF ON COMPUTATIONAL SCIENCE/INTELLIGENCE AND APPLIED INFORMATICS/2ND INTL CONF ON BIG DATA, CLOUD COMPUTING, DATA SCIENCE (ACIT-CSII-BCD)》, pages 228 * |
嵇鸿: "基于Hadoop的测试系统Soak的任务管理和数据分析模块的设计与实现", 《CNKI优秀硕士学位论文全文库 信息科技辑》, no. 11, pages 138 - 10 * |
Also Published As
Publication number | Publication date |
---|---|
CN110837469B (zh) | 2023-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3563243B1 (en) | Determining application test results using screenshot metadata | |
US10769228B2 (en) | Systems and methods for web analytics testing and web development | |
US10565097B2 (en) | Orchestrating and providing a regression test | |
CN106294120B (zh) | 测试代码的方法、设备和计算机程序产品 | |
CN106874187B (zh) | 代码覆盖率收集方法和装置 | |
CN107729227B (zh) | 应用程序测试范围确定方法、系统、服务器和存储介质 | |
CN110750458A (zh) | 大数据平台测试方法、装置、可读存储介质及电子设备 | |
CN114116496A (zh) | 自动化测试方法、装置、设备及介质 | |
CN109445768B (zh) | 数据库脚本生成方法、装置、计算机设备及存储介质 | |
CN113485931A (zh) | 测试方法、装置、电子设备及计算机可读存储介质 | |
CN112306568A (zh) | 服务实例配置方法、装置、电子设备及存储介质 | |
US11294804B2 (en) | Test case failure with root cause isolation | |
CN110837469B (zh) | 数据测试方法和装置、测试服务器和存储介质 | |
CN116483888A (zh) | 程序评估方法及装置、电子设备和计算机可读存储介质 | |
CN116450483A (zh) | 一种确定软件分配的负载的方法、装置、服务器及介质 | |
CN112666360A (zh) | 一种样本信息查询方法及样本分析仪 | |
CN107229487B (zh) | 代码处理方法及装置 | |
CN114168456A (zh) | 一种基于3d-gis的前端性能自动化测试方法 | |
US20210208998A1 (en) | Function analyzer, function analysis method, and function analysis program | |
CN112631905A (zh) | 执行过程数据管理方法、装置、计算机设备及存储介质 | |
CN109901983B (zh) | 自动化测试方法及装置、存储介质、电子设备 | |
US20140236564A1 (en) | Coverage model and measurements for partial instrumentation | |
Chen et al. | Analyzing execution path non-determinism of the Linux kernel in different scenarios | |
CN106528577B (zh) | 一种设置待清理文件的方法和装置 | |
CN116401113B (zh) | 一种异构众核架构加速卡的环境验证方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |