CN112783753A - 流数据处理系统的测试方法和装置 - Google Patents

流数据处理系统的测试方法和装置 Download PDF

Info

Publication number
CN112783753A
CN112783753A CN201911083165.9A CN201911083165A CN112783753A CN 112783753 A CN112783753 A CN 112783753A CN 201911083165 A CN201911083165 A CN 201911083165A CN 112783753 A CN112783753 A CN 112783753A
Authority
CN
China
Prior art keywords
data
test
tested
input data
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911083165.9A
Other languages
English (en)
Other versions
CN112783753B (zh
Inventor
吴梦悦
杨静
戴青潭
李军亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201911083165.9A priority Critical patent/CN112783753B/zh
Publication of CN112783753A publication Critical patent/CN112783753A/zh
Application granted granted Critical
Publication of CN112783753B publication Critical patent/CN112783753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种流数据处理系统的测试方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：构造针对待测系统的测试输入数据，设置待测系统将使用的业务数据的初始值；其中，待测系统为流数据处理系统，测试输入数据为符合待测系统要求的输入数据格式的流数据；将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值；其中，测试输出数据由测试输入数据经待测系统处理后形成；依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。该实施方式能够针对流数据处理系统执行快速、高效的自动化功能测试。

Description

流数据处理系统的测试方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种流数据处理系统的测试方法和装置。
背景技术
流数据指的是顺序、快速、连续到达的数据序列，一般情况下，流数据可被视为随时间延续而无限增长的动态数据集合。针对流数据处理系统的现有测试方法主要有：代码层级的单元测试、测试环境与线上环境的DIFF测试(DIFF测试是对比相同输入下的输出差异实现测试的方法)和人工方式的功能测试。其中，单元测试无法覆盖系统层级，DIFF测试无法保证新增模块或新增功能的正确性；人工方式的功能测试效率低下，难以实现完整的功能回归测试。
发明内容
有鉴于此，本发明实施例提供一种流数据处理系统的测试方法和装置，能够针对流数据处理系统执行快速、高效的自动化功能测试。
为实现上述目的，根据本发明的一个方面，提供了一种流数据处理系统的测试方法。
本发明实施例的流数据处理系统的测试方法包括：构造针对待测系统的测试输入数据，设置待测系统将使用的业务数据的初始值；其中，待测系统为流数据处理系统，测试输入数据为符合待测系统要求的输入数据格式的流数据；将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值；其中，测试输出数据由测试输入数据经待测系统处理后形成；依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。
可选地，构造形成的测试输入数据为JSON格式的日志数据；以及，所述方法进一步包括：在构造测试输入数据之后，将该测试输入数据转换为ProtoBuf格式发送到第一消息队列的生产者单元；其中，待测系统调用第一消息队列的消费者单元获取测试输入数据。
可选地，所述方法进一步包括：在待测系统输出测试输出数据之后，将该测试输出数据发送到第二消息队列的生产者单元；其中，该测试输出数据为ProtoBuf格式的日志数据；调用第二消息队列的消费者单元获取该测试输出数据，并将该测试输出数据转换为JSON格式用于校验。
可选地，校验测试输出数据包括：校验测试输出数据中是否包括期望字段以及期望字段数据是否与所述测试期望值一致。
可选地，第一消息队列和第二消息队列都为Kakfa，所述业务数据的初始值和当前值存储在与待测系统连接的数据库中。
为实现上述目的，根据本发明的另一方面，提供了一种流数据处理系统的测试装置。
本发明实施例的流数据处理系统的测试装置可包括：数据构造模块，用于构造针对待测系统的测试输入数据并设置待测系统将使用的业务数据的初始值；其中，待测系统为流数据处理系统，测试输入数据为符合待测系统要求的输入数据格式的流数据；输入输出模块，用于将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值；其中，测试输出数据由测试输入数据经待测系统处理后形成；校验模块，用于依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。
可选地，校验模块可进一步用于：校验测试输出数据中是否包括期望字段以及期望字段数据是否与所述测试期望值一致。
可选地，测试输入数据和测试输出数据都为日志数据，所述业务数据的初始值和当前值存储在与待测系统连接的数据库中。
为实现上述目的，根据本发明的又一方面，提供了一种电子设备。
本发明的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的流数据处理系统的测试方法。
为实现上述目的，根据本发明的再一方面，提供了一种计算机可读存储介质。
本发明的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的流数据处理系统的测试方法。
根据本发明的技术方案，上述发明中的一个实施例具有如下优点或有益效果：首先，构造符合待测流数据处理系统输入要求的测试输入数据并初始化待测系统需使用的业务数据；之后，将测试输入数据输入待测系统，获取待测系统输出的测试输出数据以及经过待测系统计算得到的业务数据当前值；最后，依据预先确定的测试期望值对测试输出数据与业务数据当前值进行校验，最终得到针对待测系统的测试结果。以上步骤可通过自动化运行的测试用例执行，从而实现待测系统真实运行环境的模拟以及待测功能的快速、高效、端到端(即主要考虑待测系统的输入端和输出端)测试，避免了目前使用的单元测试、DIFF测试、手工测试固有的缺陷。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例中流数据处理系统的测试方法的主要步骤示意图；
图2是本发明实施例中信息对象计费系统的原理示意图；
图3是本发明实施例中流数据处理系统的测试方法所使用的测试框架示意图；
图4是本发明实施例中流数据处理系统的测试装置的组成部分示意图；
图5是根据本发明实施例可以应用于其中的示例性系统架构图；
图6是用来实现本发明实施例中流数据处理系统的测试方法的电子设备结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
可以理解，本发明所使用的术语“第一”、“第二”等在本文中用于描述各种单元，但这些单元不受上述术语限制。上述术语仅用于将一个单元与另一个单元区分。举例而言，在不脱离本发明范围的情况下，可以将第一消息队列称为第二消息队列，也可以将第二消息队列称为第一消息队列，第一消息队列与第二消息队列都是消息队列，但二者不是同一消息队列。此外，需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。
图1是本发明实施例中流数据处理系统的测试方法的主要步骤示意图。
如图1所示，本发明实施例的流数据处理系统的测试方法可具体按照如下步骤执行：
步骤S101：构造针对待测系统的测试输入数据，设置待测系统将使用的业务数据的初始值。
在本发明实施例中，待测系统为流数据处理系统，测试输入数据为流数据，需要符合待测系统要求的输入数据格式。例如，待测系统要求的输入数据如果是具有某些字段的日志数据，则构造的测试输入数据必须是具有这些字段的日志数据。构造测试输入数据时，可提取待测系统要求输入的字段进行赋值。实际应用中，通过上述构造过程形成的测试输入数据为JS对象标记JSON(JavaScript Object Notation) 等可读数据格式，但是待测系统处理的往往是序列化格式数据，例如 ProtoBuf(一种语言无关、平台无关、可扩展的序列化数据结构)格式，因此在输入待测系统之前需要将测试输入数据从JSON格式转换到ProtoBuf格式。
在本步骤中，还需要设置待测系统将使用的业务数据的初始值，即对业务数据执行初始化。其中，业务数据可以是待测系统在工作过程中需要使用的一种或多种数据，其一般存储在与待测系统连接的数据库中。可以理解，以上数据库可以是Mysql、MongoDB、JimDB等各种适用数据库。在待测系统处理测试输入数据之后，业务数据一般会发生更新，在针对待测系统的测试过程中，需要校验业务数据的更新是否符合预期。
步骤S102：将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值。
作为一个优选方案，可通过设置在待测系统输入端的第一消息队列实现测试输入数据的输入。具体地，在利用步骤S101构造测试输入数据之后，可将该测试输入数据转换为ProtoBuf格式发送到第一消息队列的生产者单元，待测系统可调用第一消息队列的消费者单元获取 ProtoBuf格式的测试输入数据并执行处理。具体应用中，第一消息队列可以是Kafka(一种发布订阅模式的分布式日志系统)。
在处理完毕之后，待测系统输出对应于测试输入数据的测试输出数据，同时更新数据库中的业务数据。实际应用中，待测系统可利用设置在输出端的第二消息队列实现数据输出。具体地，在待测系统输出测试输出数据之后，可将该测试输出数据发送到第二消息队列的生产者单元，该测试输出数据可以是ProtoBuf格式的日志数据。此后，可调用第二消息队列的消费者单元获取该测试输出数据，并将该测试输出数据转换为JSON格式用于后续校验。
步骤S103：依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。
在本步骤中，测试期望值包括针对测试输出数据的期望值和针对业务数据的期望值，前者可利用待测系统的数据处理逻辑对测试输入数据进行计算获得，后者可利用待测系统的数据处理逻辑对业务数据初始值进行计算获得。实际应用中，依据测试期望值校验测试输出数据和业务数据当前值具体为：校验测试输出数据与其期望值是否一致、校验业务数据当前值与其期望值是否一致。在校验测试输出数据时，可首先校验测试输出数据中是否包括每一期望字段；在测试输出数据包括每一期望字段时再校验期望字段数据是否与预先计算的测试期望值一致。在针对测试输出数据和业务数据当前值的校验全部通过时，确定此次测试成功；在一项或多项校验未通过时，确定此次测试失败。
以下将以信息对象计费系统为例说明流数据处理系统的测试方法。其中，信息对象指的是作为信息载体的特定形式的数据对象或虚拟信息，例如在线广告。图2是本发明实施例中信息对象计费系统的原理示意图，如图2所示，信息对象计费系统(以下简称为计费系统)可采用Jstorm等分布式实时计算引擎，其通过第一消息队列(即图2中输入端的Kafka)获取上游系统下发的流式日志数据(即图2中的计费前点击日志和计费前展现日志，输入到计费系统的日志数据已经转换为ProtoBuf格式)，并利用预设的数据处理逻辑进行计费运算，运算过程中需要使用数据库中存储的业务数据(即图2中的预算、财务状态)。运算完成之后，计费系统可通过第二消息队列(即图2中输出端的Kafka)输出计费后点击日志数据和计费后展现日志数据，并更新数据库中的业务数据，更新后的业务数据即为图2中输出端的已花费、财务状态和余额。实际场景中，输入端可存储已花费数据(其数值一般是零)和余额数据，输出端也可存储预算数据(一般地，其数值与输入端相同)。
可以理解，历史时期信息对象的点击日志数据和展现日志数据能够用于针对广告主的计费。财务状态包括广告主当前拥有的多种维度的货币金额，其可对应于一个或者多个广告计划；余额指的是由财务状态中的多种货币金额转换得到的一种维度的货币金额。预算指的是针对一个广告计算的预期花费金额，已花费数据指的是计费过程花费的货币金额。实际应用中，输出端的已花费数据(即已花费数据的当前值)可由输入的日志数据和计费系统的数据处理逻辑确定，输出端的财务状态(即财务状态数据的当前值)与输入端的财务状态(即财务状态数据的初始值)和已花费数据相关，输出端的余额(即余额数据的当前值)可对财务状态数据的当前值进行计算得到。此外，计费后日志数据相对于计费前日志数据而言，一般可增加一个或多个与计费相关的字段。因此，在对计费系统的输出数据进行校验时，既需要校验已花费、财务状态、余额等数据，也需要校验输出的日志数据是否具有计费相关字段以及计费相关字段的数值是否正确。
图3是本发明实施例中流数据处理系统的测试方法所使用的测试框架示意图，如图3所示，测试框架可采用Python(一种编程语言) 实现，并运行在Linux(一种操作系统)环境下。测试框架包括：用于清理环境和日志信息(即图3中的clean功能)以及拉取新的Python 环境和ProtoBuf(即图3中的init env功能)的buid.sh文件，用于读取配置文件以连接Jstorm、Kafka(即图3中的启动连接功能)以及提交并执行测试用例(即图3中的执行case功能)的main.py文件，用于外部组件配置的config(配置单元)，用于封装公共类和公共方法以及执行测试用例控制的frame(框架单元)，用于测试用例管理的case(测试用例单元)，用于管理测试过程中日志的log(日志单元)，以及用于管理公共依赖包、第三方依赖包、特定工具的lib(库单元)。
其中，上述frame包括用于管理公共类和文件的common单元、用于控制测试用例执行的control单元和用于在测试用例执行失败后分析追踪的errorlocate单元。control单元包括用于过滤并获取测试用例的 picker单元、用于读取并执行测试用例的suiter单元、用于记录测试用例执行结果和异常信息的resulter单元以及用于生成测试报告的reporter单元。上述case可实现测试用例类结构固定化(即图3中的单个case功能)并可根据文件名组织管理case(即图3中的case目录功能)。
上述log可包括如xts.log的测试用例执行日志，如result.txt、 result.json的测试结果日志，如report.html的报告日志。报告日志还可在测试用例执行过程中实时打印每一测试用例的执行情况(即图3中的终端输出功能)。上述lib可包括用于管理公共依赖包的public单元、用于管理日志信息依赖的ProtoBuf文件以及编译后Python文件的protobuf单元、用于管理第三方依赖包的thirdlib单元、用于管理特定工具的tools单元。其中，tools中的特定工具可以包括用于将数据发往 Kafka的producer工具、用于消费Kafka中数据的consumer工具以及用于校验数据库中业务数据的checker工具。
基于上述测试框架的计费系统测试流程可如下所示。第一步，明确测试需求，确定测试用例的测试点以及测试效果。第二步，开始编写测试用例。具体地，首先，构造JSON格式的点击日志和展现日志，并提取常用字段以参数形式进行赋值，并根据计费系统逻辑执行数据库中预算、已花费、财务状态、余额等数据的初始化。接着，将JSON 数据序列化为ProtoBuf数据并利用producer工具发往输入端Kafka。最后进行结果校验，调用consumer工具消费输出端Kafka中的ProtoBuf 日志数据并将其转换为JSON数据，校验日志数据中是否包含计费相关字段且该字段数值是否正确，调用checker工具校验数据库中已花费数据、财务状态数据、余额数据的当前值与测试期望值是否相同。校验时可使用assert(测试用例中的一种判断逻辑)进行数据比对与测试结果返回。第三步，执行测试用例并执行环境清理和环境初始化。第四步，得到测试结果并执行后续分析。这样即实现计费系统的完整测试流程。
在本发明实施例的技术方案中，首先，构造符合待测流数据处理系统输入要求的测试输入数据并初始化待测系统需使用的业务数据；之后，将测试输入数据输入待测系统，获取待测系统输出的测试输出数据以及经过待测系统计算得到的业务数据当前值；最后，依据预先确定的测试期望值对测试输出数据与业务数据当前值进行校验，最终得到针对待测系统的测试结果。以上步骤可通过自动化运行的测试用例执行，从而实现待测系统真实运行环境的模拟以及待测功能的快速、高效、端到端测试，避免了目前使用的单元测试、DIFF测试、手工测试固有的缺陷。
需要说明的是，对于前述的各方法实施例，为了便于描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，某些步骤事实上可以采用其它顺序进行或者同时进行。此外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是实现本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图4所示，本发明实施例提供的流数据处理系统的测试装置400可以包括：数据构造模块401、输入输出模块402和校验模块 403。
其中，数据构造模块401可用于构造针对待测系统的测试输入数据并设置待测系统将使用的业务数据的初始值；其中，待测系统为流数据处理系统，测试输入数据为符合待测系统要求的输入数据格式的流数据；输入输出模块402可用于将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值；其中，测试输出数据由测试输入数据经待测系统处理后形成；校验模块403可用于依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。
在本发明实施例中，构造形成的测试输入数据为JSON格式的日志数据；输入输出模块402可进一步用于：在构造测试输入数据之后，将该测试输入数据转换为ProtoBuf格式发送到第一消息队列的生产者单元；在待测系统输出测试输出数据之后，将该测试输出数据发送到第二消息队列的生产者单元；调用第二消息队列的消费者单元获取该测试输出数据，并将该测试输出数据转换为JSON格式用于校验。其中，待测系统调用第一消息队列的消费者单元获取测试输入数据，该测试输出数据为ProtoBuf格式的日志数据。
具体应用中，校验模块403可进一步用于：校验测试输出数据中是否包括期望字段以及期望字段数据是否与所述测试期望值一致。以及，第一消息队列和第二消息队列都为Kakfa，所述业务数据的初始值和当前值存储在与待测系统连接的数据库中。
根据本发明实施例的技术方案，首先，构造符合待测流数据处理系统输入要求的测试输入数据并初始化待测系统需使用的业务数据；之后，将测试输入数据输入待测系统，获取待测系统输出的测试输出数据以及经过待测系统计算得到的业务数据当前值；最后，依据预先确定的测试期望值对测试输出数据与业务数据当前值进行校验，最终得到针对待测系统的测试结果。以上步骤可通过自动化运行的测试用例执行，从而实现待测系统真实运行环境的模拟以及待测功能的快速、高效、端到端测试，避免了目前使用的单元测试、DIFF测试、手工测试固有的缺陷。
图5示出了可以应用本发明实施例的流数据处理系统的测试方法或流数据处理系统的测试装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505(此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整)。网络504用以在终端设备501、502、503 和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505 交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用，例如软件测试应用等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所操作的软件测试应用提供支持的后台服务器(仅为示例)。后台服务器可以对接收到的测试请求请求进行处理，并将处理结果(例如测试结果--仅为示例)反馈给终端设备501、502、503。
需要说明的是，本发明实施例所提供的流数据处理系统的测试方法一般由服务器505执行，相应地，流数据处理系统的测试装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
本发明还提供了一种电子设备。本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的流数据处理系统的测试方法。
下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608 加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文的主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在上述实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元601 执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据构造模块、输入输出模块和校验模块。其中，这些模块的名称在某种情况下并不构成对模块本身的限定，例如，数据构造模块还可以被描述为“向输入输出模块发送测试输入数据的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中的。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备执行的步骤包括：构造针对待测系统的测试输入数据，设置待测系统将使用的业务数据的初始值；其中，待测系统为流数据处理系统，测试输入数据为符合待测系统要求的输入数据格式的流数据；将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值；其中，测试输出数据由测试输入数据经待测系统处理后形成；依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。
在本发明实施例的技术方案中，首先，构造符合待测流数据处理系统输入要求的测试输入数据并初始化待测系统需使用的业务数据；之后，将测试输入数据输入待测系统，获取待测系统输出的测试输出数据以及经过待测系统计算得到的业务数据当前值；最后，依据预先确定的测试期望值对测试输出数据与业务数据当前值进行校验，最终得到针对待测系统的测试结果。以上步骤可通过自动化运行的测试用例执行，从而实现待测系统真实运行环境的模拟以及待测功能的快速、高效、端到端测试，避免了目前使用的单元测试、DIFF测试、手工测试固有的缺陷。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种流数据处理系统的测试方法，其特征在于，包括：
构造针对待测系统的测试输入数据，设置待测系统将使用的业务数据的初始值；其中，待测系统为流数据处理系统，测试输入数据为符合待测系统要求的输入数据格式的流数据；
将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值；其中，测试输出数据由测试输入数据经待测系统处理后形成；
以及，依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。
2.根据权利要求1所述的方法，其特征在于，构造形成的测试输入数据为JSON格式的日志数据；以及，所述方法进一步包括：
在构造测试输入数据之后，将该测试输入数据转换为ProtoBuf格式发送到第一消息队列的生产者单元；其中，待测系统调用第一消息队列的消费者单元获取测试输入数据。
3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
在待测系统输出测试输出数据之后，将该测试输出数据发送到第二消息队列的生产者单元；其中，该测试输出数据为ProtoBuf格式的日志数据；
调用第二消息队列的消费者单元获取该测试输出数据，并将该测试输出数据转换为JSON格式用于校验。
4.根据权利要求1所述的方法，其特征在于，校验测试输出数据包括：
校验测试输出数据中是否包括期望字段以及期望字段数据是否与所述测试期望值一致。
5.根据权利要求3所述的方法，其特征在于，第一消息队列和第二消息队列都为Kakfa，所述业务数据的初始值和当前值存储在与待测系统连接的数据库中。
6.一种流数据处理系统的测试装置，其特征在于，包括：
数据构造模块，用于构造针对待测系统的测试输入数据并设置待测系统将使用的业务数据的初始值；其中，待测系统为流数据处理系统，测试输入数据为符合待测系统要求的输入数据格式的流数据；
输入输出模块，用于将测试输入数据输入待测系统，得到测试输出数据和业务数据当前值；其中，测试输出数据由测试输入数据经待测系统处理后形成；
校验模块，用于依据预先确定的测试期望值校验测试输出数据和业务数据当前值，获得针对待测系统的测试结果。
7.根据权利要求6所述的装置，其特征在于，校验模块进一步用于：
校验测试输出数据中是否包括期望字段以及期望字段数据是否与所述测试期望值一致。
8.根据权利要求6或7所述的装置，其特征在于，测试输入数据和测试输出数据都为日志数据，所述业务数据的初始值和当前值存储在与待测系统连接的数据库中。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201911083165.9A 2019-11-07 2019-11-07 流数据处理系统的测试方法和装置 Active CN112783753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911083165.9A CN112783753B (zh) 2019-11-07 2019-11-07 流数据处理系统的测试方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911083165.9A CN112783753B (zh) 2019-11-07 2019-11-07 流数据处理系统的测试方法和装置

Publications (2)

Publication Number Publication Date
CN112783753A true CN112783753A (zh) 2021-05-11
CN112783753B CN112783753B (zh) 2024-04-12

Family

ID=75747868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911083165.9A Active CN112783753B (zh) 2019-11-07 2019-11-07 流数据处理系统的测试方法和装置

Country Status (1)

Country Link
CN (1) CN112783753B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224461A (zh) * 2015-10-23 2016-01-06 网易（杭州）网络有限公司 一种集成测试用例的生成方法和装置
US20160283715A1 (en) * 2013-03-14 2016-09-29 Sas Institute Inc. Unauthorized activity detection and classification
CN106648945A (zh) * 2016-09-30 2017-05-10 北京金山安全软件有限公司 一种接口数据测试方法、装置及电子设备
CN107423893A (zh) * 2017-07-19 2017-12-01 北京京东尚科信息技术有限公司 一种业务流程的全覆盖测试方法和装置
CN109240909A (zh) * 2018-08-03 2019-01-18 北京马上慧科技术有限公司 一种基于注册中心的数据文件验证方法
CN109344170A (zh) * 2018-09-04 2019-02-15 阿里巴巴集团控股有限公司 流数据处理方法、系统、电子设备及可读存储介质
CN110391950A (zh) * 2018-04-17 2019-10-29 北京京东尚科信息技术有限公司 一种应用服务测试方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283715A1 (en) * 2013-03-14 2016-09-29 Sas Institute Inc. Unauthorized activity detection and classification
CN105224461A (zh) * 2015-10-23 2016-01-06 网易（杭州）网络有限公司 一种集成测试用例的生成方法和装置
CN106648945A (zh) * 2016-09-30 2017-05-10 北京金山安全软件有限公司 一种接口数据测试方法、装置及电子设备
CN107423893A (zh) * 2017-07-19 2017-12-01 北京京东尚科信息技术有限公司 一种业务流程的全覆盖测试方法和装置
CN110391950A (zh) * 2018-04-17 2019-10-29 北京京东尚科信息技术有限公司 一种应用服务测试方法和装置
CN109240909A (zh) * 2018-08-03 2019-01-18 北京马上慧科技术有限公司 一种基于注册中心的数据文件验证方法
CN109344170A (zh) * 2018-09-04 2019-02-15 阿里巴巴集团控股有限公司 流数据处理方法、系统、电子设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯瑶;孙骏亚;刘跃光;王智忠;: "基于交易日志的自动化测试技术在功能测试中的应用", 中国金融电脑, no. 11 *
徐玉景: "基于Kafka的全链路流数据处理平台的设计与实现", 中国优秀硕士学位论文全文数据库 *

Also Published As

Publication number Publication date
CN112783753B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN108415832B (zh) 接口自动化测试方法、装置、设备及存储介质
CN110674047B (zh) 软件测试方法、装置及电子设备
CN111221727B (zh) 测试方法、装置、电子设备和计算机可读介质
CN112947919A (zh) 构建业务模型和处理业务请求的方法和装置
CN111444077A (zh) 一种生成流程节点测试数据的方法和装置
CN115801873A (zh) 服务发布方法、系统、电子设备及存储介质
CN115526587A (zh) 一种海关报文的生成方法和装置
CN112783753B (zh) 流数据处理系统的测试方法和装置
CN113312900A (zh) 数据校验的方法和装置
CN113392002A (zh) 一种测试系统构建方法、装置、设备及存储介质
CN113434382A (zh) 数据库性能监控方法、装置、电子设备及计算机可读介质
CN109669668B (zh) 一种系统性能测试中实现模拟交易执行的方法和装置
CN113495498A (zh) 用于硬件设备的模拟方法、模拟器、设备和介质
CN112363716A (zh) 动态组装评估模型的方法、系统和装置
CN113778844A (zh) 一种自动化性能测试方法和装置
CN112579428A (zh) 接口测试的方法、装置、电子设备和存储介质
CN111258879A (zh) 一种基于页面采集的业务测试调度方法、装置及智能终端
CN113360368B (zh) 一种软件性能测试的方法和装置
CN114817073A (zh) 自动化测试方法、装置、设备、介质和程序产品
CN114637671A (zh) 一种用户界面交互的自动化测试方法和装置
CN113778476A (zh) 更新移动应用版本的方法、装置、设备和计算机可读介质
CN117112388A (zh) 一种测试处理方法和装置
CN114579444A (zh) 自动化测试方法、装置、电子设备、存储介质及程序产品
CN116107908A (zh) 一种单元测试代码生成方法和装置
CN113407844A (zh) 小程序框架的版本推荐方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant