CN111026635A - 一种软件项目的测试系统、方法、装置及存储介质 - Google Patents

一种软件项目的测试系统、方法、装置及存储介质 Download PDF

Info

Publication number
CN111026635A
CN111026635A CN201910924470.XA CN201910924470A CN111026635A CN 111026635 A CN111026635 A CN 111026635A CN 201910924470 A CN201910924470 A CN 201910924470A CN 111026635 A CN111026635 A CN 111026635A
Authority
CN
China
Prior art keywords
interface
test case
unit
test
interface test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910924470.XA
Other languages
English (en)
Other versions
CN111026635B (zh
Inventor
王欣
蔡军高
杨鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Suibian Technology Co ltd
Original Assignee
Zhuhai Suibian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Suibian Technology Co ltd filed Critical Zhuhai Suibian Technology Co ltd
Priority to CN201910924470.XA priority Critical patent/CN111026635B/zh
Publication of CN111026635A publication Critical patent/CN111026635A/zh
Application granted granted Critical
Publication of CN111026635B publication Critical patent/CN111026635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种软件项目的测试系统、方法、装置及存储介质,该系统包括:表现层、服务支持层、控制管理层、存储层及客户层;所述表现层,用于提供测试界面;所述服务支持层,用于将前端信息与后端信息分离,实现跨域支持;所述控制管理层,用于按照设定的后端业务逻辑,对所述测试操作信息进行处理;所述存储层,用于存储测试结果;所述客户层,用于调用Jmeter客户端资源,以执行与所述测试操作信息匹配的性能测试任务。本发明实施例公开的技术方案,构建了软件项目的测试系统,该系统可以进行接口测试和性能测试,丰富了系统的功能性,降低了软件项目的测试成本,极大地提高了测试效率。

Description

一种软件项目的测试系统、方法、装置及存储介质
技术领域
本发明实施例涉及软件技术领域,尤其涉及一种软件项目的测试系统、方法、装置及存储介质。
背景技术
随着网络技术的迅速发展,越来越多的软件开始走进人们的视线中,而业务的不断发展,使得各个软件项目需要不断地迭代更新,因此,对于软件项目的性能测试以及接口测试的需求变得极为频繁。
现有的接口测试系统,通常选择基于Python语言的Django框架,或者SSM(Spring+SpringMVC+MyBatis)框架作为系统开发框架,并以此实现RESTful(RepresentationalState Transfer full)接口的测试;而性能测试系统则是通过在线上传测试脚本和数据文件的方式,对软件项目中的各项性能指标进行测试。
然而,现有技术对于一个软件项目的接口测试以及性能测试,需要分别建立不同的测试系统,分别完成上述测试,同时,现有的接口测试系统,只能实现RESTful接口的测试,不能实现Dubbo接口的测试,功能性单一,而现有的性能测试系统不能实现在线编辑,对于测试脚本和数据文件的修改,只能在线下进行,并重新上传对应的文件,测试过程繁琐,效率较低。
发明内容
本发明实施例提供了一种软件项目的测试系统、方法、装置及存储介质,以实现软件项目的接口测试和性能测试。
第一方面,本发明实施例提供了一种软件项目的测试系统,该系统包括:表现层、服务支持层、控制管理层、存储层及客户层;
所述表现层,用于提供测试界面,并将通过所述测试界面获取到的用户的测试操作信息传输至所述服务支持层;
所述服务支持层,用于将所述测试操作信息传输至所述控制管理层,以将前端信息与后端信息分离,实现跨域支持;
所述控制管理层,用于按照设定的后端业务逻辑,对所述测试操作信息进行处理;如果确定所述测试操作信息属于接口测试任务,则执行与所述测试操作信息匹配的接口测试任务,并将接口测试结果传输至所述存储层;如果确定所述测试操作信息属于性能测试任务,则触发所述客户层执行与所述测试操作信息匹配的性能测试任务;
所述存储层,用于存储控制管理层和/或所述客户层传输的测试结果;
所述客户层,用于在检测到所述控制管理层的触发指令时,调用与所述触发指令匹配的至少一个Jmeter客户端资源,以执行与所述测试操作信息匹配的性能测试任务,并将性能测试结果传输至所述存储层。
第二方面,本发明实施例提供了一种软件项目的接口测试方法,应用于本发明实施例一所述的软件项目的测试系统中,该方法包括:
通过接口测试用例组单元,和/或接口测试用例套件单元获取接口测试任务;
通过所述接口测试用例组单元,和/或接口测试用例套件单元生成与所述接口测试任务匹配的接口测试用例组信息,和/或接口测试用例套件信息,并提供给执行控制单元;
通过所述执行控制单元从接口测试用例单元中,获取与所述接口测试用例组信息,和/或接口测试用例套件信息匹配的接口测试用例进行执行,并生成接口测试报告。
第三方面,本发明实施例提供了一种软件项目的性能测试方法,应用于本发明实施例一所述的软件项目的测试系统中,该方法包括:
通过性能测试用例单元获取性能测试用例;
通过脚本处理校验单元验证所述性能测试用例的完整性;
根据性能测试任务,获取对应的性能测试用例,分配匹配的Jmeter客户端资源执行性能测试,并通过监控调度单元获取性能测试执行中的监测数据;
根据所述监测数据生成性能测试报告。
第四方面,本发明实施例提供了一种软件项目的接口测试装置,包括:
接口测试任务获取模块,集成于接口测试用例组单元和/或接口测试用例套件单元中,用于获取接口测试任务;
测试信息生成模块,集成于接口测试用例组单元和/或接口测试用例套件单元中,用于生成与所述接口测试任务匹配的接口测试用例组信息,和/或接口测试用例套件信息,并提供给执行控制单元;
接口测试执行模块,应用于所述执行控制单元中,用于从接口测试用例单元中,获取与所述接口测试用例组信息,和/或接口测试用例套件信息匹配的接口测试用例进行执行,并生成接口测试报告。
第五方面,本发明实施例提供了一种软件项目的性能测试装置,包括:
性能测试用例获取模块,集成于性能测试用例单元中,用于获取性能测试用例;
完整性验证模块,集成于脚本处理校验单元中,用于验证所述性能测试用例的完整性;
性能测试执行模块,用于根据性能测试任务,获取对应的性能测试用例,分配匹配的Jmeter客户端资源执行性能测试,并通过监控调度单元获取性能测试执行中的监测数据;
测试报告生成模块,用于根据所述监测数据生成性能测试报告。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例二所述的软件项目的接口测试方法,或者实现本发明实施例三所述的软件项目的性能测试方法。
本发明实施例公开的技术方案,构建了软件项目的测试系统,通过控制管理层完成了接口测试用例和接口测试任务的管理,并实现了接口测试,同时,通过控制管理层对性能测试用例和性能测试任务的管理,并调用Jmeter客户端实现了性能测试,使得该测试系统同时完成了接口测试和性能测试,丰富了测试系统的功能性,降低了测试成本,极大地提高了测试效率。
附图说明
图1A是本发明实施例一提供的一种软件项目的测试系统的结构框图;
图1B是本发明实施例一提供的软件项目的测试系统的技术架构图;
图2是本发明实施例二提供的一种软件项目的接口测试方法的流程图;
图3是本发明实施例三提供的一种软件项目的性能测试方法的流程图;
图4是本发明实施例四提供的一种软件项目的接口测试装置的结构框图;
图5是本发明实施例五提供的一种软件项目的性能测试装置的结构框图;
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种软件项目的测试系统的结构框图,该系统包括:表现层100、服务支持层200、控制管理层300、存储层400及客户层500;
所述表现层100,用于提供测试界面,并将通过所述测试界面获取到的用户的测试操作信息传输至所述服务支持层200。
表现层100位于所述软件项目的测试系统的最上层,与用户(即测试人员)直接接触,包括Web页面,其主要功能是输入系统需要的测试数据。
可选的,如图1B所示,表现层100基于Vue.js以及Element UI开发生成;其中,Vue.js是基于JavaScript语言,用于构建用户界面的开发框架;Element UI是基于Vue.js的2.0版本的桌面端组件库。
所述服务支持层200,用于将所述测试操作信息传输至所述控制管理层300,以将前端信息与后端信息分离,实现跨域支持。
服务支持层200,也即中间层(Middle Tier),是表现层100与控制管理层300之间的逻辑层,一般在该层中通过设置Web服务器,实现业务对象的实例化。服务支持层200是生成并操作接收信息的业务规则和函数的集合。
可选的,如图1B所示,服务支持层200基于Nginx和Grafanan开发生成;其中,Nginx是轻量级的Web服务器,具有稳定性强、功能集丰富、具有示例配置文件和低系统资源等特点;Grafanan是度量分析及可视化工具,将采集的数据进行可视化展示。
所述控制管理层300,用于按照设定的后端业务逻辑,对所述测试操作信息进行处理;如果确定所述测试操作信息属于接口测试任务,则执行与所述测试操作信息匹配的接口测试任务,并将接口测试结果传输至所述存储层;如果确定所述测试操作信息属于性能测试任务,则触发所述客户层执行与所述测试操作信息匹配的性能测试任务。
可选的,在本发明实施例中,所述控制管理层300,包括:接口测试模块和性能测试模块;
所述接口测试模块,用于实现接口测试用例和接口测试任务的管理,以及执行与接口测试任务匹配的接口测试;
具体的,所述接口测试模块,包括:接口测试用例单元、执行控制单元、接口测试用例组单元以及接口测试用例套件单元;
所述接口测试用例单元,用于管理多个接口测试用例。接口测试用例单元还可以展示当前用户可执行的接口测试用例,以及接口测试用例的增加、删除、修改和查询;同时,接口测试用例单元支持接口详情二次编辑,减少编写工作量;而其具有的复制功能则提高了接口测试用例的编写效率;另外,在监测到接口测试用例被其它用户修改时,还会提供消息通知该接口测试用例的创建者。
所述执行控制单元,用于根据所述接口测试用例组单元发送的接口测试用例组的信息,从所述接口测试用例单元中获取匹配的接口测试用例进行执行,并将执行结果提供给所述接口测试用例组单元;或者,用于根据所述接口测试用例套件单元发送的接口测试用例套件的信息,从所述述接口测试用例单元中获取匹配的接口测试用例进行执行。
所述接口测试用例组单元,用于管理接口测试用例组,所述接口测试用例组包括至少一个接口测试用例。接口测试用例组是接口测试用例的聚合,是实现特定的业务场景的一组接口测试用例的集合;接口测试用例组单元可以对接口测试用例组进行创建、删除和修改等操作,并可以停用指定的接口测试用例。
所述接口测试用例套件单元,用于管理接口测试用例套件,所述接口测试用例套件包括至少一个接口测试用例以及至少一个接口测试用例套件单元。接口测试用例套件是接口测试用例和接口测试用例组的集合,主要用于回归测试以及线上的监控预警;接口测试用例套件单元可以对接口测试用例套件进行创建、删除和修改,并可以停用指定的接口测试用例和接口测试用例组。
可选的,在本发明实施例中,所述接口测试模块,还包括:接口管理单元和增量代码覆盖率获取单元。
所述接口管理单元,用于展示接口信息;所述接口信息包括请求参数示例、响应信息、状态码和描述信息。接口管理单元还具有接口信息的后台同步功能,具体的,基于注解的方式在程序打包的过程中扫描注解获取接口信息,生成JSON格式接口文件上传至控制管理层300,控制管理层300监听文件夹的文件变化,读取新文件并解析文件信息更新当前用户的接口数据,实现接口的自动发现更新维护,并通知相关管理人员。
所述增量代码覆盖率获取单元,用于计算增量代码的覆盖率。代码覆盖率获取单元从代码库中获取当前提交的代码的版本号以及上一次提交的代码的版本号,并进行比对,以获取增量代码变更记录;通过代码覆盖工具Jacoco,在接口测试用例执行时生成Dump文件,其中Dump文件保存了接口测试用例的执行状态;根据上述代码变更记录以及Dump文件生成增量代码覆盖率报告。增量代码覆盖率表示了新增代码被测试的比例。
所述性能测试模块,用于实现性能测试用例和性能测试任务的管理,以及为性能测试任务分配Jmeter客户端资源后,使用分配的Jmeter客户端资源构造所述触发指令传输至所述客户层。
具体的,所述性能测试模块,包括:性能测试用例单元、脚本处理校验单元、Agent调度单元和监测调度单元。
所述性能测试用例单元,用于管理性能测试用例。性能测试脚本支持单线程迭代验证功能,实时获取运行结果;性能测试场景支持分布式和单节点两种方式运行,在分布式的运行场景中,测试数据提供分布式分片开关配置,性能测试任务在多节点分布式执行时,性能测试的数据文件及依赖JAR数据包自动传输至Slave节点,性能测试的数据文件根据配置自动实现数据分片功能。
所述脚本处理校验单元,用于验证所述性能测试用例的完整性。
所述Agent调度单元,用于管理性能测试任务以及Jmeter客户端资源的分配。Agent是驻留在某一环境下,能持续自主地发挥作用,具备驻留性、反应性、社会性和主动性等特征的计算实体。
所述监测调度单元,用于获取性能测试执行中的监测数据。
可选的,在本发明实施例中,所述控制管理层300,还包括:系统管理模块和应用管理模块。
所述系统管理模块,用于管理用户信息、用户权限以及系统资源监控;
具体的,所述系统管理模块,可以包括:用户管理单元、部门管理单元、角色权限管理单元和系统监控单元。
用户管理单元,用于管理用户的登录账号、密码以及个人信息。
部门管理单元,用于管理各部门的所属人员。
角色权限管理单元,基于RBAC权限原则,用于管理各用户类型的资源权限管理;其中,用户类型包括普通用户、VIP用户和管理员。
系统监控单元,用于监控系统资源使用情况。
所述应用管理模块,用于部署环境信息以及通知信息的配置管理。
具体的,所述应用管理模块,可以包括:应用基础单元、环境管理单元、应用用户管理单元和应用监控单元。
所述应用基础单元,用于配置当前系统的负责人和版本号,以及访问权限的管理。
环境管理单元,用于部署当前应用的环境信息,包括域名、注册中心、数据源信息、实现测试用例环境和数据源的动态切换;其中,对于环境权限的配置,支持线下环境和线上环境,可以按照用户权限的不同分别展示。
应用用户管理单元,用于管理当前应用的参与人员、数据权限以及通知信息的配置管理。
应用监控单元,用于对当前应用的接口数量、项目成员、测试活动和项目质量统一实施监控图标,以及对外接口的质量监控,并实时展示线上对外接口的访问状态。
可选的,如图1B所示,控制管理层300基于Web开发框架Spring Boot、安全框架Shiro、持久层框架MyBatis、项目构建工具Mave、项目版本管理工具Git、版本控制系统SVN、关系型数据库MySQL、面向消息的中间件RabbitMQ、任务调度框架Quartz、全双工通信协议WebScoket、度量分析及可视化工具Grafana、时序数据库Influxdb、代码覆盖率工具Jacoco、分布式通信框架Dubbo和HTTP请求工具REST Assured开发生成。其中,Spring Boot提供了具有控制反转特性的容器;Shiro用于角色和权限管理;MyBatis实现了定制化SQL(Structured Query Language,结构化查询语言)、存储过程以及高级映射;SVN用于资源共享,以实现集中式管理;RabbitMQ实现了高级消息队列协议(AMQP)的开源消息代理;WebScoket实现了客户端和服务器之间的数据交换。
所述存储层400,用于存储控制管理层和/或所述客户层传输的测试结果。
存储层400,也即数据访问层,对测试结果执行增加、删除、修改和查询等操作,数据访问层没有逻辑判断能力。
可选的,如图1B所示,存储层400基于关系型数据库MySQL、Redis数据库和/或时序数据库Influxdb开发生成。
所述客户层500,用于在检测到所述控制管理层的触发指令时,调用与所述触发指令匹配的至少一个Jmeter客户端资源,以执行与所述测试操作信息匹配的性能测试任务,并将性能测试结果传输至所述存储层。Jmeter客户端,即Apache Jmeter,是基于Java的压力测试工具,用于对软件做压力测试、功能测试以及回归测试,既可以用于静态资源的测试,也可以用于动态资源的测试;还用于对服务器、网络或对象模拟巨大的负载,来自不同压力类别下测试强度以及分析整体性能。
可选的,如图1B所示,客户层500基于Web开发框架Spring Boot、项目版本管理工具Git、关系型数据库MySQL以及性能测试工具Jmeter开发生成。
本发明实施例公开的技术方案,构建了软件项目的测试系统,通过控制管理层完成了接口测试用例和接口测试任务的管理,并实现了接口测试,同时,通过控制管理层对性能测试用例和性能测试任务的管理,并调用Jmeter客户端实现了性能测试,使得该测试系统同时完成了接口测试和性能测试,丰富了测试系统的功能性,降低了测试成本,极大地提高了测试效率。
实施例二
图2为本发明实施例二提供的一种软件项目的接口测试方法的流程图,本实施例可适用于对软件项目进行接口测试的情况,该方法可以由本发明实施例四中的软件项目的接口测试装置来执行,该装置可以通过软件和/或硬件的方式实现,并一般可以集成在如本发明实施例一所述的软件项目的测试系统中,典型的,可以以程序代码的方式集成在用于接口测试的终端设备中,本发明实施例的方法具体包括如下步骤:
S210、通过接口测试用例组单元,和/或接口测试用例套件单元获取接口测试任务。
在本发明实施例中,接口测试支持四种测试任务的调度方式:通过Jenkins CI构建调度任务,通过Git Hook构建调度任务、定时触发调度任务以及手动触发调度任务。在触发调度任务后,任务管理单元根据调度方式生成任务列表,并根据任务列表中的任务时间生成异步任务队列,在异步任务队列中根据任务信息调用接口测试用例组单元和/或接口测试用例套件单元。
接口测试用例有两种录入方式,外部数据导入和界面数据录入。外部数据导入支持通过抓包工具导出HAR格式的文件,以及通过接口测试工具PostMan导出的Json格式的文件,接口测试用例单元可以将上述文件解析成RestFul类型的接口测试数据,例如,Http接口测试数据;其中,Rest(Representational State Transfer)是一组架构约束条件和原则,满足该约束条件和原则的应用程序或设计即为Restful类型;Http(HyperTextTransfer Protocol,超文本传输协议)接口,即基于Http协议进行远程通信的接口。界面数据录入则支持Http和RPC(例如,Dubbo)两种类型的接口请求,即在页面可以直接录入Http接口测试数据和Dubbo接口测试数据;其中,RPC(Remote Procedure Call,远程过程调用)是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议;Dubbo是一款轻量级的Java RPC框架,使得应用程序可通过高性能的RPC实现服务的输出和输入功能,并可与Spring框架集成。特别的,RPC接口所定义的方法和Bean对象,可通过调用RPC解析进行解析;具体的,PRC解析单元支持两种方式获取接口信息,可以根据界面输入的Maven坐标,基于已配置的Nexus信息下载指定版本的依赖Jar数据包或者最新版本的依赖Jar数据包,还可以通过上传接口获取手动上传的依赖Jar数据包。在获取到相应的依赖Jar数据包之后,RPC解析单元进行自动解析,解析获得该依赖Jar数据包的接口名称、方法和请求对象信息,并根据请求对象信息反解析获得对象信息,测试人员在选择后会以反显的方式显示在页面上,以使测试人员可根据页面的显示信息进行选择,进而录入接口测试数据;接口测试用例单元将获取到的接口测试数据转换成接口测试用例,并展示在当前用例编辑页面中。
S220、通过所述接口测试用例组单元,和/或接口测试用例套件单元生成与所述接口测试任务匹配的接口测试用例组信息,和/或接口测试用例套件信息,并提供给执行控制单元。
接口测试用例组单元调用接口测试用例单元以获取接口测试用例,并组装成接口测试用例组;接口测试用例套件单元调用接口测试用例单元和接口测试用例组单元,并组装成接口测试用例套件。
S230、通过所述执行控制单元从接口测试用例单元中,获取与所述接口测试用例组信息,和/或接口测试用例套件信息匹配的接口测试用例进行执行,并生成接口测试报告。
执行控制单元从接口测试用例单元中获取接口测试用例,按照接口测试用例的类型分别调用RPC或Rest请求工具发送测试请求,在发送测试请求之前还需要调用动态参数单元,以使动态参数单元根据接口测试用例信息验证请求消息报文中是否存在动态数据拼装;具体的,若请求消息报文中存在动态方法标志参数,则证明存在动态数据拼装,此时通过动态参数单元调用功能参数单元,以获取动态数据,并改写请求报文;若接口测试用例中存在数据源参数依赖,则通过动态参数单元调用数据源单元以执行相关的数据库命令,如果请求报文中存在的动态参数和数据库语句返回的参数名称一致,则改写请求报文;若经过上述处理后,仍然存在动态参数标志,则调用结果参数缓存单元,根据动态参数名称从动态参数单元中获取数据来改写请求报文;在动态数据拼装完毕后,根据请求类型调用不同的请求工具,并根据该接口测试用例信息发送请求,请求发送后得到响应信息,先验证请求是否发送成功,若发送失败则直接标记该接口测试用例执行失败,并记录异常信息;若发送成功则调用解析验证单元,解析验证单元根据测试用例验证信息,解析响应报文验证数据返回是否正确,如果失败直接标记用例执行失败,并判断该接口测试用例后续步骤是否存在数据清理工作,如存在则调用数据源单元,数据源单元执行数据清理;若请求验证成功则读取接口测试用例缓存信息是否存在缓存条件,根据条件解析响应报文调用结果参数缓存单元,按照名称将对应数据存入数据缓存单元。在接口测试执行完毕后调用报告生成单元以生成接口测试报告,然后通过邮件等方式通知相关测试人员。
本发明实施例公开的技术方案,通过构建的软件项目的测试系统,利用控制管理层完成了接口测试用例和接口测试任务的管理,实现了软件项目的接口测试,同时,该测试系统可以同时支持RESTful接口的测试和Dubbo接口的测试,并可以在线创建和编辑测试脚本,简化了测试过程中的脚本修改过程,提高了测试效率。
实施例三
图3为本发明实施例三提供的一种软件项目的性能测试方法的流程图,本实施例可适用于对软件项目进行性能测试的情况,该方法可以由本发明实施例五中的软件项目的性能测试装置来执行,该装置可以通过软件和/或硬件的方式实现,并一般可以集成在如本发明实施例一所述的软件项目的测试系统中,典型的,可以以程序代码的方式集成在用于性能测试的终端设备中,本发明实施例的方法具体包括如下步骤:
S310、通过性能测试用例单元获取性能测试用例。
性能测试所需的测试脚本可以由两种方式生成,由外部导入JMX格式的脚本文件,或者在Web界面中直接输入测试脚本;其中,外部导入的JMX脚本需要进行文本解析,解析后的文件保存至性能测试用例单元;界面直接输入的测试脚本则直接保存至性能测试用例单元;性能测试用例管理根据保存的解析文件生成性能测试用例。同时,性能测试管理单元还可以实现性能测试用例的在线管理和编辑,在性能测试用例执行期间,将测试任务组装成JMX脚本并提供给任务初始化单元。
S320、通过脚本处理校验单元验证所述性能测试用例的完整性。
性能测试管理单元调用脚本处理校验单元,以验证性能测试用例的完整性,具体包括验证测试脚本是否包含可执行数据文件以及依赖Jar数据包。
S330、根据性能测试任务,获取对应的性能测试用例,分配匹配的Jmeter客户端资源执行性能测试,并通过监控调度单元获取性能测试执行中的监测数据。
性能测试任务包括两种调度方式,定时触发和手动触发;在触发性能测试任务后,任务管理单元根据上述触发方式生成任务列表,Agent调度单元通过该任务列表,以及可执行该性能测试任务的Jmeter客户端资源,完成性能测试的资源分配,也即为任务列表中的性能测试任务分配对应的Jmeter客户端资源,以执行该性能测试任务;特别的,如果当前任务执行时间未到,则只是预分配对应的Jmeter客户端,以锁定该Jmeter客户端;如果执行时间已到,则立即使用该Jmeter客户端执行该性能测试任务。
具体的,Agent调度单元通过任务列表,调用对应的Jmeter客户端中的任务初始化单元,任务初始化单元首先清理初始化所需的执行环境,然后调用性能测试用例单元,以获取当前任务的测试脚本和测试数据等数据资源;同时,熔断监听单元也开始启动,并运行于整个性能测试任务的执行过程中;若资源获取失败或执行环境初始化失败,则立即通知Agent调度单元,暂停其他Jmeter客户端资源的获取和初始化操作。Agent调度单元更改任务执行状态为失败;若任务初始化成功则通过任务初始化模块,启动Jmeter监控单元,来监控Jmerter客户端的主机资源,同时启动测试执行单元,开始执行性能测试。性能测试执行的过程中熔断监听单元实时监控整个测试执行过程,若出现预设异常或者测试异常则立即停止本地测试任务和Jmeter客户端资源的监控,实时通知Agent调度单元,Agent调度单元通知其他Jmeter客户端的任务初始化模块停止任务,并通知监控调度单元停止监控。Agent调度单元变更任务状态。
Agent调度单元下发性能测试任务到任务初始化单元的同时,会同步调用监控调度单元,以查询当前性能测试任务关联的监控项;监控任务初始化单元已准备好监控配置文件时,通过监控任务分发单元,根据监控项将监控配置文件分发至相关的Jmeter客户端,此时监控任务为待命状态。当Jmeter客户端执行完性能测试后,通过Agent调度单元通知监控调度单元,陆续通知启动监控任务初始化模块执行监控,监控数据会统一写入到时序数据库进行保存;若监控过程中接收到暂停通知则立即停止监控,并清理监控文件和监控插件。
S340、根据所述监测数据生成性能测试报告。
Jmeter客户端完成性能测试后,发送完结状态通知Agent调度模块,Agent调度模块在所有Jmeter客户端均完成后变更任务状态后,调用报告生成模块,报告生成模块根据性能测试任务信息调用模板初始化单元生成测试报告数据模板,然后调用报告展示单元从时序数据库中获取监测数据,最终生成性能测试报告,以邮件等方式通知相关测试人员。
本发明实施例公开的技术方案,通过构建的软件项目的测试系统,利用控制管理层对性能测试用例和性能测试任务的管理,并调用Jmeter客户端实现了性能测试,同时实现了性能测试脚本的在线创建和修改,简化了测试过程中的脚本修改过程,提高了测试效率。
具体应用场景一
在本应用场景中,采用用户直连工厂(Customer-to-Manufacturer,C2M)模式的电商平台利用该软件项目的测试系统,测试定制订单功能。
具体地,首先,按照定制订单下单过程中的实际接口访问顺序,分别获取接口请求,并确定对应的接口校验信息;其次,录入获取的接口请求信息和接口校验信息录入,并根据选项配置参数数据,进行数据的传递或变更;然后,在确定数据录入完毕后,根据获取到执行方式,根据录入的接口访问顺序分别查询接口的相关数据信息,根据配置的信息组装请求报文,按照配置的地址信息发送请求;当接收到响应信息后,根据配置的校验信息和参数数据,解析响应结果,以验证是否满足配置的校验信息;如果满足校验信息,则继续解析响应结果,并提取出配置的参数数据;当校验完毕,并完全提取参数数据后,继续执行其他录入接口,直到相关接口执行完毕,向测试人员发送测试成功指令;如果校验失败则停止执行,将响应结果和请求信息保存,并向测试人员发送测试失败指令;其中,所述测试失败指令包括执行到具体哪一步骤时执行失败,后续测试人员可以根据该测试失败指令查证失败原因。
特别的,对于定制订单功能,首先获取整个请求过程中的涉及接口的请求信息,并根据请求信息确定请求方式编辑脚本;其中,如果是Http类型脚本,可直接录入系统中;如果是RPC类型脚本,则本地编辑完成后将脚本打包成Jar上传至系统,然后配置执行线程数和时间。而在选择脚本执行后,系统按照压力数据自动分配可用的压力机,将相关脚本和Jar包全部传输到压力机上,再启动压力机上的Jmeter,各个压力机上Jmeter运行之后,系统实时获取Jmeter运行数据,在页面实时展示测试结果供执行人员观察测试结果,判断性能是否符合预期;而在获取到停止指令时,则通过停止压力机的运行,停止脚本测试。
实施例四
图4是本发明实施例四所提供的一种软件项目的接口测试装置,该装置具体包括:接口测试任务获取模块410、测试信息生成模块420和接口测试执行模块430。
接口测试任务获取模块410,集成于接口测试用例组单元和/或接口测试用例套件单元中,用于获取接口测试任务;
测试信息生成模块420,集成于接口测试用例组单元和/或接口测试用例套件单元中,用于生成与所述接口测试任务匹配的接口测试用例组信息,和/或接口测试用例套件信息,并提供给执行控制单元;
接口测试执行模块430,应用于所述执行控制单元中,用于从接口测试用例单元中,获取与所述接口测试用例组信息,和/或接口测试用例套件信息匹配的接口测试用例进行执行,并生成接口测试报告。
本发明实施例公开的技术方案,通过构建的软件项目的测试系统,利用控制管理层完成了接口测试用例和接口测试任务的管理,实现了软件项目的接口测试,同时,该测试系统可以同时支持RESTful接口的测试和Dubbo接口的测试,并可以在线创建和编辑测试脚本,简化了测试过程中的脚本修改过程,提高了测试效率。
上述装置可执行本发明实施例二所提供的软件项目的接口测试方法,具备执行方法相应的功能单元和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例二提供的方法。
实施例五
图5是本发明实施例五所提供的一种软件项目的性能测试装置,该装置具体包括:性能测试用例获取模块510、完整性验证模块520、性能测试执行模块530和测试报告生成模块540。
性能测试用例获取模块510,集成于性能测试用例单元中,用于获取性能测试用例;
完整性验证模块520,集成于脚本处理校验单元中,用于验证所述性能测试用例的完整性;
性能测试执行模块530,用于根据性能测试任务,获取对应的性能测试用例,分配匹配的Jmeter客户端资源执行性能测试,并通过监控调度单元获取性能测试执行中的监测数据;
测试报告生成模块540,用于根据所述监测数据生成性能测试报告。
本发明实施例公开的技术方案,通过构建的软件项目的测试系统,利用控制管理层对性能测试用例和性能测试任务的管理,并调用Jmeter客户端实现了性能测试,同时实现了性能测试脚本的在线创建和修改,简化了测试过程中的脚本修改过程,提高了测试效率。
上述装置可执行本发明实施例三所提供的软件项目的性能测试方法,具备执行方法相应的功能单元和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例三提供的方法。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行软件项目的接口测试方法,该方法包括:
通过接口测试用例组单元,和/或接口测试用例套件单元获取接口测试任务;
通过所述接口测试用例组单元,和/或接口测试用例套件单元生成与所述接口测试任务匹配的接口测试用例组信息,和/或接口测试用例套件信息,并提供给执行控制单元;
通过所述执行控制单元从接口测试用例单元中,获取与所述接口测试用例组信息,和/或接口测试用例套件信息匹配的接口测试用例进行执行,并生成接口测试报告。
或者,用于执行软件项目的性能测试方法,该方法包括:
通过性能测试用例单元获取性能测试用例;
通过脚本处理校验单元验证所述性能测试用例的完整性;
根据性能测试任务,获取对应的性能测试用例,分配匹配的Jmeter客户端资源执行性能测试,并通过监控调度单元获取性能测试执行中的监测数据;
根据所述监测数据生成性能测试报告。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的软件项目的接口测试方法或者软件项目的性能测试方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述软件项目的接口测试装置和软件项目的性能测试装置的实施例中,所包括的各个模块和单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种软件项目的测试系统,其特征在于,包括:表现层、服务支持层、控制管理层、存储层及客户层;
所述表现层,用于提供测试界面,并将通过所述测试界面获取到的用户的测试操作信息传输至所述服务支持层;
所述服务支持层,用于将所述测试操作信息传输至所述控制管理层,以将前端信息与后端信息分离,实现跨域支持;
所述控制管理层,用于按照设定的后端业务逻辑,对所述测试操作信息进行处理;如果确定所述测试操作信息属于接口测试任务,则执行与所述测试操作信息匹配的接口测试任务,并将接口测试结果传输至所述存储层;如果确定所述测试操作信息属于性能测试任务,则触发所述客户层执行与所述测试操作信息匹配的性能测试任务;
所述存储层,用于存储控制管理层和/或所述客户层传输的测试结果;
所述客户层,用于在检测到所述控制管理层的触发指令时,调用与所述触发指令匹配的至少一个Jmeter客户端资源,以执行与所述测试操作信息匹配的性能测试任务,并将性能测试结果传输至所述存储层。
2.根据权利要求1所述的测试系统,所述控制管理层,包括:接口测试模块和性能测试模块;
所述接口测试模块,用于实现接口测试用例和接口测试任务的管理,以及执行与接口测试任务匹配的接口测试;
所述性能测试模块,用于实现性能测试用例和性能测试任务的管理,以及为性能测试任务分配Jmeter客户端资源后,使用分配的Jmeter客户端资源构造所述触发指令传输至所述客户层。
3.根据权利要求2所述的测试系统,所述接口测试模块,具体包括:接口测试用例单元、执行控制单元、接口测试用例组单元以及接口测试用例套件单元;
所述接口测试用例单元,用于管理多个接口测试用例;
所述执行控制单元,用于根据所述接口测试用例组单元发送的接口测试用例组的信息,从所述接口测试用例单元中获取匹配的接口测试用例进行执行,并将执行结果提供给所述接口测试用例组单元;或者,用于根据所述接口测试用例套件单元发送的接口测试用例套件的信息,从所述述接口测试用例单元中获取匹配的接口测试用例进行执行;
所述接口测试用例组单元,用于管理接口测试用例组,所述接口测试用例组包括至少一个接口测试用例;
所述接口测试用例套件单元,用于管理接口测试用例套件,所述接口测试用例套件包括至少一个接口测试用例以及至少一个接口测试用例套件单元。
4.根据权利要求2所述的测试系统,所述性能测试模块,具体包括:性能测试用例单元、脚本处理校验单元、Agent调度单元和监测调度单元;
所述性能测试用例单元,用于管理性能测试用例;
所述脚本处理校验单元,用于验证所述性能测试用例的完整性;
所述Agent调度单元,用于管理性能测试任务以及Jmeter客户端资源的分配;
所述监测调度单元,用于获取性能测试执行中的监测数据。
5.根据权利要求1所述的测试系统,所述控制管理层,还包括:系统管理模块和应用管理模块。
所述系统管理模块,用于管理用户信息、用户权限以及系统资源监控;
所述应用管理模块,用于部署环境信息以及通知信息的配置管理。
6.一种软件项目的接口测试方法,应用于如权利要求3所述的软件项目的测试系统中,其特征在于,包括:
通过接口测试用例组单元,和/或接口测试用例套件单元获取接口测试任务;
通过所述接口测试用例组单元,和/或接口测试用例套件单元生成与所述接口测试任务匹配的接口测试用例组信息,和/或接口测试用例套件信息,并提供给执行控制单元;
通过所述执行控制单元从接口测试用例单元中,获取与所述接口测试用例组信息,和/或接口测试用例套件信息匹配的接口测试用例进行执行,并生成接口测试报告。
7.一种软件项目的性能测试方法,应用于如权利要求4所述的软件项目的测试系统中,其特征在于,包括:
通过性能测试用例单元获取性能测试用例;
通过脚本处理校验单元验证所述性能测试用例的完整性;
根据性能测试任务,获取对应的性能测试用例,分配匹配的Jmeter客户端资源执行性能测试,并通过监控调度单元获取性能测试执行中的监测数据;
根据所述监测数据生成性能测试报告。
8.一种软件项目的接口测试装置,其特征在于,包括:
接口测试任务获取模块,集成于接口测试用例组单元和/或接口测试用例套件单元中,用于获取接口测试任务;
测试信息生成模块,集成于接口测试用例组单元和/或接口测试用例套件单元中,用于生成与所述接口测试任务匹配的接口测试用例组信息,和/或接口测试用例套件信息,并提供给执行控制单元;
接口测试执行模块,应用于所述执行控制单元中,用于从接口测试用例单元中,获取与所述接口测试用例组信息,和/或接口测试用例套件信息匹配的接口测试用例进行执行,并生成接口测试报告。
9.一种软件项目的性能测试装置,其特征在于,包括:
性能测试用例获取模块,集成于性能测试用例单元中,用于获取性能测试用例;
完整性验证模块,集成于脚本处理校验单元中,用于验证所述性能测试用例的完整性;
性能测试执行模块,用于根据性能测试任务,获取对应的性能测试用例,分配匹配的Jmeter客户端资源执行性能测试,并通过监控调度单元获取性能测试执行中的监测数据;
测试报告生成模块,用于根据所述监测数据生成性能测试报告。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求6所述的软件项目的接口测试方法,或者实现如权利要求7所述的软件项目的性能测试方法。
CN201910924470.XA 2019-09-27 2019-09-27 一种软件项目的测试系统、方法、装置及存储介质 Active CN111026635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910924470.XA CN111026635B (zh) 2019-09-27 2019-09-27 一种软件项目的测试系统、方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910924470.XA CN111026635B (zh) 2019-09-27 2019-09-27 一种软件项目的测试系统、方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111026635A true CN111026635A (zh) 2020-04-17
CN111026635B CN111026635B (zh) 2021-03-05

Family

ID=70199566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910924470.XA Active CN111026635B (zh) 2019-09-27 2019-09-27 一种软件项目的测试系统、方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111026635B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767218A (zh) * 2020-06-24 2020-10-13 北京思特奇信息技术股份有限公司 一种用于持续集成的自动化测试方法、设备及存储介质
CN112015661A (zh) * 2020-09-08 2020-12-01 江苏云柜网络技术有限公司 一种软件测试方法及装置
CN112035368A (zh) * 2020-09-03 2020-12-04 携程旅游信息技术(上海)有限公司 自动化软件测试方法、装置、电子设备、存储介质
CN112115044A (zh) * 2020-08-12 2020-12-22 中国电力科学研究院有限公司 电力信息通信设备自动化测试方法及系统
CN112559348A (zh) * 2020-12-15 2021-03-26 广州云从鼎望科技有限公司 基于jacoco的测试分析方法、系统、设备以及介质
CN112965912A (zh) * 2021-03-24 2021-06-15 云账户技术(天津)有限公司 接口测试用例生成方法、装置和电子设备
CN113220566A (zh) * 2021-04-26 2021-08-06 深圳市云网万店科技有限公司 接口性能测试脚本的生成方法、装置和计算机设备
CN113535567A (zh) * 2021-07-21 2021-10-22 工银科技有限公司 软件测试方法、装置、设备和介质
CN113704087A (zh) * 2021-07-09 2021-11-26 奇安信科技集团股份有限公司 一种跨域传输设备的文件业务测试方法、装置及电子设备
CN113986376A (zh) * 2021-10-25 2022-01-28 土巴兔集团股份有限公司 一种基于Flutter平台的资源文件更新方法及其相关设备
CN114297085A (zh) * 2022-01-02 2022-04-08 北京值得买科技股份有限公司 一种全自动压测系统、电子设备及存储介质
CN114706790A (zh) * 2022-05-12 2022-07-05 中国科学院自动化研究所 一种自动化软件测试方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373469A (zh) * 2014-08-25 2016-03-02 广东金赋信息科技有限公司 一种基于接口的软件自动化测试方法
CN105630683A (zh) * 2015-12-31 2016-06-01 浪潮(北京)电子信息产业有限公司 一种云测试体系架构
CN108563571A (zh) * 2018-04-11 2018-09-21 车巴达(苏州)网络科技有限公司 软件接口测试方法及系统、计算机可读存储介质、终端
US20190138431A1 (en) * 2017-11-03 2019-05-09 Terrance HOLBROOK Conditional upgrade and installation of software based on risk-based validation
CN109857638A (zh) * 2018-12-28 2019-06-07 北京航天测控技术有限公司 一种测试系统软件通用框架

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373469A (zh) * 2014-08-25 2016-03-02 广东金赋信息科技有限公司 一种基于接口的软件自动化测试方法
CN105630683A (zh) * 2015-12-31 2016-06-01 浪潮(北京)电子信息产业有限公司 一种云测试体系架构
US20190138431A1 (en) * 2017-11-03 2019-05-09 Terrance HOLBROOK Conditional upgrade and installation of software based on risk-based validation
CN108563571A (zh) * 2018-04-11 2018-09-21 车巴达(苏州)网络科技有限公司 软件接口测试方法及系统、计算机可读存储介质、终端
CN109857638A (zh) * 2018-12-28 2019-06-07 北京航天测控技术有限公司 一种测试系统软件通用框架

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
全国计算机等级考试命题研究组: "《全国计算机等级考试全能教程 二级公共基础知识(第3版)》", 31 January 2015, 北京邮电大学出版社 *
潘娅 等: "《软件测试技术与实践》", 30 June 2016, 西安电子科技大学出版社 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767218A (zh) * 2020-06-24 2020-10-13 北京思特奇信息技术股份有限公司 一种用于持续集成的自动化测试方法、设备及存储介质
CN111767218B (zh) * 2020-06-24 2023-11-10 北京思特奇信息技术股份有限公司 一种用于持续集成的自动化测试方法、设备及存储介质
CN112115044A (zh) * 2020-08-12 2020-12-22 中国电力科学研究院有限公司 电力信息通信设备自动化测试方法及系统
CN112035368A (zh) * 2020-09-03 2020-12-04 携程旅游信息技术(上海)有限公司 自动化软件测试方法、装置、电子设备、存储介质
CN112015661B (zh) * 2020-09-08 2023-10-03 南京云柜网络科技有限公司 一种软件测试方法及装置
CN112015661A (zh) * 2020-09-08 2020-12-01 江苏云柜网络技术有限公司 一种软件测试方法及装置
CN112559348A (zh) * 2020-12-15 2021-03-26 广州云从鼎望科技有限公司 基于jacoco的测试分析方法、系统、设备以及介质
CN112965912A (zh) * 2021-03-24 2021-06-15 云账户技术(天津)有限公司 接口测试用例生成方法、装置和电子设备
CN112965912B (zh) * 2021-03-24 2024-02-09 云账户技术(天津)有限公司 接口测试用例生成方法、装置和电子设备
CN113220566A (zh) * 2021-04-26 2021-08-06 深圳市云网万店科技有限公司 接口性能测试脚本的生成方法、装置和计算机设备
CN113704087A (zh) * 2021-07-09 2021-11-26 奇安信科技集团股份有限公司 一种跨域传输设备的文件业务测试方法、装置及电子设备
CN113704087B (zh) * 2021-07-09 2024-01-19 奇安信科技集团股份有限公司 一种跨域传输设备的文件业务测试方法、装置及电子设备
CN113535567B (zh) * 2021-07-21 2023-02-24 工银科技有限公司 软件测试方法、装置、设备和介质
CN113535567A (zh) * 2021-07-21 2021-10-22 工银科技有限公司 软件测试方法、装置、设备和介质
CN113986376A (zh) * 2021-10-25 2022-01-28 土巴兔集团股份有限公司 一种基于Flutter平台的资源文件更新方法及其相关设备
CN114297085A (zh) * 2022-01-02 2022-04-08 北京值得买科技股份有限公司 一种全自动压测系统、电子设备及存储介质
CN114706790A (zh) * 2022-05-12 2022-07-05 中国科学院自动化研究所 一种自动化软件测试方法、装置及设备
CN114706790B (zh) * 2022-05-12 2022-09-13 中国科学院自动化研究所 一种自动化软件测试方法、装置及设备

Also Published As

Publication number Publication date
CN111026635B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN111026635B (zh) 一种软件项目的测试系统、方法、装置及存储介质
US9122841B2 (en) Providing remote application logs for cloud applications
US20200067791A1 (en) Client account versioning metadata manager for cloud computing environments
US10216527B2 (en) Automated software configuration management
WO2016127756A1 (zh) 集群弹性部署的方法和管理系统
CN109766253B (zh) 一种性能数据发送方法、装置、计算机设备及存储介质
US10339039B2 (en) Virtual service interface
US20140149576A1 (en) Managing Application Log Levels in Cloud Environment
KR20170051471A (ko) 하나 이상의 클라우드 시스템 상에 애플리케이션들을 이식 가능하게 배치하기 위한 방법들 및 시스템들
US10817267B2 (en) State machine representation of a development environment deployment process
WO2011025668A1 (en) Method and system for monitoring usage of computing resources
EP3128416A1 (en) Sdn application integration, management and control method, system and device
US10084637B2 (en) Automatic task tracking
CN114070883B (zh) 测试资源访问方法、装置、电子设备及存储介质
US10922207B2 (en) Method, apparatus, and computer-readable medium for maintaining visual consistency
US10657027B2 (en) Aggregating data for debugging software
US10185559B2 (en) Documentation notification
CN113778486A (zh) 一种代码流水线的容器化处理方法、装置、介质及设备
CN117608825A (zh) 基于多云管理平台的资源管理方法和相关设备
CN114896078A (zh) 数据同步方法、系统、装置及设备
JP2017016507A (ja) テスト管理システムおよびプログラム
US10977218B1 (en) Distributed application development
US10394534B2 (en) Framework for flexible logging of development environment deployment
US20160275002A1 (en) Image capture in application lifecycle management for documentation and support
WO2018134680A1 (en) System and method for integrating disparate computer systems and applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 519085 Building 8, No.1, Tangjiawan Harbin Institute of technology, high tech Zone, Zhuhai City, Guangdong Province

Applicant after: Zhuhai necessary Industrial Technology Co.,Ltd.

Address before: 519085 Building 8, No.1, Tangjiawan Harbin Institute of technology, high tech Zone, Zhuhai City, Guangdong Province

Applicant before: ZHUHAI SUIBIAN TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant