CN104951399A - 一种软件测试系统和方法 - Google Patents

一种软件测试系统和方法 Download PDF

Info

Publication number
CN104951399A
CN104951399A CN201510347249.4A CN201510347249A CN104951399A CN 104951399 A CN104951399 A CN 104951399A CN 201510347249 A CN201510347249 A CN 201510347249A CN 104951399 A CN104951399 A CN 104951399A
Authority
CN
China
Prior art keywords
test result
server
test
visitor logs
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510347249.4A
Other languages
English (en)
Other versions
CN104951399B (zh
Inventor
李荣尊
朱平
朱峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cheerbright Technologies Co Ltd
Original Assignee
Beijing Cheerbright Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cheerbright Technologies Co Ltd filed Critical Beijing Cheerbright Technologies Co Ltd
Priority to CN201510347249.4A priority Critical patent/CN104951399B/zh
Publication of CN104951399A publication Critical patent/CN104951399A/zh
Application granted granted Critical
Publication of CN104951399B publication Critical patent/CN104951399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了软件测试系统,该系统通过日志收发服务器收集用户对第一服务器的访问记录,并将访问记录发送到日志处理服务器,其中第一服务器运行有目标软件;日志处理式服务器根据接收的访问记录,生成日志消息列表,并根据日志消息列表,生成测试用例,测试用例对应于日志消息列表中的访问记录;测试服务器根据获取的测试用例,分别向第二服务器和第三服务器发送第一测试请求和第二测试请求,响应于从第二服务器和第三服务器接收到的第一测试结果和第二测试结果,对第一测试结果和第二测试结果进行对比,生成测试报告,其中第二服务器运行与第一服务器中相同的目标软件,第三服务器运行目标软件的修改版本。本发明还公开了相应的软件测试方法。

Description

一种软件测试系统和方法
技术领域
本发明涉及一种软件测试系统和方法。
背景技术
在实际软件开发中,软件的优化和重构已经成为开发人员工作的一部分,如代码结构优化、性能优化等,而代码修改就有引入漏洞的风险。软件自动化测试在保证软件质量方面确实起到了很大作用,但传统的自动化测试都是由测试人员来设计测试用例,然后基于这些测试用例来执行和验证结果。尽管自动化测试技术已经相当成熟和普遍,但是设计自动化测试用例却因测试人员的水平不同会有很大差别,而且很难将测试用例100%覆盖真实情况,耗时时间长。因而,无法保证软件代码优化或代码重构不会引入bug。
因此,需要一种提高测试用例覆盖度、减少测试时间的方案。
发明内容
为此,本发明提供一种新的软件测试系统和方法,以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面,提供一种软件测试系统,该系统包括日志收发服务器、日志处理服务器、测试用例数据库和测试服务器,其中:日志收发服务器适于收集用户对第一服务器的访问记录,并将收集的访问记录发送到日志处理服务器,其中第一服务器运行有目标软件;日志处理式服务器适于接收日志收发服务器发送的访问记录,生成日志消息列表,并根据日志消息列表,生成测试用例,测试用例对应于日志消息列表中的访问记录;测试用例数据库适于存储日志处理服务器所生成的测试用例;测试服务器适于从测试用例数据库中获取测试用例,根据获取的测试用例,分别向第二服务器和第三服务器发送第一测试请求和第二测试请求,响应于从第二服务器和第三服务器接收到的第一测试结果和第二测试结果,对第一测试结果和第二测试结果进行对比,生成测试报告,其中第二服务器运行与第一服务器中相同的目标软件,第三服务器运行目标软件的修改版本。
可选地,在根据本发明的软件测试系统中,日志处理服务器进一步适于对日志消息列表中的访问记录进行去重处理后,生成测试用例。
可选地,在根据本发明的软件测试系统中,访问记录为URL地址,日志处理服务器采用对URL地址中的参数名-参数值对进行排序处理的方式,实现对访问记录的去重处理。
可选地,在根据本发明的软件测试系统中,测试服务器进一步还适于:根据接收到的第一测试结果和第二测试结果,判断第一测试结果和第二测试结果中的记录条数是否相等;如果第一测试结果和第二测试结果中的记录条数相等,判断第一测试结果和第二测试结果中记录的排序是否相同,否则对比失败;如果第一测试结果和第二测试结果中记录的排序相同,判断第一测试结果和第二测试结果中每一项记录的值是否相同,否则对比失败;如果第一测试结果和第二测试结果中每一项记录的值相同,则第一测试结果和第二测试结果对比成功,否则对比失败。
可选地,在根据本发明的软件测试系统中,第一测试结果和第二测试结果的格式为Json格式或XML格式。
根据本发明的另一个方面,提供一种软件测试方法,该方法包括:收集用户对第一服务器的访问记录,并发送访问记录,其中第一服务器运行目标软件;接收访问记录,生成日志消息列表,并根据日志消息列表生成测试用例,测试用例对应于日志消息列表中的访问记录;存储生成的测试用例;获取测试用例,根据获取到的测试用例分别向第二服务器和第三服务器发送第一测试请求和第二测试请求,响应于从第二服务器和第三服务器接收到的第一测试结果和第二测试结果,对第一测试结果和第二测试结果进行对比,生成测试报告,其中第二服务器运行与第一服务器中相同的目标软件,第三服务器运行目标软件的修改版本。
可选地,在根据本发明的软件测试方法中,根据日志消息列表生成测试用例的步骤包括:对日志消息列表中的访问记录进行去重处理后,生成测试用例
可选地,在根据本发明的软件测试方法中,访问记录为URL地址,对访问记录的去重处理的步骤包括采用对URL地址中的参数名-参数值对进行排序处理的方式进行去重处理。
可选地,在根据本发明的软件测试方法中,第一测试结果和第二测试结果进行对比的步骤包括:根据接收到的第一测试结果和第二测试结果,判断第一测试结果和第二测试结果中的记录条数是否相等;如果第一测试结果和第二测试结果中的记录条数相等,判断第一测试结果和第二测试结果中记录的排序是否相同,否则对比失败;如果第一测试结果和第二测试结果中记录的排序相同,判断第一测试结果和第二测试结果中每一项纪录的值是否相同,否则对比失败;如果第一测试结果和第二测试结果中每一项纪录的值相同,则第一测试结果和第二测试结果对比成功,否则对比失败。
可选地,在根据本发明的软件测试方法中,第一测试结果和第二测试结果的格式为Json格式或XML格式。
根据本发明的技术方案,不需要人员专门设计测试用例,直接根据用户对生产环境的服务器(例如提供真实网站的网路服务器)的访问日志产生测试用例,使得测试用例更加丰富、完善,也提高测试用例的覆盖率。另外,通过对接收的URL地址进行去重处理,可以有效的提高软件的测试速度。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的软件测试系统100的示意图;
图2示出了根据本发明一个实施例的软件测试流程示意图;以及
图3示出了根据本发明一个实施例的软件测试方法300的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是根据本发明的一个实施例的软件测试系统100的示意图。
如图1所示,软件测试系统100包括日志收发服务器110、日志处理服务器120、测试用例数据库130和测试服务器140。
用户一般可以通过web访问第一服务器,如web服务器集群,第一服务器中运行有目标软件,用于获取用户的访问地址。运行的目标软件一般认为是生产环境,也就是真实网站服务的一套软件环境。
日志收发服务器110例如NxLog服务器集群收集用户对第一服务器的访问记录,例如URL地址,并将收集的用户的访问记录发送到日志处理服务器120。
日志处理服务器120例如Hadoop服务器集群根据接收到的日志收发服务器110发送的访问记录生成日志消息列表。日志消息列表中包括大量的访问记录,即URL地址,其中有大量的URL地址是重复的。日志处理服务器120对上述日志消息列表中的URL地址进行处理,并生成测试用例,测试用例中的每一URL地址都是唯一的,将测试用例存储在测试用例数据库中。其中,测试用例应与日志消息列表中的访问记录对应。
日志处理服务器120对日志消息列表进行的处理一般为去重处理,即对日志信息列表中的所有的URL地址中的参数名-参数值对进行排序后,再去除掉重复的URL地址,实现对访问记录的去重处理,生成测试用例,测试用例中的每一条URL地址是唯一存在的。例如,日志信息列表中的3条URL地址,排序前URL地址为:
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370100&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370200&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370200&orderType=1&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
将这3条URL地址中参数名-参数值对进行排序,也就是?后面的字符串进行排序,排序后第二条和第三条的URL地址是相同的,认为是同一个URL地址,据此生成测试用例,测试用例中包括多个URL地址,不过每一条URL地址是唯一存在的,如下:
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370100&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370200&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
测试用例数据库130用于存储日志处理服务器120处理后生成的测试用例。测试服务器140从测试用例数据库130中获取测试用例,根据获取的测试用例,分别向第二服务器和第三服务器发送第一测试请求和第二测试请求,其中第一测试请求和第二测试请求可以为http请求。例如,对于同一个测试用例(URL地址),根据该URL地址分别向第二服务器和第三服务器发送http请求,所述http请求可以是根据预定的查询条件对后台数据库进行查询。第二服务器与第一服务器运行有相同的目标软件,认为第二服务器运行的目标软件的环境为基准环境。第三服务器中运行有修改版本的软件,作为对比环境。
测试服务器140响应于从第二服务器和第三服务器接收到的第一测试结果和第二测试结果,对第一测试结果和第二测试结果进行对比,生成测试报告。第二服务器和第三服务器接收到http请求后,会对该http请求进行处理,并构造http响应返回给测试服务器140,所述http响应中可以包括对后台数据库进行查询结果,所述查询结果例如为后台数据库中满足预定的查询条件的一条或多条数据记录,此时第一测试结果和第二测试结果即为所述http响应。
第一测试结果和第二测试结果的格式一般为Json格式。同时,测试服务器140也可以接收XML格式的第一测试结果和第二测试结果。
测试服务器140在对第一测试结果和第二测试结果进行比对时,首先判断第一测试结果和第二测试结果中的记录条数是否相等。
如果第一测试结果和第二测试结果中的记录条数相等,则进一步判断第一测试结果和第二测试结果中记录的排序是否相同。如果第一测试结果和第二测试结果中的记录条数不相等,则对比失败。
如果第一测试结果和第二测试结果中记录的排序相同,则进一步判断第一测试结果和第二测试结果中每一项记录的值是否相同。如果第一测试结果和第二测试结果中记录的排序不相同,则对比失败。
如果第一测试结果和第二测试结果中每一项记录的值相同,则第一测试结果和第二测试结果对比成功,否则对比失败,并记录未匹配生成失败记录。
最后,根据对比成功的结果生成测试报告。
如2示出了根据本发明一个实施例的软件测试流程示意图。
根据一个实施例并参考图2,图2中web服务器集群、NxLog服务器集群、Hadoop服务器集群、测试用例数据库、测试服务集群、基准环境和对比环境分别对应于图1中的第一服务器、日志信息收发服务器、日志信息处理服务器、测试用例数据库、第二服务器和第三服务器。
用户访问web服务器时,web服务器记录用户真实的URL地址。NxLog服务器拉取web服务器中记录的URL地址,并生成日志信息列表,将日志信息列表推送到Hadoop服务器。Hadoop服务器根据接收的日志信息列表,对URL地址中的参数名-参数值对进行排序处理,实现对访问记录的去重处理,生成测试用例。参考如下示例:
日志信息列表,包括3条日志信息(URL地址):
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370100&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370200&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370200&orderType=1&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
对上述日志信息列表进行去重处理后,得到2条测试用例:
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370100&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=1&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370200&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
测试用例中的URL地址都是唯一的。
测试服务集群根据从测试用例数据库获取的测试用例,分别向基准环境和对比环境中的服务器发送测试请求,基准环境中的服务器与web服务器中运行的目标软件相同,而对比环境中服务器运行的软件则是进行代码升级后的软件。
从基准环境和对比环境服务器中接收测试结果,测试结果一般为Json格式。对两种测试结果进行对比,首先,判断测试结果的记录条数是否相同,如果相同,则判断测试结果的记录排序是否相同,如果相同,则判断每一条记录的内容是否相同,如果相同,则对比成功,生成测试报告。
在测试结果进行对比时,以以下的URL地址为例:http://dealer.api.autohome.com.cn/promotionsSolr/V3/Price/getdealerlistbyspec?PageIndex=2&PageSize=4&SpecId=21262&_appid=app&_encoding=utf8&cityId=370100&countyId=0&kindId=0&myLat=&myLon=&orderType=1&provinceId=0
基准环境返回的测试结果(其中省略了部分内容)如下:
对比环境返回的测试结果(其中省略了部分内容)如下:
根据前述的对比方式对这两个结果进行对比后,得到对比结论为:CloseOrder字段值不匹配。
根据本发明的技术方案,不需要人员专门设计测试用例,直接根据用户对生产环境的服务器(例如提供真实网站的网路服务器)的访问日志产生测试用例,使得测试用例更加丰富、完善,也提高测试用例的覆盖率。另外,通过对接收的URL地址进行去重处理,可以有效的提高软件的测试速度。
图3示出了根据本发明示例性实施例的软件测试方法300的流程图。该软件测试方法始于步骤S310。
在步骤S310中,收集用户对第一服务器的访问记录,并发送访问记录,其中第一服务器运行目标软件。
随后,在步骤S320中,接收访问记录,生成日志消息列表,并根据日志消息列表生成测试用例,测试用例对应于日志消息列表中的访问记录。
根据一种实施方式,对日志消息列表中的访问记录进行去重处理后,生成测试用例。去重处理采用对URL地址中的参数名-参数值对进行排序处理的方式。
随后,在步骤S330中,存储步骤S320中生成的测试用例,并获取测试用例,根据获取到的测试用例分别向第二服务器和第三服务器发送第一测试请求和第二测试请求,其中第二服务器运行与第一服务器中相同的目标软件,第三服务器运行目标软件的修改版本。
随后,在步骤S340中,响应于从第二服务器和第三服务器接收到的第一测试结果和第二测试结果,对第一测试结果和第二测试结果进行对比。其中,第一测试结果和第二测试结果的格式可以为Json格式或XML格式。
根据一种实施方式,根据接收到的第一测试结果和第二测试结果,判断第一测试结果和第二测试结果中的记录条数是否相等;如果第一测试结果和第二测试结果中的记录条数相等,判断第一测试结果和第二测试结果中记录的排序是否相同,否则对比失败;如果第一测试结果和第二测试结果中记录的排序相同,判断第一测试结果和第二测试结果中每一项纪录的值是否相同,否则对比失败;如果第一测试结果和第二测试结果中每一项纪录的值相同,则第一测试结果和第二测试结果对比成功,否则对比失败。
第一测试结果和第二测试结果对比成功,在步骤S350中生成测试报告。
根据本发明的技术方案,不需要人员专门设计测试用例,直接根据用户对生产环境的服务器(例如提供真实网站的网路服务器)的访问日志产生测试用例,使得测试用例更加丰富、完善,也提高测试用例的覆盖率。另外,通过对接收的URL地址进行去重处理,可以有效的提高软件的测试速度。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (10)

1.一种软件测试系统,该系统包括日志收发服务器、日志处理服务器、测试用例数据库和测试服务器,其中:
所述日志收发服务器适于收集用户对第一服务器的访问记录,并将收集的访问记录发送到日志处理服务器,其中第一服务器运行有目标软件;
所述日志处理式服务器适于接收日志收发服务器发送的访问记录,生成日志消息列表,并根据所述日志消息列表,生成测试用例,所述测试用例对应于所述日志消息列表中的访问记录;
所述测试用例数据库适于存储所述日志处理服务器所生成的测试用例;
所述测试服务器适于从测试用例数据库中获取测试用例,根据获取的测试用例,分别向第二服务器和第三服务器发送第一测试请求和第二测试请求,响应于从第二服务器和第三服务器接收到的第一测试结果和第二测试结果,对所述第一测试结果和第二测试结果进行对比,生成测试报告,其中第二服务器运行与第一服务器中相同的目标软件,第三服务器运行所述目标软件的修改版本。
2.如权利要求1所述的系统,其中所述日志处理服务器进一步适于对所述日志消息列表中的访问记录进行去重处理后,生成测试用例。
3.如权利要求2所述的系统,其中所述访问记录为URL地址,所述日志处理服务器采用对URL地址中的参数名-参数值对进行排序处理的方式,实现对访问记录的去重处理。
4.如权利要求1所述的系统,其中所述测试服务器进一步还适于:
根据接收到的第一测试结果和第二测试结果,判断所述第一测试结果和第二测试结果中的记录条数是否相等;
如果第一测试结果和第二测试结果中的记录条数相等,判断第一测试结果和第二测试结果中记录的排序是否相同,否则对比失败;
如果第一测试结果和第二测试结果中记录的排序相同,判断第一测试结果和第二测试结果中每一项记录的值是否相同,否则对比失败;
如果第一测试结果和第二测试结果中每一项记录的值相同,则第一测试结果和第二测试结果对比成功,否则对比失败。
5.如如权利要求1所述的系统,其中所述第一测试结果和第二测试结果的格式为Json格式或XML格式。
6.一种软件测试方法,该方法包括:
收集用户对第一服务器的访问记录,并发送访问记录,其中第一服务器运行目标软件;
接收访问记录,生成日志消息列表,并根据所述日志消息列表生成测试用例,所述测试用例对应于所述日志消息列表中的访问记录;
存储所述生成的测试用例;
获取测试用例,根据获取到的测试用例分别向第二服务器和第三服务器发送第一测试请求和第二测试请求,响应于从第二服务器和第三服务器接收到的第一测试结果和第二测试结果,对所述第一测试结果和第二测试结果进行对比,生成测试报告,其中第二服务器运行与第一服务器中相同的目标软件,第三服务器运行所述目标软件的修改版本。
7.如权利要求6所述的方法,其中所述根据所述日志消息列表生成测试用例的步骤包括:
对所述日志消息列表中的访问记录进行去重处理后,生成测试用例 。
8.如权利要求7所述的方法,其中所述访问记录为URL地址,所述对访问记录的去重处理的步骤包括采用对URL地址中的参数名-参数值对进行排序处理的方式进行去重处理。
9.如权利要求5所述的方法,其中所述第一测试结果和第二测试结果进行对比的步骤包括:
根据接收到的第一测试结果和第二测试结果,判断所述第一测试结果和第二测试结果中的记录条数是否相等;
如果第一测试结果和第二测试结果中的记录条数相等,判断第一测试结果和第二测试结果中记录的排序是否相同,否则对比失败;
如果第一测试结果和第二测试结果中记录的排序相同,判断第一测试结 果和第二测试结果中每一项纪录的值是否相同,否则对比失败;
如果第一测试结果和第二测试结果中每一项纪录的值相同,则第一测试结果和第二测试结果对比成功,否则对比失败。
10.如权利要求8所述的方法,其中所述第一测试结果和第二测试结果的格式为Json格式或XML格式。
CN201510347249.4A 2015-06-19 2015-06-19 一种软件测试系统和方法 Active CN104951399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510347249.4A CN104951399B (zh) 2015-06-19 2015-06-19 一种软件测试系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510347249.4A CN104951399B (zh) 2015-06-19 2015-06-19 一种软件测试系统和方法

Publications (2)

Publication Number Publication Date
CN104951399A true CN104951399A (zh) 2015-09-30
CN104951399B CN104951399B (zh) 2017-11-07

Family

ID=54166066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510347249.4A Active CN104951399B (zh) 2015-06-19 2015-06-19 一种软件测试系统和方法

Country Status (1)

Country Link
CN (1) CN104951399B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383784A (zh) * 2016-09-20 2017-02-08 上海爱数信息技术股份有限公司 软件自动化测试方法及系统
CN107040504A (zh) * 2016-02-04 2017-08-11 北京京东尚科信息技术有限公司 测试方法和装置
CN107436844A (zh) * 2017-07-07 2017-12-05 北京奇安信科技有限公司 一种接口用例合集的生成方法及装置
CN107515819A (zh) * 2016-06-16 2017-12-26 平安科技(深圳)有限公司 医保系统测试方法和装置
CN107992389A (zh) * 2017-12-22 2018-05-04 无线生活(杭州)信息科技有限公司 一种测试方法及装置
CN108287792A (zh) * 2018-01-26 2018-07-17 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN108319547A (zh) * 2017-01-17 2018-07-24 阿里巴巴集团控股有限公司 测试用例生成方法、装置和系统
CN109344055A (zh) * 2018-09-07 2019-02-15 武汉达梦数据库有限公司 一种测试方法以及测试装置
CN109726128A (zh) * 2018-12-29 2019-05-07 亚信科技(中国)有限公司 一种测试用例生成方法、装置及服务器
CN110069406A (zh) * 2019-03-29 2019-07-30 梁俊杰 自动触发的tpc-ds测试方法以及系统
WO2019223142A1 (zh) * 2018-05-22 2019-11-28 平安科技(深圳)有限公司 应用程序测试方法、装置、计算机设备及存储介质
CN110750433A (zh) * 2018-07-23 2020-02-04 北京奇虎科技有限公司 接口测试方法和装置
CN110908892A (zh) * 2019-09-18 2020-03-24 泰康保险集团股份有限公司 接口数据测试方法、装置及可读存储介质
CN111382058A (zh) * 2018-12-29 2020-07-07 北京字节跳动网络技术有限公司 一种服务的测试方法、装置,服务器及存储介质
CN111552648A (zh) * 2020-05-08 2020-08-18 支付宝(杭州)信息技术有限公司 用于应用的自动验证方法和系统
CN111651356A (zh) * 2020-06-03 2020-09-11 北京奇艺世纪科技有限公司 一种应用程序测试方法、装置及系统
CN111885051A (zh) * 2020-07-22 2020-11-03 微医云(杭州)控股有限公司 数据验证方法、装置及电子设备
CN112559316A (zh) * 2020-09-03 2021-03-26 中国银联股份有限公司 软件测试方法和设备、计算机存储介质以及服务器
CN113778835A (zh) * 2021-11-11 2021-12-10 广州粤芯半导体技术有限公司 压力测试方法
CN113806213A (zh) * 2020-06-01 2021-12-17 达音网络科技(上海)有限公司 高可扩展性sdk自动测试系统和方法
US11429510B2 (en) 2020-12-21 2022-08-30 Coupang Corp. Electronic apparatus for verifying code and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002082727A1 (en) * 2001-04-06 2002-10-17 Nfratech Inc. Method for collecting a network performance information, computer readable medium storing the same, and an analysis system and method for network performance
CN103428249A (zh) * 2012-05-23 2013-12-04 腾讯科技(深圳)有限公司 一种http请求包的收集及处理方法、系统和服务器
CN103428042A (zh) * 2012-05-22 2013-12-04 腾讯科技(深圳)有限公司 对服务器进行压力测试的方法及系统
CN103532944A (zh) * 2013-10-08 2014-01-22 百度在线网络技术(北京)有限公司 一种捕获未知攻击的方法和装置
CN104410546A (zh) * 2014-11-27 2015-03-11 北京国双科技有限公司 实时处理系统的测试方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002082727A1 (en) * 2001-04-06 2002-10-17 Nfratech Inc. Method for collecting a network performance information, computer readable medium storing the same, and an analysis system and method for network performance
CN103428042A (zh) * 2012-05-22 2013-12-04 腾讯科技(深圳)有限公司 对服务器进行压力测试的方法及系统
CN103428249A (zh) * 2012-05-23 2013-12-04 腾讯科技(深圳)有限公司 一种http请求包的收集及处理方法、系统和服务器
CN103532944A (zh) * 2013-10-08 2014-01-22 百度在线网络技术(北京)有限公司 一种捕获未知攻击的方法和装置
CN104410546A (zh) * 2014-11-27 2015-03-11 北京国双科技有限公司 实时处理系统的测试方法和装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040504B (zh) * 2016-02-04 2020-05-01 北京京东尚科信息技术有限公司 测试方法和装置
CN107040504A (zh) * 2016-02-04 2017-08-11 北京京东尚科信息技术有限公司 测试方法和装置
CN107515819A (zh) * 2016-06-16 2017-12-26 平安科技(深圳)有限公司 医保系统测试方法和装置
CN107515819B (zh) * 2016-06-16 2020-07-28 平安科技(深圳)有限公司 医保系统测试方法和装置
CN106383784A (zh) * 2016-09-20 2017-02-08 上海爱数信息技术股份有限公司 软件自动化测试方法及系统
CN108319547A (zh) * 2017-01-17 2018-07-24 阿里巴巴集团控股有限公司 测试用例生成方法、装置和系统
CN108319547B (zh) * 2017-01-17 2022-01-21 阿里巴巴集团控股有限公司 测试用例生成方法、装置和系统
CN107436844B (zh) * 2017-07-07 2020-07-14 奇安信科技集团股份有限公司 一种接口用例合集的生成方法及装置
CN107436844A (zh) * 2017-07-07 2017-12-05 北京奇安信科技有限公司 一种接口用例合集的生成方法及装置
CN107992389A (zh) * 2017-12-22 2018-05-04 无线生活(杭州)信息科技有限公司 一种测试方法及装置
CN108287792A (zh) * 2018-01-26 2018-07-17 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
WO2019223142A1 (zh) * 2018-05-22 2019-11-28 平安科技(深圳)有限公司 应用程序测试方法、装置、计算机设备及存储介质
CN110750433A (zh) * 2018-07-23 2020-02-04 北京奇虎科技有限公司 接口测试方法和装置
CN109344055B (zh) * 2018-09-07 2020-05-19 武汉达梦数据库有限公司 一种测试方法以及测试装置
CN109344055A (zh) * 2018-09-07 2019-02-15 武汉达梦数据库有限公司 一种测试方法以及测试装置
CN111382058A (zh) * 2018-12-29 2020-07-07 北京字节跳动网络技术有限公司 一种服务的测试方法、装置,服务器及存储介质
CN109726128A (zh) * 2018-12-29 2019-05-07 亚信科技(中国)有限公司 一种测试用例生成方法、装置及服务器
CN111382058B (zh) * 2018-12-29 2024-02-02 北京字节跳动网络技术有限公司 一种服务的测试方法、装置,服务器及存储介质
CN110069406A (zh) * 2019-03-29 2019-07-30 梁俊杰 自动触发的tpc-ds测试方法以及系统
CN110908892A (zh) * 2019-09-18 2020-03-24 泰康保险集团股份有限公司 接口数据测试方法、装置及可读存储介质
CN111552648A (zh) * 2020-05-08 2020-08-18 支付宝(杭州)信息技术有限公司 用于应用的自动验证方法和系统
CN113806213A (zh) * 2020-06-01 2021-12-17 达音网络科技(上海)有限公司 高可扩展性sdk自动测试系统和方法
CN113806213B (zh) * 2020-06-01 2023-07-14 达音网络科技(上海)有限公司 高可扩展性sdk自动测试系统和方法
CN111651356A (zh) * 2020-06-03 2020-09-11 北京奇艺世纪科技有限公司 一种应用程序测试方法、装置及系统
CN111885051A (zh) * 2020-07-22 2020-11-03 微医云(杭州)控股有限公司 数据验证方法、装置及电子设备
CN111885051B (zh) * 2020-07-22 2022-10-25 微医云(杭州)控股有限公司 数据验证方法、装置及电子设备
CN112559316A (zh) * 2020-09-03 2021-03-26 中国银联股份有限公司 软件测试方法和设备、计算机存储介质以及服务器
US11429510B2 (en) 2020-12-21 2022-08-30 Coupang Corp. Electronic apparatus for verifying code and method thereof
CN113778835A (zh) * 2021-11-11 2021-12-10 广州粤芯半导体技术有限公司 压力测试方法

Also Published As

Publication number Publication date
CN104951399B (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN104951399A (zh) 一种软件测试系统和方法
CN104598376B (zh) 一种数据驱动的分层自动化测试系统和方法
CN110096517B (zh) 基于分布式系统的缓存数据的监控方法、装置和系统
CN105224343B (zh) 一种应用程序的更新提示方法和装置
CN102187327B (zh) 趋势确定和识别
CN104915285A (zh) 一种容器进程监控方法、装置及系统
CN105488201A (zh) 一种日志查询方法和系统
CN103716174A (zh) 测试日志撷取系统及方法
US10009216B2 (en) Repeat execution of root cause analysis logic through run-time discovered topology pattern maps
CN102932442A (zh) 用于分布式数据存储系统的设备、系统及方法
CN110134583B (zh) 软件测试及数据处理方法及装置
CN110941547B (zh) 自动化测试用例库管理方法、装置、介质及电子设备
CN103617118A (zh) 测试结果的统一处理方法、装置及系统
CN103686809A (zh) 提供移动终端故障问题解决方案的方法、移动终端和系统
CN112737800A (zh) 服务节点故障定位方法、调用链生成方法及服务器
CN114168421A (zh) 基于微服务调用链的客户化代码兼容性分析系统及方法
CN111953556A (zh) 网站自动拨测方法、装置、计算机设备及可读存储介质
CN104679884A (zh) 数据库的数据分析方法、装置以及系统
CN104125303A (zh) 数据读写请求方法、客户端及系统
CN105045789A (zh) 一种游戏服务器数据库缓存方法及系统
CN105389401A (zh) 数据库性能测试方法与装置
CN114238085A (zh) 接口测试方法、装置、计算机设备、存储介质
CN105825641A (zh) 一种业务报警方法和装置
CN107463578B (zh) 应用下载量统计数据去重方法、装置和终端设备
CN104504330A (zh) 虚拟化安全检测方法与系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant