CN107908538A - 一种服务器系统性能的自动化测试方法及系统 - Google Patents
一种服务器系统性能的自动化测试方法及系统 Download PDFInfo
- Publication number
- CN107908538A CN107908538A CN201711319772.1A CN201711319772A CN107908538A CN 107908538 A CN107908538 A CN 107908538A CN 201711319772 A CN201711319772 A CN 201711319772A CN 107908538 A CN107908538 A CN 107908538A
- Authority
- CN
- China
- Prior art keywords
- test
- server system
- automatization
- instruction
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3414—Workload generation, e.g. scripts, playback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种服务器系统性能的自动化测试方法，属于自动化测试技术领域，该方法应用于基于TCP/IP或UDP协议的网络服务器系统，包括：测试准备工作：测前指令维护，测前治具准备，诊断；导入并启动自动化测试系统；自动化测试系统对服务器系统进行压力性能测试，并将测试结果以网页的形式进行展示。其中，自动化测试系统包括：用于录入指令测试要求的指令录入模块；用于对服务器系统进行压力测试的自动测试模块；用于将测试结果传送至网络服务器的传送模块；用于获取测试结果并将测试结果以网页的形式进行展示的监视模块。本发明可以完成测试大量用户同时登录服务器时服务器所能承受的压力状况，提高响应时间与吞吐量，提高准确率和生产效率。
Description
技术领域
本发明涉及自动化测试，具体地说是一种服务器系统性能的自动化测试方法及系统。
背景技术
在服务器生产行业，多少年来在测试环节一直是手动操作，验证和确认性能的各项指标。在互联网新时代，需要导入自动化程序来实现生产的批量作业和紧张的供货节奏。
自动化测试广义说法包括，白盒自动化测试，GUI自动化测试，性能自动化测试。
GUI自动化测试的原理：通过软件模拟用户实际的鼠标和键盘操作，，实现自动化执行和操作的过程。
性能自动化测试的原理：通过客户端模拟多个虚拟用户并发请求，来检验服务器的性能行为是否满足系统要求。
自动化测试的优点：1、通过录制，编写脚本执行测试，减少回归测试；2、执行手工测试困难，或不可能做得测试，模拟多个用户并发测试；3、更好的利用资源，将繁琐的任务自动化，利用晚上或周末的时间进行执行自动化测试；4、测试具有一致性和可重复性，重复多次相同的测试，在不同配置下执行，可以在不同的操作系统测试；5、测试的复用性；6、缩短测试的时间和周期。
自动化测试局限：1、不能取代手工测试；2、手工测试比自动化测试发现的bug要多；3、自动化测试不能提高有效性；4、工具本身不具有想象力；5、对测试质量的依赖性极大。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种服务器系统性能的自动化测试方法。
本发明的技术方案是按以下方式实现的：
一种服务器系统性能的自动化测试方法，该方法应用于基于TCP/IP或UDP协议的网络服务器系统，该方法包括：
测试准备工作：测前指令维护，测前治具准备，诊断；
导入并启动自动化测试系统；
自动化测试系统对服务器系统进行压力性能测试，并将测试结果以网页的形式进行展示；
自动化测试系统包括：
用于录入指令测试要求的指令录入模块；
用于对服务器系统进行压力测试的自动测试模块；
用于将测试结果传送至网络服务器的传送模块；
用于获取测试结果并将测试结果以网页的形式进行展示的监视模块。
测试准备工作的具体操作为：
测前指令维护包括准备固件文件、维护数据库、更新定制机型的测试工具和测试脚本；
测前治具准备为诊断测试提供相应硬件治具，使系统功能测试顺利完成；
诊断则是通过系统diag来测试整机功能的完整性和稳定性，其中，诊断由PT Test、RunIN Test和抽检构成。
导入自动化测试系统的实现过程包括：
维护管理整机部件、固件信息，按照自动化测试系统的指令要求进行设置，以配合灵活多样的定制化生产，为实现自动化测试做准备，同时保证整机信息的正确性；
对所要维护的信息进行分类以及统一规则，实现自动化检查；
按照维护的要求进行刷新。
所要维护的信息包括服务器FW、HD、CPU、Memory、NIC、Power、RAID、BP，导入的自动化测试系统完成所要维护信息的检验与刷新，并生产诊断结果供后台数据库分析和判断。
对服务器系统进行压力性能测试的具体过程为：
了解需求，分析数据库应用系统，确定压力测试对象，完成压力测试计划的人工编写；
定义压力测试目标，评审修改压力测试计划；
设置测试数据，用多进程模拟多用户；
设置并发点；
进行自动化测试，自动记录并分析测试结果。
分析的测试结果包括：
1）测试使用的时间和被测事务的响应时间
2）压力测试参与的进程个数, 成功个数, 失败个数；
3）压力测试参与进程失败的原因，失败原因可以是设置失败、执行错误、网络连接失败或测试数据不合理；
4）事务的响应时间随用户增加的变化图；
5）资源限制。
本发明还提供一种服务器系统性能的自动化测试系统，包括：
用于录入指令测试要求的指令录入模块；
用于对服务器系统进行压力测试的自动测试模块；
用于将测试结果传送至网络服务器的传送模块；
用于获取测试结果并将测试结果以网页的形式进行展示的监视模块。
本发明的一种服务器系统性能的自动化测试方法及系统与现有技术相比所产生的有益效果是：
本发明的应用于基于TCP/IP或UDP协议的网络服务器系统，通过自动化测试系统进行自动化测试，完成测试大量用户同时登录服务器时服务器所能承受的压力状况，提高响应时间与吞吐量，提高准确率和生产效率。
具体实施方式
为了更好的说明本发明，现结合具体实施例对技术方案做进一步的说明。虽然实施例中记载了这些具体的实施方式，然其并非用以限定本发明，任何所述技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动和润饰，故本发明的保护范围当视权利要求书所界定者为准。
实施例一：
本实施例保护一种服务器系统性能的自动化测试方法，该方法应用于基于TCP/IP或UDP协议的网络服务器系统，该方法包括：
测试准备工作：测前指令维护，测前治具准备，诊断；
导入并启动自动化测试系统；
自动化测试系统对服务器系统进行压力性能测试，并将测试结果以网页的形式进行展示；
自动化测试系统包括：
用于录入指令测试要求的指令录入模块；
用于对服务器系统进行压力测试的自动测试模块；
用于将测试结果传送至网络服务器的传送模块；
用于获取测试结果并将测试结果以网页的形式进行展示的监视模块。
测试准备工作的具体操作为：
测前指令维护包括准备固件文件、维护数据库、更新定制机型的测试工具和测试脚本；
测前治具准备为诊断测试提供相应硬件治具，使系统功能测试顺利完成；
诊断则是通过系统diag来测试整机功能的完整性和稳定性，其中，诊断由PT Test、RunIN Test和抽检构成。
导入自动化测试系统的实现过程包括：
维护管理整机部件、固件信息，按照自动化测试系统的指令要求进行设置，以配合灵活多样的定制化生产，为实现自动化测试做准备，同时保证整机信息的正确性；
对所要维护的信息进行分类以及统一规则，实现自动化检查；
按照维护的要求进行刷新。
所要维护的信息包括服务器FW、HD、CPU、Memory、NIC、Power、RAID、BP，导入的自动化测试系统完成所要维护信息的检验与刷新，并生产诊断结果供后台数据库分析和判断。
对服务器系统进行压力性能测试的具体过程为：
了解需求，分析数据库应用系统，确定压力测试对象，完成压力测试计划的人工编写；
定义压力测试目标，评审修改压力测试计划；
设置测试数据，用多进程模拟多用户；
设置并发点；
进行自动化测试，自动记录并分析测试结果。
分析的测试结果包括：
1）测试使用的时间和被测事务的响应时间
2）压力测试参与的进程个数, 成功个数, 失败个数；
3）压力测试参与进程失败的原因，失败原因可以是设置失败、执行错误、网络连接失败或测试数据不合理；
4）事务的响应时间随用户增加的变化图；
5）资源限制。
本实施例保护的方法应用于基于TCP/IP或UDP协议的网络服务器系统，通过自动化测试系统进行自动化测试，完成测试大量用户同时登录服务器时服务器所能承受的压力状况，提高响应时间与吞吐量，提高准确率和生产效率。
实施例二：
本实施例保护一种服务器系统性能的自动化测试系统，包括：
用于录入指令测试要求的指令录入模块；
用于对服务器系统进行压力测试的自动测试模块；
用于将测试结果传送至网络服务器的传送模块；
用于获取测试结果并将测试结果以网页的形式进行展示的监视模块。
本实施例的系统应用于基于TCP/IP或UDP协议的网络服务器系统，对服务器系统的性能进行自动化测试。
尽管根据有限数量的实施例描述了本发明，但是，受益于上面的描述，本技术领域的技术人员应该明白，在由此描述的本发明的范围内，可以设想其他实施例。
此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说，许多修改和变更都是显而易见的。对于本发明的范围，本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。
Claims (7)
1.一种服务器系统性能的自动化测试方法，该方法应用于基于TCP/IP或UDP协议的网络服务器系统，其特征在于，该方法包括：
测试准备工作：测前指令维护，测前治具准备，诊断；
导入并启动自动化测试系统；
自动化测试系统对服务器系统进行压力性能测试，并将测试结果以网页的形式进行展示；
所述自动化测试系统包括：
用于录入指令测试要求的指令录入模块；
用于对服务器系统进行压力测试的自动测试模块；
用于将测试结果传送至网络服务器的传送模块；
用于获取测试结果并将测试结果以网页的形式进行展示的监视模块。
2.根据权利要求1所述的一种服务器系统性能的自动化测试方法，其特征在于，测试准备工作的具体操作为：
测前指令维护包括准备固件文件、维护数据库、更新定制机型的测试工具和测试脚本；
测前治具准备为诊断测试提供相应硬件治具，使系统功能测试顺利完成；
诊断则是通过系统diag来测试整机功能的完整性和稳定性，其中，诊断由PT Test、RunIN Test和抽检构成。
3.根据权利要求1所述的一种服务器系统性能的自动化测试方法，其特征在于，导入自动化测试系统的实现过程包括：
维护管理整机部件、固件信息，按照自动化测试系统的指令要求进行设置，以配合灵活多样的定制化生产，为实现自动化测试做准备，同时保证整机信息的正确性；
对所要维护的信息进行分类以及统一规则，实现自动化检查；
按照维护的要求进行刷新。
4.根据权利要求3所述的一种服务器系统性能的自动化测试方法，其特征在于，所要维护的信息包括服务器FW、HD、CPU、Memory、NIC、Power、RAID、BP，导入的自动化测试系统完成所要维护信息的检验与刷新，并生产诊断结果供后台数据库分析和判断。
5.根据权利要求1或3或4所述的一种服务器系统性能的自动化测试方法，其特征在于，对服务器系统进行压力性能测试的具体过程为：
了解需求，分析数据库应用系统，确定压力测试对象，完成压力测试计划的人工编写；
定义压力测试目标，评审修改压力测试计划；
设置测试数据，用多进程模拟多用户；
设置并发点；
进行自动化测试，自动记录并分析测试结果。
6.根据权利要求5所述的一种服务器系统性能的自动化测试方法，其特征在于，所述分析的测试结果包括：
1）测试使用的时间和被测事务的响应时间
2）压力测试参与的进程个数, 成功个数, 失败个数；
3）压力测试参与进程失败的原因，失败原因可以是设置失败、执行错误、网络连接失败或测试数据不合理；
4）事务的响应时间随用户增加的变化图；
5）资源限制。
7.一种服务器系统性能的自动化测试系统，其特征在于，包括：
用于录入指令测试要求的指令录入模块；
用于对服务器系统进行压力测试的自动测试模块；
用于将测试结果传送至网络服务器的传送模块；
用于获取测试结果并将测试结果以网页的形式进行展示的监视模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711319772.1A CN107908538A (zh) | 2017-12-12 | 2017-12-12 | 一种服务器系统性能的自动化测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711319772.1A CN107908538A (zh) | 2017-12-12 | 2017-12-12 | 一种服务器系统性能的自动化测试方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107908538A true CN107908538A (zh) | 2018-04-13 |
Family
ID=61865350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711319772.1A Pending CN107908538A (zh) | 2017-12-12 | 2017-12-12 | 一种服务器系统性能的自动化测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107908538A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032887A (zh) * | 2018-06-22 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种故障硬盘快速定位方法及系统 |
| CN109254887A (zh) * | 2018-09-25 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种ntb故障检测方法及系统 |
| CN109947634A (zh) * | 2019-02-27 | 2019-06-28 | Oppo广东移动通信有限公司 | 用于电子装置的测试结果的录入方法及电子装置 |
| CN111581065A (zh) * | 2020-04-13 | 2020-08-25 | 微梦创科网络科技（中国）有限公司 | 一种基于直播场景下的移动端消息分压测试系统及方法 |
| CN113835946A (zh) * | 2021-10-26 | 2021-12-24 | 北京淳中科技股份有限公司 | 数据交换的压力测试方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102480392A (zh) * | 2010-11-23 | 2012-05-30 | 中兴通讯股份有限公司 | 性能测试装置及其工作方法 |
| CN103916283A (zh) * | 2012-12-31 | 2014-07-09 | 北京新媒传信科技有限公司 | 服务器压力测试系统和方法 |
| CN106302332A (zh) * | 2015-05-22 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 用户数据的访问控制方法、装置及系统 |
| CN107102935A (zh) * | 2017-03-01 | 2017-08-29 | 网易（杭州）网络有限公司 | 一种服务器压力测试方法及装置 |
| CN107368396A (zh) * | 2017-08-22 | 2017-11-21 | 北京计算机技术及应用研究所 | 一种面向国产化计算机的自动化测试系统及方法 |
-
2017
- 2017-12-12 CN CN201711319772.1A patent/CN107908538A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102480392A (zh) * | 2010-11-23 | 2012-05-30 | 中兴通讯股份有限公司 | 性能测试装置及其工作方法 |
| CN103916283A (zh) * | 2012-12-31 | 2014-07-09 | 北京新媒传信科技有限公司 | 服务器压力测试系统和方法 |
| CN106302332A (zh) * | 2015-05-22 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 用户数据的访问控制方法、装置及系统 |
| CN107102935A (zh) * | 2017-03-01 | 2017-08-29 | 网易（杭州）网络有限公司 | 一种服务器压力测试方法及装置 |
| CN107368396A (zh) * | 2017-08-22 | 2017-11-21 | 北京计算机技术及应用研究所 | 一种面向国产化计算机的自动化测试系统及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032887A (zh) * | 2018-06-22 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种故障硬盘快速定位方法及系统 |
| CN109254887A (zh) * | 2018-09-25 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种ntb故障检测方法及系统 |
| CN109947634A (zh) * | 2019-02-27 | 2019-06-28 | Oppo广东移动通信有限公司 | 用于电子装置的测试结果的录入方法及电子装置 |
| CN111581065A (zh) * | 2020-04-13 | 2020-08-25 | 微梦创科网络科技（中国）有限公司 | 一种基于直播场景下的移动端消息分压测试系统及方法 |
| CN113835946A (zh) * | 2021-10-26 | 2021-12-24 | 北京淳中科技股份有限公司 | 数据交换的压力测试方法 |
| CN113835946B (zh) * | 2021-10-26 | 2023-12-12 | 北京淳中科技股份有限公司 | 数据交换的压力测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107908538A (zh) | 一种服务器系统性能的自动化测试方法及系统 | |
| Salman et al. | Are students representatives of professionals in software engineering experiments? | |
| Safdar et al. | Empirical evaluation of UML modeling tools–a controlled experiment | |
| US20110145795A1 (en) | System and method for automated performance testing in a dynamic production environment | |
| Kollanus | Test-driven development-still a promising approach? | |
| CN107423181A (zh) | 一种统一存储设备的自动化测试方法及装置 | |
| CN109634867B (zh) | 基于数据模拟系统下的软件测试方法、装置及存储介质 | |
| CN109783090A (zh) | 一种用于持续交付的可视化方法、装置和服务器 | |
| Mayerhofer | Testing and debugging UML models based on fUML | |
| CN111477048A (zh) | 一种在线实验教学平台及教学方法 | |
| CN109426611A (zh) | 一种软件测试方法和装置 | |
| Canfora et al. | A case study of automating user experience-oriented performance testing on smartphones | |
| CN106384399A (zh) | 一种面向物联网办公的网络考勤方法 | |
| US6691259B1 (en) | Terminal server data file extraction and analysis application | |
| Engström | Regression test selection and product line system testing | |
| CN111459814A (zh) | 自动化测试用例生成方法、装置及电子设备 | |
| CN107832176A (zh) | 一种Windows下硬盘压力自动测试方法及系统 | |
| CN103970876A (zh) | 一种基于Informix数据库服务器性能评估实现方法 | |
| CN113126993B (zh) | 应用于车辆检测软件的自动化测试方法及其系统 | |
| Weber et al. | Usability of development tools: A case-study | |
| CN109783492A (zh) | 一种基于wbs划分的数据引用和汇总的方法及设备 | |
| CN106354643B (zh) | 一种交互式软件的偶然性错误测试方法及系统 | |
| CN111290937B (zh) | 一种基于混合云的可扩展的移动应用自动化测试平台 | |
| Kannangara et al. | Impact of refactoring on external code quality improvement: An empirical evaluation | |
| Huaji et al. | Research on web application load testing model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180413 |