CN111382080A - 一种设备云管理平台系统的稳定性测试方法 - Google Patents
一种设备云管理平台系统的稳定性测试方法 Download PDFInfo
- Publication number
- CN111382080A CN111382080A CN202010182536.5A CN202010182536A CN111382080A CN 111382080 A CN111382080 A CN 111382080A CN 202010182536 A CN202010182536 A CN 202010182536A CN 111382080 A CN111382080 A CN 111382080A
- Authority
- CN
- China
- Prior art keywords
- equipment
- server
- cloud management
- login
- script
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013112 stability test Methods 0.000 title claims abstract description 12
- 238000013515 script Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims description 32
- 238000004088 simulation Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012430 stability testing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种设备云管理平台系统的稳定性测试方法，通过脚本模拟大量设备在线，模拟不同数量的用户登录云管理系统，并访问系统页面，触发脚本上报设备状态信息，收集各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启；通过脚本模拟大量设备在线，模拟不同数量的用户登录云管理系统，并向设备下发网络配置参数，将触发脚本上报设备状态信息的同时向设备下发网络配置参数，记录各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启。本发明的有益效果是：实现了云管理服务器的稳定性测试，有利于服务器的管理。
Description
技术领域
本发明涉及云管理平台系统，尤其涉及一种设备云管理平台系统的稳定性测试方法。
背景技术
云管理系统（如IP-COM）是集网络配置+方案生成+社交+营销一体的，最简单易用的商业化云平台，该系统由多个子系统构成，包括接入系统、业务系统、数据系统、日志系统、统计系统等，其中在线设备均使用tcp长连接方式与服务器维持消息通道，当有用户访问时，基于用户账号管理的设备会在一段时间内定时向服务器上报设备状态信息等，在IP-COM云管理系统需管理几万甚至几十万台在线设备的背景下，当这些设备同时向服务器上报状态消息时，将对服务器造成很大的压力。目前缺乏云管理服务器的稳定性测试方法，不利于服务器的管理。
发明内容
为了解决现有技术中的问题，本发明提供了一种设备云管理平台系统的稳定性测试方法。
本发明提供了一种设备云管理平台系统的稳定性测试方法，通过脚本模拟大量设备在线，模拟不同数量的用户登录云管理系统，并访问系统页面，触发脚本上报设备状态信息，收集各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启；通过脚本模拟大量设备在线，模拟不同数量的用户登录云管理系统，并向设备下发网络配置参数，将触发脚本上报设备状态信息的同时向设备下发网络配置参数，记录各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启。
作为本发明的进一步改进，包括以下步骤：
S1、首先向数据库插入用户账号信息，包括账号、密码、平台唯一码，并将平台唯一码与项目编号，设备序列号一一关联起来；
S2、在模拟设备的机器上，进入设备模拟cloud_test脚本放置目录，执行cloud_test脚本，在云管理系统对应的账号下看到对应序列号的设备显示在线则表示脚本连接成功，在cloud_test脚本内部采用one-pthread one-loop方式，启用多线程，每个线程内部使用epoll发起批量链接并处理业务，运行时配置起止设备序列号、线程个数，以达到大批量测试的目的；
S3、在一台可访问外网的电脑上安装jmeter测试工具，并编写用户并发访问测试脚本test.jmx；
S4、在云管理系统的登录时，由于服务器需要进行签名校验，所以在模拟时需根据服务器签名计算方法计算出签名，再通过登录接口发送登录请求达到模拟登录的目的，因jmeter支持自定义jar包的使用，所以计算签名的算法通过Java实现，并导出jar包，命名为signatureIMS.jar；
S5、将signatureIMS.jar包导入jmeter测试计划中，调用登录接口，即可达到系统登录模拟，为实现同时多用户登录，将待测用户登录账号、登录密码写入txt文件，通过jmeterCSV数据文件参数化设置调用用户账号信息，达到多用户登录的目的；
S6、完成用户登录后，设置用户访问云管理系统任意页面，同时将触发对应用户账号下全部项目下的所有在线设备上报状态信息，在cloud_test脚本中配置设备上报的内容、时间、周期，上报时间、周期与真实设备保持一致，上报期间，记录设备服务器、应用服务器、数据服务器、MySQL、Redis服务器的CPU、内存、磁盘I/O的硬件资源参数，并检查系统关键进程是否存在重启或崩溃的情况以验证系统的性能和稳定性，同时检查模拟设备是否存在掉线的情况，确定设备服务器上下行带宽是否存在瓶颈；
S7、测试系统配置下发时，配置下发接口需要用到项目编号、以及对应的设备序列号，通过构造的数据以及账号、唯一码、项目编号、设备序列号之间的对应关系，通过账号反计算项目编号和设备序列号，根据计算方法自定义jar包，导入jmeter中，调用配置下发接口，完成对设备配置的下发。
作为本发明的进一步改进，测试并发的用户数及并发设备上报的数量通过jmeter线程数确定，线程数即为不同账号的用户数量。
本发明的有益效果是：通过上述方案，实现了云管理服务器的稳定性测试，有利于服务器的管理。
附图说明
图1是本发明一种设备云管理平台系统的稳定性测试方法的系统架构图。
图2是本发明一种设备云管理平台系统的稳定性测试方法的流程图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
本发明的目的是解决IP-COM云管理系统在大量设备在线时，不同设备数量并发向服务器上报状态消息时，服务器的CPU、内存、I/O等硬件资源消耗，以及系统的稳定性。本发明采用的技术方案如下：
如图1至图2所示，一种设备云管理平台系统的稳定性测试方法，包括如下内容：
1、基于IP-COM云管理系统使用场景以及系统设备管理需求方面的考虑，确定基础数据，即每个用户账号下管理5个项目，每个项目绑定10台AP和1台网关，当不同用户数量访问系统将触发不同数量的设备向服务器上报状态信息。
2、通过脚本模拟大量设备在线，模拟不同数量的用户登录IP-COM云管理系统，并访问系统页面，触发脚本上报设备状态信息等，收集各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启。
3、通过脚本模拟大量设备在线，模拟不同数量的用户登录IP-COM云管理系统，并向设备下发无线、网络等配置参数，将触发脚本上报设备状态信息的同时向设备下发配置参数，记录各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启。
具体过程如下：
1、首先向数据库插入用户账号信息，包括账号、密码、平台唯一码，并将平台唯一码与项目编号，设备序列号一一关联起来。
2、在模拟设备的机器上，进入设备模拟cloud_test脚本放置目录，执行cloud_test脚本，在IP-COM云管理系统对应的账号下可以看到对应序列号的设备显示在线则表示脚本连接成功。在cloud_test脚本内部采用one-pthread one-loop方式，启用多线程，每个线程内部使用epoll发起批量链接并处理业务，运行时可配置起止设备序列号、线程个数，以达到大批量测试的目的。
3、一台可访问外网的电脑上安装jmeter测试工具，并编写用户并发访问测试脚本test.jmx。
4、在IP-COM云管理系统的登录时，由于服务器需要进行签名校验，所以在模拟时需根据服务器签名计算方法计算出签名，再通过登录接口发送登录请求达到模拟登录的目的。因jmeter支持自定义jar包的使用，所以计算签名的算法通过Java实现，并导出jar包，这里命名为signatureIMS.jar。
5、将signatureIMS.jar包导入jmeter测试计划中，调用登录接口，即可达到系统登录模拟，为实现同时多用户登录，将待测用户登录账号、登录密码写入txt文件，通过jmeter CSV数据文件参数化设置调用用户账号信息，达到多用户登录的目的。
6、完成用户登录后，设置用户访问IP-COM云管理系统任意页面，同时将触发对应用户账号下全部项目下的所有在线设备上报状态信息等，设备上报内容和时间、周期等在cloud_test脚本中配置，上报时间、周期与真实设备保持一致，上报期间，记录设备服务器、应用服务器、数据服务器、MySQL、Redis等服务器的CPU、内存、磁盘I/O等硬件资源参数，并检查系统关键进程是否存在重启或崩溃的情况以验证系统的性能和稳定性，同时检查模拟设备是否存在掉线的情况，确定设备服务器上下行带宽是否存在瓶颈。
7、测试系统配置下发时，配置下发接口需要用到项目编号、以及对应的设备序列号，这里通过构造的数据以及先前确定的账号、唯一码、项目编号、设备序列号之间的对应关系，通过账号反计算项目编号和设备序列号，根据计算方法自定义jar包，导入jmeter中，调用配置下发接口，完成对设备配置的下发。
测试并发的用户数及并发设备上报的数量通过jmeter线程数确定，线程数即为不同账号的用户数量。
每台模拟设备的机器最多支持3万台设备的模拟，更多的设备需要通过增加模拟设备机器进行扩展。
本发明提供的一种设备云管理平台系统的稳定性测试方法，针对IP-COM云管理系统，在大量设备在线时，设计了用户并发访问，设备并发上报的服务器性能、稳定性测试方法，测试当前系统存在的性能问题和瓶颈，如大量设备上报状态信息时，是否存在内存泄漏等问题，让开发针对问题进行优化和解决，了解当前服务器支持的最大并发数量，以及上下行带宽瓶颈等，有利于服务器的管理。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (3)
1.一种设备云管理平台系统的稳定性测试方法，其特征在于：通过脚本模拟大量设备在线，模拟不同数量的用户登录云管理系统，并访问系统页面，触发脚本上报设备状态信息，收集各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启；通过脚本模拟大量设备在线，模拟不同数量的用户登录云管理系统，并向设备下发网络配置参数，将触发脚本上报设备状态信息的同时向设备下发网络配置参数，记录各服务器CPU、内存、I/O，并检查各系统关键进程是否崩溃或重启。
2.根据权利要求1所述的设备云管理平台系统的稳定性测试方法，其特征在于，包括以下步骤：
S1、首先向数据库插入用户账号信息，包括账号、密码、平台唯一码，并将平台唯一码与项目编号，设备序列号一一关联起来；
S2、在模拟设备的机器上，进入设备模拟cloud_test脚本放置目录，执行cloud_test脚本，在云管理系统对应的账号下看到对应序列号的设备显示在线则表示脚本连接成功，在cloud_test脚本内部采用one-pthread one-loop方式，启用多线程，每个线程内部使用epoll发起批量链接并处理业务，运行时配置起止设备序列号、线程个数，以达到大批量测试的目的；
S3、在一台可访问外网的电脑上安装jmeter测试工具，并编写用户并发访问测试脚本test.jmx；
S4、在云管理系统的登录时，由于服务器需要进行签名校验，所以在模拟时需根据服务器签名计算方法计算出签名，再通过登录接口发送登录请求达到模拟登录的目的，因jmeter支持自定义jar包的使用，所以计算签名的算法通过Java实现，并导出jar包，命名为signatureIMS.jar；
S5、将signatureIMS.jar包导入jmeter测试计划中，调用登录接口，即可达到系统登录模拟，为实现同时多用户登录，将待测用户登录账号、登录密码写入txt文件，通过jmeterCSV数据文件参数化设置调用用户账号信息，达到多用户登录的目的；
S6、完成用户登录后，设置用户访问云管理系统任意页面，同时将触发对应用户账号下全部项目下的所有在线设备上报状态信息，在cloud_test脚本中配置设备上报的内容、时间、周期，上报时间、周期与真实设备保持一致，上报期间，记录设备服务器、应用服务器、数据服务器、MySQL、Redis服务器的CPU、内存、磁盘I/O的硬件资源参数，并检查系统关键进程是否存在重启或崩溃的情况以验证系统的性能和稳定性，同时检查模拟设备是否存在掉线的情况，确定设备服务器上下行带宽是否存在瓶颈；
S7、测试系统配置下发时，配置下发接口需要用到项目编号、以及对应的设备序列号，通过构造的数据以及账号、唯一码、项目编号、设备序列号之间的对应关系，通过账号反计算项目编号和设备序列号，根据计算方法自定义jar包，导入jmeter中，调用配置下发接口，完成对设备配置的下发。
3.根据权利要求2所述的设备云管理平台系统的稳定性测试方法，其特征在于：测试并发的用户数及并发设备上报的数量通过jmeter线程数确定，线程数即为不同账号的用户数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010182536.5A CN111382080A (zh) | 2020-03-16 | 2020-03-16 | 一种设备云管理平台系统的稳定性测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010182536.5A CN111382080A (zh) | 2020-03-16 | 2020-03-16 | 一种设备云管理平台系统的稳定性测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111382080A true CN111382080A (zh) | 2020-07-07 |
Family
ID=71221600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010182536.5A Pending CN111382080A (zh) | 2020-03-16 | 2020-03-16 | 一种设备云管理平台系统的稳定性测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382080A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069076A (zh) * | 2020-09-11 | 2020-12-11 | 四川长虹电器股份有限公司 | 一种基于jmeter的接口测试自动化断言方法 |
| CN114253854A (zh) * | 2021-12-21 | 2022-03-29 | 四川启睿克科技有限公司 | 基于多类型设备模拟上报数据的自动化测试方法 |
| CN114676067A (zh) * | 2022-05-26 | 2022-06-28 | 武汉迎风聚智科技有限公司 | 一种测试脚本的参数化处理方法以及装置 |
| CN114780325A (zh) * | 2022-06-21 | 2022-07-22 | 新华三信息技术有限公司 | 一种PCIe设备检测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333488A (zh) * | 2014-11-04 | 2015-02-04 | 哈尔滨工业大学 | 云服务平台性能测试方法 |
| CN104378252A (zh) * | 2014-08-26 | 2015-02-25 | 国家电网公司 | 一种云测试服务平台 |
| CN109327355A (zh) * | 2018-10-25 | 2019-02-12 | 平安科技（深圳）有限公司 | 云存储系统性能评测方法、装置及计算机可读存储介质 |
| CN109597761A (zh) * | 2018-12-03 | 2019-04-09 | 四川长虹电器股份有限公司 | 一种基于Jmeter的接口自动化测试方法 |
| CN110502435A (zh) * | 2019-07-26 | 2019-11-26 | 广东睿江云计算股份有限公司 | 基于Jmeter的自动化性能测试方法及其系统 |
| CN110618924A (zh) * | 2019-09-19 | 2019-12-27 | 浙江诺诺网络科技有限公司 | 一种web应用系统的链路压力测试方法 |
| CN110750458A (zh) * | 2019-10-22 | 2020-02-04 | 恩亿科(北京)数据科技有限公司 | 大数据平台测试方法、装置、可读存储介质及电子设备 |
-
2020
- 2020-03-16 CN CN202010182536.5A patent/CN111382080A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104378252A (zh) * | 2014-08-26 | 2015-02-25 | 国家电网公司 | 一种云测试服务平台 |
| CN104333488A (zh) * | 2014-11-04 | 2015-02-04 | 哈尔滨工业大学 | 云服务平台性能测试方法 |
| CN109327355A (zh) * | 2018-10-25 | 2019-02-12 | 平安科技（深圳）有限公司 | 云存储系统性能评测方法、装置及计算机可读存储介质 |
| CN109597761A (zh) * | 2018-12-03 | 2019-04-09 | 四川长虹电器股份有限公司 | 一种基于Jmeter的接口自动化测试方法 |
| CN110502435A (zh) * | 2019-07-26 | 2019-11-26 | 广东睿江云计算股份有限公司 | 基于Jmeter的自动化性能测试方法及其系统 |
| CN110618924A (zh) * | 2019-09-19 | 2019-12-27 | 浙江诺诺网络科技有限公司 | 一种web应用系统的链路压力测试方法 |
| CN110750458A (zh) * | 2019-10-22 | 2020-02-04 | 恩亿科(北京)数据科技有限公司 | 大数据平台测试方法、装置、可读存储介质及电子设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069076A (zh) * | 2020-09-11 | 2020-12-11 | 四川长虹电器股份有限公司 | 一种基于jmeter的接口测试自动化断言方法 |
| CN114253854A (zh) * | 2021-12-21 | 2022-03-29 | 四川启睿克科技有限公司 | 基于多类型设备模拟上报数据的自动化测试方法 |
| CN114253854B (zh) * | 2021-12-21 | 2024-05-14 | 四川启睿克科技有限公司 | 基于多类型设备模拟上报数据的自动化测试方法 |
| CN114676067A (zh) * | 2022-05-26 | 2022-06-28 | 武汉迎风聚智科技有限公司 | 一种测试脚本的参数化处理方法以及装置 |
| CN114780325A (zh) * | 2022-06-21 | 2022-07-22 | 新华三信息技术有限公司 | 一种PCIe设备检测方法及装置 |
| CN114780325B (zh) * | 2022-06-21 | 2022-09-30 | 新华三信息技术有限公司 | 一种PCIe设备检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111382080A (zh) | 一种设备云管理平台系统的稳定性测试方法 | |
| CN106776280B (zh) | 可配置性能测试装置 | |
| CN111124850A (zh) | Mqtt服务器性能测试方法、系统、计算机设备及存储介质 | |
| CN103581247A (zh) | 一种基于云计算环境的分布式Web测试方法 | |
| CN106649057A (zh) | 一种服务器压力测试的方法及装置 | |
| Catelani et al. | Software automated testing: A solution to maximize the test plan coverage and to increase software reliability and quality in use | |
| CN107704369B (zh) | 一种操作日志的记录方法、电子设备、存储介质、系统 | |
| CN112631846A (zh) | 一种故障演练方法、装置、计算机设备及存储介质 | |
| Araujo et al. | An investigative approach to software aging in android applications | |
| CN113127356A (zh) | 压测方法、装置、电子设备及存储介质 | |
| CN107168844B (zh) | 一种性能监控的方法及装置 | |
| Wang et al. | A model-based framework for cloud API testing | |
| CN115203054A (zh) | 一种虚拟化芯片测试系统 | |
| CN110750445A (zh) | 一种yarn组件高可用性功能的测试方法、系统及设备 | |
| CN108600007B (zh) | 一种云平台责任追溯方法和系统 | |
| CN113961465A (zh) | 程序崩溃场景的复现处理方法、设备及程序产品 | |
| CN111290942A (zh) | 压力测试方法、装置以及计算机可读介质 | |
| CN114155054A (zh) | 一种基于kafka的大数据报表统计的测试方法及其系统 | |
| CN114895879B (zh) | 管理系统设计方案确定方法、装置、设备及存储介质 | |
| Hill et al. | Unit testing non-functional concerns of component-based distributed systems | |
| CN113722240B (zh) | 一种linux操作系统管理平台的稳定性测试方法及系统 | |
| CN114238091A (zh) | 一种常驻型交互式服务集群测试方法及系统 | |
| CN111782557B (zh) | 一种web应用权限的测试方法及其系统 | |
| CN103019927B (zh) | 一种性能测试方法和系统 | |
| CN114385498A (zh) | 性能测试方法、系统、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |
|
| RJ01 | Rejection of invention patent application after publication |