CN110990290B - 一种通用大数据平台稳定性测试系统及方法 - Google Patents
一种通用大数据平台稳定性测试系统及方法 Download PDFInfo
- Publication number
- CN110990290B CN110990290B CN201911280744.2A CN201911280744A CN110990290B CN 110990290 B CN110990290 B CN 110990290B CN 201911280744 A CN201911280744 A CN 201911280744A CN 110990290 B CN110990290 B CN 110990290B
- Authority
- CN
- China
- Prior art keywords
- scene
- test
- module
- scenes
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000013112 stability test Methods 0.000 claims abstract description 18
- 238000013515 script Methods 0.000 claims abstract description 14
- 230000005856 abnormality Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000002347 injection Methods 0.000 claims description 4
- 239000007924 injection Substances 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 239000000725 suspension Substances 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据平台测试领域，具体提供了一种通用大数据平台稳定性测试系统及方法。与现有技术相比，本发明的通用大数据平台稳定性测试系统，由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，所述场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接；所述场景管理模块包含硬件层、操作系统层和/或应用层的异常脚本；所述场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常；所述测试输出模块用于测试结果进行输出；所述问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常。快速构建测试场景，构建的测试场景整体、全面，便于发现日常测试中难以发现的隐藏问题，具有良好的推广价值。
Description
技术领域
本发明涉及数据平台测试领域，具体提供一种通用大数据平台稳定性测试系统及方法。
背景技术
随着互联网+时代的到来，各行各业的数据都产生了爆炸式增长，如何让数据更有价值，发掘、分析这些海量数据使之相互作用形成有价值的信息。是每个企业重点关注的内容之一，大数据平台为企业解决了这个难题。
一方面，大数据平台的复杂性，平台架构及组件的开源性、开放性，导致了平台的稳定难以预测，在常规的测试中通常对单个组件或特定的平台应用进行稳定性测试，测试的异常场景覆盖度不高，且不同组件间的相互影响与依赖不能有效覆盖，这也就造成平台上线后，总会出现这样或那样的异常情况。
另一方面，由于平台自身的复杂性、组件的多样性，任何一个组件出现异常都可能造成整个平台的异常，不同组件的异常状况组合往往会产生难以预测的结果，传统测试往往针对独立组件、核心应用进行稳定性测试，整个测试缺乏整体性、全面性，不能发现隐藏的深层次的问题。
发明内容
本发明是针对上述现有技术的不足，提供一种设计合理，安全适用的通用大数据平台稳定性测试系统。
本发明进一步的技术任务是提供一种实用性强的通用大数据平台稳定性测试方法。
本发明解决其技术问题所采用的技术方案是：
一种通用大数据平台稳定性测试系统，由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，所述场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接；
所述场景管理模块用于管理稳定性测试所需要的各种场景的脚本，包含硬件层、操作系统层和/或应用层的异常脚本；
所述场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常；
所述测试输出模块用于测试结果进行输出；
所述问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常。
进一步的，应用层包含组件和软件层面。
作为优选，在场景管理模块中操作系统层有11大场景，硬件层有3大场景，组件和软件层面11大场景。
进一步的，操作系统层的11大场景由软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满组成。
进一步的，硬件层的3大场景由拔掉网线、直接关闭电源和拔掉硬盘组成。
进一步的，组件和软件层面的11大场景由停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启组成。
一种通用大数据平台稳定性测试方法，场景管理用于管理稳定性测试需要的各种场景的脚本，对各种场景的脚本进行处理，在保证核心业务正常的情况下，通过场景编排对测试场景进行统一调度管理，使用算法对已存在的测试场景进行汇编、排序，对测试输出的结果进行判定，在核心业务异常或者测试结束时对整个测试结果进行输出，当测试结果不符合预期时，进行问题跟踪，清晰记录每个时间点所执行的操作以及结果的记录。
作为优选，在场景编排中使用的算法主要有随机、顺序、紧前、紧后、同时几种类型。
进一步的，在场景编排中至少要保证同一时刻有节点是正常的。
进一步的，在场景管理中的硬件层、操作系统层、组件和软件层面中的场景为通用场景，通用场景为软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0、模拟网络流量打满、拔掉网线、直接关闭电源、拔掉硬盘、停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启25种场景。
本发明的通用大数据平台稳定性测试系统及方法和现有技术相比，具有以下突出的有益效果：
本发明的大数据平台稳定性测试中，可以快速构建测试场景，构建的测试场景整体、全面，便于发现日常测试中难以发现的隐藏问题。场景扩充方便灵活，整个测试过程自动化高，可以大量节省人力、时间、资源等成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种通用大数据平台稳定性测试系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中通用大数据平台稳定性测试系统由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接。场景管理模块用于管理稳定性测试所需要的各种场景的脚本，包含硬件层、操作系统层和/或应用层的异常脚本。场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常。测试输出模块用于测试结果进行输出。问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常。
其中，应用层包含组件和软件层面。组件和软件层面有11大场景，分别为停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启。
在场景管理模块中操作系统层有11大场景，分别为软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满。硬件层有3大场景分别为拔掉网线、直接关闭电源和拔掉硬盘。
基于上述系统，实现该系统的方法为：场景管理主要用于管理稳定性测试需要的各种场景的脚本，对各种场景的脚本进行处理，在保证核心业务正常的情况下，通过场景编排对测试场景进行统一调度管理，使用算法对已存在的测试场景进行汇编、排序，对测试输出的结果进行判定，在核心业务异常或者测试结束时对整个测试结果进行输出，当测试结果不符合预期时，进行问题跟踪，清晰记录每个时间点所执行的操作以及结果的记录。
通过场景编排对测试场景进行统一调度管理、通过编排提高测试覆盖度，使测试场景相互作用相互影响，通过问题跟踪可发现复杂场景下，对系统稳定性的影响，找出问题根源提高系统的稳定性。
具体的步骤为：
场景管理：主要是对硬件层、操作系统层、组件和软件层的脚本进行管理，其中，操作系统层面有软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满11大场景。硬件层有拔掉网线、直接关闭电源和拔掉硬盘3大场景。组件和软件层面有停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启11大场景。
以上场景为通用场景，根据不同项目不同组件可自行扩充。
场景编排：对已存在的场景进行汇编，排序。
场景编排有一个大前提就是在保证核心业务正常的情况下，对已存在的测试场景进行组合编排，场景编排的算法主要是随机、顺序、紧前、紧后、同时几种类型。如：某个大数据平台有6个数据节点，场景编排时可以让2个节点重启服务器，1个节点丢数据，1个节点杀进程，1个节点拔掉网线。但是至少要保证同一时刻有节点是正常的。
测试输出：对测试结果进行判定，在核心业务异常或测试结束时，对整个测试结果进行输出。
问题跟踪：当测试结果不符合预期时，说明该混合测试过程、步骤对业务系统产生无法预测的破坏。如：业务系统设计只有一个节点存活，那么服务就不中断，场景编排时的逻辑也是如此。但是在经过一系列的异常场景的混合、混沌测试后发现系统异常了，那么通过问题跟踪可以清晰的记录每个时间点所执行的操作以及结果记录。可以及时协助人员发现问题的原因。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的通用大数据平台稳定性测试系统及方法权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (2)
1.一种通用大数据平台稳定性测试系统，其特征在于，由场景管理模块、场景编排模块、测试输出模块和问题跟踪模块组成，所述场景管理模块与场景编排模块、测试输出模块和问题跟踪模块依次连接；
所述场景管理模块用于管理稳定性测试所需要的各种场景的脚本，包含硬件层、操作系统层和/或应用层的异常脚本；
所述场景编排模块用于保证平台服务不中断的前提下，来模拟不同组件不同场景的异常；
所述测试输出模块用于测试结果进行输出；
所述问题跟踪模块用于测试结果异常时，跟踪定位记录是哪种异常场景组合导致本次异常；
其中，所述应用层包含组件和软件层面；
在场景管理模块中操作系统层有11大场景，硬件层有3大场景，组件和软件层面11大场景；
操作系统层的11大场景由软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0和模拟网络流量打满组成；
硬件层的3大场景由拔掉网线、直接关闭电源和拔掉硬盘组成；
组件和软件层面的11大场景由停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启组成。
2.一种通用大数据平台稳定性测试方法，其特征在于，场景管理用于管理稳定性测试需要的各种场景的脚本，对各种场景的脚本进行处理，在保证核心业务正常的情况下，通过场景编排对测试场景进行统一调度管理，使用算法对已存在的测试场景进行汇编、排序，对测试输出的结果进行判定，在核心业务异常或者测试结束时对整个测试结果进行输出，当测试结果不符合预期时，进行问题跟踪，清晰记录每个时间点所执行的操作以及结果的记录；
在场景编排中使用的算法主要有随机、顺序、紧前、紧后、同时几种类型；
在场景编排中至少要保证同一时刻有节点是正常的；
在场景管理中的硬件层、操作系统层、组件和软件层面中的场景为通用场景，通用场景为软关机、禁用网卡、强制终止进程、挂起进程、CPU超载、主机防火墙对数据包过滤拦截、IO故障注入、TC数据包重新编排、模拟文件系统损坏、模拟磁盘可用空间为0、模拟网络流量打满、拔掉网线、直接关闭电源、拔掉硬盘、停止数据节点的服务、杀掉数据节点服务进程、重启数据节点服务、停止应用程序、杀掉应用程序进程、重启应用节点、文件块丢失模拟、删除数据副本、大消息写入到消息队列、重启消息中间件和身份认证服务重启25种场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911280744.2A CN110990290B (zh) | 2019-12-13 | 2019-12-13 | 一种通用大数据平台稳定性测试系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911280744.2A CN110990290B (zh) | 2019-12-13 | 2019-12-13 | 一种通用大数据平台稳定性测试系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110990290A CN110990290A (zh) | 2020-04-10 |
| CN110990290B true CN110990290B (zh) | 2023-06-06 |
Family
ID=70093152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911280744.2A Active CN110990290B (zh) | 2019-12-13 | 2019-12-13 | 一种通用大数据平台稳定性测试系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110990290B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521120A (zh) * | 2011-11-16 | 2012-06-27 | 中国民航信息网络股份有限公司 | 一种软件自动化测试系统及方法 |
| JP2017084082A (ja) * | 2015-10-27 | 2017-05-18 | 富士電機株式会社 | シミュレーション装置、試験シナリオファイル作成方法、及び試験シナリオファイルを用いた試験方法 |
| CN106844198A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种分布式调度自动化测试平台及方法 |
| CN107656859A (zh) * | 2017-09-28 | 2018-02-02 | 四川长虹电器股份有限公司 | 针对云端系统具备高容错性的稳定性测试方法 |
| CN107656867A (zh) * | 2017-09-14 | 2018-02-02 | 中标软件有限公司 | 一种数据库与操作系统兼容性认证测试的方法和装置 |
| CN109617759A (zh) * | 2018-12-04 | 2019-04-12 | 中钞信用卡产业发展有限公司杭州区块链技术研究院 | 区块链系统稳定性测试方法、装置、设备及存储介质 |
| CN109976963A (zh) * | 2019-03-28 | 2019-07-05 | 苏州浪潮智能科技有限公司 | 一种基于通用平台的bmc测试系统实现的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7401259B2 (en) * | 2003-06-19 | 2008-07-15 | Sun Microsystems, Inc. | System and method for scenario generation in a distributed system |
| US9842045B2 (en) * | 2016-02-19 | 2017-12-12 | International Business Machines Corporation | Failure recovery testing framework for microservice-based applications |
-
2019
- 2019-12-13 CN CN201911280744.2A patent/CN110990290B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521120A (zh) * | 2011-11-16 | 2012-06-27 | 中国民航信息网络股份有限公司 | 一种软件自动化测试系统及方法 |
| JP2017084082A (ja) * | 2015-10-27 | 2017-05-18 | 富士電機株式会社 | シミュレーション装置、試験シナリオファイル作成方法、及び試験シナリオファイルを用いた試験方法 |
| CN106844198A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种分布式调度自动化测试平台及方法 |
| CN107656867A (zh) * | 2017-09-14 | 2018-02-02 | 中标软件有限公司 | 一种数据库与操作系统兼容性认证测试的方法和装置 |
| CN107656859A (zh) * | 2017-09-28 | 2018-02-02 | 四川长虹电器股份有限公司 | 针对云端系统具备高容错性的稳定性测试方法 |
| CN109617759A (zh) * | 2018-12-04 | 2019-04-12 | 中钞信用卡产业发展有限公司杭州区块链技术研究院 | 区块链系统稳定性测试方法、装置、设备及存储介质 |
| CN109976963A (zh) * | 2019-03-28 | 2019-07-05 | 苏州浪潮智能科技有限公司 | 一种基于通用平台的bmc测试系统实现的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 朱敏 ; 李建军 ; 王莉华 ; 吴振宇 ; .分布式系统综合集成测试技术.计算机工程.2008,(第S1期),全文. * |
| 李昌 ; 邓矢斧 ; 冯雷 ; 张驰 ; 马可锌 ; .基于全数字的航空机载软件验证平台研究.计算机测量与控制.2018,(第06期),全文. * |
| 王宇新 ; 刘玮 ; 郭禾 ; .面向虚拟机的分布式系统测试分析框架.系统仿真学报.2013,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110990290A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106095677B (zh) | 基于Robot Framework实现的RESTful Webservice接口自动化测试方法 | |
| US8352801B2 (en) | Systems, methods, and apparatus to debug a network application by utilizing a cloned network and an interactive debugging technique | |
| CN109800160B (zh) | 机器学习系统中的集群服务器故障测试方法和相关装置 | |
| CN111881014B (zh) | 一种系统测试方法、装置、存储介质及电子设备 | |
| CN107800783B (zh) | 远程监控服务器的方法及装置 | |
| CN111177193A (zh) | 一种基于Flink的日志流式处理方法及系统 | |
| CN110784486A (zh) | 一种工业漏洞扫描方法和系统 | |
| Kesim et al. | Identifying and prioritizing chaos experiments by using established risk analysis techniques | |
| CN116170235B (zh) | 一种数据库优化访问方法、系统、设备及介质 | |
| CN110990290B (zh) | 一种通用大数据平台稳定性测试系统及方法 | |
| Hine et al. | Scalable emulation of enterprise systems | |
| CN113872826B (zh) | 网卡端口稳定性测试方法、系统、终端及存储介质 | |
| CN112235244B (zh) | 异常报文的构造方法以及工控网络设备的检测方法、装置和介质 | |
| JP7251649B2 (ja) | グラフ関連付けシステムおよびグラフ関連付け方法 | |
| Chen et al. | Big data system testing method based on chaos engineering | |
| CN105389253A (zh) | 基于多线程技术模拟客户端执行网元管理的方法及系统 | |
| Hu et al. | Design and Implementation of an Automated Test Framework for Electric Power Data Network based on the Unified Resource Scheduling | |
| CN111385253A (zh) | 一种面向配电自动化系统网络安全的脆弱性检测系统 | |
| CN116489046A (zh) | 分流设备的可靠性测试方法、装置、设备、介质及系统 | |
| CN111984523B (zh) | 消息处理任务测试方法、装置、系统、设备及介质 | |
| CN115378882A (zh) | 流数据处理方法、装置、设备及介质 | |
| Guo et al. | Design and implementation of traffic recording playback test tool | |
| CN116775434A (zh) | 性能测试预检方法、装置、电子设备及可读存储介质 | |
| Li et al. | Dual-architecture application parallel and traffic switching solution | |
| Chawla et al. | Data mining on the grid for the grid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |