CN110262970A - 一种基于Hadoop大数据集群API自动化测试的方法和系统 - Google Patents
一种基于Hadoop大数据集群API自动化测试的方法和系统 Download PDFInfo
- Publication number
- CN110262970A CN110262970A CN201910513726.8A CN201910513726A CN110262970A CN 110262970 A CN110262970 A CN 110262970A CN 201910513726 A CN201910513726 A CN 201910513726A CN 110262970 A CN110262970 A CN 110262970A
- Authority
- CN
- China
- Prior art keywords
- api
- big data
- cluster
- automatic test
- data cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000010354 integration Effects 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000005538 encapsulation Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 244000144992 flock Species 0.000 claims 1
- 238000009434 installation Methods 0.000 claims 1
- 230000013011 mating Effects 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000012856 packing Methods 0.000 description 5
- 241001269238 Data Species 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Abstract
本发明公开了一种基于Hadoop大数据集群API自动化测试的方法和系统，属于计算机软件API自动化测试领域，该方法首先安装Hadoop大数据集群并设置定时，通过集成工具自动调用该大数据集群中的服务API，对大数据集群中的各服务组件进行API测试，并将测试结果输出到报告中，通过查看报告了解该大数据集群中各服务组件是否正常。一种基于Hadoop大数据集群API自动化测试的系统，包括大数据服务API调用模块和API打包集成自动化模块。本发明易于开发维护，相对稳定可靠，执行速度快，用时时间短，能够有效的降低成本。
Description
技术领域
本发明涉及计算机软件API自动化测试领域，具体涉及一种基于Hadoop大数据集群API自动化测试的方法和系统。
背景技术
在日常工作中，大数据产品规模越大时，相对而言的稳定性就会下降，为测试检验大数据产品的稳定性自然而然就会想到功能测试，但是这种稳定性功能测试会占据大量的工作量，需要投入很大的人力物力；针对这个问题，大数据web页面自动化可以减少人力的投入，但是这种测试方式执行时间太长，且不易维护，也不稳定。
发明内容
本发明的技术任务是提供一种基于Hadoop大数据集群API自动化测试的方法和系统，易于开发和维护，相对稳定可靠，执行速度快，用时时间短。
本发明解决其技术问题所采用的技术方案是：
一种基于Hadoop大数据集群API自动化测试的方法，该方法是Hadoop大数据集群的API自动化测试的实现，安装Hadoop大数据集群并设置定时后，通过集成工具自动调用该大数据集群中的服务API，对大数据集群中的各服务组件进行API测试，并将测试结果输出到报告中，通过查看报告了解该大数据集群中各服务组件是否正常。以此快速高效的完成大数据集群中相关组件的API测试，正确性高，减少人工大数据集群相关组件API测试工作量。
优选的，通过Jenkins集成工具调用API测试封装的jar包。Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能，Jenkins集成工具用于持续的软件版本发布/测试项目以及监控外部调用执行的工作。
具体的，该方法包括大数据服务API调用和API打包集成自动化，
大数据服务API调用定义主要包含调用的大数据服务组件的API，获取集群配置，调用服务组件API，将服务组件API调用结果输出到报告文档中；
API打包集成自动化包括将程序打包成Runnable JAR file，将导出的jar包集成到集成工具流程中，当大数据集群部署完成后，自动调用导出的jar包完成大数据API测试，将结果输出到报告中。
进一步的，所述大数据服务组件包括HDFS、Hive、Hbase、Kafka、Spark组件。
具体的，对于定义主要包含调用的大数据服务组件的API，在配置文件中定义集群地址和相关配置，在所述大数据服务组件Util工具类中读取配置文件且调用集群中的接口并封装成方法；在所述大数据服务组件API类中编排调用Util类中所有方法。
优选的，大数据服务API调用主要是将大数据集群中的配置文件和各个组件的API写到程序中，通过大数据集群的配置文件，程序可以识别出是哪个集群，然后再调用大数据集群中的服务API，最后将调用结果输出到报告中。
优选的，所述调用结果输出为TXT文档报告。
优选的，API打包集成自动化是在eclipse开发工具中将代码以Runnable JARfile形式导出，在导出过程中选择本工程程序中的main类；导出的jar包放到Jenkins持续集成工具中，用Jenkins工具将大数据集群部署和集群的API自动化测试串联，当大数据集群环境部署完成后，调用API自动化测试jar包，完成大数据集群的API自动化测试，最后查看API自动化测试结果。
本发明还要求保护一种基于Hadoop大数据集群API自动化测试的系统，包括大数据服务API调用模块和API打包集成自动化模块，
大数据服务API调用模块调用定义主要包含调用的大数据服务组件的API，获取集群配置，调用服务组件API，将服务组件API调用结果输出到报告文档中；
API打包集成自动化模块将程序打包成Runnable JAR file，将导出的jar包集成到集成工具流程中，当大数据集群部署完成后，自动调用导出的jar包完成大数据API测试，将结果输出到报告中。
具体的，大数据服务API调用模块将大数据集群中的配置文件和各个组件的API写到程序中，通过大数据集群的配置文件，程序可以识别出是哪个集群，然后再调用大数据集群中的服务API，最后将调用结果输出到报告中；
API打包集成自动化模块在eclipse开发工具中将代码以Runnable JAR file形式导出，在导出过程中选择本工程程序中的main类，导出的jar包放到Jenkins持续集成工具中，用Jenkins工具将大数据集群部署和集群的API自动化测试串联，当大数据集群环境部署完成后，调用API自动化测试jar包，完成大数据集群的API自动化测试，最后查看API自动化测试结果。
本发明的一种基于Hadoop大数据集群API自动化测试的方法和系统与现有技术相比，具有以下有益效果：
Hadoop大数据产品在当今时代已经成为各种产品服务的底层支撑，Hadoop大数据产品的稳定性对其他产品影响极大，为检测产品的稳定性，故使用API自动化测试。
该测试系统易于开发维护，相对稳定可靠，执行速度快，用时时间短，能够有效的降低成本。
附图说明
图1是本发明基于Hadoop大数据集群API自动化测试的方法的流程图；
图2是实施例中API调用示例图(1)；
图3是实施例中API调用示例图(2)；
图4是实施例中API调用示例图(3)；
图5是实施例中API调用示例图(4)；
图6是实施例中打包集成示例图(1)；
图7是实施例中打包集成示例图(2)；
图8是实施例中的报告输出示例图(1)；
图9是实施例中的报告输出示例图(2)。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
一种基于Hadoop大数据集群API自动化测试的方法，该方法是Hadoop大数据集群的API自动化测试的实现。一个Hadoop大数据集群安装完成并设置定时后，Jenkins集成工具会自动调用该API测试封装的jar包，对大数据集群中的各服务组件进行API测试，并将测试结果输出到报告中，相关人员通过查看报告就可以了解该大数据集群中各服务组件是否正常。以此快速高效的完成大数据集群中相关组件的API测试，正确性高，减少人工大数据集群相关组件API测试工作量。
具体的，该方法包括大数据服务API调用和API打包集成自动化，
大数据服务API调用段定义主要包含调用的大数据服务组件的API，例如HDFS、Hive、Hbase、Kafka、Spark等大数据组件，获取集群配置，调用服务组件API，将服务组件API调用结果输出到报告文档中；
API打包集成阶段包括将程序打包成Runnable JAR file，将导出的jar包集成到集成工具流程中，当大数据集群部署完成后，自动调用导出的jar包完成大数据API测试，将结果输出到报告中。
对于定义主要包含调用的大数据服务组件的API，在配置文件中定义集群地址和相关配置，在所述大数据服务组件Util工具类中读取配置文件且调用集群中的接口并封装成方法；在所述大数据服务组件API类中编排调用Util类中所有方法。
大数据服务API调用主要是将大数据集群中的配置文件和各个组件的API写到程序中，通过大数据集群的配置文件，程序可以识别出是哪个集群，然后再调用大数据集群中的服务API，最后将调用结果输出到TXT文档报告中。
优选的，API打包集成自动化是在eclipse开发工具中将代码以Runnable JARfile形式导出，在导出过程中选择本工程程序中的main类；导出的jar包放到Jenkins持续集成工具中，用Jenkins工具将大数据集群部署和集群的API自动化测试串联，当大数据集群环境部署完成后，调用API自动化测试jar包，完成大数据集群的API自动化测试，最后查看API自动化测试结果。
具体实现过程如下：
API调用→打包集成→报告输出。
一、API调用
如图2-图5所示，在config.xml配置文件中定义集群地址和相关配置(图2)，在hdfsUtil类中读取config.xml配置文件(图3)且调用集群中的接口并封装成方法(图4)；在hdfsAPI类中编排调用hdfsUtil类中所有方法(图5)。(另外包含大数据组件hive、hbase、kafka和spark的接口，且调用方法与hdfs类似，共五个大数据组件。)
二、打包集成
如图6和图7所示，将程序以Runnable JAR file格式导出，导出时注意选择Launchconfiguration,选择本程序中的main类(图6)；最后将导出的jar包上传至jenkins服务器，在jenkins的pipeline中在集群搭建完成后加入调用该jar包代码(图7)。
三、报告输出
如图8和图9所示，在hdfsAPI类中定义了报告输出的路径和数据格式(图8)，图9是hdfs输出的报告详细内容(其他大数据服务hive、hbase、kafka和spark与之类似)。
作为本发明的一个实施例，一种基于Hadoop大数据集群API自动化测试的系统，包括大数据服务API调用模块和API打包集成自动化模块，
大数据服务API调用模块调用定义主要包含调用的大数据服务组件的API，获取集群配置，调用服务组件API，将服务组件API调用结果输出到报告文档中；
API打包集成自动化模块将程序打包成Runnable JAR file，将导出的jar包集成到集成工具流程中，当大数据集群部署完成后，自动调用导出的jar包完成大数据API测试，将结果输出到报告中。
大数据服务API调用模块将大数据集群中的配置文件和各个组件的API写到程序中，通过大数据集群的配置文件，程序可以识别出是哪个集群，然后再调用大数据集群中的服务API，最后将调用结果输出到报告中；
API打包集成自动化模块在eclipse开发工具中将代码以Runnable JAR file形式导出，在导出过程中选择本工程程序中的main类，导出的jar包放到Jenkins持续集成工具中，用Jenkins工具将大数据集群部署和集群的API自动化测试串联，当大数据集群环境部署完成后，调用API自动化测试jar包，完成大数据集群的API自动化测试，最后查看API自动化测试结果。
该基于Hadoop大数据集群API自动化测试的方法以及系统已经研发完成、并已应用到大数据产品稳定性检测中，经过长期使用与完善，可在大数据产品稳定性和可靠性检验测试中确保产品的质量同时节省大量的人力物力，从而降低产品的成本。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (10)
1.一种基于Hadoop大数据集群API自动化测试的方法，其特征在于安装Hadoop大数据集群并设置定时，通过集成工具自动调用该大数据集群中的服务API，对大数据集群中的各服务组件进行API测试，并将测试结果输出到报告中，通过查看报告了解该大数据集群中各服务组件是否正常。
2.根据权利要求1所述的一种基于Hadoop大数据集群API自动化测试的方法，其特征在于通过Jenkins集成工具调用API测试封装的jar包。
3.根据权利要求1或2所述的一种基于Hadoop大数据集群API自动化测试的方法，其特征在于该方法包括大数据服务API调用和API打包集成自动化，
大数据服务API调用定义主要包含调用的大数据服务组件的API，获取集群配置，调用服务组件API，将服务组件API调用结果输出到报告文档中；
API打包集成自动化包括将程序打包成Runnable JAR file，将导出的jar包集成到集成工具流程中，当大数据集群部署完成后，自动调用导出的jar包完成大数据API测试，将结果输出到报告中。
4.根据权利要求3所述的一种基于Hadoop大数据集群API自动化测试的方法，其特征在于所述大数据服务组件包括HDFS、Hive、Hbase、Kafka、Spark组件。
5.根据权利要求4所述的一种基于Hadoop大数据集群API自动化测试的方法，其特征在于在配置文件中定义集群地址和相关配置，在所述大数据服务组件Util工具类中读取配置文件且调用集群中的接口并封装成方法；在所述大数据服务组件API类中编排调用Util类中所有方法。
6.根据权利要求3所述的一种基于Hadoop大数据集群API自动化测试的方法，其特征在于大数据服务API调用主要是将大数据集群中的配置文件和各个组件的API写到程序中，通过大数据集群的配置文件，程序可以识别出是哪个集群，然后再调用大数据集群中的服务API，最后将调用结果输出到报告中。
7.根据权利要求6所述的一种基于Hadoop大数据集群API自动化测试的方法，其特征在于所述报告为TXT文档。
8.根据权利要求3所述的一种基于Hadoop大数据集群API自动化测试的方法，其特征在于API打包集成自动化是在eclipse开发工具中将代码以Runnable JAR file形式导出，在导出过程中选择本工程程序中的main类；导出的jar包放到Jenkins持续集成工具中，用Jenkins工具将大数据集群部署和集群的API自动化测试串联，当大数据集群环境部署完成后，调用API自动化测试jar包，完成大数据集群的API自动化测试，最后查看API自动化测试结果。
9.一种基于Hadoop大数据集群API自动化测试的系统，其特征在于包括大数据服务API调用模块和API打包集成自动化模块，
大数据服务API调用模块调用定义主要包含调用的大数据服务组件的API，获取集群配置，调用服务组件API，将服务组件API调用结果输出到报告文档中；
API打包集成自动化模块将程序打包成Runnable JAR file，将导出的jar包集成到集成工具流程中，当大数据集群部署完成后，自动调用导出的jar包完成大数据API测试，将结果输出到报告中。
10.根据权利要求9所述的一种基于Hadoop大数据集群API自动化测试的系统，其特征在于大数据服务API调用模块将大数据集群中的配置文件和各个组件的API写到程序中，通过大数据集群的配置文件，程序可以识别出是哪个集群，然后再调用大数据集群中的服务API，最后将调用结果输出到报告中；
API打包集成自动化模块在eclipse开发工具中将代码以Runnable JAR file形式导出，在导出过程中选择本工程程序中的main类，导出的jar包放到Jenkins持续集成工具中，用Jenkins工具将大数据集群部署和集群的API自动化测试串联，当大数据集群环境部署完成后，调用API自动化测试jar包，完成大数据集群的API自动化测试，最后查看API自动化测试结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910513726.8A CN110262970A (zh) | 2019-06-14 | 2019-06-14 | 一种基于Hadoop大数据集群API自动化测试的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910513726.8A CN110262970A (zh) | 2019-06-14 | 2019-06-14 | 一种基于Hadoop大数据集群API自动化测试的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110262970A true CN110262970A (zh) | 2019-09-20 |
Family
ID=67918190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910513726.8A Pending CN110262970A (zh) | 2019-06-14 | 2019-06-14 | 一种基于Hadoop大数据集群API自动化测试的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110262970A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367696A (zh) * | 2019-12-20 | 2020-07-03 | 苏州浪潮智能科技有限公司 | 一种基于数据仓库工具Hive组件的测试方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657276A (zh) * | 2015-03-13 | 2015-05-27 | 浪潮集团有限公司 | 一种配置iozone集群测试的方法 |
| CN105490871A (zh) * | 2015-11-19 | 2016-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种测试Hadoop集群稳定性的方法及系统 |
| CN106776165A (zh) * | 2016-12-05 | 2017-05-31 | 广州爱九游信息技术有限公司 | 服务器性能测试方法及系统 |
| CN106970818A (zh) * | 2017-03-27 | 2017-07-21 | 深圳市中博睿存信息技术有限公司 | 一种用于Linux平台的软件持续集成方法及装置 |
| CN107305494A (zh) * | 2017-06-28 | 2017-10-31 | 户帮户（杭州）科技有限公司 | 一种企业级系统研发框架 |
| CN109032786A (zh) * | 2017-06-08 | 2018-12-18 | 武汉斗鱼网络科技有限公司 | Jenkins持续集成集群、APP打包方法和服务器 |
-
2019
- 2019-06-14 CN CN201910513726.8A patent/CN110262970A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657276A (zh) * | 2015-03-13 | 2015-05-27 | 浪潮集团有限公司 | 一种配置iozone集群测试的方法 |
| CN105490871A (zh) * | 2015-11-19 | 2016-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种测试Hadoop集群稳定性的方法及系统 |
| CN106776165A (zh) * | 2016-12-05 | 2017-05-31 | 广州爱九游信息技术有限公司 | 服务器性能测试方法及系统 |
| CN106970818A (zh) * | 2017-03-27 | 2017-07-21 | 深圳市中博睿存信息技术有限公司 | 一种用于Linux平台的软件持续集成方法及装置 |
| CN109032786A (zh) * | 2017-06-08 | 2018-12-18 | 武汉斗鱼网络科技有限公司 | Jenkins持续集成集群、APP打包方法和服务器 |
| CN107305494A (zh) * | 2017-06-28 | 2017-10-31 | 户帮户（杭州）科技有限公司 | 一种企业级系统研发框架 |
Non-Patent Citations (1)
| Title |
|---|
| 徐旼之: "基于云的接口自动化测试平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367696A (zh) * | 2019-12-20 | 2020-07-03 | 苏州浪潮智能科技有限公司 | 一种基于数据仓库工具Hive组件的测试方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107451060A (zh) | 一种跨移动端自动化测试框架系统 | |
| CN105278996A (zh) | 一种日志采集方法、装置及日志服务系统 | |
| CN102591777A (zh) | 一种单元测试代码生成方法及装置 | |
| CN103399814B (zh) | 自动化测试的方法及装置 | |
| CN112988153A (zh) | 基于微前端的数据处理方法及框架 | |
| CN106326093A (zh) | 自动化测试系统及测试方法 | |
| CN105677465B (zh) | 应用于银行跑批处理的数据处理方法及装置 | |
| CN108037941B (zh) | 基于公共插件的应用程序更新方法、电子设备、存储介质 | |
| CN104899016A (zh) | 调用堆栈关系获取方法及装置 | |
| CN107783902A (zh) | 一种免于编码的Selenium自动化测试方法及系统 | |
| CN109614165A (zh) | 一种com组件的多版本并行运行方法和装置 | |
| CN100511135C (zh) | 一种单元测试系统和方法 | |
| CN105760296A (zh) | 自动化测试控制方法、装置及终端 | |
| CN107168879A (zh) | 集中配置管理系统测试报告的生成方法及装置 | |
| US20080250276A1 (en) | Memory growth detection | |
| CN1485740A (zh) | 一种基于主机平台的嵌入式模块和子系统的通用测试装置 | |
| CN109814877A (zh) | 基于环境管理的项目部署方法及其装置 | |
| CN108984203A (zh) | 一种用于Android应用运行时数据采集的方法及其系统 | |
| CN103793531A (zh) | 非结构化数据管理系统 | |
| CN108809755A (zh) | 兼容命令行和web界面的家庭网关自动测试方法及系统 | |
| CN110262970A (zh) | 一种基于Hadoop大数据集群API自动化测试的方法和系统 | |
| CN101634965B (zh) | 一种Linux内核级单元测试的方法 | |
| CN110262830A (zh) | 一种移动端基于应用二次开发的方法 | |
| CN117370203A (zh) | 自动化测试方法、系统、电子设备及存储介质 | |
| CN107239405B (zh) | 一种基于Android多浏览器内核的自动化测试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |