CN107885834A - 一种Hadoop大数据组件统一验证系统 - Google Patents

一种Hadoop大数据组件统一验证系统 Download PDF

Info

Publication number
CN107885834A
CN107885834A CN201711098087.0A CN201711098087A CN107885834A CN 107885834 A CN107885834 A CN 107885834A CN 201711098087 A CN201711098087 A CN 201711098087A CN 107885834 A CN107885834 A CN 107885834A
Authority
CN
China
Prior art keywords
case
component
unit
management
interfaces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711098087.0A
Other languages
English (en)
Other versions
CN107885834B (zh
Inventor
张炜刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201711098087.0A priority Critical patent/CN107885834B/zh
Publication of CN107885834A publication Critical patent/CN107885834A/zh
Application granted granted Critical
Publication of CN107885834B publication Critical patent/CN107885834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种Hadoop大数据组件统一验证系统，包括开源组件验证平台，所述开源组件验证平台包括组件接入模块、用例管理模块和系统管理模块；组件接入模块设有接口单元，组件接入模块通过接口单元接入Hadoop组件和后台系统；用例管理模块，用于将要验证的场景编排成多个可以执行、验证的用例，并对测试用例进行保存管理和执行；用户管理模块，用于实现用户的分离，用例的共享和执行结果的管控，对系统运行状态和操作日志进行监控。所述开源组件验证平台具备强大的用户界面及良好的用例管理能力。方便开发人员快速完成大数据平台版本验证，降低人力成本，提高工作效率。

Description

一种Hadoop大数据组件统一验证系统
技术领域
本发明属于大数据技术领域，具体涉及一种Hadoop大数据组件统一验证系统。
背景技术
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和MapReduce。HDFS是分布式文件存储系统，用于存储海量数据；MapReduce是并行处理框架，实现任务分解和调度。Hadoop可以用来搭建大型数据仓库，对海量数据进行存储、分析、处理和统计等业务，功能十分强大。
Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。
目前Hadoop已经形成了包含丰富开源组件的生态圈，并都在以迅猛的速度向前发展。这样也就带来一系列问题：组件种类多，使用接口不一致，版本更迭快、学习成本高。现在许多公司有自己的大数据平台，如何跟上Hadoop快速的发展节奏，完成新版本组件验证，成为亟需解决的问题。
发明内容
本发明的目的在于，针对上述现有技术存在的缺陷，提供设计一种Hadoop大数据组件统一验证系统，以解决上述技术问题。
为了达到上述目的,本发明的技术方案是:
一种Hadoop大数据组件统一验证系统，包括开源组件验证平台，所述开源组件验证平台包括组件接入模块、用例管理模块和系统管理模块；
组件接入模块设有接口单元，组件接入模块通过接口单元接入Hadoop组件和后台系统；
用例管理模块，用于将要验证的场景编排成多个可以执行、验证的用例，并对测试用例进行保存管理和执行，并保存执行结果；
用户管理模块，用于实现用户的分离，用例的共享和执行结果的管控，对系统运行状态和操作日志进行监控。
进一步的,接口单元包括Shell接口、RestApi接口和JDBC接口；
Shell接口，用于系统在调用后台的shell命令；
RestApi接口，是满足一组架构约束条件和原则的Web Http通信接口；
JDBC接口，用于实现支持各类数据库的操作。
进一步的,所述数据库包括Oracle、Mysql和Hive。
进一步的,用例管理模块包括变量定义单元、步骤管理单元和用例调度单元；
变量定义单元，用于定义变量，在用例验证环境发生变化后，只须修改变量而无须修改用例；
步骤管理单元，用于实现组件操作任务的编排管理；可以将多个组件操作组成一个用例，保存在系统中。用例创建后可以修改，也可以按照目录结构将用例进行保存。这样可以方便批量执行某个目录下的用例；
用例调度单元，用于实现用例中每个步骤的执行，每个步骤执行过程会调用组件的Shell接口、RestApi接口或JDBC接口，并把执行结果进行保存。
进一步的,变量定义完成后，用户可以通过{{变量名}}的方式在用例中使用该变量。
进一步的,用例调度单元执行用例中每个步骤的过程中如果某个执行步骤失败，则后续步骤不再执行。
进一步的,用户管理模块包括用户管理单元、日志收集单元和系统监控单元；
用户管理单元，用于实现用户间的分离，保证用例不会被其他人误修改。
日志收集单元，用于实现用例执行结果的管控。方便用户批量执行完用例后，可以快速定位到失败用例和当时的日志信息；
系统监控单元，用于对用户操作及系统状态进行监控；从而保证用户快速掌握系统运行状态和操作日志。
进一步的,步骤管理单元还设置用例的共享权限；
所述共享权限分为读/写两种权限，“读”表示其他用户可以执行用例但是无法修改用例；“写”表示其他用户不仅可以执行用例，也可以直接修改用例。
通过组件接入模块提供的接口完成Hadoop大数据组件的接入，包括Shell、RestAPI、JDBC。将要验证的场景编排成多个可以执行、验证的用例。用户创建好的用例可以适配多套集群。通过可视化手段展示用例的执行结果，方便用户定位组件问题。
本发明的有益效果在于，本发明设计的开源组件验证平台具备强大的用户界面及良好的用例管理能力。用户界面允许用户在浏览器中直观的进行用例设计，更快速和安全的进行迭代。用例日志管理允许用户查看一个用例的执行结果，并且允许批量执行用例，对执行失败用例进行记录方便开发人员快速完成大数据平台版本验证，降低人力成本，提高工作效率。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
图1为本发明提供的一种Hadoop大数据组件统一验证系统框图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
如图1所示，本发明实施例提供的一种Hadoop大数据组件统一验证系统，包括开源组件验证平台，所述开源组件验证平台包括组件接入模块、用例管理模块和系统管理模块；
组件接入模块设有接口单元，组件接入模块通过接口单元接入Hadoop组件和后台系统；
用例管理模块，用于将要验证的场景编排成多个可以执行、验证的用例，并对测试用例进行保存管理和执行，并保存执行结果；
用户管理模块，用于实现用户的分离，用例的共享和执行结果的管控，对系统运行状态和操作日志进行监控。
接口单元包括Shell接口、RestApi接口和JDBC接口；
Shell接口，用于系统在调用后台的shell命令；
RestApi接口，是满足一组架构约束条件和原则的Web Http通信接口；
JDBC接口，用于实现支持各类数据库的操作；所述数据库包括Oracle、Mysql和Hive。
用例管理模块包括变量定义单元、步骤管理单元和用例调度单元；
变量定义单元，用于定义变量，为了适配各类环境，保证在用例验证环境发生变化后，只须修改变量而无须修改用例，比如HDFS NameNode地址、端口号等易变化信息，定义好变量后，用户可以通过{{变量名}}的方式在用例中使用该变量；
步骤管理单元，用于实现组件操作任务的编排管理；可以将多个组件操作组成一个用例，保存在系统中。用例创建后可以修改，也可以按照目录结构将用例进行保存。这样可以方便批量执行某个目录下的用例；
用例调度单元，用于实现用例中每个步骤的执行，每个步骤执行过程会调用组件的Shell接口、RestApi接口或JDBC接口，并把执行结果进行保存，如果某个执行步骤失败，则后续步骤不再执行。
用户管理模块包括用户管理单元、日志收集单元和系统监控单元；
用户管理单元，实现用户间的分离，不同用户创建用例默认是相互隔离的，保证用例不会被其他人误修改；支持用例的共享，共享的权限分为读/写两种权限，“读”表示其他用户可以执行用例但是无法修改用例；写权限表示其他用户不仅可以执行用例，也可以直接修改用例。
日志收集单元，用于实现用例执行结果的管控，用户批量执行完用例后，可以快速定位到失败用例和当时的日志信息；
系统监控单元，用于对用户操作及系统状态进行监控；从而保证用户快速掌握系统运行状态和操作日志。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (8)

1.一种Hadoop大数据组件统一验证系统，其特征在于，包括开源组件验证平台，所述开源组件验证平台包括组件接入模块、用例管理模块和系统管理模块；
组件接入模块设有接口单元，组件接入模块通过接口单元接入Hadoop组件和后台系统；
用例管理模块，用于将要验证的场景编排成多个可以执行、验证的用例，并对测试用例进行保存管理和执行，并保存执行结果；
用户管理模块，用于实现用户的分离，用例的共享和执行结果的管控，对系统运行状态和操作日志进行监控。
2.根据权利要求1所述的一种Hadoop大数据组件统一验证系统，其特征在于，接口单元包括Shell接口、RestApi接口和JDBC接口；
Shell接口，用于系统在调用后台的shell命令；
RestApi接口，是满足一组架构约束条件和原则的Web Http通信接口；
JDBC接口，用于实现支持各类数据库的操作。
3.根据权利要求2所述的一种Hadoop大数据组件统一验证系统，其特征在于，所述数据库包括Oracle、Mysql和Hive。
4.根据权利要求3所述的一种Hadoop大数据组件统一验证系统，其特征在于，用例管理模块包括变量定义单元、步骤管理单元和用例调度单元；
变量定义单元，用于定义变量，在用例验证环境发生变化后，只须修改变量而无须修改用例；
步骤管理单元，用于实现组件操作任务的编排管理；将多个组件操作组成一个用例，保存在系统；
用例调度单元，用于实现用例中每个步骤的执行，每个步骤执行过程会调用组件的Shell接口、RestApi接口或JDBC接口，并把执行结果进行保存。
5.根据权利要求4所述的一种Hadoop大数据组件统一验证系统，其特征在于，变量定义完成后，用户可以通过{{变量名}}的方式在用例中使用该变量。
6.根据权利要求5所述的一种Hadoop大数据组件统一验证系统，其特征在于，用例调度单元执行用例中每个步骤的过程中如果某个执行步骤失败，则后续步骤不再执行。
7.根据权利要求6所述的一种Hadoop大数据组件统一验证系统，其特征在于，用户管理模块包括用户管理单元、日志收集单元和系统监控单元；
用户管理单元，用于实现用户间的分离，保证用例不会被其他人误修改；
日志收集单元，用于实现用例执行结果的管控；
系统监控单元，用于对用户操作及系统状态进行监控。
8.根据权利要求7所述的一种Hadoop大数据组件统一验证系统，其特征在于，步骤管理单元还设置用例的共享权限；
所述共享权限分为读/写两种权限，“读”表示其他用户可以执行用例但是无法修改用例；“写”表示其他用户不仅可以执行用例，也可以直接修改用例。
CN201711098087.0A 2017-11-09 2017-11-09 一种Hadoop大数据组件统一验证系统 Active CN107885834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711098087.0A CN107885834B (zh) 2017-11-09 2017-11-09 一种Hadoop大数据组件统一验证系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711098087.0A CN107885834B (zh) 2017-11-09 2017-11-09 一种Hadoop大数据组件统一验证系统

Publications (2)

Publication Number Publication Date
CN107885834A true CN107885834A (zh) 2018-04-06
CN107885834B CN107885834B (zh) 2021-07-20

Family

ID=61779754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711098087.0A Active CN107885834B (zh) 2017-11-09 2017-11-09 一种Hadoop大数据组件统一验证系统

Country Status (1)

Country Link
CN (1) CN107885834B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487095A (zh) * 2020-12-09 2021-03-12 浪潮云信息技术股份公司 一种分布式数据库事务数据存储优化的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767453A (zh) * 2004-10-31 2006-05-03 中兴通讯股份有限公司 自动测试方法和系统
CN102096631A (zh) * 2009-12-11 2011-06-15 华为技术有限公司 接口测试方法及装置
CN104601403A (zh) * 2015-01-07 2015-05-06 上海瀚之友信息技术服务有限公司 一种自动化测试系统
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
CN105068809A (zh) * 2015-08-13 2015-11-18 上海斐讯数据通信技术有限公司 基于PyQt实现自动化项目管理及用例执行的平台
CN105302717A (zh) * 2015-09-30 2016-02-03 浪潮集团有限公司 一种大数据平台的检测方法及装置
CN105373409A (zh) * 2015-12-09 2016-03-02 上海斐讯数据通信技术有限公司 基于Hadoop的测试用例分布式测试方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767453A (zh) * 2004-10-31 2006-05-03 中兴通讯股份有限公司 自动测试方法和系统
CN102096631A (zh) * 2009-12-11 2011-06-15 华为技术有限公司 接口测试方法及装置
CN104615526A (zh) * 2014-12-05 2015-05-13 北京航空航天大学 一种大数据平台的监控系统
CN104601403A (zh) * 2015-01-07 2015-05-06 上海瀚之友信息技术服务有限公司 一种自动化测试系统
CN105068809A (zh) * 2015-08-13 2015-11-18 上海斐讯数据通信技术有限公司 基于PyQt实现自动化项目管理及用例执行的平台
CN105302717A (zh) * 2015-09-30 2016-02-03 浪潮集团有限公司 一种大数据平台的检测方法及装置
CN105373409A (zh) * 2015-12-09 2016-03-02 上海斐讯数据通信技术有限公司 基于Hadoop的测试用例分布式测试方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487095A (zh) * 2020-12-09 2021-03-12 浪潮云信息技术股份公司 一种分布式数据库事务数据存储优化的方法

Also Published As

Publication number Publication date
CN107885834B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
US20210374610A1 (en) Efficient duplicate detection for machine learning data sets
KR102291842B1 (ko) 파일 공유를 위한 기술들
EP3161635B1 (en) Machine learning service
CN106897322B (zh) 一种数据库和文件系统的访问方法和装置
US8468120B2 (en) Systems and methods for tracking and reporting provenance of data used in a massively distributed analytics cloud
US9965641B2 (en) Policy-based data-centric access control in a sorted, distributed key-value data store
WO2014031618A2 (en) Data relationships storage platform
Silva et al. Integrating big data into the computing curricula
Zhang et al. Oceanrt: Real-time analytics over large temporal data
CN107885834A (zh) 一种Hadoop大数据组件统一验证系统
CN111143328A (zh) 一种敏捷商业智能数据构建方法、系统、设备、存储介质
Chen et al. On construction of a power data lake platform using spark
Xie et al. Digital personalized healthcare web archive collection and storage model based on soft computing and edge-driven multimodal system
Liu et al. Design and Implementation of Human Resource Management Information System Based on Visual C++

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200602

Address after: Building S01, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan City, Shandong Province, 250000

Applicant after: Tidal Cloud Information Technology Co.,Ltd.

Address before: 450000 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601

Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB03 Change of inventor or designer information

Inventor after: Fang Yadong

Inventor after: Zhang Weigang

Inventor after: Zhou Heng

Inventor before: Zhang Weigang

CB03 Change of inventor or designer information
CB02 Change of applicant information

Address after: Building S01, Langchao Science Park, 1036 Langchao Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Inspur cloud Information Technology Co., Ltd

Address before: Building S01, Langchao Science Park, 1036 Langchao Road, high tech Zone, Jinan City, Shandong Province

Applicant before: Tidal Cloud Information Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant