CN111880809B - 一种部署hue服务的方法及系统 - Google Patents
一种部署hue服务的方法及系统 Download PDFInfo
- Publication number
- CN111880809B CN111880809B CN202010601426.8A CN202010601426A CN111880809B CN 111880809 B CN111880809 B CN 111880809B CN 202010601426 A CN202010601426 A CN 202010601426A CN 111880809 B CN111880809 B CN 111880809B
- Authority
- CN
- China
- Prior art keywords
- hue
- component
- deploying
- coupling
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008878 coupling Effects 0.000 claims abstract description 154
- 238000010168 coupling process Methods 0.000 claims abstract description 154
- 238000005859 coupling reaction Methods 0.000 claims abstract description 154
- 230000015654 memory Effects 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000003860 storage Methods 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000012795 verification Methods 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 230000000712 assembly Effects 0.000 claims abstract description 9
- 238000000429 assembly Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种部署HUE服务的方法及系统，该方法包括：部署云海Insight平台，部署HUE组件，监控HUE集群部署进度并刷新配置信息，部署耦合组件，并对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例，刷新HUE组件和耦合组件的配置，判断HUE组件和耦合组件配置的基础功能是否合格，如果合格继续部署其他耦合组件，不合格时进行相应的故障处理。其中，每个步骤部署完毕都及时校验是否部署成功，根据部署结果及时进行故障处理。该系统包括：部署模块、监控模块、AEP内存自适应模块、刷新模块、验证模块和故障处理模块。通过本申请，能够实现HUE配置的去耦合，有效提高HUE服务效率和配置的灵活性。
Description
技术领域
本申请涉及云计算大数据技术领域，特别是涉及一种部署HUE（Hadoop UserExperience，大数据Hadoop 用户体验工具）服务的方法及系统。
背景技术
云海insight平台是一种企业级大数据平台，该平台包含业界流行的基于开源Hadoop及其生态组件构建的平台核心，以及很多支撑企业级业务的高级管理特性。相应地，该平台通常包括：Zookeeper、HDFS、YARN 、MapReduce、Hive、HBase、Oozie以及Spark八个大数据组件。通过对insight平台的大数据组件进行部署，能够有效提高HUE服务的质量，因此，如何在insight平台部署HUE服务，是个重要的技术问题。
目前，在insight平台部署HUE服务的方法，通常是逐级部署。目前3+2架构集群下与HUE进行耦合的大数据组件的关系如图1所示。具体地，目前insight平台中的大数据组件分为四级耦合组件，其中一级耦合组件为Zookeeper，二级耦合组件为：HDFS（HadoopDistributed File System，分布式文件系统）、YARN （Yet Another ResourceNegotiator，另一种资源协调者，是一种新的 Hadoop 资源管理器）和MapReduce，三级耦合组件为Hive（基于Hadoop的一个数据仓库工具）、HBase（一个分布式的、面向列的开源数据库）和Oozie（基于工作流引擎的开源框架,是用于Hadoop平台的开源的工作流调度引擎,是用来管理Hadoop作业,属于web应用程序），四级耦合组件为Spark（专为大规模数据处理而设计的快速通用的计算引擎）。其中，一级耦合组件Zookeeper部署需要3min左右，且此组件不部署其他所有组件均无法安装部署；二级耦合组件HDFS、YARN 和MapReduce部署需要5min左右，此三个组件不部署，Hive、HBase、Oozie、Spark、HUE均无法安装部署；三级耦合组件Hive、HBase和Oozie，此三个组件部署均耗时35min左右，此三个组件依赖HDFS、YARN +MapReduce，且此三个组件不部署Spark、HUE均无法安装部署；四级耦合组件Spark部署需要2min左右，且该组件不部署HUE无法安装部署。最后，节点集群在部署HUE服务之前需将以上八个大数据组件均部署完毕才能启动，而且八个大数据组件部署时逐级进行，耦合紧密，总计耗时约45min才能部署HUE服务，导致insight平台的HUE服务效率较低。尤其在生产环境中节点多则上百，甚至上千，HUE集群部署准备时间将会更长，导致insight平台的HUE服务效率更低。
发明内容
本申请提供了一种部署HUE服务的方法及系统，以解决现有技术中部署HUE服务的方法使得云海insight平台的HUE服务效率较低的问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种部署HUE服务的方法，所述方法包括：
部署云海Insight平台并校验是否部署成功；
当云海Insight平台部署成功后，部署HUE组件并校验是否部署成功；
当HUE组件部署成功后，监控HUE集群部署进度并刷新配置信息，以及校验刷新配置信息是否成功，所述HUE集群部署进度包括：当前HUE集群中已刷新配置数量、待刷新配置数量以及刷新配置所需的内存；
当刷新配置信息成功后，部署耦合组件并校验是否部署成功，所述耦合组件包括：Zookeeper组件、HDFS组件、YARN 组件、MapReduce组件、Hive组件、HBase组件、Oozie组件以及Spark组件；
当耦合组件部署成功后，对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例，并校验是否调整成功；
对当前的内存和存储比例调整成功后，刷新HUE组件和所述耦合组件的配置，并校验是否刷新成功；
当刷新HUE组件和所述耦合组件的配置成功后，对HUE组件和所述耦合组件进行基础功能验证；
判断HUE组件和所述耦合组件的基础功能是否合格，所述基础功能包括：HUE集群运行状态；
如果基础功能合格，继续部署其他耦合组件；
如果基础功能不合格，根据日志进行相应的故障处理。
可选地，所述校验方法包括：
判断当前操作是否成功；
如果是，继续执行下一步骤；
如果否，获取日志；
对所述日志进行分析；
根据日志分析结果进行相应调整。
可选地，所述根据日志分析结果进行相应调整，包括：
当部署云海Insight平台不成功时，恢复镜像直到部署云海Insight平台成功；
当部署HUE组件不成功时，删除HUE组件，并重新部署HUE组件，直到HUE组件部署成功；
当校验刷新配置信息不成功时，删除当前残留监控信息，直到刷新配置信息成功；
当部署耦合组件不成功时，删除耦合组件，并重新部署所述耦合组件，直到所述耦合组件部署成功；
对当前的内存和存储比例调整不成功时，重置所述内存为默认状态，并重新调整当前的内存和存储比例，直到当前的内存和存储比例调整成功；
对HUE组件和所述耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件，并重新刷新HUE组件和所述耦合组件的配置，直到刷新成功。
可选地，所述内存为AEP（Apache Pass DIMMs，是私有云、服务器、加速运算等上的不可或缺的存储设备）内存。
可选地，所述根据日志进行相应的故障处理，包括：
对基础功能相关的日志进行分析；
如果日志分析结果为耦合组件问题，删除耦合组件，并重新部署当前的耦合组件；
如果日志分析结果为HUE组件问题，删除耦合组合和HUE组件，并重新部署HUE组件。
一种部署HUE服务的系统，所述系统包括：
部署模块，用于部署云海Insight平台，部署HUE组件，以及部署耦合组件；
监控模块，用于监控HUE集群部署进度并刷新配置信息，所述HUE集群部署进度包括：当前HUE集群中已刷新配置数量、待刷新配置数量以及刷新配置所需的内存；
AEP内存自适应模块，用于当耦合组件部署成功后，对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例；
刷新模块，用于刷新HUE组件和所述耦合组件的配置；
验证模块，用于验证HUE组件和所述耦合组件的基础功能是否合格，如果基础功能合格，继续部署其他耦合组件，如果基础功能不合格，启动故障处理模块；
所述故障处理模块，用于当部署云海Insight平台不成功时，恢复镜像，当部署HUE组件不成功时，删除HUE组件，当校验刷新配置信息不成功时，删除当前残留监控信息，当部署耦合组件不成功时，删除耦合组件，当对当前的内存和存储比例调整不成功时，重置所述内存为默认状态，并重新调整当前的内存和存储比例，当对HUE组件和所述耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件，以及，当验证基础功能不合格时，根据日志进行相应的故障处理。
可选地，所述部署模块包括：
第一部署单元，用于部署云海Insight平台；
第二部署单元，用于当云海Insight平台部署成功后，部署HUE组件；
第三部署单元，用于当刷新配置信息成功后，部署耦合组件。
可选地，所述故障处理模块包括：
第一故障处理单元，用于当部署云海Insight平台不成功时，恢复镜像；
第二故障处理单元，用于当部署HUE组件不成功时，删除HUE组件；
第三故障处理单元，用于当校验刷新配置信息不成功时，删除当前残留监控信息；
第四故障处理单元，用于当部署耦合组件不成功时，删除耦合组件；
第五故障处理单元，用于当对当前的内存和存储比例调整不成功时，重置所述内存为默认状态，并重新调整当前的内存和存储比例；
第六故障处理单元，用于当对HUE组件和所述耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件；
第七故障处理单元，用于当验证基础功能不合格时，根据日志进行相应的故障处理。
可选地，所述第七故障处理单元包括：
分析子单元，用于对基础功能相关的日志进行分析；
第一删除子单元，用于当日志分析结果为耦合组件问题时，删除耦合组件，并启动部署模块重新部署当前的耦合组件；
第二删除子单元，用于当日志分析结果为HUE组件问题时，删除耦合组合和HUE组件，并启动部署模块重新部署HUE组件。
可选地，所述系统中还包括备份模块，用于备份AEP各个阶段默认状态的比例数据，备份耦合组件默认配置文件以及备份配置信息。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请提供一种部署HUE服务的方法，该方法首先部署云海Insight平台，其次部署HUE组件，监控HUE集群部署进度并刷新配置信息，然后部署耦合组件，并对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例，再刷新HUE组件和耦合组件的配置，最后判断HUE组件和耦合组件的配置的基础功能是否合格，当合格时返回继续部署其他耦合组件，当不合格时根据日志进行相应的故障处理。其中，每个步骤部署完毕都及时校验是否部署成功，根据部署结果及时进行故障处理。本实施例通过及时校验和启动故障处理，能够确保及时根据日志分析查找故障原因并做对应调整，在任何一个部署过程发生故障时，都可以随时灵活针对当前步骤进行故障处理，能够实现HUE配置的去耦合，避免一个耦合组件发生故障影响其他耦合组件的部署，因此，能够大大提高HUE服务的部署效率。
由于目前的HUE服务部署过程中，通过在部署过程中的每个步骤中增加校验和故障处理机制，能够对HUE组件和耦合组件实现去耦合，将耦合组件之间的依赖关系大大降低，用户可以根据需求自主选择HUE集群服务，因此，本实施例中部署HUE服务的方法更加灵活，有利于提高用户体验。由于耦合组件之间的依赖关系大大降低，对任何耦合组件有卸载需求时不必卸载与之相关的上一级组件，能够有效降低运维成本。
另外，本实施例中利用AEP内存代替传统内存，能够充分利用AEP内存的存储和内存结合的功能，提高部署HUE服务效率，从而提高用户体验。
本申请还提供一种部署HUE服务的系统。该系统包括：部署模块、监控模块、AEP内存自适应模块、刷新模块、验证模块和故障处理模块。通过部署模块能够实现对云海Insight平台、HUE组件以及耦合组件的部署，通过监控模块能够及时监控HUE集群部署进度并刷新配置信息，通过AEP内存自适应模块，能够对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例，从而有效提高HUE服务的部署效率，本实施例还通过验证模块及时验证HUE组件和耦合组件的基础功能是否合格，并利用故障处理模块及时处理部署模块、监控模块、AEP内存自适应模块、刷新模块和验证模块运行过程中的故障，有利于及时反馈和处理故障，确保部署过程顺利进行，从而提高HUE服务部署的效率。而且，本实施例故障处理模块的设置，使其与部署模块、监控模块、AEP内存自适应模块、刷新模块和验证模块均连接，在任何一个模块发生故障时，都可以随时灵活针对当前故障进行处理，能够实现HUE配置的去耦合，避免一个耦合组件发生故障影响其他耦合组件的部署，有利于提高HUE服务的部署效率。而且，故障处理模块的设置，能够对HUE组件和耦合组件实现去耦合，将耦合组件之间的依赖关系大大降低，用户可以根据需求自主选择HUE集群服务，有利于提高HUE服务部署的灵活性和用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为背景技术中大数据组件之间的耦合关系示意图；
图2为本申请实施例所提供的一种部署HUE服务的方法的流程示意图；
图3为本申请实施例所提供的一种部署HUE服务的系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。
实施例一
参见图2，图2为本申请实施例所提供的一种部署HUE服务的方法的流程示意图。由图2可知，本实施例中部署HUE服务的方法，主要包括如下过程：
S1：部署云海Insight平台并校验是否部署成功。
本实施例中步骤S1-S6都包括校验方法，本实施例中的校验方法主要包括如下过程：
1）判断当前操作是否成功。
2）如果当前操作成功，继续执行下一步骤。
3）如果当前操作不成功，获取日志。
4）对日志进行分析。
5）根据日志分析结果进行相应调整。
其中步骤5）又根据不同的故障及其日志分析结果，包括以下六种情况：
51）当部署云海Insight平台不成功时，恢复镜像直到部署云海Insight平台成功；
52）当部署HUE组件不成功时，删除HUE组件，并重新部署HUE组件，直到HUE组件部署成功；
53）当校验刷新配置信息不成功时，删除当前残留监控信息，直到刷新配置信息成功；
54）当部署耦合组件不成功时，删除耦合组件，并重新部署耦合组件，直到耦合组件部署成功；
55）对当前的内存和存储比例调整不成功时，重置内存为默认状态，并重新调整当前的内存和存储比例，直到当前的内存和存储比例调整成功；
56）对HUE组件和耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件，并重新刷新HUE组件和耦合组件的配置，直到刷新成功。
根据以上步骤1）-5）以及步骤S51），步骤S1中的校验方法具体为：判断云海Insight平台是否部署成功，如果部署成功，继续执行步骤S2，如果部署不成功，获取当前的日志，并对其进行分析，根据日志分析结果恢复镜像，再重新执行步骤S1，直到部署云海Insight平台成功。
继续参见图2可知，当云海Insight平台部署成功后，执行步骤S2：部署HUE组件并校验是否部署成功。
根据以上步骤1）-5）以及步骤S52），步骤S2中的校验方法具体为：判断HUE组件是否部署成功，如果部署成功，继续执行步骤S3，如果部署不成功，获取当前的日志，并对其进行分析，根据日志分析结果删除HUE组件，并返回步骤S2重新部署HUE组件，直到HUE组件部署成功。
当HUE组件部署成功后，执行步骤S3：监控HUE集群部署进度并刷新配置信息，以及校验刷新配置信息是否成功。
其中，HUE集群部署进度包括：当前HUE集群中已刷新配置数量、待刷新配置数量以及刷新配置所需的内存。
根据以上步骤1）-5）以及步骤S53），步骤S3中的校验方法具体为：判断校验刷新配置信息是否成功，如果校验成功时，继续执行步骤S4，如果校验不成功，获取当前的日志，并对其进行分析，根据日志分析结果删除当前残留监控信息，并返回步骤S3重新监控HUE集群部署进度并刷新配置信息，直到刷新配置信息成功。
当刷新配置信息成功后，执行步骤S4：部署耦合组件并校验是否部署成功。其中，耦合组件包括：Zookeeper组件、HDFS组件、YARN 组件、MapReduce组件、Hive组件、HBase组件、Oozie组件以及Spark组件。
根据以上步骤1）-5）以及步骤S54），步骤S4中的校验方法具体为：判断耦合组件是否部署成功，如果部署成功，继续执行步骤S5，如果部署不成功，获取当前的日志，并对其进行分析，根据日志分析结果删除耦合组件，并返回步骤S4重新部署耦合组件，直到耦合组件部署成功。
当耦合组件部署成功后，执行步骤S5：对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例，并校验是否调整成功。
本实施例汇总内存为AEP内存，通过采用AEP内存代替传统内存，能够有效提高HUE服务的部署效率，从而提高用户体验。
根据以上步骤1）-5）以及步骤S55），步骤S5中的校验方法具体为：判断当前的内存和存储比例，是否是部署当前耦合组件刷新配置的最佳内存和存储比例，如果是，继续执行步骤S6，如果否，获取当前的日志，并对其进行分析，根据日志分析结果重置所述内存为默认状态，并返回步骤S5重新调整当前的内存和存储比例，直到调整为部署当前耦合组件刷新配置的最佳内存和存储比例。
对当前的内存和存储比例调整成功后，执行步骤S6：刷新HUE组件和耦合组件的配置，并校验是否刷新成功。
根据以上步骤1）-5）以及步骤S56），步骤S6中的校验方法具体为：判断对HUE组件和耦合组件的配置是否刷新成功，如果刷新成功，继续执行步骤S7，如果刷新不成功，获取当前的日志，并对其进行分析，根据日志分析结果清除当前的配置文件，恢复为默认配置文件，并返回步骤S6，重新刷新HUE组件和耦合组件的配置，直到刷新成功。
继续参见图2可知，当刷新HUE组件和耦合组件的配置成功后，执行步骤S7：对HUE组件和耦合组件进行基础功能验证。其中，本实施例汇总HUE组件和耦合组件的基础功能包括：HUE集群运行状态。
S8：判断验证HUE组件和耦合组件的基础功能是否合格。
如果验证基础功能合格，返回步骤S4，继续部署其他耦合组件。如果验证基础功能不合格，执行步骤S9：根据日志进行相应的故障处理。
具体地，步骤S9又包括：
S91：对基础功能相关的日志进行分析。
如果日志分析结果为耦合组件问题，执行步骤S92：删除耦合组件，并返回步骤S4，重新部署当前的耦合组件。
如果日志分析结果为HUE组件问题，执行步骤S93：删除耦合组合和HUE组件，并返回步骤S2，重新部署HUE组件。
实施例二
在图2所示实施例的基础之上参见图3，图3为本申请实施例所提供的一种部署HUE服务的系统的结构示意图。由图3可知，本实施例中部署HUE服务的系统，主要包括：部署模块、监控模块、AEP内存自适应模块、刷新模块、验证模块和故障处理模块。
其中，部署模块，用于部署云海Insight平台，部署HUE组件，以及部署耦合组件；
监控模块，用于监控HUE集群部署进度并刷新配置信息，HUE集群部署进度包括：当前HUE集群中已刷新配置数量、待刷新配置数量以及刷新配置所需的内存。AEP内存自适应模块，用于当耦合组件部署成功后，对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例。刷新模块，用于刷新HUE组件和耦合组件的配置。验证模块，用于验证HUE组件和耦合组件的基础功能是否合格，如果基础功能合格，继续部署其他耦合组件，如果基础功能不合格，启动故障处理模块。故障处理模块，用于当部署云海Insight平台不成功时，恢复镜像，当部署HUE组件不成功时，删除HUE组件，当校验刷新配置信息不成功时，删除当前残留监控信息，当部署耦合组件不成功时，删除耦合组件，当对当前的内存和存储比例调整不成功时，重置内存为默认状态，并重新调整当前的内存和存储比例，当对HUE组件和耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件，以及，当验证基础功能不合格时，根据日志进行相应的故障处理。
进一步地，部署模块包括：第一部署单元、第二部署单元和第三部署单元。其中，第一部署单元，用于部署云海Insight平台；第二部署单元，用于当云海Insight平台部署成功后，部署HUE组件；第三部署单元，用于当刷新配置信息成功后，部署耦合组件。
故障处理模块包括：第一故障处理单元、第二故障处理单元、第三故障处理单元、第四故障处理单元、第五故障处理单元、第六故障处理单元和第七故障处理单元。其中，第一故障处理单元，用于当部署云海Insight平台不成功时，恢复镜像；第二故障处理单元，用于当部署HUE组件不成功时，删除HUE组件；第三故障处理单元，用于当校验刷新配置信息不成功时，删除当前残留监控信息；第四故障处理单元，用于当部署耦合组件不成功时，删除耦合组件；第五故障处理单元，用于当对当前的内存和存储比例调整不成功时，重置内存为默认状态，并重新调整当前的内存和存储比例；第六故障处理单元，用于当对HUE组件和耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件；第七故障处理单元，用于当基础功能不合格时，根据日志进行相应的故障处理。
进一步地，第七故障处理单元又包括：分析子单元、第一删除子单元和第二删除子单元。其中，分析子单元，用于对基础功能验证相关的日志进行分析；第一删除子单元，用于当日志分析结果为耦合组件问题时，删除耦合组件，并启动部署模块重新部署当前的耦合组件；第二删除子单元，用于当日志分析结果为HUE组件问题时，删除耦合组合和HUE组件，并启动部署模块重新部署HUE组件。
进一步地，本实施例部署HUE服务的系统中，还包括有备份模块，用于备份AEP各个阶段默认状态的比例数据，备份耦合组件默认配置文件以及备份配置信息。通过备份模块的设置，能够进一步提高该系统的可靠性，进而提高部署HUE服务的效率。
该实施例中部署HUE服务的系统的工作原理和工作方法，在图2所示的实施例中已经详细阐述，在此不再赘述。
综上所述，本实施例通过各模块的设置，能够解除当前云海Insight平台HUE服务对Zookeeper、HDFS、YARN+MapReduce、Hive、HBase、Oozie、Spark组件的依赖关系，从而提高HUE集群部署自主选择性的灵活性，提高用户体验。通过故障处理模块的设置能够及时清除故障，从而提高HUE服务的效率。由于去耦合效果，还能够降低HUE版本更新、二次开发后验证成本。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种部署HUE服务的方法，其特征在于，所述方法包括：
S1：部署云海Insight平台并校验是否部署成功；
S2：当云海Insight平台部署成功后，部署HUE组件并校验是否部署成功；
S3：当HUE组件部署成功后，监控HUE集群部署进度并刷新配置信息，以及校验刷新配置信息是否成功，所述HUE集群部署进度包括：当前HUE集群中已刷新配置数量、待刷新配置数量以及刷新配置所需的内存；
S4：当刷新配置信息成功后，部署耦合组件并校验是否部署成功，所述耦合组件包括：Zookeeper组件、HDFS组件、YARN 组件、MapReduce组件、Hive组件、HBase组件、Oozie组件以及 Spark组件；
S5：当耦合组件部署成功后，对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例，并校验是否调整成功；
S6：对当前的内存和存储比例调整成功后，刷新HUE组件和所述耦合组件的配置，并校验是否刷新成功；
S7：当刷新HUE组件和所述耦合组件的配置成功后，对HUE组件和所述耦合组件进行基础功能验证；
S8：判断HUE组件和所述耦合组件的基础功能是否合格，所述基础功能包括：HUE集群运行状态；
如果基础功能合格，继续部署其他耦合组件；
S9：如果基础功能不合格，根据日志进行相应的故障处理。
2.根据权利要求1所述的一种部署HUE服务的方法，其特征在于，所述步骤S1-S6中的校验方法包括：
判断当前操作是否成功；
如果是，继续执行下一步骤；
如果否，获取日志；
对所述日志进行分析；
根据日志分析结果进行相应调整。
3.根据权利要求2所述的一种部署HUE服务的方法，其特征在于，所述根据日志分析结果进行相应调整，包括：
当部署云海Insight平台不成功时，恢复镜像直到部署云海Insight平台成功；
当部署HUE组件不成功时，删除HUE组件，并重新部署HUE组件，直到HUE组件部署成功；
当校验刷新配置信息不成功时，删除当前残留监控信息，直到刷新配置信息成功；
当部署耦合组件不成功时，删除耦合组件，并重新部署所述耦合组件，直到所述耦合组件部署成功；
对当前的内存和存储比例调整不成功时，重置所述内存为默认状态，并重新调整当前的内存和存储比例，直到当前的内存和存储比例调整成功；
对HUE组件和所述耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件，并重新刷新HUE组件和所述耦合组件的配置，直到刷新成功。
4.根据权利要求3所述的一种部署HUE服务的方法，其特征在于，所述内存为AEP内存。
5.根据权利要求1所述的一种部署HUE服务的方法，其特征在于，所述根据日志进行相应的故障处理，包括：
对基础功能相关的日志进行分析；
如果日志分析结果为耦合组件问题，删除耦合组件，并重新部署当前的耦合组件；
如果日志分析结果为HUE组件问题，删除耦合组合和HUE组件，并重新部署HUE组件。
6.一种部署HUE服务的系统，其特征在于，所述系统包括：
部署模块，用于部署云海Insight平台，部署HUE组件，以及部署耦合组件；
监控模块，用于监控HUE集群部署进度并刷新配置信息，所述HUE集群部署进度包括：当前HUE集群中已刷新配置数量、待刷新配置数量以及刷新配置所需的内存；
AEP内存自适应模块，用于当耦合组件部署成功后，对当前的内存和存储比例进行调整，使其调整为部署当前耦合组件刷新配置的最佳内存和存储比例；
刷新模块，用于刷新HUE组件和所述耦合组件的配置；
验证模块，用于验证HUE组件和所述耦合组件的基础功能是否合格，如果基础功能合格，继续部署其他耦合组件，如果基础功能不合格，启动故障处理模块；
所述故障处理模块，用于当部署云海Insight平台不成功时，恢复镜像，当部署HUE组件不成功时，删除HUE组件，当校验刷新配置信息不成功时，删除当前残留监控信息，当部署耦合组件不成功时，删除耦合组件，当对当前的内存和存储比例调整不成功时，重置所述内存为默认状态，并重新调整当前的内存和存储比例，当对HUE组件和所述耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件，以及，当验证基础功能不合格时，根据日志进行相应的故障处理。
7.根据权利要求6所述的一种部署HUE服务的系统，其特征在于，所述部署模块包括：
第一部署单元，用于部署云海Insight平台；
第二部署单元，用于当云海Insight平台部署成功后，部署HUE组件；
第三部署单元，用于当刷新配置信息成功后，部署耦合组件。
8.根据权利要求6所述的一种部署HUE服务的系统，其特征在于，所述故障处理模块包括：
第一故障处理单元，用于当部署云海Insight平台不成功时，恢复镜像；
第二故障处理单元，用于当部署HUE组件不成功时，删除HUE组件；
第三故障处理单元，用于当校验刷新配置信息不成功时，删除当前残留监控信息；
第四故障处理单元，用于当部署耦合组件不成功时，删除耦合组件；
第五故障处理单元，用于当对当前的内存和存储比例调整不成功时，重置所述内存为默认状态，并重新调整当前的内存和存储比例；
第六故障处理单元，用于当对HUE组件和所述耦合组件的配置刷新不成功时，清除当前的配置文件，恢复为默认配置文件；
第七故障处理单元，用于当基础功能不合格时，根据日志进行相应的故障处理。
9.根据权利要求8所述的一种部署HUE服务的系统，其特征在于，所述第七故障处理单元包括：
分析子单元，用于对基础功能验证相关的日志进行分析；
第一删除子单元，用于当日志分析结果为耦合组件问题时，删除耦合组件，并启动部署模块重新部署当前的耦合组件；
第二删除子单元，用于当日志分析结果为HUE组件问题时，删除耦合组合和HUE组件，并启动部署模块重新部署HUE组件。
10.根据权利要求6-9中任一所述的一种部署HUE服务的系统，其特征在于，所述系统中还包括备份模块，用于备份AEP各个阶段默认状态的比例数据，备份耦合组件默认配置文件以及备份配置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010601426.8A CN111880809B (zh) | 2020-06-29 | 2020-06-29 | 一种部署hue服务的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010601426.8A CN111880809B (zh) | 2020-06-29 | 2020-06-29 | 一种部署hue服务的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111880809A CN111880809A (zh) | 2020-11-03 |
| CN111880809B true CN111880809B (zh) | 2022-07-08 |
Family
ID=73157112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010601426.8A Active CN111880809B (zh) | 2020-06-29 | 2020-06-29 | 一种部署hue服务的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111880809B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293820A (zh) * | 2016-08-02 | 2017-01-04 | 山东大学 | 开发测试运维一体化系统、部署、全量以及增量更新方法 |
| CN106301892A (zh) * | 2016-08-02 | 2017-01-04 | 浪潮电子信息产业股份有限公司 | 基于Apache Ambari的Hue服务部署及配置和监控办法 |
| CN106686132A (zh) * | 2017-02-06 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种云海系统部署方法及平台 |
| CN111274223A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 一种一键部署大数据和深度学习容器云平台及其构建方法 |
-
2020
- 2020-06-29 CN CN202010601426.8A patent/CN111880809B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293820A (zh) * | 2016-08-02 | 2017-01-04 | 山东大学 | 开发测试运维一体化系统、部署、全量以及增量更新方法 |
| CN106301892A (zh) * | 2016-08-02 | 2017-01-04 | 浪潮电子信息产业股份有限公司 | 基于Apache Ambari的Hue服务部署及配置和监控办法 |
| CN106686132A (zh) * | 2017-02-06 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种云海系统部署方法及平台 |
| CN111274223A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 一种一键部署大数据和深度学习容器云平台及其构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111880809A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569987A (zh) | 模型训练方法和装置 | |
| CN109240716B (zh) | 一种大数据平台版本管理与快速迭代部署方法及系统 | |
| CN108255717B (zh) | 接口自动化测试优化方法、系统、电子设备和存储介质 | |
| CN111258591A (zh) | 程序部署任务执行方法、装置、计算机设备和存储介质 | |
| CN111953560B (zh) | 一种分布式集群故障测试方法及装置 | |
| CN111078553B (zh) | 数据开发任务测试方法、装置、计算机设备和存储介质 | |
| CN114527974B (zh) | 软件产品的业务功能实现方法、装置和计算机设备 | |
| CN115550164A (zh) | 一种一键安装、管理单节点大数据组件的方法及系统 | |
| CN111880809B (zh) | 一种部署hue服务的方法及系统 | |
| CN111949553B (zh) | 一种基于规则引擎的场景用例测试方法及装置 | |
| US11656977B2 (en) | Automated code checking | |
| CN114546650A (zh) | 微服务升级方法及装置 | |
| US11755402B1 (en) | Self-healing information technology (IT) testing computer system leveraging predictive method of root cause analysis | |
| CN115878450A (zh) | 执行测试任务的方法及装置 | |
| CN112817808B (zh) | 一种计算机集群维护任务管理方法及系统 | |
| CN111984275A (zh) | 基于cpu架构类型的系统部署方法、系统、终端及存储介质 | |
| CN110266779A (zh) | 一种基于zookeeper的主从本地定时任务处理方法及系统 | |
| CN114968270B (zh) | 面向超级账本区块链的异构服务器群的部署方法及系统 | |
| CN114356643B (zh) | 一种遥感卫星处理系统中自动发现任务失败和恢复方法 | |
| CN117591132B (zh) | 一种服务的发布方法和发布系统 | |
| CN118349406A (zh) | 测试方法、装置、计算机设备、存储介质和程序产品 | |
| CN117251186A (zh) | 一种基于Ansible的自动化部署系统及方法 | |
| CN113010497A (zh) | 一种数据库迁移方法、装置、设备及存储介质 | |
| CN118349471A (zh) | 一种分布式存储系统的自动化测试方法及系统 | |
| CN118733443A (zh) | 测试环境预检查方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |