CN111580958A - 一种大数据平台的部署方法及装置 - Google Patents

一种大数据平台的部署方法及装置 Download PDF

Info

Publication number
CN111580958A
CN111580958A CN202010312973.4A CN202010312973A CN111580958A CN 111580958 A CN111580958 A CN 111580958A CN 202010312973 A CN202010312973 A CN 202010312973A CN 111580958 A CN111580958 A CN 111580958A
Authority
CN
China
Prior art keywords
server
deployment
resources
big data
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010312973.4A
Other languages
English (en)
Inventor
张彩霞
王向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202010312973.4A priority Critical patent/CN111580958A/zh
Publication of CN111580958A publication Critical patent/CN111580958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种大数据平台的部署方法及装置，包括：收集模块、分配模块、安装模块、配置模块、获取模块和执行模块；本发明通过对各个服务器分配对应的组件模型和资源，安装对应的组件并配置，根据操作指令调用各组件的脚本程序进行部署大数据平台；能够自动部署大数据平台，节省人工成本，同时可以避免人工部署的不合理，提高部署效率；本发明可用于大数据平台的部署。

Description

一种大数据平台的部署方法及装置
技术领域
本发明涉及大数据平台技术领域，尤其涉及一种大数据平台的部署方法及装置。
背景技术
随着社会信息化程度的不断提高，在诸多业务领域产生了海量、实时的数据，人们越来越依赖大数据平台。大数据平台的部署过程中，大数据平台需要技术人员对其进行部署，部署过程非常复杂繁杂，容易出现对部署步骤的失误操作，造成整个部署流程失败，而且部署失败后还需进行修复，造成效率低下，同时部署过程不合理造成的资源不足会引起大数据平台的使用异常。
发明内容
本发明的目的在于提出一种大数据平台的部署方法及装置及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为解决上述技术问题所采用的技术方案：一种大数据平台的部署方法，所述方法包括以下步骤：
S100、收集大数据平台服务器集群中的各个服务器的资源；
S200、根据大数据平台对应的组件模型对收集的资源进行划分，将组件模型和对应的资源分配到各个服务器；
S300、对各个服务器安装对应组件模型的组件；将各个服务器的资源进行划分，将划分后的各资源分配给各组件；
S400、对各个服务器组件进行封装脚本程序并配置；
S500、获取用户输入的操作指令；基于所述操作指令，调用与所述操作指令对应的各组件的脚本程序并执行，以运行大数据平台的部署操作。
作为上述技术方案的进一步改进，步骤S500中，所述操作指令包括：启动指令、平台部署指令和服务器工作指令。
作为上述技术方案的进一步改进，步骤S500中，基于所述操作指令，调用与所述操作指令对应的预先封装的脚本程序并执行，包括：
基于所述启动指令，调用与所述启动指令对应的脚本程序并执行；基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行。
作为上述技术方案的进一步改进，步骤S100中，服务器的资源包括：计算资源、存储资源和网络资源。
一种大数据平台的部署装置，包括：收集模块、分配模块、安装模块、配置模块、获取模块和执行模块。
收集模块用于收集大数据平台服务器集群中的各个服务器的资源。分配模块用于根据大数据平台对应的组件模型对收集的资源进行划分，将组件模型和对应的资源分配到各个服务器；将各个服务器的资源进行划分，将划分后的各资源分配给各组件。安装模块用于对各个服务器安装对应组件模型的组件；配置模块用于对各个服务器组件进行封装脚本程序并配置；获取模块用于获取用户输入的操作指令；执行模块用于基于所述操作指令，调用与所述操作指令对应的各组件的脚本程序并执行，以运行大数据平台的部署操作。
作为上述技术方案的进一步改进，所述执行模块包括第一执行单元、第二执行单元和第三执行单元。所述第一执行单元用于基于所述启动指令，调用与所述启动指令对应的脚本程序并执行；所述第二执行单元用于基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行；所述第三执行单元用于基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行。
本发明的有益效果：本发明通过对各个服务器分配对应的组件模型和资源，安装对应的组件并配置，根据操作指令调用各组件的脚本程序进行部署大数据平台；能够自动部署大数据平台，节省人工成本，同时可以避免人工部署的不合理，提高部署效率。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提供的一种大数据平台的部署方法及装置的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
请参照图1，一种大数据平台的部署方法，所述方法包括以下步骤：
S100、收集大数据平台服务器集群中的各个服务器的资源；
优选地，服务器的资源包括：计算资源、存储资源和网络资源。
收集大数据平台各个服务器的资源方式：获取各服务器与云端服务器的连接方式；根据各服务器与云端服务器的连接方式，读取各服务器的基本输入输出系统BIOS信息和独立磁盘冗余阵列RAID信息；将各服务器的BIOS信息中的硬盘信息和内存信息以及各服务器的RAID信息作为各服务器的存储资源，并且将各服务器的BIOS信息中的CPU信息作为各服务器的计算资源。
优选地，获取各服务器与云端服务器的连接方式为：获取各服务器的型号；根据各服务器的型号查找云端服务器所维护的基础配置库；将基础配置库中记录的与各服务器的型号相对应的连接方式确定为各服务器与云端服务器的连接方式。
S200、根据大数据平台对应的组件模型对收集的资源进行划分，将组件模型和对应的资源分配到各个服务器。
根据组件模型，将资源分配到组件模型，可以根据资源分为计算资源和存储资源来划分，将组件模型与服务器对应，将组件模型及其对应的资源分配到服务器。
S300、对各个服务器安装对应组件模型的组件；将各个服务器的资源进行划分，将划分后的各资源分配给各组件。
每个组件具备不同的功能，根据组件的功能分配资源。
S400、对各个服务器组件进行封装脚本程序并配置；
利用配置工具，对各个服务器的各组件进行配置，包括计算机程序配置参数和初始设置。对各组件进行封装脚本程序具有多种方式，其中常见的一种为：创建一个react文件,搭建模板；把组件内的内容写清楚；使用export把组件曝光；使用import把组件导入。
S500、获取用户输入的操作指令；基于所述操作指令，调用与所述操作指令对应的各组件的脚本程序并执行，以运行大数据平台的部署操作。
优选地，所述操作指令包括：启动指令、平台部署指令和服务器工作指令，服务器工作指令可以具体到各个服务器的工作指令。通过界面化的部署引导程序，引导用户按照预设流程输入操作指令，用户无需进行复杂的操作，只需要根据人机交互界面所显示的提示信息，输入相应的命令，就能够实现大数据平台的安装部署。
基于所述操作指令，调用与所述操作指令对应的预先封装的脚本程序并执行，包括：
基于所述启动指令，调用与所述启动指令对应的脚本程序并执行；基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行。
一种大数据平台的部署装置，包括：收集模块、分配模块、安装模块、配置模块、获取模块和执行模块。
收集模块用于收集大数据平台服务器集群中的各个服务器的资源。分配模块用于根据大数据平台对应的组件模型对收集的资源进行划分，将组件模型和对应的资源分配到各个服务器；将各个服务器的资源进行划分，将划分后的各资源分配给各组件。安装模块用于对各个服务器安装对应组件模型的组件；配置模块用于对各个服务器组件进行封装脚本程序并配置；获取模块用于获取用户输入的操作指令；执行模块用于基于所述操作指令，调用与所述操作指令对应的各组件的脚本程序并执行，以运行大数据平台的部署操作。
执行模块包括第一执行单元、第二执行单元和第三执行单元。所述第一执行单元用于基于所述启动指令，调用与所述启动指令对应的脚本程序并执行；所述第二执行单元用于基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行；所述第三执行单元用于基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行。
通过对各个服务器分配对应的组件模型和资源，安装对应的组件并配置，根据操作指令调用各组件的脚本程序进行部署大数据平台；能够自动部署大数据平台，节省人工成本，同时可以避免人工部署的不合理，提高部署效率。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种大数据平台的部署方法，其特征在于：所述方法包括以下步骤：
S100、收集大数据平台服务器集群中的各个服务器的资源；
S200、根据大数据平台对应的组件模型对收集的资源进行划分，将组件模型和对应的资源分配到各个服务器；
S300、对各个服务器安装对应组件模型的组件；将各个服务器的资源进行划分，将划分后的各资源分配给各组件；
S400、对各个服务器组件进行封装脚本程序并配置；
S500、获取用户输入的操作指令；基于所述操作指令，调用与所述操作指令对应的各组件的脚本程序并执行，以运行大数据平台的部署操作。
2.根据权利要求1所述的一种大数据平台的部署方法，其特征在于：步骤S500中，所述操作指令包括：启动指令、平台部署指令和服务器工作指令。
3.根据权利要求2所述的一种大数据平台的部署方法，其特征在于：步骤S500中，基于所述操作指令，调用与所述操作指令对应的预先封装的脚本程序并执行，包括：
基于所述启动指令，调用与所述启动指令对应的脚本程序并执行；基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行。
4.根据权利要求1所述的一种大数据平台的部署方法，其特征在于：步骤S100中，服务器的资源包括：计算资源、存储资源和网络资源。
5.一种大数据平台的部署装置，其特征在于：包括：
收集模块，用于收集大数据平台服务器集群中的各个服务器的资源；
分配模块，用于根据大数据平台对应的组件模型对收集的资源进行划分，将组件模型和对应的资源分配到各个服务器；将各个服务器的资源进行划分，将划分后的各资源分配给各组件；
安装模块，用于对各个服务器安装对应组件模型的组件；
配置模块，用于对各个服务器组件进行封装脚本程序并配置；
获取模块，用于获取用户输入的操作指令；
执行模块，用于基于所述操作指令，调用与所述操作指令对应的各组件的脚本程序并执行，以运行大数据平台的部署操作。
6.根据权利要求5所述的一种大数据平台的部署装置，其特征在于：所述执行模块包括第一执行单元、第二执行单元和第三执行单元；
所述第一执行单元用于基于启动指令，调用与所述启动指令对应的脚本程序并执行；所述第二执行单元用于基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行；所述第三执行单元用于基于所述平台部署指令，调用与所述平台部署指令对应的脚本程序并执行。
CN202010312973.4A 2020-04-20 2020-04-20 一种大数据平台的部署方法及装置 Pending CN111580958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010312973.4A CN111580958A (zh) 2020-04-20 2020-04-20 一种大数据平台的部署方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010312973.4A CN111580958A (zh) 2020-04-20 2020-04-20 一种大数据平台的部署方法及装置

Publications (1)

Publication Number Publication Date
CN111580958A true CN111580958A (zh) 2020-08-25

Family

ID=72113089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010312973.4A Pending CN111580958A (zh) 2020-04-20 2020-04-20 一种大数据平台的部署方法及装置

Country Status (1)

Country Link
CN (1) CN111580958A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116225464A (zh) * 2023-05-09 2023-06-06 霖济智云科技(苏州)有限公司 一种平台的快速部署方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140068560A1 (en) * 2012-09-06 2014-03-06 Digital Rapids Corporation Systems and methods for partitioning computing applications to optimize deployment resources
CN109120674A (zh) * 2018-07-20 2019-01-01 新华三大数据技术有限公司 大数据平台的部署方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140068560A1 (en) * 2012-09-06 2014-03-06 Digital Rapids Corporation Systems and methods for partitioning computing applications to optimize deployment resources
CN109120674A (zh) * 2018-07-20 2019-01-01 新华三大数据技术有限公司 大数据平台的部署方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜积西等 著: "《云计算导论》", vol. 1, 北京理工大学出版社, pages: 63 *
陈刚;: "使用自动化部署服务 拓展Windows系统平台", no. 02, pages 33 - 36 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116225464A (zh) * 2023-05-09 2023-06-06 霖济智云科技(苏州)有限公司 一种平台的快速部署方法

Similar Documents

Publication Publication Date Title
CN110309071B (zh) 测试代码的生成方法及模块、测试方法及系统
CN107689953B (zh) 一种面向多租户云计算的容器安全监控方法及系统
US8140816B2 (en) Utilizing partition resource requirements from workload estimation to automate partition software configuration and validation
CN110222036B (zh) 用于自动数据库迁移的方法和系统
CN100451989C (zh) 软件测试系统及测试方法
CN107566165B (zh) 一种发现及部署电力云数据中心可用资源的方法及系统
US8521865B2 (en) Method and apparatus for populating a software catalog with automated use signature generation
CN102880546A (zh) 一种基于xml数据库的软件集成测试方法及系统
CN110633130B (zh) 一种基于内存热插拔技术的虚拟内存管理方法和装置
CN112862098A (zh) 一种集群训练任务处理的方法及系统
US20240045793A1 (en) Method and system for scalable performance testing in cloud computing environments
CN112068852A (zh) 基于国产服务器的开源软件安装方法、系统及设备和介质
CN101441592A (zh) 嵌入式系统的测试系统及方法
CN115860143A (zh) 算子模型生成方法、装置和设备
CN113760462B (zh) 一种调度自动化系统验证环境的构建方法及装置
CN111813377A (zh) 一种自动生成应用程序的方法及装置
CN111580958A (zh) 一种大数据平台的部署方法及装置
US20050049841A1 (en) Simulation management system
CN104717091B (zh) 服务器品质验证方法及其系统
CN115757045A (zh) 一种交易日志分析方法、系统及装置
CN101582038A (zh) 测试用操作系统安装方法
CN110928860B (zh) 数据迁移方法和装置
US7743244B2 (en) Computer system model generation with tracking of actual computer system configuration
JP2011154522A (ja) シミュレーション支援システム及びシミュレーション支援方法
CN117632378B (zh) 一种虚拟化cpu的性能测试管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination