CN106445611A - 大数据节点系统及自动部署方法 - Google Patents
大数据节点系统及自动部署方法 Download PDFInfo
- Publication number
- CN106445611A CN106445611A CN201610878870.8A CN201610878870A CN106445611A CN 106445611 A CN106445611 A CN 106445611A CN 201610878870 A CN201610878870 A CN 201610878870A CN 106445611 A CN106445611 A CN 106445611A
- Authority
- CN
- China
- Prior art keywords
- deployment
- application
- module
- unit
- deploying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
Abstract
本发明涉及通信技术领域,特别是一种大数据节点系统，包括部署服务器和多个应用服务器，部署服务器包括部署服务模块，部署服务模块通过部署服务器与应用服务器组成的网络，与应用服务器上的部署应用模块进行信息传输；部署服务模块包括：第一获取单元，用于获取部署任务；第二获取单元，用于根据部署任务获取应用文件；封装单元，用于对获取的应用文件进行封装处理，得到多个数据包；第一配置单元，用于配置部署工作流；第二配置单元，用于配置推送Shell命令；分发单元，用于根据Shell命令将数据包发送至对应的部署应用模块，以便部署应用模块根据数据包自动安装部署。本发明提高了系统部署的效率和系统部署的稳定性。本发明还提供了一种自动部署方法。
Description
技术领域
本发明涉及通信技术领域，特别涉及一种大数据节点系统及自动部署方法。
背景技术
随着云计算的普及，如何在“云”中高效、自动地部署应用，成为系统快速部署尤其是快速增长企业面临的挑战。
在传统的应用安装和部署，常会采用基于流程的部署方式降低部署的复杂性，却很少或缺乏自动化考虑；原有的部署方式往往缺乏“云”的感知，与基础架构耦合太紧，从开发环境到测试环境、生产环境，往往需要重新部署或二次部署；这些都导致部署周期过长，部署和调试过程也会占用应用开发人员较多时间和精力。
应用程序没有为应用程序部署者提供统一的方法来进行维护和沟通配置信息，从而需要自定义脚本和手动配置。自定义脚本难以维护，而手动配置又会导致错误的发生，所以对于J2EE工件来说，要实现流畅的传播和版本机制其实是很困难。当应用程序需要部署于多样环境(开发，测试和生产)的条件下时，这就变得更加复杂，因为应用程序很难做到完全地独立于环境。并且，如果应用程序之间维护的信息不统一的话，那么实时地更改应用程序目标将使任务变得非常繁重。
发明内容
为克服现有技术的缺陷，本发明提供一种大数据节点系统及自动部署方法。
本发明采用技术方案如下：
一种大数据节点系统，所述系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；
所述部署服务模块包括：
第一获取单元，用于获取部署任务；
第二获取单元，用于根据部署任务获取应用文件；
封装单元，用于对获取的应用文件进行封装处理，得到多个数据包；
第一配置单元，用于配置部署工作流；
第二配置单元，用于配置推送Shell命令；
分发单元，用于根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述部署服务模块还包括：
接收单元，用于接收部署应用模块返回的完成安装的标识。
优选地，所述部署服务模块中的分发单元根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
优选地，所述部署服务模块中封装单元具体用于：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
相应地，本发明还提供了一种自动部署方法，所述方法采用大数据节点系统实现，所述大数据节点系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；所述方法包括：
获取部署任务；
根据部署任务获取应用文件；
对获取的应用文件进行封装处理，得到多个数据包；
配置部署工作流；
配置推送Shell命令；
根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署之后，还包括：
接收部署应用模块返回的完成安装的标识。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
优选地，所述对获取的应用文件进行封装处理，得到多个数据包，包括：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
本发明的有益效果是：
本发明针对现有技术的缺陷，提出了在进行系统自动化部署之前，通过Shell对系统环境进行分布式自动部署。shell脚本在处理自动循环或大的任务方面可节省大量的时间，通过创建一个处理任务的命令清单，使用变量、条件、算术和循环等方法快速创建脚本以完成相应工作，实现自动化部署，这比手动操作省时省力，从而提高了系统部署的效率和系统部署的稳定性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的大数据节点系统的结构示意图；
图2是本发明实施例提供的服务部署模块的结构示意图；
图3是本发明实施例提供的自动部署方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一：
图1是本发明实施例提供的大数据节点系统的结构示意图。参见图1，本实施例提供一种大数据节点系统，所述系统包括部署服务器10和多个应用服务器20，所述部署服务器10包括部署服务模块100，所述部署服务模块100通过部署服务器10与多个应用服务器20组成的网络，与所述应用服务器20上的部署应用模块200进行信息传输；
参见图2，所述部署服务模块100包括：
第一获取单元110，用于获取部署任务；
第二获取单元120，用于根据部署任务获取应用文件；
封装单元130，用于对获取的应用文件进行封装处理，得到多个数据包；
第一配置单元140，用于配置部署工作流；
第二配置单元150，用于配置推送Shell命令；
分发单元160，用于根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述部署服务模块100还包括：
接收单元170，用于接收部署应用模块返回的完成安装的标识。
优选地，所述部署服务模块中的分发单元160根据Shell命令将多个数据包发送至对应的部署应用模块200时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块200。
优选地，所述部署服务模块中封装单元130具体用于：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
实施例二：
相应地，本发明还提供了一种自动部署方法。图2是本发明实施例提供的自动部署方法的流程示意图，所述方法采用大数据节点系统实现，所述大数据节点系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；所述方法包括：
S201：获取部署任务；
S202：根据部署任务获取应用文件；
S203：对获取的应用文件进行封装处理，得到多个数据包；
S204：配置部署工作流；
S205：配置推送Shell命令；
S206：根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署之后，还包括：
接收部署应用模块返回的完成安装的标识。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
优选地，所述对获取的应用文件进行封装处理，得到多个数据包，包括：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
本发明针对现有信息状况，提出了在进行系统自动化部署之前，通过Shell对系统环境进行分布式自动部署。shell脚本在处理自动循环或大的任务方面可节省大量的时间，通过创建一个处理任务的命令清单，使用变量、条件、算术和循环等方法快速创建脚本以完成相应工作，实现自动化部署，这比手动操作省时省力，从而提高了系统部署的效率和系统部署的稳定性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种大数据节点系统，其特征在于，所述系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；
所述部署服务模块包括：
第一获取单元，用于获取部署任务；
第二获取单元，用于根据部署任务获取应用文件；
封装单元，用于对获取的应用文件进行封装处理，得到多个数据包；
第一配置单元，用于配置部署工作流；
第二配置单元，用于配置推送Shell命令；
分发单元，用于根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
2.根据权利要求1所述的系统，其特征在于，所述部署服务模块还包括：
接收单元，用于接收部署应用模块返回的完成安装的标识。
3.根据权利要求1所述的系统，其特征在于，所述部署服务模块中的分发单元根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
4.根据权利要求1所述的系统，其特征在于，所述部署服务模块中封装单元具体用于：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
5.一种自动部署方法，其特征在于，所述方法采用大数据节点系统实现，所述大数据节点系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；所述方法包括：
获取部署任务；
根据部署任务获取应用文件；
对获取的应用文件进行封装处理，得到多个数据包；
配置部署工作流；
配置推送Shell命令；
根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
6.根据权利要求5所述的方法，其特征在于，所述根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署之后，还包括：
接收部署应用模块返回的完成安装的标识。
7.根据权利要求5所述的方法，其特征在于，所述根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
8.根据权利要求5所述的方法，其特征在于，所述对获取的应用文件进行封装处理，得到多个数据包，包括：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610878870.8A CN106445611B (zh) | 2016-09-30 | 2016-09-30 | 大数据节点系统及自动部署方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610878870.8A CN106445611B (zh) | 2016-09-30 | 2016-09-30 | 大数据节点系统及自动部署方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106445611A true CN106445611A (zh) | 2017-02-22 |
| CN106445611B CN106445611B (zh) | 2020-08-04 |
Family
ID=58172359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610878870.8A Active CN106445611B (zh) | 2016-09-30 | 2016-09-30 | 大数据节点系统及自动部署方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106445611B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595335A (zh) * | 2018-05-07 | 2018-09-28 | 财付通支付科技有限公司 | 测试环境部署方法、部署装置及存储介质 |
| CN109656569A (zh) * | 2018-10-16 | 2019-04-19 | 平安普惠企业管理有限公司 | 多环境应用部署方法、设备、存储介质及装置 |
| CN112398669A (zh) * | 2019-08-15 | 2021-02-23 | 北京京东尚科信息技术有限公司 | 一种Hadoop部署方法和装置 |
| CN112906088A (zh) * | 2021-02-03 | 2021-06-04 | 嘉博联合设计股份有限公司 | 一种基于AutoCAD的消防喷淋头自动部署方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102404381A (zh) * | 2011-09-02 | 2012-04-04 | 西安交通大学 | 一种云计算环境下基于工作流的软件部署系统及部署方法 |
| CN103763389A (zh) * | 2014-01-28 | 2014-04-30 | 从兴技术有限公司 | 一种自动部署方法、部署服务模块及部署应用模块 |
| CN105787117A (zh) * | 2016-03-28 | 2016-07-20 | 广东三盟信息科技有限公司 | 一种云计算环境下大数据节点的自动部署方法及其装置 |
-
2016
- 2016-09-30 CN CN201610878870.8A patent/CN106445611B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102404381A (zh) * | 2011-09-02 | 2012-04-04 | 西安交通大学 | 一种云计算环境下基于工作流的软件部署系统及部署方法 |
| CN103763389A (zh) * | 2014-01-28 | 2014-04-30 | 从兴技术有限公司 | 一种自动部署方法、部署服务模块及部署应用模块 |
| CN105787117A (zh) * | 2016-03-28 | 2016-07-20 | 广东三盟信息科技有限公司 | 一种云计算环境下大数据节点的自动部署方法及其装置 |
Non-Patent Citations (1)
| Title |
|---|
| 赵志勇: "移动Hadoop集群监控系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595335A (zh) * | 2018-05-07 | 2018-09-28 | 财付通支付科技有限公司 | 测试环境部署方法、部署装置及存储介质 |
| CN108595335B (zh) * | 2018-05-07 | 2022-06-10 | 财付通支付科技有限公司 | 测试环境部署方法、部署装置及存储介质 |
| CN109656569A (zh) * | 2018-10-16 | 2019-04-19 | 平安普惠企业管理有限公司 | 多环境应用部署方法、设备、存储介质及装置 |
| CN109656569B (zh) * | 2018-10-16 | 2024-03-15 | 平安普惠企业管理有限公司 | 多环境应用部署方法、设备、存储介质及装置 |
| CN112398669A (zh) * | 2019-08-15 | 2021-02-23 | 北京京东尚科信息技术有限公司 | 一种Hadoop部署方法和装置 |
| CN112398669B (zh) * | 2019-08-15 | 2023-09-26 | 北京京东尚科信息技术有限公司 | 一种Hadoop部署方法和装置 |
| CN112906088A (zh) * | 2021-02-03 | 2021-06-04 | 嘉博联合设计股份有限公司 | 一种基于AutoCAD的消防喷淋头自动部署方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106445611B (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106445611A (zh) | 大数据节点系统及自动部署方法 | |
| CN106301829A (zh) | 一种网络业务扩容的方法和装置 | |
| CN104993947A (zh) | 批量升级固件的方法 | |
| CN107465765A (zh) | 一种基于容器云的智能应用网关实现方法 | |
| CN103067225B (zh) | 一种测试系统 | |
| CN107689982A (zh) | 多数据源数据同步方法、应用服务器及计算机可读存储介质 | |
| CN104852813B (zh) | 家庭网关设备中tr069参数节点的按需加载方法及系统 | |
| CN104636084A (zh) | 一种对电力大数据进行合理高效分布存储的装置和方法 | |
| CN104394090A (zh) | 一种采用dpi对数据包进行网络流分类的sdn控制器 | |
| CN104683428A (zh) | 网络业务处理方法与装置 | |
| CN105718299A (zh) | 虚拟机的配置方法、装置及系统 | |
| CN102497436A (zh) | 一种基于http协议的网络文件存储方法及系统 | |
| CN106161171A (zh) | 一种建立网络业务实例的方法和装置 | |
| CN108092923A (zh) | 基于sr-iov的报文处理方法以及装置 | |
| CN105450520A (zh) | 报文处理方法和装置、建立聚合隧道的方法和装置 | |
| CN106330923A (zh) | 基于Kubernetes系统的节点注册方法及系统 | |
| CN106959886A (zh) | 一种基于云计算的虚拟机部署管控平台及使用方法 | |
| CN104394075B (zh) | 一种报文传输的方法和设备 | |
| CN103634222B (zh) | 报文处理的装置、方法及系统 | |
| CN103067476B (zh) | 一种基于虚拟机的动态网络重构方法 | |
| CN102375912A (zh) | 一种不同工程软件系统间的数据集成装置及方法 | |
| CN105763411A (zh) | 一种建立组播隧道的方法及装置 | |
| CN112003931A (zh) | 一种编排控制器部署方法、系统及相关组件 | |
| CN106856454A (zh) | 一种报文转发的方法、设备及系统 | |
| CN108572863B (zh) | 分布式任务调度系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200706 Address after: Room 5303, 1023 Gaopu Road, Tianhe Software Park, Tianhe District, Guangzhou City, Guangdong 510000 Applicant after: Yunrun Da Data Service Co.,Ltd. Address before: 510000 Yuexiu District, Guangzhou Province, north of the text of the text of the North Road, No. 68, the east wing of the text of the building on the ground floor, No. six, No. 602, No. Applicant before: GUANGZHOU TEDAO INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Big data node system and automatic deployment method Effective date of registration: 20230208 Granted publication date: 20200804 Pledgee: Bank of China Limited Guangzhou Conghua sub branch Pledgor: Yunrun Da Data Service Co.,Ltd. Registration number: Y2023980032264 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |