CN106445611B - 大数据节点系统及自动部署方法 - Google Patents

大数据节点系统及自动部署方法 Download PDF

Info

Publication number
CN106445611B
CN106445611B CN201610878870.8A CN201610878870A CN106445611B CN 106445611 B CN106445611 B CN 106445611B CN 201610878870 A CN201610878870 A CN 201610878870A CN 106445611 B CN106445611 B CN 106445611B
Authority
CN
China
Prior art keywords
deployment
application
server
data packets
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610878870.8A
Other languages
English (en)
Other versions
CN106445611A (zh
Inventor
晋彤
李永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunrun Da Data Service Co.,Ltd.
Original Assignee
Yunrun Da Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunrun Da Data Service Co ltd filed Critical Yunrun Da Data Service Co ltd
Priority to CN201610878870.8A priority Critical patent/CN106445611B/zh
Publication of CN106445611A publication Critical patent/CN106445611A/zh
Application granted granted Critical
Publication of CN106445611B publication Critical patent/CN106445611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及通信技术领域,特别是一种大数据节点系统，包括部署服务器和多个应用服务器，部署服务器包括部署服务模块，部署服务模块通过部署服务器与应用服务器组成的网络，与应用服务器上的部署应用模块进行信息传输；部署服务模块包括：第一获取单元，用于获取部署任务；第二获取单元，用于根据部署任务获取应用文件；封装单元，用于对获取的应用文件进行封装处理，得到多个数据包；第一配置单元，用于配置部署工作流；第二配置单元，用于配置推送Shell命令；分发单元，用于根据Shell命令将数据包发送至对应的部署应用模块，以便部署应用模块根据数据包自动安装部署。本发明提高了系统部署的效率和系统部署的稳定性。本发明还提供了一种自动部署方法。

Description

大数据节点系统及自动部署方法
技术领域
本发明涉及通信技术领域，特别涉及一种大数据节点系统及自动部署方法。
背景技术
随着云计算的普及，如何在“云”中高效、自动地部署应用，成为系统快速部署尤其是快速增长企业面临的挑战。
在传统的应用安装和部署，常会采用基于流程的部署方式降低部署的复杂性，却很少或缺乏自动化考虑；原有的部署方式往往缺乏“云”的感知，与基础架构耦合太紧，从开发环境到测试环境、生产环境，往往需要重新部署或二次部署；这些都导致部署周期过长，部署和调试过程也会占用应用开发人员较多时间和精力。
应用程序没有为应用程序部署者提供统一的方法来进行维护和沟通配置信息，从而需要自定义脚本和手动配置。自定义脚本难以维护，而手动配置又会导致错误的发生，所以对于J2EE工件来说，要实现流畅的传播和版本机制其实是很困难。当应用程序需要部署于多样环境(开发，测试和生产)的条件下时，这就变得更加复杂，因为应用程序很难做到完全地独立于环境。并且，如果应用程序之间维护的信息不统一的话，那么实时地更改应用程序目标将使任务变得非常繁重。
发明内容
为克服现有技术的缺陷，本发明提供一种大数据节点系统及自动部署方法。
本发明采用技术方案如下：
一种大数据节点系统，所述系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；
所述部署服务模块包括：
第一获取单元，用于获取部署任务；
第二获取单元，用于根据部署任务获取应用文件；
封装单元，用于对获取的应用文件进行封装处理，得到多个数据包；
第一配置单元，用于配置部署工作流；
第二配置单元，用于配置推送Shell命令；
分发单元，用于根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述部署服务模块还包括：
接收单元，用于接收部署应用模块返回的完成安装的标识。
优选地，所述部署服务模块中的分发单元根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
优选地，所述部署服务模块中封装单元具体用于：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
相应地，本发明还提供了一种自动部署方法，所述方法采用大数据节点系统实现，所述大数据节点系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；所述方法包括：
获取部署任务；
根据部署任务获取应用文件；
对获取的应用文件进行封装处理，得到多个数据包；
配置部署工作流；
配置推送Shell命令；
根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署之后，还包括：
接收部署应用模块返回的完成安装的标识。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
优选地，所述对获取的应用文件进行封装处理，得到多个数据包，包括：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
本发明的有益效果是：
本发明针对现有技术的缺陷，提出了在进行系统自动化部署之前，通过Shell对系统环境进行分布式自动部署。shell脚本在处理自动循环或大的任务方面可节省大量的时间，通过创建一个处理任务的命令清单，使用变量、条件、算术和循环等方法快速创建脚本以完成相应工作，实现自动化部署，这比手动操作省时省力，从而提高了系统部署的效率和系统部署的稳定性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的大数据节点系统的结构示意图；
图2是本发明实施例提供的服务部署模块的结构示意图；
图3是本发明实施例提供的自动部署方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一：
图1是本发明实施例提供的大数据节点系统的结构示意图。参见图1，本实施例提供一种大数据节点系统，所述系统包括部署服务器10和多个应用服务器20，所述部署服务器10包括部署服务模块100，所述部署服务模块100通过部署服务器10与多个应用服务器20组成的网络，与所述应用服务器20上的部署应用模块200进行信息传输；
参见图2，所述部署服务模块100包括：
第一获取单元110，用于获取部署任务；
第二获取单元120，用于根据部署任务获取应用文件；
封装单元130，用于对获取的应用文件进行封装处理，得到多个数据包；
第一配置单元140，用于配置部署工作流；
第二配置单元150，用于配置推送Shell命令；
分发单元160，用于根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述部署服务模块100还包括：
接收单元170，用于接收部署应用模块返回的完成安装的标识。
优选地，所述部署服务模块中的分发单元160根据Shell命令将多个数据包发送至对应的部署应用模块200时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块200。
优选地，所述部署服务模块中封装单元130具体用于：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
实施例二：
相应地，本发明还提供了一种自动部署方法。图2是本发明实施例提供的自动部署方法的流程示意图，所述方法采用大数据节点系统实现，所述大数据节点系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；所述方法包括：
S201：获取部署任务；
S202：根据部署任务获取应用文件；
S203：对获取的应用文件进行封装处理，得到多个数据包；
S204：配置部署工作流；
S205：配置推送Shell命令；
S206：根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署之后，还包括：
接收部署应用模块返回的完成安装的标识。
优选地，所述根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块。
优选地，所述对获取的应用文件进行封装处理，得到多个数据包，包括：
根据部署任务将应用文件切分为多个数据，对每个数据包进行封装处理，得到多个数据包。
本发明针对现有信息状况，提出了在进行系统自动化部署之前，通过Shell对系统环境进行分布式自动部署。shell脚本在处理自动循环或大的任务方面可节省大量的时间，通过创建一个处理任务的命令清单，使用变量、条件、算术和循环等方法快速创建脚本以完成相应工作，实现自动化部署，这比手动操作省时省力，从而提高了系统部署的效率和系统部署的稳定性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种大数据节点系统，其特征在于，所述系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；
所述部署服务模块包括：
第一获取单元，用于获取部署任务；
第二获取单元，用于根据部署任务获取应用文件；
封装单元，用于根据部署任务将应用文件切分为多个数据，对每个数据进行封装处理，得到多个数据包；
第一配置单元，用于配置部署工作流；
第二配置单元，用于配置推送Shell命令；
分发单元，用于根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署，其中，所述根据Shell命令将多个数据包发送至对应的部署应用模块时，只将同一个数据包发送一次，并只发给一个对应的部署应用模块；其中，所述根据部署工作流和数据包自动安装部署包括创建一个处理任务的命令清单，使用变量、条件、算数和循环的方法创建脚本，以实现自动安装部署；
接收单元，用于接收部署应用模块返回的完成安装的标识。
2.一种自动部署方法，其特征在于，所述方法采用大数据节点系统实现，所述大数据节点系统包括部署服务器和多个应用服务器，所述部署服务器包括部署服务模块，所述部署服务模块通过部署服务器与多个应用服务器组成的网络，与所述应用服务器上的部署应用模块进行信息传输；所述方法包括：
获取部署任务；
根据部署任务获取应用文件；
根据部署任务将应用文件切分为多个数据，对每个数据进行封装处理，得到多个数据包；
配置部署工作流；
配置推送Shell命令；
根据Shell命令将多个数据包发送至对应的部署应用模块，以便部署应用模块根据部署工作流和数据包自动安装部署，其中，所述根据Shell命令将多个数据包发送至对应的部署应用模块时，分发单元只将同一个数据包发送一次，并只发给一个对应的部署应用模块；其中，所述根据部署工作流和数据包自动安装部署包括创建一个处理任务的命令清单，使用变量、条件、算数和循环的方法创建脚本，以实现自动安装部署；
接收部署应用模块返回的完成安装的标识。
CN201610878870.8A 2016-09-30 2016-09-30 大数据节点系统及自动部署方法 Active CN106445611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610878870.8A CN106445611B (zh) 2016-09-30 2016-09-30 大数据节点系统及自动部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610878870.8A CN106445611B (zh) 2016-09-30 2016-09-30 大数据节点系统及自动部署方法

Publications (2)

Publication Number Publication Date
CN106445611A CN106445611A (zh) 2017-02-22
CN106445611B true CN106445611B (zh) 2020-08-04

Family

ID=58172359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610878870.8A Active CN106445611B (zh) 2016-09-30 2016-09-30 大数据节点系统及自动部署方法

Country Status (1)

Country Link
CN (1) CN106445611B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595335B (zh) * 2018-05-07 2022-06-10 财付通支付科技有限公司 测试环境部署方法、部署装置及存储介质
CN109656569B (zh) * 2018-10-16 2024-03-15 平安普惠企业管理有限公司 多环境应用部署方法、设备、存储介质及装置
CN112398669B (zh) * 2019-08-15 2023-09-26 北京京东尚科信息技术有限公司 一种Hadoop部署方法和装置
CN112906088B (zh) * 2021-02-03 2022-09-06 嘉博联合设计股份有限公司 一种基于AutoCAD的消防喷淋头自动部署方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763389A (zh) * 2014-01-28 2014-04-30 从兴技术有限公司 一种自动部署方法、部署服务模块及部署应用模块
CN105787117A (zh) * 2016-03-28 2016-07-20 广东三盟信息科技有限公司 一种云计算环境下大数据节点的自动部署方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404381A (zh) * 2011-09-02 2012-04-04 西安交通大学 一种云计算环境下基于工作流的软件部署系统及部署方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763389A (zh) * 2014-01-28 2014-04-30 从兴技术有限公司 一种自动部署方法、部署服务模块及部署应用模块
CN105787117A (zh) * 2016-03-28 2016-07-20 广东三盟信息科技有限公司 一种云计算环境下大数据节点的自动部署方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
移动Hadoop集群监控系统的设计与实现;赵志勇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150915(第09期);正文第5.3节第2段 *

Also Published As

Publication number Publication date
CN106445611A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106445611B (zh) 大数据节点系统及自动部署方法
US11461206B2 (en) Cloud simulation and validation system
CN103412768A (zh) 一种基于脚本程序自动化部署Zookeeper集群的方法
CN103853585A (zh) 一种通过云端集中管理版本的实现方法
CN108306804A (zh) 一种Ethercat主站控制器及其通信方法和系统
CN104933174A (zh) 基于控件自动化遍历解决手机app机型适配问题的方法
CN113703363B (zh) 智能边缘计算网关在电力调度云的即插即用方法
CN107632829A (zh) 一种基于iOS系统下的App自动化持续集成系统及方法
CN110601907B (zh) 卫星通信系统大规模组网模拟测试方法、装置及系统
KR20180029900A (ko) 전자 시스템들에서의 로그 데이터의 관리
CN105141484A (zh) 基于云服务器的安卓设备远程调试方法
CN106201852A (zh) 一种分布式测试方法及测试系统
CN105446873A (zh) 基于android平台的APK软件自动测试方法及系统
CN111913721B (zh) 自动化部署方法、装置、设备及存储介质
CN103455337A (zh) 在安卓开发环境下使用动态库的方法
CN103034545B (zh) 基于ace的通信框架和方法、及功能模块间的通信方法
CN111897565A (zh) 基于物联网的数据处理方法、装置和设备
CN104184823A (zh) 一种自动化任务调度的方法和系统
KR102549159B1 (ko) 엣지 클라우드에 대한 검증 자동화가 가능한 엣지 클라우드 구축 시스템 및 방법
CN108572863B (zh) 分布式任务调度系统及方法
CN114466000B (zh) 一种cdn网关回源方法及装置
CN116301729A (zh) 一种可快速扩展的微前端实现方法及可快速扩展的微前端框架
CN112650815B (zh) 环境数据的同步方法及装置、存储介质及电子装置
CN112350842B (zh) 一种重置分布式训练任务训练过程中数据传输网络的方法
CN114461337A (zh) 一种云仿真系统、方法、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200706

Address after: Room 5303, 1023 Gaopu Road, Tianhe Software Park, Tianhe District, Guangzhou City, Guangdong 510000

Applicant after: Yunrun Da Data Service Co.,Ltd.

Address before: 510000 Yuexiu District, Guangzhou Province, north of the text of the text of the North Road, No. 68, the east wing of the text of the building on the ground floor, No. six, No. 602, No.

Applicant before: GUANGZHOU TEDAO INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Big data node system and automatic deployment method

Effective date of registration: 20230208

Granted publication date: 20200804

Pledgee: Bank of China Limited Guangzhou Conghua sub branch

Pledgor: Yunrun Da Data Service Co.,Ltd.

Registration number: Y2023980032264