CN107566165B - 一种发现及部署电力云数据中心可用资源的方法及系统 - Google Patents
一种发现及部署电力云数据中心可用资源的方法及系统 Download PDFInfo
- Publication number
- CN107566165B CN107566165B CN201710711701.XA CN201710711701A CN107566165B CN 107566165 B CN107566165 B CN 107566165B CN 201710711701 A CN201710711701 A CN 201710711701A CN 107566165 B CN107566165 B CN 107566165B
- Authority
- CN
- China
- Prior art keywords
- resource
- information
- configuration
- available resources
- deployment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004891 communication Methods 0.000 claims abstract description 47
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 32
- 238000007726 management method Methods 0.000 claims description 23
- 238000009434 installation Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000011900 installation process Methods 0.000 claims description 8
- KKIMDKMETPPURN-UHFFFAOYSA-N 1-(3-(trifluoromethyl)phenyl)piperazine Chemical compound FC(F)(F)C1=CC=CC(N2CCNCC2)=C1 KKIMDKMETPPURN-UHFFFAOYSA-N 0.000 claims description 6
- 238000013439 planning Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 101150096185 PAAS gene Proteins 0.000 claims 1
- 238000012384 transportation and delivery Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Stored Programmes (AREA)
Abstract
本发明公开了一种发现及部署电力云数据中心可用资源的方法及系统,方法包括以下步骤:步骤1,可用资源发现:主动发现电力云数据中心中新的可用资源;步骤2,设备资源代理通信:与新发现的可用资源建立起通信机制;步骤3,模型化配置管理:通过对新发现的可用资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板;步骤4,配置部署:将资源配置模板进行模型化配置并对新发现的可用资源进行部署。在云计算数据中心环境下,当新资源设备连入云计算数据中心管理网后,本发明能够对新增加物理设备的自动发现、信息采集、通信建立、资源分析、模型化配置、自动安装部署、最终使新资源上线。
Description
技术领域
本发明涉及一种发现及部署电力云数据中心可用资源的方法及系统,属于电力系统云数据处理技术领域。
背景技术
随着电力行业“十三五”信息化规划任务的逐步开展,在各企业一体化云平台规划基础上,各级单位对传统数据中心进行云化整合转型,建立数据中心级云平台、分布式存储资源池、计算资源池等,在提高资源利用率和运维效率的同时实现对传统系统和新型业务系统的全场景化支撑。随着应用的不断深入,大量业务系统从传统数据中心架构迁移到云架构,原有的硬件需要逐步整合入云计算平台,云平台需要面临频繁的扩容和资源池构建工作,但由于云计算系统的服务众多,架构相对复杂,人工搭建和部署对技术能力要求较高,且耗时较长,规范性较差,没有详细的日志记录。由此,自动化的实现云平台的部署,以及对可用资源的发现就成了重要课题。特别是,在各级单位都在进行云数据中心建设、现有资源逐步整合的过程中,自动化的、高效的实现可用资源自动发现、配置、部署,将大幅度提高工作效率,具有非常重要的现实意义。
目前,由于云计算的整体架构涉及到的服务众多,服务之间的相互依存关系复杂,在部署安装、配置扩容时都需要依赖较高水平的专业人员进行,一方面耗时耗人工,另一方面整个过程缺少标准化记录。致使在云计算大规模建设和扩容时给实际工作制造诸多麻烦,具体问题如下:
(1)系统部署复杂度高
云计算系统是一套包含诸多模块的应用框架,其核心由计算、网络、存储、监控、认证、界面、快照镜像、流程编排等十几个组件组成,加上容器、大数据、文件系统、应用商店等常用组件,一套云计算平台系统部署下来往往需要安装三十几个组件,这些组件相互之间依存关系复杂;这种高复杂度给系统的成功部署带来不小的挑战。
(2)自动化程度低
目前的云计算系统建设和基础资源扩容模式,主要依靠人工完成,依靠经验,通过命令行的方式逐个组件和服务进行部署、配置,没有自动化的部署工具,这对实施人员提出了很高要求的同时也增加了工作复杂度。
(3)系统部署效率低
按照目前人工部署和扩容配置方式,整个云计算系统部署下来往往需要数天甚至几周的时间,效率极低。
(4)标准化程度低
由于云计算系统组件众多,相互依赖关系复杂,传统部署基本靠部署工程师的经验,标准化程度低,整个安装过程也没有完整的标准化日志记录,这都给系统建成后的正常运维埋下了隐患。
综上所述,现有云计算系统存在工作效率低和自动化程度低的问题。
发明内容
针对现有技术的不足,本发明提出了一种发现及部署电力云数据中心可用资源的方法及系统,其能够解决现有云计算系统存在工作效率低和自动化程度低的问题。
本发明解决其技术问题采取的技术方案是:
本发明实施例提供的一种发现及部署电力云数据中心可用资源的方法,它包括以下步骤:
步骤1,可用资源发现:主动发现电力云数据中心中新的可用资源;
步骤2,设备资源代理通信:与新发现的可用资源建立起通信机制;
步骤3,模型化配置管理:通过对新发现的可用资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板;
步骤4,配置部署:将资源配置模板进行模型化配置并对新发现的可用资源进行部署。
进一步地,所述步骤1的具体过程为:扫描管理网内的设备,并与现存云环境物理资源数据库进行比对,对于新发现的可用资源进行扫描、尝试通信工作,并将其状态记录入现存云环境物理资源的MySQL数据库中,且将状态置为发现、未部署。
进一步地,所述步骤2的具体过程包括以下步骤:
步骤21,新发现的可用资源启动后主动发送DHCP请求包,DHCP服务器向新发现的可用资源分配IP、掩码和网关信息;
步骤22,新发现的可用资源获取IP后自动发送PXE搜寻包,TFTP服务器向新发现的可用资源推送一个精简的内存操作系统,新发现的可用资源接收到所述内存操作系统后并进行安装;
步骤23,内存操作系统启动嵌入的代理客户端Agent,代理客户端Agent主动在网络上寻找Server服务器端,并建立起通信链接;
步骤24,代理客户端Agent按照Server服务器端的指令,监测新发现的可用资源的各种信息并反馈给Server服务器端,对新发现的可用资源情况进行汇总后记录到MySQL数据库中。
进一步地,所述步骤3的具体过程包括以下步骤:
步骤31,调用MySQL数据库中的新加入信息,通过读取CPU、内存、网络和硬盘资源信息,按照部署模型进行分析,给出匹配模型建议,并生成一个YAML文件,将可赋值的变量做为交互的参数推送到WEB界面上;
匹配模型包括如下三类模型:
(1)资源角色匹配模型,所述资源角色包括控制器、计算、存储、融合和裸机;
(2)服务组件匹配模型,所述服务组件包括对应不同角色的基础服务组件包、IAAS(Infrastructure as a Service,基础设施即服务)服务组件包和PAAS(Platform as aService,平台即服务)服务组件包;
(3)参数匹配模型,在确定角色模型后,根据模型进行配置网络和硬盘的使用方式参数;
步骤32,资源角色匹配模型的规则如下:
(1)控制器:CPU大于2颗4Core,内存大于96G,硬盘大于2块300G;
(2)计算:CPU大于2颗8Core,内存大于128G,硬盘大于2块300G;
(3)存储:CPU大于2颗6Core,内存大于96G,硬盘大于6块300G;
(4)融合:同时匹配上述计算和存储模型规则的节点定义为融合角色;
(5)裸机:未匹配上述模型规则的资源定义为裸机;
(6)优先级规则:如果资源同时满足上述几种角色模型要求,按照融合、计算、存储、控制器、裸机顺序进行优先级排序;
以参数形式进行调整所述资源角色匹配模型的规则;
步骤33,将新发现的可用资源信息和匹配模型进行显示,用以检查配置情况是否合理,并调整新发现的可用资源的角色模型类别,以及对服务组件检修增删,或对其硬盘、网络参数做出调整;
进行调整时,输入的参数包括:
(1)设备的名称;
(2)设备的角色,此设备所需要安装的组件;
(3)网卡绑定信息,决定是否做网卡绑定,绑定模式是A/B或者AA模式;
(4)网络IP信息,包括IP段、掩码、网关、可用的地址空间等;
(5)硬盘空间的规划;
(6)网卡VLAN Trunk信息;
步骤34,调整完成并确认后,将填入每个设备的YAML文件中,作为与后续模块信息传递的途径,配置部署模块会自动记录信息并形成可供逻辑编排执行的脚本信息。
进一步地,所述步骤4的具体过程包括以下步骤:
步骤41,设置配置检查模块,用以检查所有的设置与网络环境,配置检查模块将逐个检查所有的YAML文件,确保配置的完整、一致性与唯一性,并通过网络工具来探测网络VLAN信息与所配置的VLANTrunk信息同步,否则将把日志与异常信息打印出来,以供进行修正;
步骤42,Server服务器端向新发现的可用资源推送基于Linux的云计算底层操作系统,并通过脚本在新发现的可用资源环境进行安装,在安装过程中代理客户端Agent一直与Server服务器端保持通信,将安装信息实时同步到Server服务器端进行监控并记录;
步骤43,云计算底层操作系统安装完成后,Server服务器端推送自动部署代理模块,所述自动部署代理模块是一个可根据脚本参数进行自动化编排的服务组件安装工具集;
步骤44,自动化代理模块安装完成后,读取步骤3中形成的脚本信息参数,按照脚本脚本信息参数在新发现的可用资源本地形成服务组件的部署编排,并按照部署编排过程进行安装;
步骤45,当某个脚本执行失败时,将回退最近的脚本操作,并记录位置,根据报错信息调整配置信息,并再次开始部署,部署将承认前期已经成功的脚本,从上次失败的位置继续部署;
步骤46,新发现的可用资源部署完成后,Server服务器端进行所安装的服务组件状态扫描,以检查所有状态,并将安装过程中的所有记录和监测记录以日志形式呈现并记录入MySQL数据库中。
本发明实施例提供的一种发现及部署电力云数据中心可用资源的系统,它包括:
可用资源发现模块,用以主动发现电力云数据中心中新的可用资源;
设备资源代理通信模块,用以与新发现的可用资源建立起通信机制;
模型化配置管理模块,用以通过对新发现的可用资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板;
配置部署模块,用以将资源配置模板进行模型化配置并对新发现的可用资源进行部署。
进一步地,所述可用资源发现模块包括资源环境数据库,并监测云计算环境管理网络内的设备,对在网络范围内新出现的资源设备进行比对识别,从而主动发现新资源设备。
进一步地,所述设备资源代理通信模块通过软件推送,并在被发现资源设备上的部署安装,建立所述系统与被发现资源设备之间的通信链接,进行设备相关信息的搜集,并作为后续配置下发和部署的执行基础。
进一步地,所述模型化配置管理模块包括配置模型,被发现资源设备的信息经过比对分析后,所述系统会给出相应的配置模型建议,根据配置模型建议选择默认配置或根据实际应用差异通过界面参数的方式进行模型调整定制,形成最终的配置模型。
进一步地,所述配置部署模块通过基础内核系统的推送部署,基于配置模型推送,以及基于确定模型的组件安装,对新发现资源物理设备的进行部署,部署完成后进行监测并形成配置部署测试日志记录。
本发明的有益效果如下:
本发明的实施例技术方案提供了一套云计算数据中心环境下,新资源的自动化发现与部署方法,在云计算数据中心环境下,当新资源设备连入云计算数据中心管理网后,能够对新增加物理设备的自动发现、信息采集、通信建立、资源分析、模型化配置、自动安装部署、最终使新资源上线。
与现有技术相比较,本发明的实施例技术方案具有以下特点:
(1)基础资源自动发现:实现了网络内资源的主动发现、上线、信息抓取与显示,取代了人为查看、配置等大量繁琐的人工操作,从而大量降低了系统部署复杂度,为系统的广泛使用奠定基础。
(2)模型化自动部署:通过模型化的方式,将云平台复杂的服务、组件进行封装和编排,形成角色、功能、参数的模型,并能够根据新资源的情况进行智慧的配置匹配,整个过程大幅度降低了对实施部署人员经验核技术能力要求,大幅度提高了云平台部署的标准化、规范化程度。
(3)大幅度提高效率:主动资源发现部署将大幅度降低人力投入,提升效率;特别是在大规模建设、系统扩容阶段,可以使整个云计算系统部署时间下降到小时级别。
(4)全过程监测日志记录:系统提供了一整套涵盖新资源发现、新资源信息采集、模型配置确认、部署安装、服务组件监测全过程各个环节的实施信息监控与日志记录;为云计算数据中心的运维提供了一整套基础资料。
附图说明
图1为本发明实施例1的一种发现及部署电力云数据中心可用资源的方法流程图;
图2为本发明实施例2的一种发现及部署电力云数据中心可用资源的系统示意图;
图3为本发明实施例3的一种利用实施例2提供的系统进行发现及部署电力云数据中心可用资源的方法流程图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过具体实施方式,并结合其附图,对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意,在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
本发明提供了一种电力云数据中心可用资源的发现与部署方法,更近一步说,电力云计算数据中心在进行资源池初建和扩容过程中,对入网可用物理资源,进行自动化的发现、配置、部署的方法。
实施例1
如图1所示,本实施例提供的一种发现及部署电力云数据中心可用资源的方法,它包括以下步骤:
步骤1,可用资源发现:主动发现电力云数据中心中新的可用资源;
步骤2,设备资源代理通信:与新发现的可用资源建立起通信机制;
步骤3,模型化配置管理:通过对新发现的可用资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板;
步骤4,配置部署:将资源配置模板进行模型化配置并对新发现的可用资源进行部署。
所述步骤1的具体过程为:扫描管理网内的设备,并与现存云环境物理资源数据库进行比对,对于新发现的可用资源进行扫描、尝试通信工作,并将其状态记录入现存云环境物理资源的MySQL数据库中,且将状态置为发现、未部署。
所述步骤2的具体过程包括以下步骤:
步骤21,新发现的可用资源启动后主动发送DHCP请求包,DHCP服务器向新发现的可用资源分配IP、掩码和网关信息;
步骤22,新发现的可用资源获取IP后自动发送PXE搜寻包,TFTP服务器向新发现的可用资源推送一个精简的内存操作系统,新发现的可用资源接收到所述内存操作系统后并进行安装;
步骤23,内存操作系统启动嵌入的代理客户端Agent,代理客户端Agent主动在网络上寻找Server服务器端,并建立起通信链接;
步骤24,代理客户端Agent按照Server服务器端的指令,监测新发现的可用资源的各种信息并反馈给Server服务器端,对新发现的可用资源情况进行汇总后记录到MySQL数据库中。
所述步骤3的具体过程包括以下步骤:
步骤31,调用MySQL数据库中的新加入信息,通过读取CPU、内存、网络和硬盘资源信息,按照部署模型进行分析,给出匹配模型建议,并生成一个YAML文件,将可赋值的变量做为交互的参数推送到WEB界面上;
匹配模型包括如下三类模型:
(1)资源角色匹配模型,所述资源角色包括控制器、计算、存储、融合和裸机;
(2)服务组件匹配模型,所述服务组件包括对应不同角色的基础服务组件包、IAAS(Infrastructure as a Service,基础设施即服务)服务组件包和PAAS(Platform as aService,平台即服务)服务组件包;
(3)参数匹配模型,在确定角色模型后,根据模型进行配置网络和硬盘的使用方式参数;
步骤32,资源角色匹配模型的规则如下:
(1)控制器:CPU大于2颗4Core,内存大于96G,硬盘大于2块300G;
(2)计算:CPU大于2颗8Core,内存大于128G,硬盘大于2块300G;
(3)存储:CPU大于2颗6Core,内存大于96G,硬盘大于6块300G;
(4)融合:同时匹配上述计算和存储模型规则的节点定义为融合角色;
(5)裸机:未匹配上述模型规则的资源定义为裸机;
(6)优先级规则:如果资源同时满足上述几种角色模型要求,按照融合、计算、存储、控制器、裸机顺序进行优先级排序;
以参数形式进行调整所述资源角色匹配模型的规则;
步骤33,将新发现的可用资源信息和匹配模型进行显示,用以检查配置情况是否合理,并调整新发现的可用资源的角色模型类别,以及对服务组件检修增删,或对其硬盘、网络参数做出调整;
进行调整时,输入的参数包括:
(1)设备的名称;
(2)设备的角色,此设备所需要安装的组件;
(3)网卡绑定信息,决定是否做网卡绑定,绑定模式是A/B或者AA模式;
(4)网络IP信息,包括IP段、掩码、网关、可用的地址空间等;
(5)硬盘空间的规划;
(6)网卡VLAN Trunk信息;
步骤34,调整完成并确认后,将填入每个设备的YAML文件中,作为与后续模块信息传递的途径,配置部署模块会自动记录信息并形成可供逻辑编排执行的脚本信息。
所述步骤4的具体过程包括以下步骤:
步骤41,设置配置检查模块,用以检查所有的设置与网络环境,配置检查模块将逐个检查所有的YAML文件,确保配置的完整、一致性与唯一性,并通过网络工具来探测网络VLAN信息与所配置的VLANTrunk信息同步,否则将把日志与异常信息打印出来,以供进行修正;
步骤42,Server服务器端向新发现的可用资源推送基于Linux的云计算底层操作系统,并通过脚本在新发现的可用资源环境进行安装,在安装过程中代理客户端Agent一直与Server服务器端保持通信,将安装信息实时同步到Server服务器端进行监控并记录;
步骤43,云计算底层操作系统安装完成后,Server服务器端推送自动部署代理模块,所述自动部署代理模块是一个可根据脚本参数进行自动化编排的服务组件安装工具集;
步骤44,自动化代理模块安装完成后,读取步骤3中形成的脚本信息参数,按照脚本脚本信息参数在新发现的可用资源本地形成服务组件的部署编排,并按照部署编排过程进行安装;
步骤45,当某个脚本执行失败时,将回退最近的脚本操作,并记录位置,根据报错信息调整配置信息,并再次开始部署,部署将承认前期已经成功的脚本,从上次失败的位置继续部署;
步骤46,新发现的可用资源部署完成后,Server服务器端进行所安装的服务组件状态扫描,以检查所有状态,并将安装过程中的所有记录和监测记录以日志形式呈现并记录入MySQL数据库中。
在云计算数据中心环境下,当新资源设备连入云计算数据中心管理网后,实施例1的技术方案给出了一种对新增加物理设备的自动发现、信息采集、通信建立、资源分析、模型化配置、自动安装部署、最终使新资源上线的全过程自动化方法。
实施例2
如图2所示,本实施例提供的一种发现及部署电力云数据中心可用资源的系统,它包括:
可用资源发现模块,用以主动发现电力云数据中心中新的可用资源;
设备资源代理通信模块,用以与新发现的可用资源建立起通信机制;
模型化配置管理模块,用以通过对新发现的可用资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板;
配置部署模块,用以将资源配置模板进行模型化配置并对新发现的可用资源进行部署。
所述可用资源发现模块包括资源环境数据库,并监测云计算环境管理网络内的设备,对在网络范围内新出现的资源设备进行比对识别,从而主动发现新资源设备。
所述设备资源代理通信模块通过软件推送,并在被发现资源设备上的部署安装,建立所述系统与被发现资源设备之间的通信链接,进行设备相关信息的搜集,并作为后续配置下发和部署的执行基础。
所述模型化配置管理模块包括配置模型,被发现资源设备的信息经过比对分析后,所述系统会给出相应的配置模型建议,根据配置模型建议选择默认配置或根据实际应用差异通过界面参数的方式进行模型调整定制,形成最终的配置模型。
所述配置部署模块通过基础内核系统的推送部署,基于配置模型推送,以及基于确定模型的组件安装,对新发现资源物理设备的进行部署,部署完成后进行监测并形成配置部署测试日志记录。
实施例3
如图2和图3所示,本实施例提供的一种利用实施例2提供的系统进行发现及部署电力云数据中心可用资源的方法。
所述系统的结构图如图2所示,本发明提供了一种电力云数据中心基础资源自动发现,以及云计算系统模型化配置、自动化部署的系统。当硬件资源接入云数据中心管理网络后,系统会主动发现并建立通信,通过预先定义的模型化配置,对发现资源进行自动化的部署。具体系统结构组成包括:
(1)可用资源发现模块
在初始阶段数据库中只具备基础的表结构,对于云数据中心新上架的设备,只需要将其配置为PXE网络启动模式,连入自动发现网络,开机即可。
(2)设备资源代理通信模块
设备资源代理通信模块配置有一个自动化安装服务器,底层使用PXE、DHCP、TFTP技术,在新设备开机的过程中,自动的完成IP分配、操作系统自动安装、通信建立过程。此操作系统中安装有一个信息收集代理,将收集整个设备的硬件信息,写入云计算的资源环境数据库中,并展现在WEB界面上。
(3)模型化配置管理模块
通过数据库中的信息自动的构建一个YAML文件,此模块将根据不同的设备配置创建不同的YAML文件,预留不同的变量,并将可输入的变量值以交互的方式显现到WEB界面,被发现资源设备的信息经过自动比对分析,系统会给出相应的配置模型建议,包括网络与硬盘信息等,可以单独设置也设置了批量设置的功能,系统运维人员可以查看模型推荐(建议),选择默认配置或根据实际应用差异通过界面参数的方式进行模型调整定制,形成最终的配置模型。
(4)配置部署模块
配置部署模块使用了中心化的模式,通过一系列的自动化工具,将前一步中产生的YAML文件解析并封装为自动化脚本,通过基础内核系统的推送部署,基于自动化工具的配置模型推送,基于确定模型的组件安装等步骤实现对新发现资源物理设备的部署,部署完成后会有自动化的监测,并形成标准化的配置部署测试日志记录。
如图3所示,利用所述系统进行发现及部署电力云数据中心可用资源的具体过程如下:
步骤1:资源自动化发现
系统通过自动发现模块主动发现环境中新的可用资源。
新的硬件资源需要在现有云计算环境中,确保服务器的PXE(preboot executeenvironment,预启动执行环境)管理口网络接入云环境管理网络。系统自动发现过程如下:
系统自动扫描管理网内的设备,并与系统现存云环境物理资源数据库进行比对,对于新增资源进行扫描、尝试通信等工作,并将其状态记录入现存云环境物理资源的MySQL数据库中,状态置为发现、未部署。
步骤2:设备资源代理通信
系统通过代理通信模块与新发现资源建立起通信机制。
(1)新硬件启动后,会主动的发送DHCP请求包,代理通信模块将使用DHCP服务器向新设备分配IP、掩码、网关等信息。
(2)新硬件后获取IP后,将自动的发送PXE搜寻包,代理通信模块将通过TFTP服务器向新服务器设备推送一个精简的内存操作系统,服务器接收到内存操作系统后会进行安装。
(3)内存操作系统安装完成后会启动嵌入的代理客户端软件Agent,代理Agent客户端软件会主动在网络上寻找Server服务器端,并建立起通信。
(4)通信建立后,Agent会按照Server端的指令,监测新增服务器的各种信息,并将信息反馈给Server端,系统对新资源情况进行汇总,并记录到系统的MySQL数据库中。
步骤3:模型化配置管理
系统通过对新资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板。具体流程为:
(1)系统后台调用MySQL资产库中的新加入信息,通过读取CPU、内存、网络、硬盘等资源信息,按照模型进行分析,给出匹配模型建议,并生成一个YAML文件,将可赋值的变量做为交互的参数推送到WEB界面上,包括如下三类模型:
给出资源角色模型,包括:控制器、计算、存储、融合、裸机几类。
给出服务组件模型,根据不同角色的不同基础服务组件包、IAAS(Infrastructureas a Service,基础设施即服务)服务组件包和PAAS(Platform as a Service,平台即服务)服务组件包。
参数模型,在确定为某一种角色模型后,系统会根据模型自动配置网络、硬盘等使用方式参数。
(2)默认资源角色匹配模型规则如下,可以以参数形式进行调整:
控制器:CPU大于2颗4Core,内存大于96G,硬盘大于2块300G;
计算:CPU大于2颗8Core,内存大于128G,硬盘大于2块300G;
存储:CPU大于2颗6Core,内存大于96G,硬盘大于6块300G;
融合:同时匹配上述计算、存储模型规则的节点定义为融合角色;
裸机:未匹配上述模型规则的资源定义为裸机;
优先级规则:如果资源同时满足上述几种角色模型要求,按照融合、计算、存储、控制器、裸机顺序进行优先级排序。
(3)系统将新资源信息和匹配的模型在界面上进行显示。系统人员可以检查配置情况是否合理,并可以调整新资源的角色模型类别,服务组件增删,或仅仅对其硬盘、网络参数根据特殊要求做出调整,可输入的参数包括:
设备的名称;
设备的角色,此设备所需要安装的组件;
网卡绑定信息,决定是否做网卡绑定,绑定模式是A/B或者AA模式;
网络IP信息,包括IP段、掩码、网关、可用的地址空间等;
硬盘空间的规划;
网卡VLAN Trunk信息;
如没有调整,可以默认系统配置进行确认。
(4)调整完成并确认后,将填入每个设备的YAML文件中,作为与后续模块信息传递的途径,自动化部署模块会自动记录信息并形成可供逻辑编排执行的脚本信息。
步骤4:自动化部署
自动化部署采用的是中心化模式,是一个集中式的配置中心,将模型化配置并确认好的配置自动化的在新资源上安装的过程。
(1)设置了配置检查模块,运维人员可以在最终部署之前检查所有的设置与网络环境,此模块将逐个检查所有的YAML文件,确保配置的完整、一致性与唯一性,并通过网络工具来探测网络VLAN信息与所配置的VLAN Trunk信息同步,否则将把日志与异常信息打印出来,以供运维人员修正。
(2)开始部署后,系统Server向新资源推送基于Linux的云计算底层操作系统,并通过脚本在新资源环境进行安装,过程中Agent客户端一直与Server端保持通信,将安装信息实时同步到Server端进行监控并记录。
(3)云计算底层操作系统安装完成后,系统Server会推送自动部署代理模块,自动部署代理模块是一个可根据脚本参数进行自动化编排的服务组件安装工具集。
(4)自动化代理模块安装完成后,会读取步骤2最终形成的脚本参数,按照脚本参数在新资源本地形成服务组件的部署编排,并按照编排过程进行安装。
(5)自动化部署模块配置为可失败自动回退,当某个脚本执行失败时,模块将自动的回退最近的脚本操作,并记录位置,运维人员可以在日志输入平台中查看报错信息,调整配置信息,并再次开始部署,部署将承认前期已经成功的脚本,从上次失败的位置继续部署,大大避免了浪费时间的风险。
(6)新资源部署完成后,Server端会自动进行所安装的服务组件状态扫描,以检查所有状态,并将安装过程中的所有记录和监测记录以日志形式呈现给系统管理员并记录入MySQL数据库。
以上所述只是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也被视为本发明的保护范围。
Claims (7)
1.一种发现及部署电力云数据中心可用资源的方法,其特征是,包括以下步骤:
步骤1,可用资源发现:主动发现电力云数据中心中新的可用资源;
步骤2,设备资源代理通信:与新发现的可用资源建立起通信机制;
步骤3,模型化配置管理:通过对新发现的可用资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板;
步骤4,配置部署:将资源配置模板进行模型化配置并对新发现的可用资源进行部署;
所述步骤1的具体过程为:扫描管理网内的设备,并与现存云环境物理资源数据库进行比对,对于新发现的可用资源进行扫描、尝试通信工作,并将其状态记录入现存云环境物理资源的MySQL数据库中,且将状态置为发现、未部署;
所述步骤2的具体过程包括以下步骤:
步骤21,新发现的可用资源启动后主动发送DHCP请求包, DHCP服务器向新发现的可用资源分配IP、掩码和网关信息;
步骤22,新发现的可用资源获取IP后自动发送PXE搜寻包,TFTP服务器向新发现的可用资源推送一个内存操作系统,新发现的可用资源接收到所述内存操作系统后并进行安装;
步骤23,内存操作系统启动嵌入的代理客户端Agent,代理客户端Agent主动在网络上寻找Server服务器端,并建立起通信链接;
步骤24,代理客户端Agent按照Server服务器端的指令,监测新发现的可用资源的各种信息并反馈给Server服务器端,对新发现的可用资源情况进行汇总后记录到MySQL数据库中。
2.如权利要求1所述的一种发现及部署电力云数据中心可用资源的方法,其特征是,所述步骤3的具体过程包括以下步骤:
步骤31,调用MySQL数据库中的新加入信息,通过读取CPU、内存、网络和硬盘资源信息,按照部署模型进行分析,给出匹配模型建议,并生成一个YAML文件,将可赋值的变量做为交互的参数推送到WEB界面上;
匹配模型包括如下三类模型:
(1)资源角色匹配模型,所述资源角色包括控制器、计算、存储、融合和裸机;
(2)服务组件匹配模型,所述服务组件包括对应不同角色的基础服务组件包、IAAS服务组件包和PAAS服务组件包;
(3)参数匹配模型,在确定角色模型后,根据模型进行配置网络和硬盘的使用方式参数;
步骤32,资源角色匹配模型的规则如下:
(1)控制器:CPU大于2颗4Core,内存大于96G,硬盘大于2块300G;
(2)计算:CPU大于2颗8Core,内存大于128G,硬盘大于2块300G;
(3)存储:CPU大于2颗6Core,内存大于96G,硬盘大于6块300G;
(4)融合:同时匹配上述计算和存储模型规则的节点定义为融合角色;
(5)裸机:未匹配上述模型规则的资源定义为裸机;
(6)优先级规则:如果资源同时满足上述资源角色匹配模型要求,按照融合、计算、存储、控制器、裸机顺序进行优先级排序;
以参数形式进行调整所述资源角色匹配模型的规则;
步骤33,将新发现的可用资源信息和匹配模型进行显示,用以检查配置情况是否合理,并调整新发现的可用资源的角色模型类别,以及对服务组件检修增删,或对其硬盘、网络参数做出调整;
进行调整时,输入的参数包括:
(1)设备的名称;
(2)设备的角色,此设备所需要安装的组件;
(3)网卡绑定信息,决定是否做网卡绑定,绑定模式是A/B或者AA模式;
(4)网络IP信息,包括IP段、掩码、网关、可用的地址空间;
(5)硬盘空间的规划;
(6)网卡VLAN Trunk信息;
步骤34,调整完成并确认后,将填入每个设备的YAML文件中,作为与后续模块信息传递的途径,配置部署模块会自动记录信息并形成可供逻辑编排执行的脚本信息。
3.如权利要求2所述的一种发现及部署电力云数据中心可用资源的方法,其特征是,所述步骤4的具体过程包括以下步骤:
步骤41,设置配置检查模块,用以检查所有的设置与网络环境,配置检查模块将逐个检查所有的YAML文件,确保配置的完整、一致性与唯一性,并通过网络工具来探测网络VLAN信息与所配置的VLAN Trunk信息同步,否则将把日志与异常信息打印出来,以供进行修正;
步骤42,Server服务器端向新发现的可用资源推送基于Linux的云计算底层操作系统,并通过脚本在新发现的可用资源环境进行安装,在安装过程中代理客户端Agent一直与Server服务器端保持通信,将安装信息实时同步到Server服务器端进行监控并记录;
步骤43,云计算底层操作系统安装完成后,Server服务器端推送自动部署代理模块,所述自动部署代理模块是一个可根据脚本参数进行自动化编排的服务组件安装工具集;
步骤44,自动化代理模块安装完成后,读取步骤3中形成的脚本信息参数,按照脚本信息参数在新发现的可用资源本地形成服务组件的部署编排,并按照部署编排过程进行安装;
步骤45,当某个脚本执行失败时,将回退最近的脚本操作,并记录位置,根据报错信息调整配置信息,并再次开始部署,部署将承认前期已经成功的脚本,从上次失败的位置继续部署;
步骤46,新发现的可用资源部署完成后,Server服务器端进行所安装的服务组件状态扫描,以检查所有状态,并将安装过程中的所有记录和监测记录以日志形式呈现并记录入MySQL数据库中。
4.一种发现及部署电力云数据中心可用资源的系统,其特征是,包括:
可用资源发现模块,用以主动发现电力云数据中心中新的可用资源;
设备资源代理通信模块,用以与新发现的可用资源建立起通信机制;
模型化配置管理模块,用以通过对新发现的可用资源情况进行分析,给出部署模型建议,并允许用户确认、调整后生成资源配置模板;
配置部署模块,用以将资源配置模板进行模型化配置并对新发现的可用资源进行部署;
所述可用资源发现模块包括资源环境数据库,并监测云计算环境管理网络内的设备,对在网络范围内新出现的资源设备进行比对识别,从而主动发现新资源设备;
所述主动发现电力云数据中心中新的可用资源的具体过程为:扫描管理网内的设备,并与现存云环境物理资源数据库进行比对,对于新发现的可用资源进行扫描、尝试通信工作,并将其状态记录入现存云环境物理资源的MySQL数据库中,且将状态置为发现、未部署;
所述与新发现的可用资源建立起通信机制的具体过程包括以下步骤:
步骤21,新发现的可用资源启动后主动发送DHCP请求包, DHCP服务器向新发现的可用资源分配IP、掩码和网关信息;
步骤22,新发现的可用资源获取IP后自动发送PXE搜寻包,TFTP服务器向新发现的可用资源推送一个内存操作系统,新发现的可用资源接收到所述内存操作系统后并进行安装;
步骤23,内存操作系统启动嵌入的代理客户端Agent,代理客户端Agent主动在网络上寻找Server服务器端,并建立起通信链接;
步骤24,代理客户端Agent按照Server服务器端的指令,监测新发现的可用资源的各种信息并反馈给Server服务器端,对新发现的可用资源情况进行汇总后记录到MySQL数据库中。
5.如权利要求4所述的一种发现及部署电力云数据中心可用资源的系统,其特征是,所述设备资源代理通信模块通过软件推送,并在被发现资源设备上的部署安装,建立所述系统与被发现资源设备之间的通信链接,进行设备相关信息的搜集,并作为后续配置下发和部署的执行基础。
6.如权利要求4所述的一种发现及部署电力云数据中心可用资源的系统,其特征是,所述模型化配置管理模块包括配置模型,被发现资源设备的信息经过比对分析后,所述系统会给出相应的配置模型建议,根据配置模型建议选择默认配置或根据实际应用差异通过界面参数的方式进行模型调整定制,形成最终的配置模型。
7.如权利要求4所述的一种发现及部署电力云数据中心可用资源的系统,其特征是,所述配置部署模块通过基础内核系统的推送部署,基于配置模型推送,以及基于确定模型的组件安装,对新发现资源物理设备的进行部署,部署完成后进行监测并形成配置部署测试日志记录。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710711701.XA CN107566165B (zh) | 2017-08-18 | 2017-08-18 | 一种发现及部署电力云数据中心可用资源的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710711701.XA CN107566165B (zh) | 2017-08-18 | 2017-08-18 | 一种发现及部署电力云数据中心可用资源的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107566165A CN107566165A (zh) | 2018-01-09 |
CN107566165B true CN107566165B (zh) | 2021-02-02 |
Family
ID=60976100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710711701.XA Active CN107566165B (zh) | 2017-08-18 | 2017-08-18 | 一种发现及部署电力云数据中心可用资源的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107566165B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108418891A (zh) * | 2018-03-16 | 2018-08-17 | 深圳市安健科技股份有限公司 | 一种高压发生器监控系统和方法 |
CN109190217B (zh) * | 2018-08-21 | 2023-02-14 | 东方电子股份有限公司 | 一种弹性调控平台的消息掩码仿真测试系统 |
CN110891239B (zh) * | 2018-09-06 | 2021-01-15 | 中国移动通信有限公司研究院 | Pnf配置及pnfd tosca实现方法和装置 |
CN109600439B (zh) * | 2018-12-13 | 2021-09-07 | 北京百度网讯科技有限公司 | 基于微服务的PaaS平台的部署方法及PaaS平台 |
US11057471B2 (en) | 2019-09-24 | 2021-07-06 | Xiamen Wangsu Co., Ltd. | Edge application management method and system |
CN110737442B (zh) * | 2019-09-24 | 2021-06-22 | 厦门网宿有限公司 | 一种边缘应用管理方法及系统 |
CN111130902B (zh) * | 2019-12-27 | 2023-04-14 | 深圳市丰润达科技有限公司 | 交换机管理方法、装置及存储介质 |
CN111597012A (zh) * | 2020-05-18 | 2020-08-28 | 山东汇贸电子口岸有限公司 | 一种云环境设备自动发现的系统及方法 |
CN114625382B (zh) * | 2022-02-14 | 2022-11-08 | 武汉达梦数据技术有限公司 | 一种自动发现地质灾害监测设备的方法及装置 |
CN116185668B (zh) * | 2023-04-26 | 2023-06-30 | 上海帆声图像科技有限公司 | 一种基于grpc的高效多模型选配部署方法 |
CN116974857B (zh) * | 2023-09-21 | 2024-01-23 | 中国西安卫星测控中心 | 一种监控代理自动部署更新方法及其系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7546601B2 (en) * | 2004-08-10 | 2009-06-09 | International Business Machines Corporation | Apparatus, system, and method for automatically discovering and grouping resources used by a business process |
CN102354296B (zh) * | 2011-11-10 | 2016-05-04 | 摩卡软件(天津)有限公司 | 一种可扩展监控资源的监控系统和方法 |
CN103269282A (zh) * | 2013-04-25 | 2013-08-28 | 杭州华三通信技术有限公司 | 网络配置自动部署方法和装置 |
CN104079434A (zh) * | 2014-07-07 | 2014-10-01 | 用友软件股份有限公司 | 云计算系统中物理设备管理的装置及方法 |
US9380068B2 (en) * | 2014-08-18 | 2016-06-28 | Bank Of America Corporation | Modification of computing resource behavior based on aggregated monitoring information |
CN104463492B (zh) * | 2014-12-23 | 2017-12-26 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
CN105847326B (zh) * | 2016-03-14 | 2018-11-30 | 河海大学 | 一种车联云资源动态部署系统 |
-
2017
- 2017-08-18 CN CN201710711701.XA patent/CN107566165B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107566165A (zh) | 2018-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107566165B (zh) | 一种发现及部署电力云数据中心可用资源的方法及系统 | |
CN110752947B (zh) | 一种k8s集群部署方法及装置,一种部署平台 | |
CN102880532B (zh) | 以云端技术为基础的测试系统与方法 | |
CN110719209B (zh) | 一种集群网络配置方法、系统、设备及可读存储介质 | |
CN111782232A (zh) | 集群的部署方法、装置、终端设备及存储介质 | |
CN105553741A (zh) | 一种基于云计算的应用系统自动化部署方法 | |
CN102404381A (zh) | 一种云计算环境下基于工作流的软件部署系统及部署方法 | |
CN111324599B (zh) | 一种区块链实验系统及管理方法 | |
CN112152843B (zh) | 一种集群节点部署方法、装置、系统和电子设备 | |
WO2024130997A1 (zh) | 一种节点配置方法、装置、设备、非易失性可读存储介质及服务器 | |
CN111984274A (zh) | 一种一键自动化部署etcd集群的方法及装置 | |
CN106980493A (zh) | 固件管理方法和装置 | |
CN111641521A (zh) | 一种基于Ambari的云上部署大数据集群的方法 | |
CN110795118A (zh) | 一种云平台升级工具及升级方法 | |
CN111343011B (zh) | 一种云管理平台融合Openstack网络控制方法及系统 | |
CN113138882A (zh) | 基于MySQL集群的自动化部署方法、装置及相关设备 | |
CN109597764A (zh) | 一种目录配额的测试方法及相关装置 | |
CN115550164A (zh) | 一种一键安装、管理单节点大数据组件的方法及系统 | |
CN114650223A (zh) | 一种Kubernetes集群的网络配置方法、装置及电子设备 | |
CN114443294A (zh) | 大数据服务组件部署方法、系统、终端及存储介质 | |
CN111431951B (zh) | 一种数据处理方法、节点设备、系统及存储介质 | |
CN107623705A (zh) | 基于视频云存储系统的存储模式升级方法、装置和系统 | |
CN116028463A (zh) | 搭建存储与计算分离的大数据平台的方法 | |
CN115421847A (zh) | 支持多引擎的研发运维平台和cicd流水线的管理方法及设备 | |
CN109032765A (zh) | 一种虚拟机双机热备部署方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |