CN112235130A - 一种实现基于sdn网络的运维自动化的方法和装置 - Google Patents
一种实现基于sdn网络的运维自动化的方法和装置 Download PDFInfo
- Publication number
- CN112235130A CN112235130A CN202011011945.5A CN202011011945A CN112235130A CN 112235130 A CN112235130 A CN 112235130A CN 202011011945 A CN202011011945 A CN 202011011945A CN 112235130 A CN112235130 A CN 112235130A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- server
- node
- data
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012423 maintenance Methods 0.000 title claims abstract description 53
- 238000012544 monitoring process Methods 0.000 claims abstract description 128
- 238000013515 script Methods 0.000 claims abstract description 41
- 238000004140 cleaning Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 10
- 238000007726 management method Methods 0.000 description 53
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006855 networking Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000006719 Cassia obtusifolia Nutrition 0.000 description 1
- 235000014552 Cassia tora Nutrition 0.000 description 1
- 244000201986 Cassia tora Species 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Abstract
本发明公开了一种实现基于SDN网络的运维自动化的方法和装置，涉及计算机技术领域。该方法包括：搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端；搭建监控服务器；使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集；搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作；搭建数据库服务器，并设计数据库表结构；对监控数据进行清洗，整理汇总后存储到数据库中；从日志服务器拉取日志数据，并根据数据库表结构结合日志数据的内容，对日志数据进行清洗后存储到数据库中。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种实现基于SDN网络的运维自动化的方法和装置。
背景技术
Puppet是针对集群自动化管理而设计实现的配置管理解决方案，能统一管理集群内物理设备的整个生命周期。Puppet支持GPLV2X协议使用Ruby开发。Puppet具备两种运行方式：C/S方式和独立服务器方式。使用Puppet进行集群管理具有较高的效率。Puppet通过定义特有属性来完成集群的配置与管理。Puppet管理代码处于管理员与操作系统的中间层，管理员不必关心底层的操作系统版本。
Nagios即Nagios Core，是一个免费的开源计算机软件监控程序。可以使用Nagios监控系统、网络和基础设施。Nagios为服务器、交换机和应用程序提供监控服务和警报服务。它会在系统出现问题时提醒用户，并在问题解决后再次提醒用户。截止2016年Nagios已经被很多知名企业使用其中包括美国电话电报公司(At&t)、德州仪器(TexasInstruments)、脸书(Facebook)、雅虎(Yahoo)等等。
Nagios主要由核心服务器和插件两个部分组成。Nagios的核心服务器只提供了基本的监控功能，用户可以使用第三方插件完成额外的监控需求，也可以自己编写监控插件进行监控数据采集。
目前，业内也出现了一些针对软件定义网络(SDN)网络的运维解决方案；其中比较知名的有谷歌(Google)的Borgmon和Borg分布式集群管理系统以及思科基于EMS提出的自动化运维解决方案。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
1)当网络节点数目增加时，如何高效地自动化地管理SDN网络组网节点；
2)如何高效地对SDN网络物理信息进行监控和采集并合理利用实时监控信息；
3)如何在对SDN网络造成影响尽可能小的前提下，收集SDN网络的全量日志信息；
4)如何高效地完成相关网络数据及日志数据的清洗和存储工作；
5)如何实现不同运维技术的无缝衔接，协同工作。
针对上述问题对现有SDN网络自动化运维方案进行研究可以发现，现有的各种解决方案普遍具有一定的缺点；这些方案往往是针对内部数据中心在特定的网络环境下进行设计，具备高度的定制化，因此不具备相应的通用性，而定制化也造成了成本高的缺点；另外，由于这些运维方案本身具备高度可定制化的特定，使得在不同的网络环境效率会有很大的差异并不能达到预期的运维效果，效率偏低且资源消耗大。
因此本发明结合SDN网络自身特点及应用场景，通过对SDN运维关键技术的深入研究，将各项运维技术无缝粘合在一起设计了一个高可用、运行稳定、功能完善的SDN网络自动化运维平台。
发明内容
有鉴于此，本发明实施本发明旨在解决在使用SDN技术的网络环境下自动化运维的问题，通过合理的架构设计以及运维技术的整合，提出了一套高效可用且性能优越的自动化运维平台的设计方案。
为实现上述目的，根据本发明实施例的一个方面，提供了一种实现基于SDN网络的运维自动化的方法，其特征在于，包括：搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端；搭建监控服务器；使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集；搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作；搭建数据库服务器，并设计数据库表结构；对监控数据进行清洗，整理汇总后存储到数据库中；从日志服务器拉取日志数据，并根据数据库表结构结合日志数据的内容，对日志数据进行清洗后存储到数据库中。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，所述监控服务器监控的对象包括网络节点和网络链路。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，监控收集的数据类型包括节点相关指标、网络相关指标、节点系统运行状态指标。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，所述自动化管理和配置服务器统一版本控制和统一配置文件管理。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，所述自动化配置和管理服务器包括主机服务器和代理服务器，所述主机服务器对集群的集中管理，实现指令下发、软件安装和文本查询功能，并且代理服务器接受主机服务器的指令并且向主机服务器返回结果。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，脚本存储在所述主机服务器上，其中所述脚本包括控制器代理自动化安装脚本、监控系统客户端安装脚本和执行远程代码脚本，并且通过所述脚本完成对集群的统一管理。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，所述对集群的统一管理包括管理现有集群和集群拓展。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，在所述管理现有集群中，在收到节点信息之后将所述节点信息更新或添加到本地以便进行后续操作，并且所述节点的历史状态信息也被保存以便进行回滚操作。
可选地，所述实现基于SDN网络的运维自动化的方法，其特征在于，在所述集群拓展中，新增节点发起证书申请以请求对所述证书做出认证，如果认证成功，则新节点加入到现有集群中以便对所述新节点进行管理，否则所述请求被拒绝并且操作回滚。
为实现上述目的，根据本发明实施例的第二方面，提供了一种实现基于SDN网络的运维自动化的装置，其特征在于，包括：SDN网络模块，所述SDN网络模块被配置成提供SDN网络；自动化配置和管理模块，所述自动化配置和管理模块被配置成搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端；主动监控模块，所述主动监控模块被配置成：搭建监控服务器；使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集；SDN运行状态监控模块，所述SDN运行状态监控模块被配置成搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作；中心储存模块，所述中心储存模块被配置成：搭建数据库服务器，并设计数据库表结构；对监控数据进行清洗，整理汇总后存储到所述数据库中；从日志服务器拉取日志数据，并根据所述数据库表结构结合所述日志数据的内容，对所述日志数据进行清洗后存储到所述数据库中。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，所述监控服务器监控的对象包括网络节点和网络链路。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，监控收集的数据类型包括节点相关指标、网络相关指标和节点系统运行状态指标。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，所述自动化管理和配置服务器统一版本控制和统一配置文件管理。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，所述自动化配置和管理服务器包括主机服务器和代理服务器，所述主机服务器对集群的集中管理，实现指令下发、软件安装和文本查询功能，并且代理服务器接受主机服务器的指令并且向主机服务器返回结果。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，脚本存储在所述主机服务器上，其中所述脚本包括控制器代理自动化安装脚本、监控系统客户端安装脚本和执行远程代码脚本，并且通过所述脚本完成对集群的统一管理。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，所述对集群的统一管理包括管理现有集群和集群拓展。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，在所述管理现有集群中，在收到节点信息之后将所述节点信息更新或添加到本地以便进行后续操作，并且所述节点的历史状态信息也被保存以便进行回滚操作。
可选地，所述实现基于SDN网络的运维自动化的装置，其特征在于，在所述集群拓展中，新增节点发起证书申请以请求对所述证书做出认证，如果认证成功，则新节点加入到现有集群中以便对所述新节点进行管理，否则所述请求被拒绝并且操作回滚。
为实现上述目的，根据本发明实施例的第三方面，提供了一种实现基于SDN网络的运维自动化的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述可选地，所述实现基于SDN网络的运维自动化的方法中任一所述的方法。
为实现上述目的，根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述实现基于SDN网络的运维自动化的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：本发明基于普通SDN网络进行设计，具备一定的通用性；本发明采用了模块化设计，各个模块直接功能独立，耦合度低，具备较高的可用性；本发明采用设计的监控模块，可以完成从网络层，物理层到应用层的全量指标监控；本发明使用了Puppet、Kafka等主流的中间件技术，具备非常高度吞吐量及鲁棒性，大大提高到了运维工作的效率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例提供的一种实现基于SDN网络的运维自动化的装置的示意图；
图2是本发明实施例提供的自动化配置和管理模块示意图；
图3是本发明实施例的集群拓展的过程的流程图；
图4是本发明实施例的主动监控模块的架构示意图；
图5是本发明实施例的基于主动监控模块的数据处理过程的流程图；
图6是本发明实施例的日志监控模块的架构示意图；
图7是本发明实施例的生成日志的流程图；
图8是本发明实施例的中心存储模块的架构示意图；
图9是本发明实施例提供的一种实现基于SDN网络的运维自动化的方法的流程示意图；
图10是本发明实施例可以应用于其中的示例性系统架构图；
图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本发明实施例提供的一种实现基于SDN网络的运维自动化的装置的示意图。
软件定义网络(SDN)是一种直观的能够被电脑识别的数据序列化格式。SDN控制器是SDN中的应用程序，负责流量控制以确保智能网络。SDN控制器是基于如OpenFlow等协议的，允许服务器告诉交换机向哪里发送数据包。Puppet是一种Linux、Unix、windows平台的集中配置管理系统，使用自有的Puppet描述语言，可管理配置文件、用户、cron任务、软件包、系统服务等。Puppet把这些系统实体称之为资源，Puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。
本发明实施例的一种实现基于SDN网络的运维自动化的装置采用了模块化的设计方法。在进行设计时遵循：以最少的模块实现最多的功能，并且在满足基本功能的基础上使产品具备高精度、性能稳定、架构简单、成本低廉等特性的原则。如图1所示，本发明实施例的一种实现基于SDN网络的运维自动化的装置100包括：SDN网络模块110、SDN运行状态监控模块120、主动监控模块130、中心储存模块140和自动化配置和管理模块150。SDN网络模块110可以被配置成用于提供SDN网络。自动化配置和管理模块150可以被配置成搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端。主动监控模块130可以被配置成：搭建监控服务器；使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集。SDN运行状态监控模块120可以被配置成搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作。中心储存模块140可以被配置成：搭建数据库服务器，并设计数据库表结构；对监控数据进行清洗，整理汇总后存储到所述数据库中；从日志服务器拉取日志数据，并根据所述数据库表结构结合所述日志数据的内容，对所述日志数据进行清洗后存储到所述数据库中。
SDN网络模块110用于提供SDN网络。
SDN运行状态监控模块120通过使用中间件等技术对SDN网络应用的运行状态进行监控，收集系统运行状态信息并进行简单清洗。在现有应用场景下，能反映系统运行状态的数据包括系统全量日志以及系统网络状态数据。由于网络状态数据的监控和收集主要由主动监控模块负责，因此在SDN网络环境下系统运行状态监控即等价于日志监控。
主动监控模块130用于使用主动监控技术对SDN网络的网络状态进行监控及数据采集。主要监控对象具有网络节点和网络链路这两类，监控收集的数据类型包括节点相关指标、网络相关指标、节点系统运行状态指标。另外，主动监控模块130具备数据初步清洗及储存功能。
中心存储模块140用于负责将清洗后的数据储存到数据库中。
自动化配置和管理模块150用于负责自动化管理集群相关工作，例如统一版本控制，统一配置文件管理等。自动化配置和管理模块150是其他模块的基础，本发明基于C/S架构以Puppet为核心对本模块进行设计。本模块的架构图如图2所示。
自动化配置和管理模块150整个模块分为主机(Master)和代理(Agent)两个角色。Master负责对集群的集中管理，实现指令下发、软件安装、文本查询等功能；Agent负责接受Master的指令执行并且向Master返回结果。
Master服务器上保存着各类脚本如：控制器代理自动化安装脚本、监控系统客户端安装脚本、执行远程代码脚本等等。通过这些脚本完成对集群的统一管理。根据需求分析，自动化配置和管理模块150的主要工作功能包括管理现有集群和集群拓展。
管理现有集群的过程如下。客户端节点会周期性地向管理主节点推送本机配置信息。管理端在收到节点信息后会选择将其信息更新或添加到本地，以便进行后续操作，节点的历史状态信息也会被保存，以便进行回滚操作。执行脚本时，管理端会把需要执行的代码内容编译成特定格式的中间代码，根据客户端IP地址发给客户端；客户端在收到执行代码数据后，执行相应的脚本数据并将执行结果反馈给管理端服务器。
集群拓展的过程如下。因为Puppet是基于SSL协议的，所以当网络进行拓展时，需要先获取证书认证才能进行后续通信。具体流程为：首先新增节点向管理端发起证书申请，管理端收到申请后进行证书确认并对证书做出认证，若认证成功，新节点就加入到现有集群中可以对其进行管理，否则管理端拒绝请求操作回滚。集群拓展的过程的流程图如图3所示。
SDN网络中每个组网节点都有多种数据需要被监控。为了不影响节点本身的正常服务，需要将各类监控工作进行隔离。另外，基于SDN网络的运维系统获取监控数据的主要目的是通过对监控数据的分析实现故障定位，排查等工作，并通过某些数据的趋势进行故障预警，因此并不要求监控模块具有很高的实时性。因此，选择基于NRPE的主动监控方式进行网络状态的监控，以此为基础提出主动监控模块130设计架构，如图4所示。整个架构由监控层，数据解析层和数据存储层三个部分组成。Nagios监控层负责主动监控服务器节点的常用数据指标；控制器负责收集节点网络监控指标；上述两类数据在解析层汇总、解析以及过滤后被保存到数据库中。
主动监控模块130主要基于Nagios，每个监控节点安装Nagios客户端通过可执行脚本进行数据测量并将测量结果反馈给服务器端。服务器接收到数据后，按照监控类型把监控数据分类，对每一类数据单独进行处理，对监控数据进行简单清洗(即，过滤异常数据)，剔除噪声数据后，解析数据并储存到数据库中，主要流程如图5所示。
主动监控模块130的监控数据类型主要有：节点相关指标、网络相关指标、节点系统运行状态指标。
SDN运行状态监控模块120主要负责对SDN控制器等应用层软件的日志信息的收集和汇总。SDN运行状态监控模块120选择Kafka做为日志监控模块的核心技术。通过对Kafka的二次开发实现对日志数据的快速高效收集。根据上文对日志监控关键技术的研究结合系统需求分析，对日志监控模块进行合理设计，架构如图6所示。
由图6可知，整个日志模块可按层次分为日志收集层和日志解析层。
使用Kafka集群收集日志数据。按照控制器及日志类型，在控制器代码中使用Spring AOP做日志管理并编写日志推送代码，将日志推送到Kafka集群对应的Topic(主题)上。Kafka会将日志文件存储到硬盘，防止日志数据丢失。
在日志解析层中，从Kafka中拉取数据，将拉取的数据解析、清洗并存储到对应的数据库表中，以备其他应用使用。生成日志的流程如图7所示，首先判断是否是流程日志。如果是流程日志，则调用LogServerlog方法，然后调用LogAspectService织入生成流程日志。如果不是流程日志，则调用LogServerexceptionLog方法，然后调用LogAspectService织入相应的异常日志。
中心存储模块140包括数据库模块。数据库模块主要负责系统存储工作，本文选取MySQL作为存储数据库。MySQL为关系型数据库具有免费，功能齐全，运行速度快等特点。
在编码实现时使用Mybatis框架进行相关的操作。通过Spring和Mybatis的结合使用，把Mybatis的对象交给Spring容器管理，大大简化了开发流程。使用Mybatis时只需在配置文件中定义好数据库表到JavaBean的映射关系并编写相应的SQL语句，剩余的接口实例化等操作由Spring完成，即可方便高效的实现数据库操作。中心存储模块140的架构如图8所示。Nagios监控数据存储到Nagios数据库中，通过监控数据解析程序将解析后的数据存储在MySQL中心数据库中。主控制器中的数据经由北向接口进行网络状态数据解析，解析后的数据被存储在MySQL中心数据库中。Kafka日志服务器中的数据通过日志解析程序解析后被存储在MySQL中心数据库中。
在进行系统开发时，完成系统各模块开发后，面临的最主要问题是如何将各模块耦合在一起，相互协同工作，即如何在现有环境中完成系统的部署。如图9所示，根据SDN网络特点，本发明实施例的一种实现基于SDN网络的运维自动化的方法包括如下步骤：
1)搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端(S901)；
2)搭建监控服务器(S902)；
3)使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集(S903)；
4)搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作(S904)；
5)搭建数据库服务器，并设计数据库表结构(S905)；
6)对监控数据进行清洗，整理汇总后存储到数据库中(S906)；
7)从日志服务器拉取日志数据，并根据数据库表结构结合日志数据的内容，对日志数据进行清洗后存储到数据库中(S907)。
以上为整个系统的部署流程设计。在各个组网节点安装自动化管理模块的客户端后，只需要在自动化管理模块服务器端根据不同的需求修改配置文件后同步到客户即可通过运行脚本自动化完成上述部署工作。整个流程基本满足系统对自动化的需求。
本发明实施例还提供了一种实现基于SDN网络的运维自动化的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例提供的方法。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的方法。
图10示出了可以应用本发明实施例的实现基于SDN网络的运维自动化的方法或实现基于SDN网络的运维自动化的装置的示例性系统架构1000。
如图10所示，系统架构1000可以包括终端设备1001、1002、1003，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具和邮箱客户端等。
终端设备1001、1002、1003可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
需要说明的是，本发明实施例所提供的实现基于SDN网络的运维自动化的方法一般由服务器1005执行，相应地，实现基于SDN网络的运维自动化的装置一般设置于服务器1005中。
应该理解，图10中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图11，其示出了适于用来实现本发明实施例的终端设备的计算机系统1100的结构示意图。图11示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理单元(CPU)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种实现基于SDN网络的运维自动化的装置，其特征在于，包括：SDN网络模块、SDN运行状态监控模块、主动监控模块、中心储存模块以及自动化配置和管理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端；搭建监控服务器；使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集；搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作；搭建数据库服务器，并设计数据库表结构；对监控数据进行清洗，整理汇总后存储到数据库中；从日志服务器拉取日志数据，并根据数据库表结构结合日志数据的内容，对日志数据进行清洗后存储到数据库中。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (20)
1.一种实现基于软件定义网络SDN网络的运维自动化的方法，其特征在于，包括：
搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端；
搭建监控服务器；
使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集；
搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作；
搭建数据库服务器，并设计数据库表结构；
对监控数据进行清洗，整理汇总后存储到所述数据库中；
从日志服务器拉取日志数据，并根据所述数据库表结构结合所述日志数据的内容，对所述日志数据进行清洗后存储到所述数据库中。
2.根据权利要求1所述的方法，其特征在于，所述监控服务器监控的对象包括网络节点和网络链路。
3.根据权利要求1所述的方法，其特征在于，监控收集的数据类型包括节点相关指标、网络相关指标和节点系统运行状态指标。
4.根据权利要求1所述的方法，其特征在于，所述自动化管理和配置服务器统一版本控制和统一配置文件管理。
5.根据权利要求1所述的方法，其特征在于，所述自动化配置和管理服务器包括主机服务器和代理服务器，所述主机服务器对集群的集中管理，实现指令下发、软件安装和文本查询功能，并且所述代理服务器接受主机服务器的指令并且向主机服务器返回结果。
6.根据权利要求5所述的方法，其特征在于，脚本存储在所述主机服务器上，其中所述脚本包括控制器代理自动化安装脚本、监控系统客户端安装脚本和执行远程代码脚本，并且通过所述脚本完成对集群的统一管理。
7.根据权利要求6所述的方法，其特征在于，所述对集群的统一管理包括管理现有集群和集群拓展。
8.根据权利要求7所述的方法，其特征在于，在所述管理现有集群中，在收到节点信息之后将所述节点信息更新或添加到本地以便进行后续操作，并且所述节点的历史状态信息也被保存以便进行回滚操作。
9.根据权利要求7所述的方法，其特征在于，在所述集群拓展中，新增节点发起证书申请以请求对所述证书做出认证，如果认证成功，则新节点加入到现有集群中以便对所述新节点进行管理，否则所述请求被拒绝并且操作回滚。
10.一种实现基于软件定义网络SDN网络的运维自动化的装置，其特征在于，包括：
SDN网络模块，所述SDN网络模块被配置成提供SDN网络；
自动化配置和管理模块，所述自动化配置和管理模块被配置成搭建自动化管理和配置服务器，在每个节点安装自动化管理客户端；
主动监控模块，所述主动监控模块被配置成：搭建监控服务器；使用脚本在每个节点自动部署监控需要的客户端程序，根据待测量监控指标来配置监控文件，设定监控策略，并统一分发到各个节点，开始对整个网络的基本数据进行监控和收集；
SDN运行状态监控模块，所述SDN运行状态监控模块被配置成搭建日志文件服务器，在控制器上通过编码实现全量日志的产生和推送工作；
中心储存模块，所述中心储存模块被配置成：搭建数据库服务器，并设计数据库表结构；对监控数据进行清洗，整理汇总后存储到所述数据库中；从日志服务器拉取日志数据，并根据所述数据库表结构结合所述日志数据的内容，对所述日志数据进行清洗后存储到所述数据库中。
11.根据权利要求10所述的装置，其特征在于，所述监控服务器监控的对象包括网络节点和网络链路。
12.根据权利要求11所述的装置，其特征在于，监控收集的数据类型包括节点相关指标、网络相关指标和节点系统运行状态指标。
13.根据权利要求12所述的装置，其特征在于，所述自动化管理和配置服务器统一版本控制和统一配置文件管理。
14.根据权利要求12所述的装置，其特征在于，所述自动化配置和管理服务器包括主机服务器和代理服务器，所述主机服务器对集群的集中管理，实现指令下发、软件安装和文本查询功能，并且所述代理服务器接受主机服务器的指令并且向主机服务器返回结果。
15.根据权利要求14所述的装置，其特征在于，脚本存储在所述主机服务器上，其中所述脚本包括控制器代理自动化安装脚本、监控系统客户端安装脚本和执行远程代码脚本，并且通过所述脚本完成对集群的统一管理。
16.根据权利要求15所述的装置，其特征在于，所述对集群的统一管理包括管理现有集群和集群拓展。
17.根据权利要求16所述的装置，其特征在于，在所述管理现有集群中，在收到节点信息之后将所述节点信息更新或添加到本地以便进行后续操作，并且所述节点的历史状态信息也被保存以便进行回滚操作。
18.根据权利要求16所述的装置，其特征在于，在所述集群拓展中，新增节点发起证书申请以请求对所述证书做出认证，如果认证成功，则新节点加入到现有集群中以便对所述新节点进行管理，否则所述请求被拒绝并且操作回滚。
19.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011011945.5A CN112235130A (zh) | 2020-09-23 | 2020-09-23 | 一种实现基于sdn网络的运维自动化的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011011945.5A CN112235130A (zh) | 2020-09-23 | 2020-09-23 | 一种实现基于sdn网络的运维自动化的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112235130A true CN112235130A (zh) | 2021-01-15 |
Family
ID=74107699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011011945.5A Pending CN112235130A (zh) | 2020-09-23 | 2020-09-23 | 一种实现基于sdn网络的运维自动化的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112235130A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113381879A (zh) * | 2021-05-17 | 2021-09-10 | 浪潮思科网络科技有限公司 | 一种基于sdn的网络部署方法及设备 |
| CN114553679A (zh) * | 2022-02-23 | 2022-05-27 | 浪潮软件集团有限公司 | 一种运维数据采集方法、装置及介质 |
| CN115098156A (zh) * | 2022-07-14 | 2022-09-23 | 之江实验室 | 一种网络模态管理系统及管理方法 |
| CN115150291A (zh) * | 2022-07-05 | 2022-10-04 | 中国银行股份有限公司 | 基于事件驱动的运维系统及方法 |
| CN116450622A (zh) * | 2023-06-16 | 2023-07-18 | 建信金融科技有限责任公司 | 数据入库的方法、装置、设备和计算机可读介质 |
| CN116450464A (zh) * | 2023-06-13 | 2023-07-18 | 浙江睿数云联科技有限公司 | 运维管理方法、系统及设备 |
| CN116561076A (zh) * | 2023-05-10 | 2023-08-08 | 合芯科技(苏州)有限公司 | 分布式文件系统的监控方法、装置、计算机设备及介质 |
| CN116962049A (zh) * | 2023-07-25 | 2023-10-27 | 三峡高科信息技术有限责任公司 | 一种综合监测和主动防御的零日漏洞攻击防控方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140149466A1 (en) * | 2012-11-27 | 2014-05-29 | Hitachi, Ltd. | Time-series database setup automatic generation method, setup automatic generation system and monitoring server |
| CN105681113A (zh) * | 2016-03-29 | 2016-06-15 | 浪潮软件集团有限公司 | 一种基于SaltStack的自动化运维方法 |
| CN108718296A (zh) * | 2018-04-27 | 2018-10-30 | 广州西麦科技股份有限公司 | 基于sdn网络的网络管控方法、装置与计算机可读存储介质 |
-
2020
- 2020-09-23 CN CN202011011945.5A patent/CN112235130A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140149466A1 (en) * | 2012-11-27 | 2014-05-29 | Hitachi, Ltd. | Time-series database setup automatic generation method, setup automatic generation system and monitoring server |
| CN105681113A (zh) * | 2016-03-29 | 2016-06-15 | 浪潮软件集团有限公司 | 一种基于SaltStack的自动化运维方法 |
| CN108718296A (zh) * | 2018-04-27 | 2018-10-30 | 广州西麦科技股份有限公司 | 基于sdn网络的网络管控方法、装置与计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王鑫琦: "SDWAN运维自动化关键技术研究与实现", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113381879B (zh) * | 2021-05-17 | 2023-02-28 | 浪潮思科网络科技有限公司 | 一种基于sdn的网络部署方法及设备 |
| CN113381879A (zh) * | 2021-05-17 | 2021-09-10 | 浪潮思科网络科技有限公司 | 一种基于sdn的网络部署方法及设备 |
| CN114553679A (zh) * | 2022-02-23 | 2022-05-27 | 浪潮软件集团有限公司 | 一种运维数据采集方法、装置及介质 |
| CN115150291A (zh) * | 2022-07-05 | 2022-10-04 | 中国银行股份有限公司 | 基于事件驱动的运维系统及方法 |
| CN115098156A (zh) * | 2022-07-14 | 2022-09-23 | 之江实验室 | 一种网络模态管理系统及管理方法 |
| CN115098156B (zh) * | 2022-07-14 | 2022-11-18 | 之江实验室 | 一种网络模态管理系统及管理方法 |
| WO2024011777A1 (zh) * | 2022-07-14 | 2024-01-18 | 之江实验室 | 一种网络模态管理系统及管理方法 |
| CN116561076A (zh) * | 2023-05-10 | 2023-08-08 | 合芯科技(苏州)有限公司 | 分布式文件系统的监控方法、装置、计算机设备及介质 |
| CN116450464B (zh) * | 2023-06-13 | 2023-08-25 | 浙江睿数云联科技有限公司 | 运维管理方法、系统及设备 |
| CN116450464A (zh) * | 2023-06-13 | 2023-07-18 | 浙江睿数云联科技有限公司 | 运维管理方法、系统及设备 |
| CN116450622B (zh) * | 2023-06-16 | 2023-09-22 | 建信金融科技有限责任公司 | 数据入库的方法、装置、设备和计算机可读介质 |
| CN116450622A (zh) * | 2023-06-16 | 2023-07-18 | 建信金融科技有限责任公司 | 数据入库的方法、装置、设备和计算机可读介质 |
| CN116962049A (zh) * | 2023-07-25 | 2023-10-27 | 三峡高科信息技术有限责任公司 | 一种综合监测和主动防御的零日漏洞攻击防控方法和系统 |
| CN116962049B (zh) * | 2023-07-25 | 2024-03-12 | 三峡高科信息技术有限责任公司 | 一种综合监测和主动防御的零日漏洞攻击防控方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112235130A (zh) | 一种实现基于sdn网络的运维自动化的方法和装置 | |
| CN110445856B (zh) | 一种支持多协议接入的物联网通讯组件管控系统及方法 | |
| US7895320B1 (en) | Method and system to monitor network conditions remotely | |
| CN112925646A (zh) | 一种电力数据边缘计算系统以及计算方法 | |
| CN111416736A (zh) | 网络设备的配置管理方法、装置、计算设备及存储介质 | |
| CN112860451A (zh) | 一种基于SaaS的多租户数据处理方法和装置 | |
| CN110532322B (zh) | 运维交互方法、系统、计算机可读存储介质及设备 | |
| CN113377626B (zh) | 基于服务树的可视化统一报警方法、装置、设备和介质 | |
| CN111885439B (zh) | 一种光网络综合管理和值勤管理系统 | |
| CN113742031A (zh) | 节点状态信息获取方法、装置、电子设备及可读存储介质 | |
| CN108924007B (zh) | 通信运营信息的大数据采集及存储系统和方法 | |
| CN111782672B (zh) | 多领域数据管理方法及相关装置 | |
| CN109905286A (zh) | 一种监控设备运行状态的方法和系统 | |
| CN110309108A (zh) | 数据采集及储存方法、装置、电子设备、存储介质 | |
| US20130227568A1 (en) | Systems and methods involving virtual machine host isolation over a network | |
| CN115115329A (zh) | 一种面向智能生产线的制造中间件及云制造架构 | |
| CN110096545A (zh) | 一种基于大数据平台数据处理域构架方法 | |
| US10911329B2 (en) | Path and cadence optimization for efficient data collection from devices | |
| CN113596117A (zh) | 实时数据处理方法、系统、设备及介质 | |
| CN113590437B (zh) | 一种告警信息处理方法、装置、设备和介质 | |
| CN112817539A (zh) | 一种工业数据存储方法、系统、电子设备及存储介质 | |
| CN113760638A (zh) | 一种基于kubernetes集群的日志服务方法和装置 | |
| CN117118982A (zh) | 基于云原生多集群的消息传输方法、装置、介质及设备 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN113824801B (zh) | 一种智能融合终端统一接入管理组件系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210115 |