CN108259269A - 网络设备的监控方法和系统 - Google Patents
网络设备的监控方法和系统 Download PDFInfo
- Publication number
- CN108259269A CN108259269A CN201711487785.XA CN201711487785A CN108259269A CN 108259269 A CN108259269 A CN 108259269A CN 201711487785 A CN201711487785 A CN 201711487785A CN 108259269 A CN108259269 A CN 108259269A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- network equipment
- acquisition
- parsing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0681—Configuration of triggering conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种网络设备的监控方法和系统,所述方法包括:接收采集自网络设备的数据;其中,当所述网络设备支持预设数据传输协议时,所述数据由所述网络设备根据预配置的配置信息采集并发送;当所述网络设备不支持所述预设数据传输协议时,所述数据由数据采集服务器从所述网络设备主动采集获得;确定接收到的数据所属的类别;将所述数据缓存至与所述类别相应的数据缓存队列;从多个类别各自相应的数据缓存队列中并行读取数据;并行解析读取的数据;当解析的数据满足预设告警条件时,触发相应的告警信息。通过不同的途径接收网络设备的数据并实时告警,保证了数据获取的实时性和全面性,提高了网络设备的监控效率。
Description
技术领域
本发明涉及网络技术领域,特别是涉及一种网络设备的监控方法和系统。
背景技术
随着网络技术的不断发展,计算机网络规模不断扩大,构成计算机网络的网络设备数量与类型也急剧增加。如何对网络设备进行有效监控,实时监控网络设备的状态变化,及时了解网络设备的异常问题,以便能够及时排错修复,从而保证整个计算机网络的正常运行是至关重要的。
目前的监控系统专用性强,部分网络设备具有自带的或相适应的监控系统。但是不同网络设备的数据获取方式以及数据获取能力不同,适用于某一网络设备的监控系统并不适用于其他网络设备的监控,因此在一个监控系统内难以实现对所有网络设备的监控。其次,开发一整套适用于监控所有网络设备的监控系统,运维成本和开发成本高,并且当增加新的网络设备时需要修改已有的监控系统,因而灵活性、扩展性和实时性不够,从而导致网络设备的监控效率低。
发明内容
基于此,有必要针对目前网络设备的监控效率低的技术问题,提供一种网络设备的监控方法和系统。
一种网络设备的监控方法,所述方法包括:
接收采集自网络设备的数据;其中,当所述网络设备支持预设数据传输协议时,所述数据由所述网络设备根据预配置的配置信息采集并发送;当所述网络设备不支持所述预设数据传输协议时,所述数据由数据采集服务器从所述网络设备主动采集获得;
确定接收到的数据所属的类别;
将所述数据缓存至与所述类别相应的数据缓存队列;
从多个类别各自相应的数据缓存队列中并行读取数据;
并行解析读取的数据;
当解析的数据满足预设告警条件时,触发相应的告警信息。
在其中一个实施例中,所述方法还包括:
确定对应于读取的所述数据所属类别的预设数据解析方式;
所述并行解析读取的数据,包括:
并行按照确定的预设数据解析方式解析相应的数据;
按解析的所述数据所属类别分类存储。
在其中一个实施例中,所述方法还包括:
根据获取的数据分析指令查询相应的数据;
展示并分析查询的所述数据;
按预设展示方式展示分析的所述数据;
当分析的所述数据满足预设预警条件时,触发相应的预警信息。
在其中一个实施例中,所述网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;所述接收采集自网络设备的数据,包括:
当所述服务器存在对应于所述预设数据传输协议配置的配置信息时,接收所述服务器根据所述配置信息采集并推送对应于所述服务组件的数据;
所述确定接收到的数据所属的类别,包括:
按所述服务组件的功能对应确定接收到的数据所属的类别;
所述方法还包括:
统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;
当统计的所述告警次数大于预设告警次数时,触发相应的预警信息。
在其中一个实施例中,接收的所述数据为网络设备的运行日志数据;所述方法还包括:
根据解析的所述数据获取相应的日志关键字段;
所述当解析的数据满足预设告警条件时,触发相应的告警信息,包括:
确定所述日志关键字段中是否存在异常关键字段;
当存在异常关键字段时,触发相应的告警信息。
一种网络设备的监控系统,所述系统包括:数据采集服务器、数据处理服务器、队列服务器和数据分析服务器;
所述数据采集服务器,用于当所述网络设备不支持所述预设数据传输协议时,主动采集所述网络设备的数据,并将采集的所述数据发送至所述数据处理服务器;
所述数据处理服务器,用于当所述网络设备支持预设数据传输协议时,接收由所述网络设备根据预配置的配置信息采集并发送的数据;还用于当所述网络设备不支持所述预设数据传输协议时,接收由所述数据采集服务器从所述网络设备主动采集并发送的数据;还用于确定接收到的数据所属的类别;还用于将接收的所述数据发送至所述队列服务器;
所述队列服务器,用于接收所述数据处理服务器发送的数据,并将接收的所述数据缓存至与接收的所述数据所属类别相应的数据缓存队列;
所述数据分析服务器,用于从所述队列服务器中与多个类别各自相应的数据缓存队列中并行读取数据;还用于并行解析读取的数据;还用于当解析的数据满足预设告警条件时,触发相应的告警信息。
在其中一个实施例中,所述系统还包括:数据存储服务器;
所述数据分析服务器,还用于确定对应于读取的所述数据所属类别的预设数据解析方式;还用于并行按照确定的预设数据解析方式解析相应的数据,并将解析的所述数据发送至所述数据存储服务器;
所述数据存储服务器,用于接收所述数据分析服务器发送的解析的所述数据,并按解析的所述数据所属类别分类存储;
在其中一个实施例中,所述系统还包括:数据统计服务器;
所述数据存储服务器,还用于根据获取的数据分析指令查询并获取相应的数据,并将获取的所述数据发送至所述数据统计服务器;
所述数据统计服务器,用于接收所述数据存储服务器发送的所述数据;还用于展示并分析接收的所述数据;还用于按预设展示方式展示分析的所述数据;还用于当分析的所述数据满足预设预警条件时,触发相应的预警信息。
在其中一个实施例中,所述网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;
所述数据处理服务器,还用于当所述服务器存在对应于所述预设数据传输协议配置的配置信息时,接收所述服务器根据所述配置信息采集并推送对应于所述服务组件的数据;还用于按所述服务组件的功能对应确定接收到的数据所属的类别;
所述数据统计服务器,还用于统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;还用于当统计的所述告警次数大于预设告警次数时,触发相应的预警信息。
在其中一个实施例中,接收的所述数据为网络设备的运行日志数据;
所述数据分析服务器,还用于根据解析的所述数据获取相应的日志关键字段;还用于确定所述日志关键字段中是否存在异常关键字段;还用于当存在异常关键字段时,触发相应的告警信息。
上述网络设备的监控方法和系统,通过不同的途径接收网络设备的数据,能够全面获取各类网络设备的各类数据。当网络设备支持预设数据传输协议时,直接接收由网络设备发送的数据,保证了数据获取的实时性。而当网络设备不支持预设数据传输协议时,则借助于数据采集服务器主动采集网络设备的数据,提高了数据获取能力。对于不同的网络设备均可以通过上述方式中的至少一种获取相应的数据,提高了数据获取效率,从而提高了网络设备的监控效率。通过将所获取的数据先缓存至数据缓存队列,再并行的从数据缓存队列中读取并解析相应的数据,提高了数据处理能力,从而提高了网络设备的监控效率。根据解析的数据进行实时的告警,以便于及时处理相应的网络设备,进一步提高了网络设备的监控效率。
附图说明
图1为一个实施例中网络设备的监控方法的应用环境图;
图2为一个实施例中计算机设备的内部结构示意图;
图3为一个实施例中网络设备的监控方法的流程示意图;
图4为另一个实施例中网络设备的监控方法的流程示意图;
图5为一个实施例中网络设备的监控装置的结构框图;
图6为另一个实施例中网络设备的监控装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,在一个实施例中,提供了一种网络设备的监控方法的应用环境图。参照图1,该网络设备的监控方法应用于网络设备的监控系统100,该系统包括数据采集服务器120和监控服务器130。其中,数据采集服务器120和监控服务器130通过网络相互连接,数据采集服务器120和监控服务器130分别通过网络与网络设备110连接。网络设备110具体可以是物理实体网络设备或虚拟网络设备,物理实体网络设备具体可以服务器、路由器、交换机、中继器和防火墙等中的至少一种,虚拟网络设备具体可以是操作系统、GTM(全局负载均衡)和LTM(服务器负载均衡)等中的至少一种。网络设备110可用于主动向监控服务器130推送数据,也可用于向数据采集服务器120反馈对应于数据获取请求的数据。数据采集服务器120具体可以单个服务器或多个服务器组成的服务器集群。数据采集服务器120用于向网络设备110发送数据获取请求,以主动采集网络设备110的数据,并将采集的数据发送至监控服务器130。
进一步地,监控服务器130具体可以是单个服务器或多个服务器组成的服务器集群。监控服务器130可用于接收网络设备110或数据采集服务器120发送的采集自网络设备的数据,也可以用于解析或存储接收的数据。监控服务器130具体可以包括数据处理服务器131、队列服务器132和数据分析服务器133等中的至少一种。数据处理服务器131、队列服务器132和数据分析服务器133均可以是单个服务器或多个服务器组成的服务器集群。监控服务器130还可以包括数据存储服务器和数据统计服务器。
图2为一个实施例中计算机设备的内部结构示意图。该计算机设备可用作数据采集服务器或监控服务器。其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器,存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的网络设备或其他计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种网络设备的监控方法。
本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如图3所示,在一个实施例中,提供了一种网络设备的监控方法。本实施例以该方法应用于上述图1中的监控服务器来举例说明。该方法具体包括如下步骤:
S302,接收采集自网络设备的数据;其中,当网络设备支持预设数据传输协议时,数据由网络设备根据预配置的配置信息采集并发送;当网络设备不支持预设数据传输协议时,数据由数据采集服务器从网络设备主动采集获得。
其中,网络设备是连接在网络中的物理实体或虚拟设备。网络设备具体可以是主机、路由器、交换机和网关等中的至少一种。预设数据传输协议预先设定的用于传输数据的通信协议。预设数据传输协议具体可以是syslog(系统日志传输)协议或snmp trap(简单网络管理)协议。syslog协议可用于运行日志数据的传输。snmp trap协议可用于网络设备状态变化所产生的数据的传输。支持预设数据传输协议表示能够基于该预设数据传输协议传输数据。预配置用于表示预先已配置好的。配置信息可用于指定采集的数据、定义数据的所属级别,以及指定接收所采集的数据的目标标识。数据的所属级别具体可以是极其严重的错误、关键错误、需要关注的信息或调试信息等。配置信息还可用于指定数据采集的目标来源,比如说邮件系统或网络新闻系统。
具体地,当网络设备支持预设数据传输协议时,监控服务器接收由网络设备根据预配置的配置信息采集并发送的数据,当网络设备不支持预设数据传输协议时,监控服务器接收由数据采集服务器从网络设备主动采集并发送的数据。
在一个实施例中,预设数据传输协议可以是syslog协议,当网络设备支持syslog协议、且存在对应于syslog协议配置的配置信息时,监控服务器可接收由网络设备在运行过程中生成并主动推送的对应于配置信息的运行日志数据。
在一个实施例中,预设数据传输协议可以是snmp trap协议,当网络设备支持snmptrap协议、且存在对应于snmp trap协议配置的配置信息时,监控服务器可接收由网络设备在对应于配置信息的状态产生变化时采集并主动推送的状态数据。当网络设备不支持snmptrap协议时,监控服务器可接收由数据采集服务器基于snmp get协议通过ssh(远程登录)方式从网络设备主动采集的数据。
在一个实施例中,当网络设备不支持预设数据传输协议时,监控服务器可接收由数据采集服务器通过Api(管理界面)接口从网络设备主动采集的数据。采集的数据具体可以是网络设备的访问数据、连接数据或配置信息等。
S304,确定接收到的数据所属的类别。
其中,类别用于区分不同的数据。类别具体可用于标识同类的数据。具体地,监控服务器接收到采集自网络设备的数据,根据预定义的分类标准,对接收的数据进行分类,确定数据的所属类别。分类标准是确定数据所属类别的依据。分类标准具体可以是根据网络设备的功能对相应的数据分类,也可以是根据数据属性分类,也可以是根据数据的获取来源分类。
在一个实施例中,监控服务器根据网络设备的功能可将相应的数据分为网络类和主机类,还可将网络设备分为路由器、交换机或防火墙;根据数据属性可将数据分为运行日志类和设备状态类,还可将设备状态类分为状态类和设备配置信息类;根据数据的获取来源可将采集自相同网络设备的数据划分为同类。值得说明的是,根据实际情况还可依据其他分类方式对数据分类。
在一个实施例中,监控服务器接收到采集自网络设备的数据,接收的数据带分类标识,按照预设的匹配条件根据分类标识确定相应数据的所属类别,对分类的数据按所属类别设置相应的类别标识。分类标识是确定数据所属类别的依据。类别标识具体可以包括采集相应数据的网络设备的设备标识和数据的所属类别,以及该网络设备的制造商或销售商,比如说某厂商生产的服务器的日志类数据。
S306,将数据缓存至与类别相应的数据缓存队列。
其中,缓存用于暂时存储数据。数据缓存队列用于暂时存储数据的队列。数据缓存队列具体可以是Kafka(发布订阅类消息队列)或MSMQ(MicroSoft Message Queuing,微软消息队列)。具体地,监控服务器对接收的数据分类,分别确定对应于接收的数据所属类别的数据缓存队列,按数据的所属类别将数据缓存至相应的数据缓存队列。
在一个实施例中,数据缓存队列可以是Kafka,监控服务器可根据数据的获取来源确定缓存该数据的Kafka,以及定位至该Kafka中的相应topic(主题,用于将Kafka划分为多个区)。还可以根据数据属性确定缓存该数据的topic,比如说可将运行日志类的数据缓存至netlogtopic,设备状态类的数据缓存至etdatatopic。
S308,从多个类别各自相应的数据缓存队列中并行读取数据。
其中,并行用于表示同时分别执行相同的操作。具体地,监控服务器将接收的数据按所属类别分别缓存至相应的数据缓存队列,以缓解数据处理压力,当对缓存的数据进行解析时,并行的从数据缓存队列中读取所缓存的数据。
在一个实施例中,监控服务器将分类的数据分别缓存至相应的数据缓存队列的队尾,并实时的分别从缓存有相应数据的数据缓存队列的队首并行读取数据。
S310,并行解析读取的数据。
具体地,监控服务器并行的从多个类别各自对应的数据缓存队列中读取相应类别的数据,对于并行读取的分别属于不同类别的数据,分别进行并行的解析,以根据解析的数据执行相应的处理。
在一个实施例中,数据缓存队列可以是Kafka,可并行的从Kafka中的每个topic中读取数据,并按数据对应的topic并行的解析所获取的数据。
S312,当解析的数据满足预设告警条件时,触发相应的告警信息。
其中,告警用于标识满足预设告警条件的网络设备,以便及时处理相应的网络设备。预设告警条件是预先设定的用于触发告警的条件。告警信息是用于触发告警的信息。告警信息具体可以是数字、字母和符号等字符中的至少一种。
具体地,监控服务器并行的解析从数据缓存队列中并行获取的数据,获取预设告警条件,并判断解析的数据是否满足预设告警条件,当解析的数据满足预设告警条件时,触发生成并发送相应的告警信息。
在一个实施例中,监控服务器并行的解析多个类别的数据,获取与多个类别各自对应的预设告警条件,按数据所属类别将解析的数据与相应的预设告警条件相比较,当解析的数据满足预设告警条件时,根据该数据生成并发送相应的告警信息。
上述网络设备的监控方法,通过不同的途径接收网络设备的数据,能够全面获取各类网络设备的各类数据。当网络设备支持预设数据传输协议时,直接接收由网络设备发送的数据,保证了数据获取的实时性。而当网络设备不支持预设数据传输协议时,则借助于数据采集服务器主动采集网络设备的数据,提高了数据获取能力。对于不同的网络设备均可以通过上述方式中的至少一种获取相应的数据,提高了数据获取效率,从而提高了网络设备的监控效率。通过将所获取的数据先缓存至数据缓存队列,再并行的从数据缓存队列中读取并解析相应的数据,提高了数据处理能力,从而提高了网络设备的监控效率。根据解析的数据进行实时的告警,以便于及时处理相应的网络设备,进一步,提高了网络设备的监控效率。
在一个实施例中,上述网络设备的监控方法还包括:确定对应于读取的数据所属类别的预设数据解析方式;步骤S310包括:并行按照确定的预设数据解析方式解析相应的数据;按解析的数据所属类别分类存储。
其中,预设数据解析方式是预先设定的用于解析数据的方式。具体地,监控服务器确定接收的数据所属的类别,并按类别将接收的数据缓存至相应的数据缓存队列,数据解析时并行的从缓存队列中读取数据,根据读取的数据的所属类别确定相应的预设数据解析方式。根据数据所属类别分别确定对应于该类别的预设数据解析方式,并行的解析从与数据所属类别分别对应的数据缓存队列中读取的数据。对于从数据缓存队列中读取的数据,按该数据缓存队列对应的类别选择对应于该类别的预设数据解析方式解析相应的数据。将并行读取的数据按与数据所属类别对应的预设数据解析方式并行的解析相应数据,并将解析的数据按所属类别分类存储。
在一个实施例中,对于从对应于不同类别的数据缓存队列中读取的数据,分别根据所属类别确定相应的预设数据解析方式,根据所确定的预设数据解析方式解析相应类别的数据,可将解析的数据按类别分类存储,也可以按解析的时间存储,还可以按其他适应性的存储方式存储。值得说明的是,对于不同类别的数据根据实际情况也可对应有相同的预设数据解析方式。
在一个实施例中,监控服务器可按数据属性将数据分为运行日志类和设备状态类,按数据所属类别确定相应的预设数据解析方式,具体可以是对于运行日志类的运行日志数据,根据日志格式从运行日志数据中解析出相应的数据信息,并相应处理解析出的数据信息;对于设备状态类的状态数据,预先转换状态数据的数据格式,在执行数据字段的增加或转换操作。
上述实施例中,对于并行从数据缓存队列中读取的数据,根据数据所属类别分别确定相应的预设数据解析方式,根据所确定的预设数据解析方式分别解析相应的数据,通过选择不同的预设数据解析方式对应解析不同类别的数据,提高了数据解析的适应性,从而提高了数据解析效率,进而提高了网络设备的监控效率。
在一个实施例中,上述网络设备的监控方法还包括:根据获取的数据分析指令查询相应的数据;展示并分析查询的数据;按预设展示方式展示分析的数据;当分析的数据满足预设预警条件时,触发相应的预警信息。
其中,数据分析指令用于触发分析数据的指令。数据分析指令具体可以指定分析的数据的所属类别、数据的采集时间、采集数据的网络设备或网络设备的类型等。展示表示以可视化的形式显示数据。预设展示方式是预先设定的用于显示数据的形式。预设展示方式具体可以是数据报表、图表或图形等。预设预警条件是预先设定的用于触发预警的条件。预设预警条件具体可以是网络设备累计的告警次数。
具体地,监控服务器检测并获取数据分析指令,该数据分析指令用于指定分析的数据,根据所获取的数据分析指令查询相应的数据,以及获取相应的数据分析方式,获取并展示根据数据分析指令查询的数据,根据所获取的数据分析方式分析所获取的数据。对于根据相应的数据分析方式分析的数据,监控服务器按预设展示方式展示该分析的数据。监控服务器判断按所获取的数据分析方式分析的数据是否满足预设预警条件,当满足预设预警条件时,触发相应的预警信息。
在一个实施例中,监控服务器从存储的数据中查询并获取数据分析指令指定的数据,并根据数据分析指令指定的数据分析方式分析相应的数据。指定的数据分析方式可以是对根据数据分析指令获取的多个数据进行汇总分析,生成相应的可视化数据报表。
在一个实施例中,数据分析指令可用于分别指定对应于不同类别的数据的数据分析方式,监控服务器根据数据分析指令获取相应的数据,并根据数据所属类别选择相应的数据分析方式分析相应的数据。
在一个实施例中,监控服务器可根据数据分析指令汇总分析在预设时间段内,单个网络设备、相同功能的网络设备或对应于相同厂商的网络设备的数据,以便获取相应网络设备的整体性能,从而及时了解整个网络的运行情况。比如说,可通过分析某时间段内X网络设备的CPU负载变化了解该网络设备的运行情况,也可根据某时间段内X类网络设备的告警次数触发相应的预警信息,以便维护网络的正常运行。
在一个实施例中,监控服务器根据解析的数据触发的告警信息,以及根据分析的数据触发的预警信息,具体可以通过短信网关或电子邮件发送至相应的终端。当数据满足预设告警条件或预设预警条件时分别生成相应的告警信息或预警信息,并将生成的告警信息或预警信息及时发送至终端,使得网络设备的异常状态能够被及时监控到,以便于及时处理相应的网络设备,有效保障了整个网络的正常运行,从而提高了网络设备的监控效率。
上述实施例中,通过展示并分析根据数据分析指令获取的数据,能够根据展示的数据了解相应网络设备的运行情况或整体性能,通过展示分析的数据,能够直观了解网络设备的数据变化趋势,还可以根据数据对比分析网络设备的性能,根据分析的数据触发相应的预警信息,能够及时处理相应的网络设备,以免因网络设备的故障影响网络的整体运行,从而提高了网络设备的监控效率。
在一个实施例中,上述网络设备的监控方法中,网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;步骤S302包括:当服务器存在对应于预设数据传输协议配置的配置信息时,接收服务器根据配置信息采集并推送对应于服务组件的数据;步骤S304包括:按服务组件的功能对应确定接收到的数据所属的类别;上述网络设备的监控方法还包括:统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;当统计的告警次数大于预设告警次数时,触发相应的预警信息。
其中,云平台是由多个物理服务器和/或虚拟服务器组成的虚拟环境。服务组件是运行在服务器上的服务程序/计算机程序。推送用于表示生成对应于配置信息的数据则会实时主动的发送。
具体地,监控服务器监控的网络设备可以是组成云平台的服务器,组成云平台的每个服务器上可分布有多个服务组件。当组成云平台的服务器上存在对应于预设数据传输协议配置的配置信息时,监控服务器接收由组成云平台的服务器根据配置信息采集并推送数据。其中,推送的数据是组成云平台的服务器根据配置信息从相应服务组件采集的数据。监控服务器接收到对应于服务组件的数据,按服务组件的功能对相应的数据分类,分别确定相应数据的所属类别,将分类的数据分别缓存至对应于该数据所属类别的数据缓存队列。
进一步地,监控服务器并行的从数据缓存队列中读取数据,并行解析读取的数据,根据解析的数据触发相应的告警信息,可按不同的维度累计计算触发告警信息的次数。具体可以累计计算每个服务器上每个服务组件的告警次数,也可以累计计算相同功能的服务组件的告警次数。将累计计算的告警次数与预设告警次数相比较,当累计计算的告警次数大于预设告警次数时,触发相应的预信息。
在一个实施例中,监控服务器并行的分析从数据缓存队列中读取的数据,对应存储分析的数据以及根据分析的数据对应触发的告警信息,根据数据分析指令查询并获取存储的数据,还可以获取对应存储的告警信息,汇总分析根据数据分析指令获取的数据以及相应的告警信息,根据汇总分析的告警信息触发相应的预警信息。
在一个实施例中,监控服务器接收组成云平台的服务器发送的对应于服务组件的数据,按服务组件的功能可将数据分为计算类、存储类或网络类,还可根据服务组件的功能增加其他数据分类。将分类的数据按数据所属类别分别缓存至相应的数据缓存队列。
在一个实施例中,监控服务器接收组成云平台的服务器发送的运行于该服务器上的服务组件产生的运行日志数据,对接收的对应于服务组件的数据进行实时分析,以及触发相应告警信息,实现了服务组件层面的监控粒度。还可以对组成云平台的每个服务器上的每个服务组件运行产生的运行日志数据,进行汇总分析,以全面了解云平台的运行日志数据,从而实现云平台层面的监控,提高了监控维度。
上述实施例中,当网络设备为组成云平台的服务器时,接收由服务器主动推送的对应于服务组件的数据,提高了监控的粒度。按服务组件的功能对相应的数据分类并分类缓存,使得数据分析时,能够并行的从数据缓存队列中按数据所属类型读取并分析相应的数据,提高了数据处理效率。可以分别从服务组件或服务器层面统计分析相应服务组件的告警次数,以便于根据统计的告警次数触发相应的预警信息,提高了云平台的监控效率。
在一个实施例中,接收的数据为网络设备的运行日志数据;上述网络设备的监控方法还包括:根据解析的数据获取相应的日志关键字段;步骤S312包括:确定日志关键字段中是否存在异常关键字段;当存在异常关键字段时,触发相应的告警信息。
其中,日志关键字段用于表示网络设备运行时生成的运行数据。异常关键字段用于表示与网络设备的正常运行数据不一致的数据。
具体地,监控服务器接收的数据为网络设备运行过程中产生的运行日志数据,可将接收的运行日志类数据按数据的获取来源或数据属性分类缓存至相应的数据缓存队列中。对于从数据缓存队列中读取的运行日志数据,从读取的运行日志数据中解析出相应的日志关键字段,将解析的日志关键字段与预设关键字段相匹配,确定解析的日志关键字段中是否存在异常关键字段。当解析的日志关键字段与预设关键字段不匹配时,则判定该解析的日志关键字段中存在异常关键字段,根据存在异常关键字段的日志关键字段触发生成相应的告警信息。
在一个实施例中,监控服务器还可以从运行日志数据中解析出该运行日志数据的采集时间、采集的网络地址或对应的网络设备标识。还可以根据解析获得的采集时间、网络地址或网络设备标识对解析的数据分类存储。
在一个具体的实施例中,运行日志数据的格式可以是:2017.10.0921:56:6.003172.13.21.11H-SW-ROUT-009power is off。可以根据该格式从运行日志数据中解析出相应的数据。
上述实施例中,对于网络设备的运行日志数据,根据解析出的日志关键字段中是否存在异常关键字段,确定相应的网络设备是否处于正常运行状态,当确定网络设备处于异常运行状态时,触发相应的告警信息,以便实时的监控网络设备的运行状态。
如图4所示,在一个具体的实施例中,一种网络设备的监控方法。该方法的具体步骤如下:
S402,监控服务器接收采集自网络设备的数据;其中,当网络设备支持预设数据传输协议时,数据由网络设备根据预配置的配置信息采集并发送;当网络设备不支持预设数据传输协议时,数据由数据采集服务器从网络设备主动采集获得。
S404,监控服务器确定接收到的数据所属的类别。
S406,监控服务器将数据缓存至与类别相应的数据缓存队列。
S408,监控服务器从多个类别各自相应的数据缓存队列中并行读取数据。
S410,监控服务器并行按照对应于读取的数据所属类别的预设数据解析方式解析相应的数据。
S412,当解析的数据满足预设告警条件时,监控服务器触发相应的告警信息。
S414,监控服务器按解析的数据所属类别分类存储。
S416,监控服务器根据获取的数据分析指令从分类存储的数据中查询相应的数据。
S418,监控服务器展示并分析查询的数据。
S420,监控服务器按预设展示方式展示分析的数据。
S422,当分析的数据满足预设预警条件时,监控服务器触发相应的预警信息。
上述实施例中,监控服务器接收通过不同途径采集并发送的网络设备的数据,并将接收的数据按所属类别分别缓存至相应的数据缓存队列中,再并行的分析以并行方式从数据缓存队列中读取的数据,降低了数据处理压力,提高了数据处理效率。进一步的,根据数据分析指令从不同的数据分析维度获取并分析相应的数据,并展示分析的数据,以便于全面了解网络设备的数据变化趋势,还可以对比分析不同的网络设备。此外,根据解析的数据进行实时告警,保证了网络设备监控的实时性,根据数据分析指令指定的数据触发相应的预警信息,便于根据告警信息预先处理相应的网络设备,降低网络设备的告警次数,进一步提高了网络设备的监控效率。
如图1所示,在一个实施例中,提供了一种网络设备的监控系统100,该系统包括:数据采集服务器120、数据处理服务器131、队列服务器132和数据分析服务器133。
数据采集服务器120,用于当网络设备不支持预设数据传输协议时,主动采集网络设备的数据,并将采集的数据发送至数据处理服务器。
数据处理服务器131,用于当网络设备支持预设数据传输协议时,接收由网络设备根据预配置的配置信息采集并发送的数据;还用于当网络设备不支持预设数据传输协议时,接收由数据采集服务器从网络设备主动采集并发送的数据;还用于确定接收到的数据所属的类别;还用于将接收的数据发送至队列服务器。
队列服务器132,用于接收数据处理服务器发送的数据,并将接收的数据缓存至与接收的数据所属类别相应的数据缓存队列。
数据分析服务器133,用于从队列服务器中与多个类别各自相应的数据缓存队列中并行读取数据;还用于并行解析读取的数据;还用于当解析的数据满足预设告警条件时,触发相应的告警信息。
上述网络设备的监控系统,通过不同的途径接收网络设备的数据,能够全面获取各类网络设备的各类数据。当网络设备支持预设数据传输协议时,直接接收由网络设备发送的数据,保证了数据获取的实时性。而当网络设备不支持预设数据传输协议时,则借助于数据采集服务器主动采集网络设备的数据,提高了数据获取能力。对于不同的网络设备均可以通过上述方式中的至少一种获取相应的数据,提高了数据获取效率,从而提高了网络设备的监控效率。通过将所获取的数据先缓存至数据缓存队列,再并行的从数据缓存队列中读取并解析相应的数据,提高了数据处理能力,从而提高了网络设备的监控效率。根据解析的数据进行实时的告警,以便于及时处理相应的网络设备,进一步,提高了网络设备的监控效率。
在一个实施例中,上述网络设备的监控系统还包括:数据存储服务器;数据分析服务器133,还用于确定对应于读取的数据所属类别的预设数据解析方式;还用于并行按照确定的预设数据解析方式解析相应的数据,并将解析的数据发送至数据存储服务器。数据存储服务器,用于接收数据分析服务器发送的解析的数据,并按解析的数据所属类别分类存储。
在一个实施例中,上述网络设备的监控系统中,根据网络设备的数量或采集自网络设备的数据量对应配置多个数据采集服务器,配置多个数据采集服务器分别用于接收采集自相应网络设备的数据,比如说2000个网络设备对应配置一个数据采集服务器。也可以将采集自网络设备的运行日志数据对应配置数据采集服务器,其他类别的数据对应配置数据采集服务器。数据采集服务器按数据所属类别将接收的数据分别缓存至队列服务器中的相应数据缓存队列中。其中,队列服务器可以是多个队列服务器组成的队列服务器集群,队列服务器集群中的每个队列服务器可分别用于缓存不同类别的数据。
进一步地,由多个数据分析服务器并行的从队列服务器中与多个类别各自相应的数据缓存队列中读取数据,分别解析读取的数据,并将解析的数据按数据所属类别分类存储至数据存储服务器。其中,数据存储服务器可以是由多个数据存储服务器组成的数据存储服务器集群,数据存储服务器集群中的每个数据存储服务器分别用于存储不同类别的数据。由数据统计服务器从数据存储服务器集群中任意选择一个或多个数据存储服务器,从选择的数据存储服务器中读取并分析指定的数据,展示分析的数据,并根据分析的数据触发相应的预警信息。
在一个具体的实施例中,数据处理服务器可以是logstash服务器,队列服务器可以是kafka集群,数据分析服务器可以是logstash服务器或spark服务器,数据存储服务器可以是Elasticsearch集群,数据统计服务器可以是Kibana服务器和grafana服务器。
上述实施例中,对于并行从数据缓存队列中读取的数据,根据数据所属类别分别确定相应的预设数据解析方式,根据所确定的预设数据解析方式分别解析相应的数据,通过选择不同的预设数据解析方式对应解析不同类别的数据,提高了数据解析的适应性,从而提高了数据解析效率,进而提高了网络设备的监控效率。
在一个实施例中,上述网络设备的监控系统还包括:数据统计服务器;数据存储服务器,还用于根据获取的数据分析指令查询并获取相应的数据,并将获取的数据发送至数据统计服务器。数据统计服务器,用于接收数据存储服务器发送的数据;还用于展示并分析接收的数据;还用于按预设展示方式展示分析的数据;还用于当分析的数据满足预设预警条件时,触发相应的预警信息。
在上述实施例中,上述实施例中,通过展示并分析根据数据分析指令获取的数据,能够根据展示的数据了解相应网络设备的运行情况或整体性能,通过展示分析的数据,能够直观了解网络设备的数据变化趋势,还可以根据数据对比分析网络设备的性能,根据分析的数据触发相应的预警信息,能够及时处理相应的网络设备,以免因网络设备的故障影响网络的整体运行,从而提高了网络设备的监控效率。
在一个实施例中,上述网络设备的监控系统中,网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;数据处理服务器131还用于当服务器存在对应于预设数据传输协议配置的配置信息时,接收服务器根据配置信息采集并推送对应于服务组件的数据;还用于按服务组件的功能对应确定接收到的数据所属的类别。数据统计服务器还用于统计每个服务器上每个服务组件的告警次数;和/或,数据统计服务器还用于统计相同功能的服务组件对应的告警次数;还用于当统计的告警次数大于预设告警次数时,触发相应的预警信息。
上述实施例中,当网络设备为组成云平台的服务器时,接收由服务器主动推送的对应于服务组件的数据,提高了监控的粒度。按服务组件的功能对相应的数据分类并分类缓存,使得数据分析时,能够并行的从数据缓存队列中按数据所属类型读取并分析相应的数据,提高了数据处理效率。可以分别从服务组件或服务器层面统计分析相应服务组件的告警次数,以便于根据统计的告警次数触发相应的预警信息,提高了云平台的监控效率。
在一个实施例中,接收的数据为网络设备的运行日志数据;上述网络设备的监控系统中,数据分析服务器133还用于根据解析的数据获取相应的日志关键字段;还用于确定日志关键字段中是否存在异常关键字段;当存在异常关键字段时,触发相应的告警信息。
上述实施例中,对于网络设备的运行日志数据,根据解析出的日志关键字段中是否存在异常关键字段,确定相应的网络设备是否处于正常运行状态,当确定网络设备处于异常运行状态时,触发相应的告警信息,以便实时的监控网络设备的运行状态。
如图5所示,提供了一种网络设备的监控装置500。参照图5,网络设备的监控装置500包括:数据接收装置501、数据分类模块502、数据缓存模块503、数据读取模块504、数据解析模块505和告警模块506。
数据接收装置501,用于接收采集自网络设备的数据;其中,当网络设备支持预设数据传输协议时,数据由网络设备根据预配置的配置信息采集并发送;当网络设备不支持预设数据传输协议时,数据由数据采集服务器从网络设备主动采集获得。
数据分类模块502,用于确定接收到的数据所属的类别。
数据缓存模块503,用于将数据缓存至与类别相应的数据缓存队列。
数据读取模块504,用于从多个类别各自相应的数据缓存队列中并行读取数据。
数据解析模块505,用于并行解析读取的数据。
告警模块506,用于当解析的数据满足预设告警条件时,触发相应的告警信息。
上述网络设备的监控装置,通过不同的途径接收网络设备的数据,能够全面获取各类网络设备的各类数据。当网络设备支持预设数据传输协议时,直接接收由网络设备发送的数据,保证了数据获取的实时性。而当网络设备不支持预设数据传输协议时,则借助于数据采集服务器主动采集网络设备的数据,提高了数据获取能力。对于不同的网络设备均可以通过上述方式中的至少一种获取相应的数据,提高了数据获取效率,从而提高了网络设备的监控效率。通过将所获取的数据先缓存至数据缓存队列,再并行的从数据缓存队列中读取并解析相应的数据,提高了数据处理能力,从而提高了网络设备的监控效率。根据解析的数据进行实时的告警,以便于及时处理相应的网络设备,进一步,提高了网络设备的监控效率。
在一个实施例中,数据解析模块505还用于确定对应于读取的数据所属类别的预设数据解析方式;并行按照确定的预设数据解析方式解析相应的数据;按解析的数据所属类别分类存储。
上述实施例中,对于并行从数据缓存队列中读取的数据,根据数据所属类别分别确定相应的预设数据解析方式,根据所确定的预设数据解析方式分别解析相应的数据,通过选择不同的预设数据解析方式对应解析不同类别的数据,提高了数据解析的适应性,从而提高了数据解析效率,进而提高了网络设备的监控效率。
如图6所示,在一个实施例中,上述网络设备的监控装置500还包括:数据分析模块507和预警模块508。
数据分析模块507,用于根据获取的数据分析指令查询相应的数据;展示并分析查询的数据;按预设展示方式展示分析的数据。
预警模块508,用于当分析的数据满足预设预警条件时,触发相应的预警信息。
上述实施例中,通过展示并分析根据数据分析指令获取的数据,能够根据展示的数据了解相应网络设备的运行情况或整体性能,通过展示分析的数据,能够直观了解网络设备的数据变化趋势,还可以根据数据对比分析网络设备的性能,根据分析的数据触发相应的预警信息,能够及时处理相应的网络设备,以免因网络设备的故障影响网络的整体运行,从而提高了网络设备的监控效率。
在一个实施例中,网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;数据接收装置501还用于当服务器存在对应于预设数据传输协议配置的配置信息时,接收服务器根据配置信息采集并推送对应于服务组件的数据;数据分类模块502还用于按服务组件的功能对应确定接收到的数据所属的类别;预警模块508还用于统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;当统计的告警次数大于预设告警次数时,触发相应的预警信息。
上述实施例中,当网络设备为组成云平台的服务器时,接收由服务器主动推送的对应于服务组件的数据,提高了监控的粒度。按服务组件的功能对相应的数据分类并分类缓存,使得数据分析时,能够并行的从数据缓存队列中按数据所属类型读取并分析相应的数据,提高了数据处理效率。可以分别从服务组件或服务器层面统计分析相应服务组件的告警次数,以便于根据统计的告警次数触发相应的预警信息,提高了云平台的监控效率。
在一个实施例中,接收的数据为网络设备的运行日志数据;数据解析模块505还用于根据解析的数据获取相应的日志关键字段;告警模块506还用于确定日志关键字段中是否存在异常关键字段;当存在异常关键字段时,触发相应的告警信息。
上述实施例中,对于网络设备的运行日志数据,根据解析出的日志关键字段中是否存在异常关键字段,确定相应的网络设备是否处于正常运行状态,当确定网络设备处于异常运行状态时,触发相应的告警信息,以便实时的监控网络设备的运行状态。
关于网络设备的监控装置的具体限定可以参见上文中对于网络设备的监控方法的限定,在此不再赘述。上述网络设备的监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:接收采集自网络设备的数据;其中,当网络设备支持预设数据传输协议时,数据由网络设备根据预配置的配置信息采集并发送;当网络设备不支持预设数据传输协议时,数据由数据采集服务器从网络设备主动采集获得;确定接收到的数据所属的类别;将数据缓存至与类别相应的数据缓存队列;从多个类别各自相应的数据缓存队列中并行读取数据;并行解析读取的数据;当解析的数据满足预设告警条件时,触发相应的告警信息。
在一个实施例中,计算机程序被处理器执行时,还使得处理器执行以下步骤:确定对应于读取的数据所属类别的预设数据解析方式;并行解析读取的数据,包括:并行按照确定的预设数据解析方式解析相应的数据;按解析的数据所属类别分类存储。
在一个实施例中,计算机程序被处理器执行时,还使得处理器执行以下步骤:根据获取的数据分析指令查询相应的数据;展示并分析查询的数据;按预设展示方式展示分析的数据;当分析的数据满足预设预警条件时,触发相应的预警信息。
在一个实施例中,网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;接收采集自网络设备的数据,包括:当服务器存在对应于预设数据传输协议配置的配置信息时,接收服务器根据配置信息采集并推送对应于服务组件的数据;确定接收到的数据所属的类别,包括:按服务组件的功能对应确定接收到的数据所属的类别;计算机程序被处理器执行时,还使得处理器执行以下步骤:统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;当统计的告警次数大于预设告警次数时,触发相应的预警信息。
在一个实施例中,接收的数据为网络设备的运行日志数据;计算机程序被处理器执行时,还使得处理器执行以下步骤:根据解析的数据获取相应的日志关键字段;当解析的数据满足预设告警条件时,触发相应的告警信息,包括:确定日志关键字段中是否存在异常关键字段;当存在异常关键字段时,触发相应的告警信息。
上述计算机设备,通过不同的途径接收网络设备的数据,能够全面获取各类网络设备的各类数据。当网络设备支持预设数据传输协议时,直接接收由网络设备发送的数据,保证了数据获取的实时性。而当网络设备不支持预设数据传输协议时,则借助于数据采集服务器主动采集网络设备的数据,提高了数据获取能力。对于不同的网络设备均可以通过上述方式中的至少一种获取相应的数据,提高了数据获取效率,从而提高了网络设备的监控效率。通过将所获取的数据先缓存至数据缓存队列,再并行的从数据缓存队列中读取并解析相应的数据,提高了数据处理能力,从而提高了网络设备的监控效率。根据解析的数据进行实时的告警,以便于及时处理相应的网络设备,进一步,提高了网络设备的监控效率。
一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:接收采集自网络设备的数据;其中,当网络设备支持预设数据传输协议时,数据由网络设备根据预配置的配置信息采集并发送;当网络设备不支持预设数据传输协议时,数据由数据采集服务器从网络设备主动采集获得;确定接收到的数据所属的类别;将数据缓存至与类别相应的数据缓存队列;从多个类别各自相应的数据缓存队列中并行读取数据;并行解析读取的数据;当解析的数据满足预设告警条件时,触发相应的告警信息。
在一个实施例中,计算机程序被处理器执行时,还使得处理器执行以下步骤:确定对应于读取的数据所属类别的预设数据解析方式;并行解析读取的数据,包括:并行按照确定的预设数据解析方式解析相应的数据;按解析的数据所属类别分类存储。
在一个实施例中,计算机程序被处理器执行时,还使得处理器执行以下步骤:根据获取的数据分析指令查询相应的数据;展示并分析查询的数据;按预设展示方式展示分析的数据;当分析的数据满足预设预警条件时,触发相应的预警信息。
在一个实施例中,网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;接收采集自网络设备的数据,包括:当服务器存在对应于预设数据传输协议配置的配置信息时,接收服务器根据配置信息采集并推送对应于服务组件的数据;确定接收到的数据所属的类别,包括:按服务组件的功能对应确定接收到的数据所属的类别;计算机程序被处理器执行时,还使得处理器执行以下步骤:统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;当统计的告警次数大于预设告警次数时,触发相应的预警信息。
在一个实施例中,接收的数据为网络设备的运行日志数据;计算机程序被处理器执行时,还使得处理器执行以下步骤:根据解析的数据获取相应的日志关键字段;当解析的数据满足预设告警条件时,触发相应的告警信息,包括:确定日志关键字段中是否存在异常关键字段;当存在异常关键字段时,触发相应的告警信息。
上述计算机可读存储介质,通过不同的途径接收网络设备的数据,能够全面获取各类网络设备的各类数据。当网络设备支持预设数据传输协议时,直接接收由网络设备发送的数据,保证了数据获取的实时性。而当网络设备不支持预设数据传输协议时,则借助于数据采集服务器主动采集网络设备的数据,提高了数据获取能力。对于不同的网络设备均可以通过上述方式中的至少一种获取相应的数据,提高了数据获取效率,从而提高了网络设备的监控效率。通过将所获取的数据先缓存至数据缓存队列,再并行的从数据缓存队列中读取并解析相应的数据,提高了数据处理能力,从而提高了网络设备的监控效率。根据解析的数据进行实时的告警,以便于及时处理相应的网络设备,进一步,提高了网络设备的监控效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上方法实施例中的各个步骤不限定执行顺序,可以进行任意调整,为使描述简洁,未对上述方法实施例中各个步骤的所有可能排列组合都进行描述,然而,只要所有这些步骤的排列组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种网络设备的监控方法,所述方法包括:
接收采集自网络设备的数据;其中,当所述网络设备支持预设数据传输协议时,所述数据由所述网络设备根据预配置的配置信息采集并发送;当所述网络设备不支持所述预设数据传输协议时,所述数据由数据采集服务器从所述网络设备主动采集获得;
确定接收到的数据所属的类别;
将所述数据缓存至与所述类别相应的数据缓存队列;
从多个类别各自相应的数据缓存队列中并行读取数据;
并行解析读取的数据;
当解析的数据满足预设告警条件时,触发相应的告警信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定对应于读取的所述数据所属类别的预设数据解析方式;
所述并行解析读取的数据,包括:
并行按照确定的预设数据解析方式解析相应的数据;
按解析的所述数据所属类别分类存储。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据获取的数据分析指令查询相应的数据;
展示并分析查询的所述数据;
按预设展示方式展示分析的所述数据;
当分析的所述数据满足预设预警条件时,触发相应的预警信息。
4.根据权利要求1所述的方法,其特征在于,所述网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;所述接收采集自网络设备的数据,包括:
当所述服务器存在对应于所述预设数据传输协议配置的配置信息时,接收所述服务器根据所述配置信息采集并推送对应于所述服务组件的数据;
所述确定接收到的数据所属的类别,包括:
按所述服务组件的功能对应确定接收到的数据所属的类别;
所述方法还包括:
统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;
当统计的所述告警次数大于预设告警次数时,触发相应的预警信息。
5.根据权利要求1至4中任一项所述的方法,其特征在于,接收的所述数据为网络设备的运行日志数据;所述方法还包括:
根据解析的所述数据获取相应的日志关键字段;
所述当解析的数据满足预设告警条件时,触发相应的告警信息,包括:
确定所述日志关键字段中是否存在异常关键字段;
当存在异常关键字段时,触发相应的告警信息。
6.一种网络设备的监控系统,其特征在于,所述系统包括:数据采集服务器、数据处理服务器、队列服务器和数据分析服务器;
所述数据采集服务器,用于当所述网络设备不支持所述预设数据传输协议时,主动采集所述网络设备的数据,并将采集的所述数据发送至所述数据处理服务器;
所述数据处理服务器,用于当所述网络设备支持预设数据传输协议时,接收由所述网络设备根据预配置的配置信息采集并发送的数据;当所述网络设备不支持所述预设数据传输协议时,接收由所述数据采集服务器从所述网络设备主动采集并发送的数据;还用于确定接收到的数据所属的类别;还用于将接收的所述数据发送至所述队列服务器;
所述队列服务器,用于接收所述数据处理服务器发送的数据,并将接收的所述数据缓存至与接收的所述数据所属类别相应的数据缓存队列;
所述数据分析服务器,用于从所述队列服务器中与多个类别各自相应的数据缓存队列中并行读取数据;还用于并行解析读取的数据;还用于当解析的数据满足预设告警条件时,触发相应的告警信息。
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:数据存储服务器;
所述数据分析服务器,还用于确定对应于读取的所述数据所属类别的预设数据解析方式;还用于并行按照确定的预设数据解析方式解析相应的数据,并将解析的所述数据发送至所述数据存储服务器;
所述数据存储服务器,用于接收所述数据分析服务器发送的解析的所述数据,并按解析的所述数据所属类别分类存储。
8.根据权利要求6所述的系统,其特征在于,所述系统还包括:数据统计服务器;
所述数据存储服务器,还用于根据获取的数据分析指令查询并获取相应的数据,并将获取的所述数据发送至所述数据统计服务器;
所述数据统计服务器,用于接收所述数据存储服务器发送的所述数据;还用于展示并分析接收的所述数据;还用于按预设展示方式展示分析的所述数据;还用于当分析的所述数据满足预设预警条件时,触发相应的预警信息。
9.根据权利要求6所述的系统,其特征在于,所述网络设备包括组成云平台的服务器;每个服务器上包含多个服务组件;
所述数据处理服务器,还用于当所述服务器存在对应于所述预设数据传输协议配置的配置信息时,接收所述服务器根据所述配置信息采集并推送对应于所述服务组件的数据;还用于按所述服务组件的功能对应确定接收到的数据所属的类别;
所述数据统计服务器,还用于统计每个服务器上每个服务组件的告警次数;和/或,统计相同功能的服务组件对应的告警次数;还用于当统计的所述告警次数大于预设告警次数时,触发相应的预警信息。
10.根据权利要求6至9中任一项所述的系统,其特征在于,接收的所述数据为网络设备的运行日志数据;
所述数据分析服务器,还用于根据解析的所述数据获取相应的日志关键字段;还用于确定所述日志关键字段中是否存在异常关键字段;还用于当存在异常关键字段时,触发相应的告警信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711487785.XA CN108259269A (zh) | 2017-12-30 | 2017-12-30 | 网络设备的监控方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711487785.XA CN108259269A (zh) | 2017-12-30 | 2017-12-30 | 网络设备的监控方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108259269A true CN108259269A (zh) | 2018-07-06 |
Family
ID=62725334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711487785.XA Pending CN108259269A (zh) | 2017-12-30 | 2017-12-30 | 网络设备的监控方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108259269A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109639472A (zh) * | 2018-12-04 | 2019-04-16 | 科大国创软件股份有限公司 | 基于Grafana的容器云平台的集成告警控制方法及系统 |
CN109656727A (zh) * | 2018-12-08 | 2019-04-19 | 宁波博太科智能科技有限公司 | 一种信息状态处理方法 |
CN109818787A (zh) * | 2019-01-21 | 2019-05-28 | 苏州科达科技股份有限公司 | 业务异常检测方法、装置及存储介质 |
CN110912810A (zh) * | 2019-11-08 | 2020-03-24 | 中国电建集团国际工程有限公司 | 数据传输的方法、智能网关、计算机设备和存储介质 |
CN111127208A (zh) * | 2019-12-30 | 2020-05-08 | 上海金仕达软件科技有限公司 | 一种异常交易实时监控系统及计算方法 |
CN111447109A (zh) * | 2020-03-23 | 2020-07-24 | 京东方科技集团股份有限公司 | 监控管理设备及方法、计算机可读存储介质 |
CN112738070A (zh) * | 2020-12-25 | 2021-04-30 | 广州凡科互联网科技股份有限公司 | 一种基于web的网站微信流量监控的方法 |
CN112769639A (zh) * | 2020-12-22 | 2021-05-07 | 杭州迪普科技股份有限公司 | 一种并行下发配置信息的方法及装置 |
CN114025018A (zh) * | 2021-11-29 | 2022-02-08 | 北京天融信网络安全技术有限公司 | 数据处理方法、装置、网络设备及计算机可读存储介质 |
CN114398193A (zh) * | 2022-01-21 | 2022-04-26 | 方建中 | 一种基于通讯api的全被动的工业数字化数据湖 |
CN115174502A (zh) * | 2022-06-30 | 2022-10-11 | 广东亿迅科技有限公司 | 一种api网关的流量控制方法、装置、设备及介质 |
CN117176613A (zh) * | 2023-11-01 | 2023-12-05 | 建信金融科技有限责任公司 | 一种数据采集方法和装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101714930A (zh) * | 2009-12-30 | 2010-05-26 | 北京世纪互联宽带数据中心有限公司 | 一种实现网络监控的方法及系统 |
CN102098273A (zh) * | 2009-12-09 | 2011-06-15 | 北京中电飞华通信股份有限公司 | 一种plc网络管理方法及系统 |
CN102331751A (zh) * | 2010-07-13 | 2012-01-25 | 北京国电智深控制技术有限公司 | 一种实时工业控制系统的监控方法及系统 |
CN102546216A (zh) * | 2010-12-30 | 2012-07-04 | 中国移动通信集团山东有限公司 | 网络管理系统中的告警消息处理方法及网络管理系统 |
CN102647294A (zh) * | 2012-03-31 | 2012-08-22 | 航天恒星科技有限公司 | 一种远端串口监控系统 |
CN102820993A (zh) * | 2012-08-16 | 2012-12-12 | 北京国创富盛通信股份有限公司 | 网络资源监控系统和网络资源监控方法 |
CN103024060A (zh) * | 2012-12-20 | 2013-04-03 | 中国科学院深圳先进技术研究院 | 一种开放式云计算大规模集群监控系统及方法 |
CN103544093A (zh) * | 2012-07-13 | 2014-01-29 | 深圳市快播科技有限公司 | 监控报警控制方法及其系统 |
CN104125252A (zh) * | 2013-04-27 | 2014-10-29 | 博雅网络游戏开发(深圳)有限公司 | 数据存储系统及方法 |
CN104572689A (zh) * | 2013-10-17 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 数据同步方法、装置及系统 |
CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
CN105282772A (zh) * | 2015-09-10 | 2016-01-27 | 北京爱可生通信技术有限公司 | 无线网数通设备监控系统及设备监控方法 |
CN105978716A (zh) * | 2016-05-09 | 2016-09-28 | 易通远见(北京)科技有限公司 | It设备及动环设备的监控信息同构化处理及三维呈现方法 |
CN106130806A (zh) * | 2016-08-30 | 2016-11-16 | 四川新环佳科技发展有限公司 | 数据层实时监控方法 |
CN107070692A (zh) * | 2017-01-16 | 2017-08-18 | 中国联合网络通信有限公司广东省分公司 | 一种基于大数据分析的云平台监控服务系统及方法 |
CN107181612A (zh) * | 2017-05-08 | 2017-09-19 | 深圳市众泰兄弟科技发展有限公司 | 一种基于大数据的可视化网络安全监控方法 |
CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技(北京)有限公司 | 基于elastic组件的日志分析系统 |
CN107517131A (zh) * | 2017-08-31 | 2017-12-26 | 四川长虹电器股份有限公司 | 一种基于日志采集的分析预警方法 |
-
2017
- 2017-12-30 CN CN201711487785.XA patent/CN108259269A/zh active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102098273A (zh) * | 2009-12-09 | 2011-06-15 | 北京中电飞华通信股份有限公司 | 一种plc网络管理方法及系统 |
CN101714930A (zh) * | 2009-12-30 | 2010-05-26 | 北京世纪互联宽带数据中心有限公司 | 一种实现网络监控的方法及系统 |
CN102331751A (zh) * | 2010-07-13 | 2012-01-25 | 北京国电智深控制技术有限公司 | 一种实时工业控制系统的监控方法及系统 |
CN102546216A (zh) * | 2010-12-30 | 2012-07-04 | 中国移动通信集团山东有限公司 | 网络管理系统中的告警消息处理方法及网络管理系统 |
CN102647294A (zh) * | 2012-03-31 | 2012-08-22 | 航天恒星科技有限公司 | 一种远端串口监控系统 |
CN103544093A (zh) * | 2012-07-13 | 2014-01-29 | 深圳市快播科技有限公司 | 监控报警控制方法及其系统 |
CN102820993A (zh) * | 2012-08-16 | 2012-12-12 | 北京国创富盛通信股份有限公司 | 网络资源监控系统和网络资源监控方法 |
CN103024060A (zh) * | 2012-12-20 | 2013-04-03 | 中国科学院深圳先进技术研究院 | 一种开放式云计算大规模集群监控系统及方法 |
CN104125252A (zh) * | 2013-04-27 | 2014-10-29 | 博雅网络游戏开发(深圳)有限公司 | 数据存储系统及方法 |
CN104572689A (zh) * | 2013-10-17 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 数据同步方法、装置及系统 |
CN105282772A (zh) * | 2015-09-10 | 2016-01-27 | 北京爱可生通信技术有限公司 | 无线网数通设备监控系统及设备监控方法 |
CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
CN105978716A (zh) * | 2016-05-09 | 2016-09-28 | 易通远见(北京)科技有限公司 | It设备及动环设备的监控信息同构化处理及三维呈现方法 |
CN106130806A (zh) * | 2016-08-30 | 2016-11-16 | 四川新环佳科技发展有限公司 | 数据层实时监控方法 |
CN107070692A (zh) * | 2017-01-16 | 2017-08-18 | 中国联合网络通信有限公司广东省分公司 | 一种基于大数据分析的云平台监控服务系统及方法 |
CN107181612A (zh) * | 2017-05-08 | 2017-09-19 | 深圳市众泰兄弟科技发展有限公司 | 一种基于大数据的可视化网络安全监控方法 |
CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技(北京)有限公司 | 基于elastic组件的日志分析系统 |
CN107517131A (zh) * | 2017-08-31 | 2017-12-26 | 四川长虹电器股份有限公司 | 一种基于日志采集的分析预警方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109639472A (zh) * | 2018-12-04 | 2019-04-16 | 科大国创软件股份有限公司 | 基于Grafana的容器云平台的集成告警控制方法及系统 |
CN109656727B (zh) * | 2018-12-08 | 2021-06-08 | 宁波博太科智能科技股份有限公司 | 一种信息状态处理方法 |
CN109656727A (zh) * | 2018-12-08 | 2019-04-19 | 宁波博太科智能科技有限公司 | 一种信息状态处理方法 |
CN109818787A (zh) * | 2019-01-21 | 2019-05-28 | 苏州科达科技股份有限公司 | 业务异常检测方法、装置及存储介质 |
CN110912810A (zh) * | 2019-11-08 | 2020-03-24 | 中国电建集团国际工程有限公司 | 数据传输的方法、智能网关、计算机设备和存储介质 |
CN111127208A (zh) * | 2019-12-30 | 2020-05-08 | 上海金仕达软件科技有限公司 | 一种异常交易实时监控系统及计算方法 |
CN111447109A (zh) * | 2020-03-23 | 2020-07-24 | 京东方科技集团股份有限公司 | 监控管理设备及方法、计算机可读存储介质 |
CN111447109B (zh) * | 2020-03-23 | 2022-03-22 | 京东方科技集团股份有限公司 | 监控管理设备及方法、计算机可读存储介质 |
CN112769639A (zh) * | 2020-12-22 | 2021-05-07 | 杭州迪普科技股份有限公司 | 一种并行下发配置信息的方法及装置 |
CN112738070A (zh) * | 2020-12-25 | 2021-04-30 | 广州凡科互联网科技股份有限公司 | 一种基于web的网站微信流量监控的方法 |
CN112738070B (zh) * | 2020-12-25 | 2023-02-17 | 广州凡科互联网科技股份有限公司 | 一种基于web的网站微信流量监控的方法 |
CN114025018A (zh) * | 2021-11-29 | 2022-02-08 | 北京天融信网络安全技术有限公司 | 数据处理方法、装置、网络设备及计算机可读存储介质 |
CN114398193A (zh) * | 2022-01-21 | 2022-04-26 | 方建中 | 一种基于通讯api的全被动的工业数字化数据湖 |
CN114398193B (zh) * | 2022-01-21 | 2023-06-13 | 上海纯青智能科技有限公司 | 一种基于通讯api的全被动的工业数字化数据湖 |
CN115174502A (zh) * | 2022-06-30 | 2022-10-11 | 广东亿迅科技有限公司 | 一种api网关的流量控制方法、装置、设备及介质 |
CN117176613A (zh) * | 2023-11-01 | 2023-12-05 | 建信金融科技有限责任公司 | 一种数据采集方法和装置 |
CN117176613B (zh) * | 2023-11-01 | 2024-01-26 | 建信金融科技有限责任公司 | 一种数据采集方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108259269A (zh) | 网络设备的监控方法和系统 | |
US11657309B2 (en) | Behavior analysis and visualization for a computer infrastructure | |
US10176026B2 (en) | System and method for tagging and tracking events of an application | |
US8462619B2 (en) | Systems and methods for providing fault detection and management | |
CN112714138B (zh) | 基于攻击流量的测试方法、装置、设备及存储介质 | |
US9717011B2 (en) | Event management in telecommunications networks | |
US20060265272A1 (en) | System and methods for re-evaluating historical service conditions after correcting or exempting causal events | |
EP0994602A2 (en) | Computer system and network performance monitoring | |
US20100229182A1 (en) | Log information issuing device, log information issuing method, and program | |
CN104348650A (zh) | 网站的监控方法、业务装置及系统 | |
CN112256542B (zh) | 基于eBPF的微服务系统性能检测方法、装置和系统 | |
CN108718347A (zh) | 一种域名解析方法、系统、装置及存储介质 | |
CN112698915A (zh) | 多集群统一监控告警方法、系统、设备及存储介质 | |
CN110932933A (zh) | 网络状况监测方法、计算设备及计算机存储介质 | |
CN108574627B (zh) | 一种sdn网络多控制域协同管理方法和系统 | |
CN110737565B (zh) | 一种数据监控方法、装置、电子设备及存储介质 | |
CN112333020A (zh) | 一种基于五元组的网络安全监测及数据报文解析系统 | |
CN111339466A (zh) | 接口管理方法、装置、电子设备及可读存储介质 | |
JP2012181744A (ja) | 分散ファイルシステムにおける運用監視システム及び運用監視方法 | |
CN109831335B (zh) | 一种数据监控方法、监控终端、存储介质及数据监控系统 | |
CN114598622B (zh) | 数据监控方法及装置、存储介质、计算机设备 | |
JP2017199250A (ja) | 計算機システム、データの分析方法、及び計算機 | |
CN115114316A (zh) | 一种高并发数据的处理方法、装置、集群和存储介质 | |
CN111681397A (zh) | 一种配网自动化短信发送方法、发送系统和存储介质 | |
EP3756310B1 (en) | Method and first node for managing transmission of probe messages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200201 Address after: 200120 floor 15, 1333 Lujiazui Ring Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: Weikun (Shanghai) Technology Service Co., Ltd Address before: 200120 13 floor, 1333 Lujiazui Road, Pudong New Area free trade pilot area, Shanghai. Applicant before: Lujiazui Shanghai international financial assets market Limited by Share Ltd |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180706 |