CN111130882A - 网络设备的监控系统及方法 - Google Patents

网络设备的监控系统及方法 Download PDF

Info

Publication number
CN111130882A
CN111130882A CN201911360891.0A CN201911360891A CN111130882A CN 111130882 A CN111130882 A CN 111130882A CN 201911360891 A CN201911360891 A CN 201911360891A CN 111130882 A CN111130882 A CN 111130882A
Authority
CN
China
Prior art keywords
data
network equipment
network
monitoring
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911360891.0A
Other languages
English (en)
Inventor
汪茹洋
林皓
吴迪
戴相龙
李继鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linkdood Technologies SdnBhd
Sichuan Public Security Research Center
Beijing VRV Software Corp Ltd
Original Assignee
Linkdood Technologies SdnBhd
Sichuan Public Security Research Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linkdood Technologies SdnBhd, Sichuan Public Security Research Center filed Critical Linkdood Technologies SdnBhd
Priority to CN201911360891.0A priority Critical patent/CN111130882A/zh
Publication of CN111130882A publication Critical patent/CN111130882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种网络设备的监控系统及方法。其中，方法包括：数据采集装置，用于根据多种数据采集方式，获取网络设备的相关数据；计算处理装置，用于基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。本发明实施例提供的网络设备的监控系统及方法，根据多种数据采集方式，获取网络设备的相关数据，基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果，能够有效提升数据处理速率和效率。

Description

网络设备的监控系统及方法
技术领域
本发明涉及计算机网络技术领域，更具体地，涉及一种网络设备的监控系统及方法。
背景技术
随着数据爆炸时代的来临，信息网络安全领域成为互联网时代关注的焦点。如何能够有效的保证网络能够正常运行，及时预警网络波动异常以及对各种网络设备进行有效的监控成为信息安全领域研究的重要课题。
目前许多传统设备监控预警系统以传统关系型数据库为基础，在面对海量数据的情况下，处理能力有限，在数据采集、分析、处理方面存在高延迟、低吞吐的情况，性能上面遇到瓶颈，无法满足大数据时代客户对预警监控平台的要求。
传统网络设备监控预警方法主要存在如下缺陷：一是数据来源单一化，传统架构设备设备监控预警系统能够接入的数据类型有限，监控预警范围受到限制；二是缺乏大量数据处理能力，在面对海量数据、异构数据或多维数据的情况下，数据的采集、分析、处理及存储将遇到很大挑战；三是及时响应能力有限，当出现发大规模预警和网络异常的情况下，无法及时有效的预警相关风险，数据展现出现高延迟现象；四是对应监控组件缺乏横向动态扩展能力。
综上，传统的预警监控平台在技术上已经无法适应大数据时代实时数据和批量数据的量级，数据处理效率低。
发明内容
本发明实施例提供一种网络设备的监控系统及方法，用以解决或者至少部分地解决现有技术存在的数据处理效率低的缺陷。
第一方面，本发明实施例提供一种网络设备的监控系统，包括：
数据采集装置，用于根据多种数据采集方式，获取网络设备的相关数据；
计算处理装置，用于基于Flink数据流计算引擎，对所述网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。
优选地，所述计算处理装置还用于若判断获知所述分析结果符合任一预设的告警规则，则生成告警信息。
优选地，网络设备的监控系统还包括：
数据存储装置，用于基于ElasticSearch存储所述告警信息。
优选地，所述数据采集装置与所述计算处理装置之间，基于Kafka集群进行所述网络设备的相关数据的传输。
优选地，所述计算处理装置与所述数据存储装置之间，基于所述Kafka集群进行所述告警信息的传输。
优选地，所述数据采集装置，具体用于根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取所述网络设备的相关数据。
第二方面，本发明实施例提供一种网络设备的监控方法，包括：
根据多种数据采集方式，获取网络设备的相关数据；
基于Flink数据流计算引擎，对所述网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。
优选地，所述获取分析结果之后，还包括：
若判断获知所述分析结果符合任一预设的告警规则，则生成告警信息。
优选地，所述生成告警信息之后，还包括：
基于ElasticSearch存储所述告警信息。
优选地，所述根据多种数据采集方式，获取网络设备的相关数据的具体步骤包括：
根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取所述网络设备的相关数据。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，执行所述程序时实现如第二方面的各种可能的实现方式中任一种可能的实现方式所提供的网络设备的监控方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二方面的各种可能的实现方式中任一种可能的实现方式所提供的网络设备的监控方法的步骤。
本发明实施例提供的网络设备的监控系统及方法，通过数据采集装置根据多种数据采集方式，获取网络设备的相关数据，通过计算处理装置基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果，能够有效提升数据处理速率和效率，且在面对多维数据，异构数据等复杂数据结构有很好的支持作用。并且，将低延迟高吞吐作为衡量预警监控平台实时性的标准，能够更有效地保证系统运行过程中的高吞吐和低延迟特性，能够更准确、快速、实时地向用户反馈对应的监控数据和预警信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例提供的网络设备的监控系统的结构示意图；
图2为根据本发明实施例提供的网络设备的监控系统的结构示意图；
图3为根据本发明实施例提供的网络设备的监控系统中计算处理装置启动规则的流程图；
图4为根据本发明实施例提供的网络设备的监控系统中计算处理装置关闭规则的流程图；
图5为根据本发明实施例提供的网络设备的监控方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了克服现有技术的上述问题，本发明实施例提供一种网络设备的监控系统及方法，其发明构思是，采用多种数据采集方法和Flink流计算引擎，能实现基于海量数据的网络设备监控和预警。
图1为根据本发明实施例提供的网络设备的监控系统的结构示意图。如图1所示，该系统包括数据采集装置101和计算处理装置102，其中：
数据采集装置101，用于根据多种数据采集方式，获取网络设备的相关数据；
计算处理装置102，用于基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。
具体地，数据采集装置101，可以利用多种数据采集方式，对网络设备的相关数据进行采集。
网络设备的相关数据，可以包括网络设备的操作日志、流量日志、漏洞情报、威胁情报、硬件信息和终端设备信息等数据。
硬件信息，可以包括CPU、内存和磁盘的使用情况等。
终端设备信息，可以包括终端用户行为信息和终端运行状态等。
数据采集装置101主要用于各类设备日志、原始流量信息、终端与用户行为等多维数据的采集和转换。
数据采集装置101可以使用各种不同的采集模块，分别对应不同的数据采集方式。
数据采集装置101还可以对采集的网络设备的相关数据进行格式化和加载，转换为预设的格式。
计算处理装置102基于Flink数据流计算引擎和关联规则，对网络设备的相关数据进行数据分析和数据挖掘，获得相应的分析结果，作为监控结果。
数据分析，可以包括行为分析和统计分析。
计算处理装置102可以为多个，以集群方式部署，构成Flink集群，能动态应对不断变大的海量数据处理需求。
Flink是开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。
Flink作为新一代流计算处理引擎，能够处理低延迟，实时分析的应用；运用Flink的exactly-once(一次性交付)，保证数据流处理过程当中的准确性；整个关联规则使用Flink SQL进行编写，Flink SQL具有无需编程的优点；申诉式语言表达对应的逻辑；在传统函数基础之上，进行对应相关自定义函数(UDF)的封装操作，扩展对应的解析功能；支持Flink集群部署，横向扩展Flink数据分析引擎能力，并提升Flink处理数据的稳定性。
计算处理装置102还用于规则的启动和关闭。
图3为根据本发明实施例提供的网络设备的监控系统中计算处理装置启动规则的流程图。如图3所示，启动规则的步骤包括：
步骤S301、获取启动告警规则的指令；
步骤S302、Java调用shell脚本启动对应的Job；
步骤S303、根据Flink主类和对应路径，完成调用，完成规则的启动。
图4为根据本发明实施例提供的网络设备的监控系统中计算处理装置关闭规则的流程图。如图4所示，关闭规则的步骤包括：
步骤S401、获取关闭告警规则的指令；
步骤S402、获取Javashell脚本的Job信息；
步骤S403、基于Job名称(name)与Job ID之间的唯一性，根据Jobname进行匹配，获得对应的Job ID；
步骤S404、根据该Job ID，通过shell脚本cancel(删除)对应Job，完成规则的关闭。
本发明实施例通过数据采集装置根据多种数据采集方式，获取网络设备的相关数据，通过计算处理装置基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果，能够有效提升数据处理速率和效率，且在面对多维数据，异构数据等复杂数据结构有很好的支持作用。并且，将低延迟高吞吐作为衡量预警监控平台实时性的标准，能够更有效地保证系统运行过程中的高吞吐和低延迟特性，能够更准确、快速、实时地向用户反馈对应的监控数据和预警信息。
基于上述各实施例的内容，计算处理装置还用于若判断获知分析结果符合任一预设的告警规则，则生成告警信息。
具体地，计算处理装置可以包括监控模块和告警模块。
监控模块，用于基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。
告警模块，用于判断分析结果是否符合任一条预设的告警规则；若符合，说明网络设备存在异常，则生成相应的告警信息，以提示用户注意并及时检查网络设备、确认并排除异常。
本发明实施例通过判断获知分析结果符合任一预设的告警规则，生成告警信息，能够更有效地保证系统运行过程中的高吞吐和低延迟特性，能够更准确、快速、实时地向用户反馈对应的监控数据和预警信息。
图2为根据本发明实施例提供的网络设备的监控系统的结构示意图。基于上述各实施例的内容，如图2所示，网络设备的监控系统还包括：数据存储装置104，用于基于ElasticSearch存储告警信息。
具体地，生成告警信息之后，数据存储装置104可以基于ElasticSearch存储生成的告警信息。
ElasticSearch(ES)是一种no sql数据存储技术，能够大批量存储数据流数据，并能够快速进行索引查询。
数据存储装置104可以为多个，以集群方式部署，构成ES集群。
如图2所示，网络设备的监控系统可以被划分为数据采集层201、数据传输层202、流计算处理层203和数据存储层204。
数据采集层201，可以由数据采集装置101构成。
数据采集装置101，可以包括数据采集模块1011、数据格式化模块1012和数据加载模块1013。
数据采集模块1011，用于采集网络设备的相关数据。
数据格式化模块1012，用于对数据采集模块1011采集的数据进行格式化。
数据加载模块1013，用于加载数据格式化模块1012格式化后的数据。
流计算处理层203，可以由计算处理装置102构成。
数据存储层204，可以由数据存储装置104构成。
本发明实施例基于ElasticSearch存储告警信息，能够实现大批量存储数据流数据，能更快地进行告警信息的索引查询，并能动态应对不断变大的海量数据处理需求。
基于上述各实施例的内容，数据采集装置与计算处理装置之间，基于Kafka集群103进行网络设备的相关数据的传输。
具体地，数据采集装置，可以基于Kafka集群，将采集的网络设备的相关数据，传输至计算处理装置。
Kafka集群103，可以包括以集群方式部署的多个第一Kafka节点。
Kafka是一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
如图2所示，数据传输层202可以由Kafka集群103构成。
Kafka集群103作为中间件数据传输层，采用Kafka作为数据传输中介。
相比于传统的数据中间件插件，Kafka集群要求按照数据确认所有的消息；设置消息持久化的时间；要求用户管理即将处理的下一条消息的偏移量；采用零拷贝技术，只用将磁盘文件的数据复制到页面缓存中一次，然后将数据从页面缓存直接发送到网络中，大大加快网络传输过程中的速率；支持Kafka集群部署，通过集群部署能进一步大幅提高数据传输速率。
在此基础上，由于Kafka处理数据的速度相对于其它中间件有了几何倍数增加，因此，Kafka消息代理极少出现非顺序性读写文件，从而大大提高了数据传输速率。
本发明实施例基于Kafka集群进行网络设备的相关数据的传输，能大幅提高数据传输速率，并能动态应对不断变大的海量数据处理需求。
基于上述各实施例的内容，计算处理装置与数据存储装置之间，基于Kafka集群103进行告警信息的传输。
具体地，计算处理装置，可以基于上述Kafka集群103，将生成的告警信息发送至数据存储装置，由数据存储装置进行存储。
本发明实施例基于Kafka集群进行告警信息的传输，能大幅提高数据传输速率，并能动态应对不断变大的海量数据处理需求。
基于上述各实施例的内容，数据采集装置，具体用于根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取网络设备的相关数据。
具体地，传统架构设备设备监控预警系统能够接入的数据类型有限，本发明实施例中数据采集装置可以集成多种数据采集方式，例如Flume、Logstash、SNMP4J和Beats中的至少两种。
相应地，数据采集装置可以包括多个采集模块，分别用于基于Flume、Logstash、SNMP4J和Beats方式，采集网络设备的相关数据。
Flume和Logstash方式，主要用于采集各类网络设备的操作日志和流量日志。
SNMP4J方式，主要用于采集网络设备的硬件信息，例如CPU、内存和磁盘的使用情况等。
Beats方式，主要用于采集网络设备的终端设备信息，例如终端用户行为信息和终端运行状态等。
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到所选择的目的地。Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到存储装置。
SNMP指简单网络管理协议(Simple Network Management Protocol)。它属于TCP/IP五层协议中的应用层协议。它提供了一种简单和方便的模式来管理网络中的各个元素。这里的元素就是各个被管理的对象，可以是因特网中的某个硬件，比如网卡，也可以是某些硬件和软件的配置参数的集合。
SNMP4J是一个用Java来实现SNMP协议的开源项目。它支持以命令行的形式进行管理与响应。
Beats是用于单用途数据托运平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch，即采集数据，并上报到Logstash或Elasticsearch。
需要说明的是，数据采集装置不限于通过Flume、Logstash、SNMP4J和Beats方式进行网络设备的相关数据的采集，还可以采用其他方式进行网络设备的相关数据的采集。
本发明实施例根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取网络设备的相关数据，能时采用多种数据采集技术方法，支持多种数据类型，实现更全面地采集网络设备的相关数据，从而能扩大监控预警范围、进行更全面的监控和预警。并且，能动态应对不断变大的海量数据处理需求。
图5为根据本发明实施例提供的网络设备的监控方法的流程示意图。如图5所示，该方法包括：步骤S501、根据多种数据采集方式，获取网络设备的相关数据。
具体地，可以多种数据采集方式，对网络设备的操作日志、流量日志、漏洞情报、威胁情报、硬件信息和终端设备信息等网络设备的相关数据进行采集。
步骤S502、基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。
具体地，获取网络设备的相关数据之后，可以基于Flink数据流计算引擎和关联规则，对网络设备的相关数据进行数据分析和数据挖掘，获得相应的分析结果，作为监控结果。
本发明实施例提供的网络设备的监控方法，基于本发明上述各实施例提供的网络设备的监控系统执行。因此，在前述各实施例中的网络设备的监控系统中的描述和定义，可以用于本发明实施例中各执行步骤的理解。该网络设备的监控方法包括的各步骤，可以参见前述各网络设备的监控系统实施例中各模块实现相应功能的具体方法和流程，此处不再赘述。
本发明实施例根据多种数据采集方式，获取网络设备的相关数据，基于Flink数据流计算引擎，对网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果，能够有效提升数据处理速率和效率，且在面对多维数据，异构数据等复杂数据结构有很好的支持作用。并且，将低延迟高吞吐作为衡量预警监控平台实时性的标准，能够更有效地保证系统运行过程中的高吞吐和低延迟特性，能够更准确、快速、实时地向用户反馈对应的监控数据和预警信息。
基于上述各实施例的内容，获取分析结果之后，还包括：若判断获知分析结果符合任一预设的告警规则，则生成告警信息。
具体地，获取分析结果之后判断分析结果是否符合任一条预设的告警规则。
若符合，说明网络设备存在异常，则生成相应的告警信息，以提示用户注意并及时检查网络设备、确认并排除异常。
本发明实施例通过判断获知分析结果符合任一预设的告警规则，生成告警信息，能够更有效地保证系统运行过程中的高吞吐和低延迟特性，能够更准确、快速、实时地向用户反馈对应的监控数据和预警信息。
基于上述各实施例的内容，生成告警信息之后，还包括：基于ElasticSearch存储告警信息。
具体地，生成告警信息之后，可以基于ElasticSearch，对生成的告警信息进行存储。
本发明实施例基于ElasticSearch存储告警信息，能够实现大批量存储数据流数据，能更快地进行告警信息的索引查询，并能动态应对不断变大的海量数据处理需求。
基于上述各实施例的内容，根据多种数据采集方式，获取网络设备的相关数据的具体步骤包括：根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取网络设备的相关数据。
具体地，可以集成多种数据采集方式，例如Flume、Logstash、SNMP4J和Beats中的至少两种，对网络设备的相关数据进行采集。
需要说明的是，可以不限于通过Flume、Logstash、SNMP4J和Beats方式进行网络设备的相关数据的采集，还可以采用其他方式进行网络设备的相关数据的采集。
本发明实施例根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取网络设备的相关数据，能时采用多种数据采集技术方法，支持多种数据类型，实现更全面地采集网络设备的相关数据，从而能扩大监控预警范围、进行更全面的监控和预警。并且，能动态应对不断变大的海量数据处理需求。
以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行上述各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种网络设备的监控系统，其特征在于，包括：
数据采集装置，用于根据多种数据采集方式，获取网络设备的相关数据；
计算处理装置，用于基于Flink数据流计算引擎，对所述网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。
2.根据权利要求1所述的网络设备的监控系统，其特征在于，所述计算处理装置还用于若判断获知所述分析结果符合任一预设的告警规则，则生成告警信息。
3.根据权利要求2所述的网络设备的监控系统，其特征在于，还包括：
数据存储装置，用于基于ElasticSearch存储所述告警信息。
4.根据权利要求3所述的网络设备的监控系统，其特征在于，所述数据采集装置与所述计算处理装置之间，基于Kafka集群进行所述网络设备的相关数据的传输。
5.根据权利要求4所述的网络设备的监控系统，其特征在于，所述计算处理装置与所述数据存储装置之间，基于所述Kafka集群进行所述告警信息的传输。
6.根据权利要求1至5任一所述的网络设备的监控系统，其特征在于，所述数据采集装置，具体用于根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取所述网络设备的相关数据。
7.一种网络设备的监控方法，其特征在于，包括：
根据多种数据采集方式，获取网络设备的相关数据；
基于Flink数据流计算引擎，对所述网络设备的相关数据，进行基于关联规则的数据分析，获取分析结果。
8.根据权利要求7所述的网络设备的监控方法，其特征在于，所述获取分析结果之后，还包括：
若判断获知所述分析结果符合任一预设的告警规则，则生成告警信息。
9.根据权利要求8所述的网络设备的监控方法，其特征在于，所述生成告警信息之后，还包括：
基于ElasticSearch存储所述告警信息。
10.根据权利要求7至9任一所述的网络设备的监控方法，其特征在于，所述根据多种数据采集方式，获取网络设备的相关数据的具体步骤包括：
根据Flume、Logstash、SNMP4J和Beats中的至少两种，获取所述网络设备的相关数据。
CN201911360891.0A 2019-12-25 2019-12-25 网络设备的监控系统及方法 Pending CN111130882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911360891.0A CN111130882A (zh) 2019-12-25 2019-12-25 网络设备的监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911360891.0A CN111130882A (zh) 2019-12-25 2019-12-25 网络设备的监控系统及方法

Publications (1)

Publication Number Publication Date
CN111130882A true CN111130882A (zh) 2020-05-08

Family

ID=70502509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911360891.0A Pending CN111130882A (zh) 2019-12-25 2019-12-25 网络设备的监控系统及方法

Country Status (1)

Country Link
CN (1) CN111130882A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767080A (zh) * 2021-01-19 2021-05-07 上海微盟企业发展有限公司 一种基于流式计算的告警方法、装置及介质
CN114546993A (zh) * 2022-04-24 2022-05-27 慧士得(南京)科技有限公司 一种基于流式处理的工业传感器数据处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175788A (zh) * 2019-05-31 2019-08-27 国网上海市电力公司 一种智慧城市能源云平台
CN110519231A (zh) * 2019-07-25 2019-11-29 浙江公共安全技术研究院有限公司 一种跨域数据交换监管系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175788A (zh) * 2019-05-31 2019-08-27 国网上海市电力公司 一种智慧城市能源云平台
CN110519231A (zh) * 2019-07-25 2019-11-29 浙江公共安全技术研究院有限公司 一种跨域数据交换监管系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767080A (zh) * 2021-01-19 2021-05-07 上海微盟企业发展有限公司 一种基于流式计算的告警方法、装置及介质
CN114546993A (zh) * 2022-04-24 2022-05-27 慧士得(南京)科技有限公司 一种基于流式处理的工业传感器数据处理方法

Similar Documents

Publication Publication Date Title
US9672137B1 (en) Shadow test replay service
US10747592B2 (en) Router management by an event stream processing cluster manager
US10423469B2 (en) Router management by an event stream processing cluster manager
Kotenko et al. Aggregation of elastic stack instruments for collecting, storing and processing of security information and events
US20210035026A1 (en) Diagnosing & triaging performance issues in large-scale services
US10452463B2 (en) Predictive analytics on database wait events
EP3796167B1 (en) Router management by an event stream processing cluster manager
JP2022118108A (ja) ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム
US20210136121A1 (en) System and method for creation and implementation of data processing workflows using a distributed computational graph
US20200057714A1 (en) Testing data changes in production systems
US20210303532A1 (en) Streamlined transaction and dimension data collection
CN110851471A (zh) 分布式日志数据处理方法、装置以及系统
CN111130882A (zh) 网络设备的监控系统及方法
WO2019168715A1 (en) Event to serverless function workflow instance mapping mechanism
CN106126419A (zh) 一种应用程序的调试方法及装置
US20210224102A1 (en) Characterizing operation of software applications having large number of components
WO2021097713A1 (zh) 分布式安全检测系统、方法、设备及存储介质
CN114756301A (zh) 日志处理方法、装置和系统
CN111078975B (zh) 一种多节点增量式数据采集系统及采集方法
Yuan et al. Design and implementation of accelerator control monitoring system
US11983093B2 (en) Tracking status of managed time series processing tasks
CN113031960B (zh) 代码编译方法、装置、服务器及存储介质
CN116992065B (zh) 一种图数据库数据导入方法、系统、电子设备、介质
CN115658380A (zh) 一种分布式流程逆向回滚方法及系统
US20240061494A1 (en) Monitoring energy consumption associated with users of a distributed computing system using tracing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508

RJ01 Rejection of invention patent application after publication