CN115277365A - 一种基于web的网络设备日志流量分析方法及装置 - Google Patents
一种基于web的网络设备日志流量分析方法及装置 Download PDFInfo
- Publication number
- CN115277365A CN115277365A CN202210891479.7A CN202210891479A CN115277365A CN 115277365 A CN115277365 A CN 115277365A CN 202210891479 A CN202210891479 A CN 202210891479A CN 115277365 A CN115277365 A CN 115277365A
- Authority
- CN
- China
- Prior art keywords
- information
- log
- flow
- traffic
- mirror image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005206 flow analysis Methods 0.000 title claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 11
- 238000007726 management method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000721662 Juniperus Species 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003326 Quality management system Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0681—Configuration of triggering conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于web的网络设备日志流量分析方法及装置,应用于云端服务器,基于web终端日志流量管理,实现实时的日志收集,日志分析,和日志报警、流量收集、流量分析、流量报警。能够高效的查看相关的网络设备日志,流量,及日志和流量数据包的具体内容,及时了解相关数据。同时实时的错误和阀值报警让使用者在有重大网络波动下能第一时刻了解网络状态。实时保存的数据,为其他项目的开展提供了支撑。
Description
技术领域
本发明涉及互联网技术领域,具体而言,涉及一种基于web的网络设备日志流量分析方法及装置。
背景技术
随着中国社会经济的快速发展和科学技术的全面进步,中国互联网行业得到迅猛的发展。在社会快速转向数字化,信息化,网络化、的浪潮中,网络管理,大数据分类,智能化布局,安全化备份已经成为公司和事业单位的标准目标和前进方向。
在计算机技术不断发展的今天,用一款信息处理利器来提高企业的便利,这将对企业的管理和发展带来前所未有的改变,同时为企业的业务动态发展增添永久的动力。
目前现有市面上关于网络设备的日志收集和流量收集软件及报警管理系统大多都比较单一,工作效率低,无法满足企业在日常工作中的使用需求。
因此,如何对网络设备的日志和流量信息进行高效处理和反馈,是目前亟待解决的问题。
发明内容
为了改善上述问题,本发明提供了一种基于web的网络设备日志流量分析方法及装置。
本发明实施例的第一方面,提供了一种基于web的网络设备日志流量分析方法,应用于云端服务器,包括:
对不同品牌或者型号网络设备的日志信息和流量镜像信息进行收集;
按照预先设置的分类标签信息,分别对收集到的日志信息或流量镜像信息进行匹配,根据匹配结果对日志信息或流量镜像信息进行分类和关键字标注,并添加对应的标签;
将分类之后的日志信息或流量镜像信息保存到数据库中,并根据分类结果建立对应的索引信息;
接受外部输入的查询指令,根据查询指令从数据库中检索对应的日志信息或流量镜像信息,并将检索结果进行输出;
根据预先设置的事件触发条件,对收集到的日志信息或流量镜像信息进行监控,当满足事件触发条件时,对外发出与事件对应的报警信息
可选地,所述根据查询指令从数据库中检索对应的日志信息或流量镜像信息的步骤,具体包括:
如果所述查询指令包括分类信息,则根据所述索引信息从数据库中检索带有对应分类的标签的日志信息或流量镜像信息。
可选地,所述根据查询指令从数据库中检索对应的日志信息或流量镜像信息的步骤,具体包括:
如果所述查询指令包括关键字,则从数据库中检索与所述关键字匹配的日志信息或流量镜像信息。
可选地,所述预先设置的事件触发条件,包括表示日志出现错误的错误返回值和流量阀值,所述当满足事件触发条件时,对外发出与事件对应的报警信息的步骤,具体包括:
当检测到日志信息的错误返回值时,根据所述错误返回值对应的网络设备,向对应的外部端口发出日志错误报警;
当检测到流量镜像信息的流量超过所述流量阀值时,根据流量镜像信息的来源,向对应的外部端口发出流量波动报警。
可选地,所述方法还包括:
根据外部端口数据展示需求,从数据库中实时输出相应的日志信息或流量镜像信息以供展示。
本发明实施例的第二方面,提供了一种基于web的网络设备日志流量分析装置,应用于云端服务器,包括:
信息收集单元,用于对不同品牌或者型号网络设备的日志信息和流量镜像信息进行收集;
信息匹配单元,用于按照预先设置的分类标签信息,分别对收集到的日志信息或流量镜像信息进行匹配,根据匹配结果对日志信息或流量镜像信息进行分类和关键字标注,并添加对应的标签
数据保存单元,用于将分类之后的日志信息或流量镜像信息保存到数据库中,并根据分类结果建立对应的索引信息;
信息输出单元,用于接受外部输入的查询指令,根据查询指令从数据库中检索对应的日志信息或流量镜像信息,并将检索结果进行输出;
监控报警单元,用于根据预先设置的事件触发条件,对收集到的日志信息或流量镜像信息进行监控,当满足事件触发条件时,对外发出与事件对应的报警信息。
可选地,所述信息输出单元,具体用于:
如果所述查询指令包括分类信息,则根据所述索引信息从数据库中检索带有对应分类的标签的日志信息或流量镜像信息。
可选地,所述信息输出单元,具体用于:
如果所述查询指令包括关键字,则从数据库中检索与所述关键字匹配的日志信息或流量镜像信息。
可选地,所述预先设置的事件触发条件,包括表示日志出现错误的错误返回值和流量阀值,所述监控报警单元,具体用于:
当检测到日志信息的错误返回值时,根据所述错误返回值对应的网络设备,向对应的外部端口发出日志错误报警;
当检测到流量镜像信息的流量超过所述流量阀值时,根据流量镜像信息的来源,向对应的外部端口发出流量波动报警。
可选地,所述信息输出单元还用于:
根据外部端口数据展示需求,从数据库中实时输出相应的日志信息或流量镜像信息以供展示。
综上所述,本发明提供了一种基于web的网络设备日志流量分析方法及装置,基于web终端日志流量管理,实现实时的日志收集,日志分析,和日志报警、流量收集、流量分析、流量报警。能够高效的查看相关的网络设备日志,流量,及日志和流量数据包的具体内容,及时了解相关数据。同时实时的错误和阀值报警让使用者在有重大网络波动下能第一时刻了解网络状态。实时保存的数据,为其他项目的开展提供了支撑。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的基于web的网络设备日志流量分析方法的应用场景示意图;
图2为本发明实施例的基于web的网络设备日志流量分析方法的方法流程图;
图3为本发明实施例的基于web的网络设备日志流量分析方法的实际案例的实施流程图;
图4为本发明实施例的基于web的网络设备日志流量分析装置的功能模块框图。
图标:
云端服务器100;设备终端200;信息收集单元110;信息匹配单元120;数据保存单元130;信息输出单元140;监控报警单元150。
具体实施方式
随着中国社会经济的快速发展和科学技术的全面进步,中国互联网行业得到迅猛的发展。在社会快速转向数字化,信息化,网络化、的浪潮中,网络管理,大数据分类,智能化布局,安全化备份已经成为公司和事业单位的标准目标和前进方向。
在计算机技术不断发展的今天,用一款信息处理利器来提高企业的便利,这将对企业的管理和发展带来前所未有的改变,同时为企业的业务动态发展增添永久的动力。
目前现有市面上关于网络设备的日志收集和流量收集软件及报警管理系统大多都比较单一,工作效率低,无法满足企业在日常工作中的使用需求。
因此,如何对网络设备的日志和流量信息进行高效处理和反馈,是目前亟待解决的问题。
鉴于此,本发明设计者设计了一种基于web的网络设备日志流量分析方法及装置,基于web终端日志流量管理,实现实时的日志收集,日志分析,和日志报警、流量收集、流量分析、流量报警。能够高效的查看相关的网络设备日志,流量,及日志和流量数据包的具体内容,及时了解相关数据。同时实时的错误和阀值报警让使用者在有重大网络波动下能第一时刻了解网络状态。实时保存的数据,为其他项目的开展提供了支撑。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例
请参阅图1,本实施例提供的一种基于web的网络设备日志流量分析方法、装置的应用场景示意图。
如图1所示,本发明提供的一种基于web的网络设备日志流量分析方法、装置,应用于云端服务器100,所述云端服务器100分别与设备终端200通过互联网或者其他方式连接。设备终端200可以是PC电脑、手机、平板电脑,或者其他具有信息交互功能的设备。需要进行日志流量分析的用户,可以通过设备终端200访问云端服务器100进行相应的操作。云端服务器100收集了日志信息和流量镜像信息,并保存到数据库中,用户可以通过设备终端200向云端服务器100发送查询指令,并接受云端服务器100反馈的相应信息。同时云端服务器100基于监控的内容,触发报警时,也会将报警信息发送的对应的设备终端200处。除此之外,用户还可以使用设备终端200通过特定端口与云端服务器100建立持续的数据连接,实时接受云端服务器100发送的信息,用于实时的数据展示或者其他后续功能的使用。
需要注意的是,本发明提供的一种基于web的网络设备日志流量分析方法、装置,还可以应用在除云端服务器100以外的本地终端上,如本地服务器、PC电脑、智能手机、平板电脑,或者其他具有数据处理及数据交互功能的设备。当在本地终端上使用时,用户可以通过本地终端直接输入信息,也可以通过其他与本地终端建立了数据通信的设备进行信息的交互。
在上述基础上,如图2所示,为本发明一实施例提供的基于web的网络设备日志流量分析方法,该方法包括:
步骤S101,对不同品牌或者型号网络设备的日志信息和流量镜像信息进行收集。
对于网络设备的日志信息收集,不同品牌或者型号网络设备,其对于日志收集所采用的命令不同,因此,在收集不同品牌或者型号网络设备的日志信息,需要使用与之对应的命令,将不同网络设备厂家的远程日志统一处理收集到服务器进行处理。
其中,不同网络设备可以是交换机,防火墙,路由器,vpn等种类,品牌也可以是市面上任何一种有相关产品的品牌。
同样的,对于网络设备的流量镜像信息收集,不同品牌或者型号网络设备,其对于日志收集所采用的命令不同,因此,在收集不同品牌或者型号网络设备的日志信息,需要使用与之对应的命令,将不同网络设备厂家的远程日志统一处理收集到服务器进行处理。
步骤S102,按照预先设置的分类标签信息,分别对收集到的日志信息或流量镜像信息进行匹配,根据匹配结果对日志信息或流量镜像信息进行分类和关键字标注,并添加对应的标签。
分类标签信息可以根据用户的使用需求来定义,比如网络设备的品牌,型号,流量所属的网络等。设置了分类标签信息后,根据分类标签信息的具体内容,将收集志信息或流量镜像信息打上与分类标签信息对应的标签。分类标签信息可以对应日志信息或流量镜像信息的来源,也可以对应信息本身的一些属性,如ip地址、端口、聚合、error等。其中信息的来源对应不同的分类,本身的属性对应关键字。用户根据自己的使用需求,可以对关键字的设置预先进行设置,以匹配个性化的需求。
例如,来自华为品牌网络设备的网络日志,分类后打上的是huawei-switch标签。
步骤S103,将分类之后的日志信息或流量镜像信息保存到数据库中,并根据分类结果建立对应的索引信息。
通过建立索引信息,能够方便外部访问数据库时,能够快速准确的获取相应的信息。不同索引信息对应不同模块的信息,方便不同类型的分类查询。关键字对应不同属性的信息,方便进行更精细化的查询。
步骤S104,接受外部输入的查询指令,根据查询指令从数据库中检索对应的日志信息或流量镜像信息,并将检索结果进行输出。
外部需要调取数据库中的内容进行使用时,通过向服务器发送查询指令来获取对应的反馈信息。服务器接受到查询指令后,根据查询指令从数据库中检索对应的日志信息或流量镜像信息,并将检索结果进行输出,返回至发送该查询指令指定的设备终端。设备终端在接收到服务器反馈的日志信息或流量镜像信息后,进行相应信息的显示。
具体地,如果所述查询指令包括分类信息,则根据所述索引信息从数据库中检索带有对应分类的标签的日志信息或流量镜像信息。
例如,某用户希望查询H3C交换机的日志信息,则在查询指令添加对应H3C交换机的分类信息。服务器接受到该查询指令后,根据查询指令中添加的对应H3C交换机的分类信息,从数据库中检索对应H3C交换机的日志信息,进行反馈。
例如,某用户希望查询属于局域网vlan101的网络设备流量情况,则在查询指令添加对应局域网vlan101的分类信息。服务器接受到该查询指令后,根据查询指令中添加的对应局域网vlan10的分类信息,从数据库中检索对应局域网vlan10的流量镜像信息,进行反馈。
作为本发明实施的优选实施方式,服务器除了根据查询指令反馈相应信息以供显示外,还根据外部端口数据展示需求,从数据库中实时输出相应的日志信息或流量镜像信息以供展示。
例如,某平台希望持续展示某个分类的网络设备的日志和流量情况,基于该需求,与服务器通过特定端口建立持续连接后,服务器从数据库中实时输出该分析信息对应的日志信息或流量镜像信息,以供该平台实现实时的数据信息展示。
步骤S105,根据预先设置的事件触发条件,对收集到的日志信息或流量镜像信息进行监控,当满足事件触发条件时,对外发出与事件对应的报警信息。
在日志信息或流量镜像信息通过匹配,并添加了标签后,服务器对手机到的信息还实时进行监控。并根据预先设置的事件触发条件判断是否需要进行报警。事件触发条件根据用户的使用需求进行设置,不同用户对于网络日志以及流量的关注点可能存在不同,因此需要根据用户需求,设置对应不同用户的事件触发条件。当监控到日志信息或流量镜像信息满足某个事件触发条件时,需要将报警信息发送到该事件触发条件对应需求的用户出。
作为本发明实施的优选实施方式,预先设置的事件触发条件,包括表示日志出现错误的错误返回值和流量阀值。其中,如error、0\1、100M、800M等。当检测到日志信息的错误返回值时,根据所述错误返回值对应的网络设备,向对应的外部端口发出日志错误报警;当检测到流量镜像信息的流量超过所述流量阀值时,根据流量镜像信息的来源,向对应的外部端口发出流量波动报警。
当向外发出日志错误报警或者流量波动报警时,根据用户预先设置的自定义的报警模板,调用对应的应用程序接口(如钉钉,短信,微信,邮箱等),将信息发送到相应的人员处(如责任人,责任组,邮箱主,短信等)。实现了时报警到责任人的功能。
下面通过一个具体的例子来对本发明实施例提供的方法的实施方式进行说明,如图3所示:
通过各个品牌商网络设备命令收集日志到服务端服务器rsyslog服务(192.168.13.6)。
H3C交换机命令:info-center loghost 192.168.13.6
华为交换机命令:info-center loghost 192.168.13.6
天融信vpn命令:log log set ipaddr'192.168.13.6'port UDP:514 logtypesyslog trans enable trans_gatheryes
Juniper防火墙命令:set system syslog host192.18.13.6 any notice
Cisco交换机命令:logging 192.168.13.6。
通过各个品牌商流量镜像收集流量到服务端服务器ntopng服务(192.168.13.6)。
H3C交换机命令:mirroring-group 1 monitor-port GigabitEthernet 1/0/45
华为交换机命令:observe-port 1 interface GigabitEthernet 1/0/46。
Cisco交换机命令:moniter session 1 destination interfaceGigabitEthernet 1/0/47
Juniper防火墙命令:set interfaces ge-0/0/5 unit 0 family inet address1.1.1.1/24
因为不同网络设备厂家的端口镜像输出命令不同,所以统一处理收集到服务器192.168.13.6的ntopng服务。
进行匹配和标签的添加:
192.168.13.120/124搭建filebeat+kafka+zookeeper+logstach+elasticsearch+kibana集群,
客户端服务器13.6安装filebeat服务把日志流量按log_type标题打上标签数据通过kafka服务端口9092上传到消息队列kafka(此标题为设置索引模块依据)。
网络日志类型log_type标题:例(h3c-switch,huawei-switch)。
流量类型log_type标题:例(total-flow,vlan101)。
kafka通过zookeeper集群端口2181分布式形成一个kafka集群(防止单点故障)。
Kafka通过logstach:input(接入数据kafka端口9092)+output(输出数据es接口9200)写入到elasticsearch数据库。
可以自定义自己需要的数据,填写不同的标题入库到elasticsearch数据库以便后期的分类查询。
192.168.13.121搭建nginx+keepalive接入kibana192.168.13.120.新建index索引模块:
网络日志类型:例(h3c-switch*,huawei-switch*)。
流量类型:例(total-flow*,vlan101*)。
不同索引展示不同模块的数据内容,方便不同类型的分类查询。
通过logstash的filter的grok,geoip,useragnt,date,root等模块设置不同的关键字,目的为精细化查询,到web端展示。
可自定义自己需要的内容,精细化处理显示。
通过logstash的output-exec模块调用自定义php监控脚本,设置不同的错误返回值,或流量阀值,如100M、800M、error、0\1等,调用钉钉,短信,微信,邮箱等接口,报警到责任人,责任组,邮箱主,短信等。
跟据自己公司开通的业务和报警系统自定义报警报警模板。
上述方案已经运行1年左右时间,总体运行情况良好,监控正常,报警正常。在公司iso质量管理体系认证中发挥重要作用。在公司网络管理中发挥重要作用。能及时反映公司办公网和机房idc网络的全面状态。
综上,本发明提供了一种基于web的网络设备日志流量分析方法,基于web终端日志流量管理,实现实时的日志收集,日志分析,和日志报警、流量收集、流量分析、流量报警。能够高效的查看相关的网络设备日志,流量,及日志和流量数据包的具体内容,及时了解相关数据。同时实时的错误和阀值报警让使用者在有重大网络波动下能第一时刻了解网络状态。实时保存的数据,为其他项目的开展提供了支撑。
如图4所示,本发明实施提供的一种基于web的网络设备日志流量分析装置,所述装置包括:
信息收集单元110,用于对不同品牌或者型号网络设备的日志信息和流量镜像信息进行收集;
信息匹配单元120,用于按照预先设置的分类标签信息,分别对收集到的日志信息或流量镜像信息进行匹配,根据匹配结果对日志信息或流量镜像信息进行分类和关键字标注,并添加对应的标签
数据保存单元130,用于将分类之后的日志信息或流量镜像信息保存到数据库中,并根据分类结果建立对应的索引信息;
信息输出单元140,用于接受外部输入的查询指令,根据查询指令从数据库中检索对应的日志信息或流量镜像信息,并将检索结果进行输出;
监控报警单元150,用于根据预先设置的事件触发条件,对收集到的日志信息或流量镜像信息进行监控,当满足事件触发条件时,对外发出与事件对应的报警信息。
作为本发明实施例的优选实施方式,所述信息输出单元140,具体用于:
如果所述查询指令包括分类信息,则根据所述索引信息从数据库中检索带有对应分类的标签的日志信息或流量镜像信息。
作为本发明实施例的优选实施方式,所述信息输出单元140,具体用于:
如果所述查询指令包括关键字,则从数据库中检索与所述关键字匹配的日志信息或流量镜像信息。
作为本发明实施例的优选实施方式,所述预先设置的事件触发条件,包括表示日志出现错误的错误返回值和流量阀值,所述监控报警单元150,具体用于:
当检测到日志信息的错误返回值时,根据所述错误返回值对应的网络设备,向对应的外部端口发出日志错误报警;
当检测到流量镜像信息的流量超过所述流量阀值时,根据流量镜像信息的来源,向对应的外部端口发出流量波动报警。
作为本发明实施例的优选实施方式,所述信息输出单元140还用于:
根据外部端口数据展示需求,从数据库中实时输出相应的日志信息或流量镜像信息以供展示。
本发明实施例提供的基于web的网络设备日志流量分析装置,用于实现上述基于web的网络设备日志流量分析方法,因此具体实施方式与上述方法相同,在此不再赘述。
综上所述,本发明提供了一种基于web的网络设备日志流量分析方法及装置,基于web终端日志流量管理,实现实时的日志收集,日志分析,和日志报警、流量收集、流量分析、流量报警。能够高效的查看相关的网络设备日志,流量,及日志和流量数据包的具体内容,及时了解相关数据。同时实时的错误和阀值报警让使用者在有重大网络波动下能第一时刻了解网络状态。实时保存的数据,为其他项目的开展提供了支撑。
在本申请所公开的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种基于web的网络设备日志流量分析方法,应用于云端服务器,其特征在于,包括:
对不同品牌或者型号网络设备的日志信息和流量镜像信息进行收集;
按照预先设置的分类标签信息,分别对收集到的日志信息或流量镜像信息进行匹配,根据匹配结果对日志信息或流量镜像信息进行分类和关键字标注,并添加对应的标签;
将分类之后的日志信息或流量镜像信息保存到数据库中,并根据分类结果建立对应的索引信息;
接受外部输入的查询指令,根据查询指令从数据库中检索对应的日志信息或流量镜像信息,并将检索结果进行输出;
根据预先设置的事件触发条件,对收集到的日志信息或流量镜像信息进行监控,当满足事件触发条件时,对外发出与事件对应的报警信息。
2.根据权利要求1所述的基于web的网络设备日志流量分析方法,其特征在于,所述根据查询指令从数据库中检索对应的日志信息或流量镜像信息的步骤,具体包括:
如果所述查询指令包括分类信息,则根据所述索引信息从数据库中检索带有对应分类的标签的日志信息或流量镜像信息。
3.根据权利要求1所述的基于web的网络设备日志流量分析方法,其特征在于,所述根据查询指令从数据库中检索对应的日志信息或流量镜像信息的步骤,具体包括:
如果所述查询指令包括关键字,则从数据库中检索与所述关键字匹配的日志信息或流量镜像信息。
4.根据权利要求1所述的基于web的网络设备日志流量分析方法,其特征在于,所述预先设置的事件触发条件,包括表示日志出现错误的错误返回值和流量阀值,所述当满足事件触发条件时,对外发出与事件对应的报警信息的步骤,具体包括:
当检测到日志信息的错误返回值时,根据所述错误返回值对应的网络设备,向对应的外部端口发出日志错误报警;
当检测到流量镜像信息的流量超过所述流量阀值时,根据流量镜像信息的来源,向对应的外部端口发出流量波动报警。
5.根据权利要求1所述的基于web的网络设备日志流量分析方法,其特征在于,所述方法还包括:
根据外部端口数据展示需求,从数据库中实时输出相应的日志信息或流量镜像信息以供展示。
6.一种基于web的网络设备日志流量分析装置,应用于云端服务器,其特征在于,包括:
信息收集单元,用于对不同品牌或者型号网络设备的日志信息和流量镜像信息进行收集;
信息匹配单元,用于按照预先设置的分类标签信息,分别对收集到的日志信息或流量镜像信息进行匹配,根据匹配结果对日志信息或流量镜像信息进行分类和关键字标注,并添加对应的标签
数据保存单元,用于将分类之后的日志信息或流量镜像信息保存到数据库中,并根据分类结果建立对应的索引信息;
信息输出单元,用于接受外部输入的查询指令,根据查询指令从数据库中检索对应的日志信息或流量镜像信息,并将检索结果进行输出;
监控报警单元,用于根据预先设置的事件触发条件,对收集到的日志信息或流量镜像信息进行监控,当满足事件触发条件时,对外发出与事件对应的报警信息。
7.根据权利要求6所述的基于web的网络设备日志流量分析装置,其特征在于,所述信息输出单元,具体用于:
如果所述查询指令包括分类信息,则根据所述索引信息从数据库中检索带有对应分类的标签的日志信息或流量镜像信息。
8.根据权利要求6中所述的基于web的网络设备日志流量分析装置,其特征在于,所述信息输出单元,具体用于:
如果所述查询指令包括关键字,则从数据库中检索与所述关键字匹配的日志信息或流量镜像信息。
9.根据权利要求8所述的基于web的网络设备日志流量分析装置,其特征在于,所述预先设置的事件触发条件,包括表示日志出现错误的错误返回值和流量阀值,所述监控报警单元,具体用于:
当检测到日志信息的错误返回值时,根据所述错误返回值对应的网络设备,向对应的外部端口发出日志错误报警;
当检测到流量镜像信息的流量超过所述流量阀值时,根据流量镜像信息的来源,向对应的外部端口发出流量波动报警。
10.根据权利要求9所述的基于web的网络设备日志流量分析装置,其特征在于,所述信息输出单元还用于:
根据外部端口数据展示需求,从数据库中实时输出相应的日志信息或流量镜像信息以供展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210891479.7A CN115277365A (zh) | 2022-07-27 | 2022-07-27 | 一种基于web的网络设备日志流量分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210891479.7A CN115277365A (zh) | 2022-07-27 | 2022-07-27 | 一种基于web的网络设备日志流量分析方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115277365A true CN115277365A (zh) | 2022-11-01 |
Family
ID=83771795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210891479.7A Pending CN115277365A (zh) | 2022-07-27 | 2022-07-27 | 一种基于web的网络设备日志流量分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115277365A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107819633A (zh) * | 2017-11-30 | 2018-03-20 | 国网河南省电力公司商丘供电公司 | 一种快速发现并处理网络故障的系统及其处理方法 |
CN108121637A (zh) * | 2017-12-19 | 2018-06-05 | 北京盖娅互娱网络科技股份有限公司 | 一种用于记录应用日志的方法与装置 |
CN112565232A (zh) * | 2020-11-30 | 2021-03-26 | 国网江苏省电力有限公司检修分公司 | 一种基于模板和流量状态的日志解析方法及系统 |
CN114385444A (zh) * | 2021-12-27 | 2022-04-22 | 中国农业银行股份有限公司云南省分行 | 基于elk的可视化网络日志分析监控平台 |
CN114500307A (zh) * | 2021-12-31 | 2022-05-13 | 中智行(苏州)科技有限公司 | 基于端口镜像技术的网络流量监控、储存及回放的方法 |
-
2022
- 2022-07-27 CN CN202210891479.7A patent/CN115277365A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107819633A (zh) * | 2017-11-30 | 2018-03-20 | 国网河南省电力公司商丘供电公司 | 一种快速发现并处理网络故障的系统及其处理方法 |
CN108121637A (zh) * | 2017-12-19 | 2018-06-05 | 北京盖娅互娱网络科技股份有限公司 | 一种用于记录应用日志的方法与装置 |
CN112565232A (zh) * | 2020-11-30 | 2021-03-26 | 国网江苏省电力有限公司检修分公司 | 一种基于模板和流量状态的日志解析方法及系统 |
CN114385444A (zh) * | 2021-12-27 | 2022-04-22 | 中国农业银行股份有限公司云南省分行 | 基于elk的可视化网络日志分析监控平台 |
CN114500307A (zh) * | 2021-12-31 | 2022-05-13 | 中智行(苏州)科技有限公司 | 基于端口镜像技术的网络流量监控、储存及回放的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11829330B2 (en) | Log data extraction from data chunks of an isolated execution environment | |
US6549208B2 (en) | Information security analysis system | |
US6269447B1 (en) | Information security analysis system | |
US9392003B2 (en) | Internet security cyber threat reporting system and method | |
US11755531B1 (en) | System and method for storage of data utilizing a persistent queue | |
JP2014050951A5 (zh) | ||
US11042525B2 (en) | Extracting and labeling custom information from log messages | |
CN109447485B (zh) | 一种基于规则的实时决策系统及方法 | |
EP1097554B1 (en) | Information security analysis system | |
CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
CN102591980A (zh) | 即时通信中用以进行图像文件归类的方法及系统 | |
EP3933579A1 (en) | Correlation of virtual network traffic across bare metal servers | |
CN108132868A (zh) | 一种数据监控方法、装置、计算设备及存储介质 | |
US9054969B2 (en) | System and method for situation-aware IP-based communication interception and intelligence extraction | |
CN114066418B (zh) | 一种基于数据中台的消防数据处理系统 | |
CN110968479A (zh) | 一种针对应用程序的业务级全链路监控方法及服务器 | |
CN113762543A (zh) | 一种公交运行维护系统 | |
CN115277365A (zh) | 一种基于web的网络设备日志流量分析方法及装置 | |
US11734297B1 (en) | Monitoring platform job integration in computer analytics system | |
CN115426216A (zh) | 一种基于复杂虚拟仪器软件的物联网节点互联方法 | |
CN210804423U (zh) | 一种网站信息采集发布平台系统 | |
CN114024861A (zh) | 一种结合内容审计的用户上网行为审计的方法及系统 | |
CN114390093A (zh) | 一种虚拟网关模拟系统 | |
CN109684158B (zh) | 分布式协调系统的状态监控方法、装置、设备及存储介质 | |
US11113301B1 (en) | Generating metadata for events based on parsed location information of data chunks of an isolated execution environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |