CN108833192A - 一种网络监控方法和监控装置 - Google Patents

一种网络监控方法和监控装置 Download PDF

Info

Publication number
CN108833192A
CN108833192A CN201810920447.9A CN201810920447A CN108833192A CN 108833192 A CN108833192 A CN 108833192A CN 201810920447 A CN201810920447 A CN 201810920447A CN 108833192 A CN108833192 A CN 108833192A
Authority
CN
China
Prior art keywords
information
module
manager
pushed
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810920447.9A
Other languages
English (en)
Inventor
王大强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Neusoft Wang Hai Technology Co Ltd
Original Assignee
Beijing Neusoft Wang Hai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Neusoft Wang Hai Technology Co Ltd filed Critical Beijing Neusoft Wang Hai Technology Co Ltd
Priority to CN201810920447.9A priority Critical patent/CN108833192A/zh
Publication of CN108833192A publication Critical patent/CN108833192A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种网络监控方法，包括下述步骤：步骤1)采集信息；步骤2)将所述信息集中传输形成队列；步骤3)对在所述队列中的信息按预警规则分为实时推送信息和非实时拉取信息；步骤4)将所述实时推送信息推送给管理者以便主动显示给管理者，将所述非实时拉取信息拉取到存储模块中使得该信息可以应管理者要求而被动显示给管理者。本发明还涉及一宗网络监控装置。采用事件引擎，解耦报警规则，对监控增量预警类型，使用异步推拉结合的模式，从而降低系统流量，进而降低系统压力。

Description

一种网络监控方法和监控装置
技术领域
本发明涉及网络管理领域，特别是一种网络监控方案，还涉及一种网络监控装置。
背景技术
各大型企业对业务连续性管理越来越重视，甚至有些企业还引入了服务水平协议(SLA)的管理框架，对应用系统的服务能力进行量化考核，可见，对IT应用系统健康状况变化趋势的掌握和预测，以及对一个IT应用系统的健康状况做出客观评估，是目前各个行业迫切要求。
确保顺利运行业务应用以及公司的IT基础架构的健康情况都非常关键，但如果没有正确的工具，这一点很难做到。宕机的影响可能代价很高，而且会直接对收入和利润、品牌价值以及(最为重要的)客户产生影响。
因此需要建立应用系统监测与诊断平台，能够弥补目前监测手段的不足，使故障发现、定位更加及时、准确，它不仅可以使运维管理体系更加完善，而且能够降低IT安全事件的处理成本，提升IT安全事件的应对能力。
发明内容
现有技术的客观缺点：现有监控系统可扩展性不强，当有新增预警条目，系统通常需要额外代码处理。现行监控系统，当监控agent数目多并预警集中某个时间段，监控系统因为数据流量剧增，导致监控系统响应慢，甚至监控系统出现假死、宕机的情况。因此本发明提出了如下的技术方案:
一种网络监控方法，包括下述步骤：
步骤1)采集信息；
步骤2)将所述信息集中传输形成队列；
步骤3)对在所述队列中的信息按预警规则分为实时推送信息和非实时拉取信息；
步骤4)将所述实时推送信息推送给管理者以便主动显示给管理者，将所述非实时拉取信息拉取到存储模块中使得该信息可以应管理者要求而被动显示给管理者。
优选地，在步骤1)中使用了分布式服务传入监控装置。
优选地，步骤2)使用tcp协议进行传输。
最好，在步骤4)实时推送信息推送到管理者的手机、邮箱、微信或者qq上。
本发明还提出一种采用上述的网络监控方法的网络监控装置，包括用于接收信息的信息采集模块，配置预警规则的数据配置模块，根据预警规则将信息分为实时推送信息和非实时拉取信息的处理模块，和进行推送给管理者的渠道网关模块和供管理者调取的存储模块。
优选地，所述处理模块包括基于所述信息采集模块和数据配置模块进行数据处理的消息处理分发模块和对来自所述消息处理分发模块的信息进行整理的分析整理模块。
优选地，所述渠道网关模块接收来自所述消息处理模块和所述分析整理模块的信息。
最好，所述存储模块存储来自所述分析整理模块和所述数据配置模块的数据。
最好，所述渠道网关模块封装多种渠道逻辑以便对渠道信息进行透明化。
优选地，所述数据处理包括整理、清洗和/或者转换。
因此本发明的优点包括采用事件引擎，多个对象同时监听某一个主题对象。这个主题对象在状态上发生变化时，会通知所有观察者对象，使它们能够自动更新自己。从而降低代码耦合性，当有新增预警规则时，只需动态增加信息的观察者，并处理相关逻辑，不影响其他观察者对象。对监控增量预警类型，使用异步推拉结合的模式，监控报警后系统将报警数据写入消息队列后立即返回，系统响应迅速处理其他报警，消息队列消费者任务将报警推送给所有当前在已经有用户订阅列表中，非订阅用户后再根据关注预警拉取预警信息列表，从而降低系统流量，进而降低系统压力。
附图说明
图1为本发明的整体配置图；
图2为本发明的网络监测装置示意图；
图3为本发明的网络监测方法示意图。
具体实施例
图1示出本发明的整体配置图，探针101分别布设在各种应用中，如各种服务器中，所述探针对应的英文术语为Agent，用于将各种需要的信息，比如硬件使用情况、可能的风险等等感应到并形成相应的数据以队列形式进行传送形成统一的队列集合106，其中Agent101采用tcp协议传输数据。其中数据进入所述队列106，队列106可以起到缓冲排队数据信息，从而起到消峰填谷作用，并根据报警类型区分推拉模式Topic，推拉取决于报警业务配置，对于实时性要求高的报警需要采用推送方式，对于非实时性报警采用后续拉去的方式，从而一定情况下避免数据量过大的峰值压力问题。
实时推送107中实时推送报警消息，渠道网关屏蔽不同渠道差异性，发送到不同终端设备上，例如手机、邮件、微信和/或者qq等通讯方式。在非实时拉取108中对于非实时报警消息，统一存储到文件数据库系统Hbase，在后续通过终端在需要的时候，进行拉取数据，从而减少对数据库访问压力。
图1示出了实时推送107将信息推送给渠道网关103并有渠道网关将该实时推送信息发给用户或者管理者的终端102，所述渠道网关103同时将信息发送给非实时拉取108。
所述非实时拉取108将信息发送给数据Hbase104，在由Hbase发送给数据库105，图1中为MySQL形成的数据库。
图2中数据采集模块201：客户端部署的轻量级agent101，负责数据报文持续采集；数据配置模块203：预警推拉设置、主机信息配置等基础信息配置；消息处理分发模块202：根据数据配置模块配置信息，进行对数据整理、清洗、转换，分发；分析整理模块206：数据分析，整理，汇总等；数据存储模块205：大数据存储及关系数据库存储；渠道网关模块204：封装不同渠道逻辑，对渠道信息透明化。图2也示出了各个模块之间的连接关系，数据采集模块201将信息发送给消息处理分发模块202，消息处理分发模块将信息分别传送给分析整理模块206和渠道网关模块204.数据控制模块203将预警规则发送给该数据处理分发模块202，所述数据配置模块203和分析整理模块206将信息发送给数据存储模块205。所述分析整理模块206也会将信息发送给渠道网管模块204。所述模块涉及的具体装置可以参考图1的说明。
图3示出了本发明的工作流程：开始301后，进行分类推拉设置302，然后进行收集监控主机的信息303，将信息进行根据基础设置是否直接推送304，如果需要推送则将信息推送到渠道网关305并由渠道网关进行相应操作，并结束309本发明的流程；当不需要推送时，则进行存储数据306并结束309本流程。当需要拉取时，由不同渠道终端从该存储数据306中拉取信息并回到开始301。
图3示出了在基础模块中，根据报警规则分类设置推拉模式；监控agent采集主机中监控数据，根据设置进行分发推拉模式数据，对于推数据，直接推送渠道网关，至最终渠道终端用户；非实时数据，用户根据在需要时候，通过web终端，在拉取数据的时候，调用数据库汇总数据得出，异步处理，降低数据库压力。
本发明的应用场景：
医疗行业公司为了保证业务连续高可用性，监控系统必须对可能导致系统出现问题的宕机的所有地方增加监控点，并且具有并发高、业务监控复杂等，例如用户希望在cpu达到80％的时候，及时通知运营主管。但是当cpu在60％的时候，可作为风险点报告，不需要实时通知运营人员。基于如上需求，通过推拉模式监控装置可以快速达到如上需求，即：
预警规则设置，cpu达到80％，通知运营主管短信号(130xxx)。
预警规则设置，80％>cpu>50％,预警列表显示。
如上设置后，当cpu>80％，实时发送，运营主管手机收到ip＝xx.xx.xx主机cpu预警，请关注。
运营主管，主动查询Web预警报表后，会发现ip＝xx.xx.xx主机cpu预警80％>cpu>50％，请关注
上述各实施例仅是本发明的优选实施方式，在本技术领域内，凡是基于本发明技术方案上的变化和改进，不应排除在本发明的保护范围之外。

Claims (10)

1.一种网络监控方法，包括下述步骤：
步骤1)采集信息；
步骤2)将所述信息集中传输形成队列；
步骤3)对在所述队列中的信息按预警规则分为实时推送信息和非实时拉取信息；
步骤4)将所述实时推送信息推送给管理者以便主动显示给管理者，将所述非实时拉取信息拉取到存储模块中使得该信息可以应管理者要求而被动显示给管理者。
2.根据权利要求1所述的网络监控方法，其特征在于，在步骤1)中使用了分布式服务传入监控装置。
3.根据权利要求2所述的网络监控方法，其特征在于，步骤2)使用tcp协议进行传输。
4.根据权利要求3所述的网络监控方法，其特征在于，在步骤4)实时推送信息推送到管理者的手机、邮箱、微信或者qq上。
5.一种采用根据权利要求1-4中任一项所述的网络监控方法的网络监控装置，包括用于接收信息的信息采集模块，配置预警规则的数据配置模块，根据预警规则将信息分为实时推送信息和非实时拉取信息的处理模块，和进行推送给管理者的渠道网关模块和供管理者调取的存储模块。
6.根据权利要求5所述的网络监控装置，其特征在于，所述处理模块包括基于所述信息采集模块和数据配置模块进行数据处理的消息处理分发模块和对来自所述消息处理分发模块的信息进行整理的分析整理模块。
7.根据权利要求6所述的网络监控装置，其特征在于，所述渠道网关模块接收来自所述消息处理模块和所述分析整理模块的信息。
8.根据权利要求7所述的网络监控装置，其特征在于，所述存储模块存储来自所述分析整理模块和所述数据配置模块的数据。
9.根据权利要求8所述的网络监控装置，其特征在于，所述渠道网关模块封装多种渠道逻辑以便对渠道信息进行透明化。
10.根据权利要求9所述的网络监控装置，其特征在于，所述数据处理包括整理、清洗和/或者转换。
CN201810920447.9A 2018-08-14 2018-08-14 一种网络监控方法和监控装置 Pending CN108833192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810920447.9A CN108833192A (zh) 2018-08-14 2018-08-14 一种网络监控方法和监控装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810920447.9A CN108833192A (zh) 2018-08-14 2018-08-14 一种网络监控方法和监控装置

Publications (1)

Publication Number Publication Date
CN108833192A true CN108833192A (zh) 2018-11-16

Family

ID=64153973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810920447.9A Pending CN108833192A (zh) 2018-08-14 2018-08-14 一种网络监控方法和监控装置

Country Status (1)

Country Link
CN (1) CN108833192A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6769079B1 (en) * 2000-12-21 2004-07-27 Borland Software Corporation System and method for logging messages in an embedded computer system
CN101741615A (zh) * 2009-12-14 2010-06-16 北京神州泰岳软件股份有限公司 基于服务器的告警过滤系统及方法
CN105245360A (zh) * 2015-09-08 2016-01-13 长威信息科技发展股份有限公司 一种数据中心运维监控告警白名单系统
CN106792856A (zh) * 2016-12-27 2017-05-31 武汉虹信通信技术有限责任公司 一种基于设备级并行度的无线网元管理系统告警处理方法
CN107196804A (zh) * 2017-06-01 2017-09-22 国网山东省电力公司信息通信公司 电力系统终端通信接入网告警集中监控系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6769079B1 (en) * 2000-12-21 2004-07-27 Borland Software Corporation System and method for logging messages in an embedded computer system
CN101741615A (zh) * 2009-12-14 2010-06-16 北京神州泰岳软件股份有限公司 基于服务器的告警过滤系统及方法
CN105245360A (zh) * 2015-09-08 2016-01-13 长威信息科技发展股份有限公司 一种数据中心运维监控告警白名单系统
CN106792856A (zh) * 2016-12-27 2017-05-31 武汉虹信通信技术有限责任公司 一种基于设备级并行度的无线网元管理系统告警处理方法
CN107196804A (zh) * 2017-06-01 2017-09-22 国网山东省电力公司信息通信公司 电力系统终端通信接入网告警集中监控系统及方法

Similar Documents

Publication Publication Date Title
CN110858850B (zh) 一种轨道交通系统综合网管方法、装置及系统
CN101741615B (zh) 基于服务器的告警过滤系统及方法
CN101930656B (zh) 平安城市视频监控系统告警消息处理方法
CN109597867A (zh) 一种基于gis的应急处置方法及系统
CN107451268B (zh) 一种面向实时数据库的断网续传的方法
CN101714930A (zh) 一种实现网络监控的方法及系统
CN107921981A (zh) 分布式机器的监测和控制
CN104601383B (zh) 一种电力通信网故障分段分析方法
CN109558301A (zh) 一种分布式系统数据监测方法、装置及相关设备
CN112671697B (zh) 综合监控系统的数据处理方法、装置和系统
CN101409638B (zh) 一种分布式业务系统故障告警的方法、系统和装置
CN110347694B (zh) 一种基于物联网的设备监控方法、装置及系统
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
CN111049673A (zh) 一种服务网关中api调用统计和监控的方法及系统
CN114090366A (zh) 一种监控数据的方法、装置和系统
CN113760634A (zh) 一种数据处理方法和装置
CN115022360A (zh) 利用考勤进行告警管理方法、系统、装置及存储介质
CN107612764B (zh) 一种传输网管数据采集装置和方法
CN111488997A (zh) 自动运维方法、装置、设备及存储介质
CN108833192A (zh) 一种网络监控方法和监控装置
CN115269516A (zh) 一种日志数据采集管理方法、系统、存储介质和电子设备
CN103312529B (zh) 系统功能的监控方法、装置及监控系统
CN108345650A (zh) 电子发票业务实时监控预警方法及系统
CN112035243A (zh) 数据查询方法、装置、终端及介质
CN113407611B (zh) 一种数据集成分发平台和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 801-2, floor 8, building 3, No. 22, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Wanghai Kangxin (Beijing) Technology Co.,Ltd.

Address before: 100062 11, D seat, Yonggui center, 45 Guang Jie Men street, Dongcheng District, Beijing.

Applicant before: BEIJING NEUSOFT VIEWHIGH TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116

RJ01 Rejection of invention patent application after publication