CN111464390A - 网络应用系统监控预警方法及系统 - Google Patents

网络应用系统监控预警方法及系统 Download PDF

Info

Publication number
CN111464390A
CN111464390A CN202010245868.3A CN202010245868A CN111464390A CN 111464390 A CN111464390 A CN 111464390A CN 202010245868 A CN202010245868 A CN 202010245868A CN 111464390 A CN111464390 A CN 111464390A
Authority
CN
China
Prior art keywords
monitoring
network application
information
data
application system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010245868.3A
Other languages
English (en)
Other versions
CN111464390B (zh
Inventor
陈鑫聪
陈琰
黄浪
张弘
李小玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202010245868.3A priority Critical patent/CN111464390B/zh
Publication of CN111464390A publication Critical patent/CN111464390A/zh
Application granted granted Critical
Publication of CN111464390B publication Critical patent/CN111464390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种网络应用系统监控预警方法及系统,所述方法包括:根据用户输入的监控任务信息建立多个网络应用系统的监控任务;根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息;基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果,并向用户反馈所述监控结果,本发明可对网络应用系统进行自动监控和通知,提高监控的效率和准确性。

Description

网络应用系统监控预警方法及系统
技术领域
本发明涉及计算机互联网技术领域,尤其涉及一种网络应用系统监控预警方法及系统。
背景技术
传统的网络应用系统的监控系统,对于网络应用各组件或系统的监控信息相对分散,存在信息孤岛情况,运维一线人员需要对监控系统的监控过程和分散的监控信息分析进行较多的人工干预、人工操作和人工判断才能准确分析得到监控结果。
发明内容
本发明的一个目的在于提供一种网络应用系统监控预警方法,对网络应用系统进行自动监控和通知,提高监控的效率和准确性。本发明的另一个目的在于提供一种网络应用系统监控预警系统。本发明的再一个目的在于提供一种计算机设备。本发明的还一个目的在于提供一种可读介质。
为了达到以上目的,本发明一方面公开了一种网络应用系统监控预警方法,包括:
根据用户输入的监控任务信息建立多个网络应用系统的监控任务;
根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息;
基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果,并向用户反馈所述监控结果。
优选的,所述根据用户输入的监控任务信息建立多个网络应用系统的监控任务具体包括:
根据用户输入的监控任务信息得到网络应用系统的监控频率、监控时点和分析周期至少之一的监控指标;
根据网络应用系统的监控指标和对应的网络应用系统的连接信息形成监控任务。
优选的,所述根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息具体包括:
根据监控任务中所述网络应用系统的连接信息确定网络应用系统监控信息的数据获取方式,其中,所述数据获取方式包括用户账号信息登陆、网络信息抓取和数据接口交换的至少之一;
根据监控任务中的监控指标通过所述数据获取方式获取网络应用系统的监控信息或者通过所述数据获取方式接收所述网络应用系统传输的监控信息。
优选的,所述基于多个网络应用系统间的上下游关系对多个网络应用系统的监控信息综合分析得到监控结果具体包括:
对所述网络应用系统的监控信息进行缺失值、异常值和重复值的数据清洗或提取处理;
将数据清洗或提取处理后的监控信息进行重分类和标准化得到分类标准数据;
对所述分类标准数据进行数据维度分析确定是否存在数据偏离异常并基于多个网络应用系统间的数据传输路径确定是否存在数据链路异常,根据异常的判断结果形成监控结果。
优选的,所述向用户反馈所述监控结果具体包括:
根据所述监控结果形成预警通知信息;
通过邮件、短信和/或即时通讯方式向用户发送所述预警通知信息。
优选的,进一步包括:
通过预设的回归分析模型分析所述监控信息进行分析预测得到数据波动信息;
根据所述数据波动信息形成预测图形并向用户展示。
本发明还公开了一种网络应用系统监控预警系统,包括:
监控任务形成单元,用于根据用户输入的监控任务信息建立多个网络应用系统的监控任务;
监控信息获取单元,用于根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息;
监控信息分析单元,用于基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果,并向用户反馈所述监控结果。
优选的,所述监控任务形成单元具体用于根据用户输入的监控任务信息得到网络应用系统的监控频率、监控时点和分析周期至少之一的监控指标,根据网络应用系统的监控指标和对应的网络应用系统的连接信息形成监控任务。
优选的,所述监控信息获取单元具体用于根据监控任务中所述网络应用系统的连接信息确定网络应用系统监控信息的数据获取方式,其中,所述数据获取方式包括用户账号信息登陆、网络信息抓取和数据接口交换的至少之一,根据监控任务中的监控指标通过所述数据获取方式获取网络应用系统的监控信息或者通过所述数据获取方式接收所述网络应用系统传输的监控信息。
优选的,所述监控信息分析单元具体用于对所述网络应用系统的监控信息进行缺失值、异常值和重复值的数据清洗或提取处理,将数据清洗或提取处理后的监控信息进行重分类和标准化得到分类标准数据,对所述分类标准数据进行数据维度分析确定是否存在数据偏离异常并基于多个网络应用系统间的数据传输路径确定是否存在数据链路异常,根据异常的判断结果形成监控结果。
优选的,所述监控信息分析单元具体用于根据所述监控结果形成预警通知信息,通过邮件、短信和/或即时通讯方式向用户发送所述预警通知信息。
优选的,进一步包括监控信息预测单元,用于通过预设的回归分析模型分析所述监控信息进行分析预测得到数据波动信息,根据所述数据波动信息形成预测图形并向用户展示。
本发明还公开了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现如上所述方法。
本发明还公开了一种计算机可读介质,其上存储有计算机程序,
该程序被处理器执行时实现如上所述方法。
本发明根据用户输入的监控任务信息建立多个网络应用系统的监控任务,将对各个网络应用系统的监控进行集成,从而用户可通过监控任务信息对多个网络应用系统的监控过程进行定制,监控系统可根据预先设置的监控任务自动获取网络应用系统的监控信息或接收网络应用系统传输的监控信息。进一步的,本发明根据多个网络应用系统间的数据传输路径可以确定多个网络应用系统间的上下游关系,将多个网络应用系统间的监控信息基于数据传输路径可进行横向比对和分析得到监控结果,结合传统的监控信息分析可实现对多个网络应用系统的全面监控,大大提高监控的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本发明网络应用系统监控预警方法一个具体实施例的流程图;
图2示出本发明网络应用系统监控预警方法一个具体实施例中S100的流程图;
图3示出本发明网络应用系统监控预警方法一个具体实施例中S200的流程图;
图4示出本发明网络应用系统监控预警方法一个具体实施例中S300得到监控结果的流程图;
图5示出本发明网络应用系统监控预警方法一个具体实施例中S300向用户反馈预警通知信息的流程图;
图6示出本发明网络应用系统监控预警方法一个具体实施例中监控信息分析预测的流程图;
图7示出本发明网络应用系统监控预警系统一个具体实施例的结构图之一;
图8示出本发明网络应用系统监控预警系统一个具体实施例的结构图之二;
图9示出适于用来实现本发明实施例的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
传统网络应用系统的监控系统获取的网络应用系统的监控信息相对分散,监控信息太多、大杂,需要运维一线人员等用户进行较多的人工干预、人工操作和人工判断工作,才能实现多个网络应用系统或网络应用系统中多个组件的监控信息的综合分析,人工操作复杂且监控效率低,且人工操作可能会出现监控遗漏和判断失误等问题,导致应用系统监控准确性低。此外,现有的监控系统对不同网络应用系统进行监控时,通常需要改造网络应用系统的监控信息交换接口或者对监控系统进行后台改造以使监控系统与网络应用系统具有统一标准化接口,这样带来的配套改造量较大,监控信息集成方式较单一,无法满足不断变化的监控需求和快速部署实施监控的要求。并且,现有的监控系统需要用户主动查看和获取监控信息,极大地依赖于用户的操作,可能由于监控信息查看延迟而导致网络应用系统出现异常。
为了解决以上问题的至少之一,根据本发明的一个方面,本实施例公开了一种网络应用系统监控预警方法。如图1所示,本实施例中,所述方法包括:
S100:根据用户输入的监控任务信息建立多个网络应用系统的监控任务。
S200:根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息。
S300:基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果,并向用户反馈所述监控结果。
本发明根据用户输入的监控任务信息建立多个网络应用系统的监控任务,将对各个网络应用系统的监控进行集成,从而用户可通过监控任务信息对多个网络应用系统的监控过程进行定制,监控系统可根据预先设置的监控任务自动获取网络应用系统的监控信息或接收网络应用系统传输的监控信息。进一步的,本发明根据多个网络应用系统间的数据传输路径可以确定多个网络应用系统间的上下游关系,将多个网络应用系统间的监控信息基于数据传输路径可进行横向比对和分析得到监控结果,结合传统的监控信息分析可实现对多个网络应用系统的全面监控,并且本发明可实现监控信息的自动逻辑判断得到监控结果,减少人为判断,大大提高监控的效率和准确性。
在优选的实施方式中,如图2所示,所述S100具体可包括:
S110:根据用户输入的监控任务信息得到网络应用系统的监控频率、监控时点和分析周期至少之一的监控指标。
S120:根据网络应用系统的监控指标和对应的网络应用系统的连接信息形成监控任务。
可以理解的是,本发明支持用户对于监控规则的定制,即用户可通过监控系统提供的信息输入窗口接收用户输入的监控任务信息,该监控任务信息可包括对网络应用系统的监控频率、监控时点和分析周期等监控指标,监控系统根据用户输入的监控任务信息根据预设的网络应用系统的连接信息与网络应用系统建立通信连接,获取网络应用系统的监控信息或接收网络应用系统主动传输的监控信息。
在一个具体例子中,监控系统根据监控指标中的监控时点确定获取网络应用系统监控信息的时间,根据监控指标中的监控频率确定两次获取网络应用系统监控信息间的时间间隔,根据监控指标中的分析周期可确定对于获取或接收的监控信息的分析时点,以按照预设的分析周期对监控信息进行分析得到监控结果。
可以理解的是,对于监控系统监控的多个网络应用系统,在获取或接收监控信息时,可根据预先设置的监控任务中的网络应用系统连接信息与网络应用系统建立通信连接,以通过建立的通信连接从网络应用系统中获取系统运行数据等监控信息。
在优选的实施方式中,如图3所示,所述S200具体可包括:
S210:根据监控任务中所述网络应用系统的连接信息确定网络应用系统监控信息的数据获取方式,其中,所述数据获取方式包括用户账号信息登陆、网络信息抓取和数据接口交换的至少之一,通过提供多种数据获取方式,降低用户的人工操作量,以提高用户体验以及提高用户处理监控信息的便捷性和准确性。
其中,优选的,用户账号信息登陆的数据获取方式具体可为通过用户预先设置的登陆网络应用系统的账号信息访问网络应用系统,模拟用户访问的方式获取系统监控信息,以模拟用户行为作为获取数据的途径,当数据交换接口不匹配时,避免了接口改造带来的工作量,提高接入方式的灵活性。
网络信息抓取的数据获取方式具体可为获取网络应用系统通过网络接收或发出的网络传输数据。
数据接口交换的数据获取方式具体为通过一致的数据传输协议获取或接收网络应用系统中的本地运行数据。
S220:根据监控任务中的监控指标通过所述数据获取方式获取网络应用系统的监控信息或者通过所述数据获取方式接收所述网络应用系统传输的监控信息。
可以理解的是,在该优选的实施方式中,可以通过预设的数据获取方式主动获取网络应用系统的监控信息,也可以接收网络应用系统通过预设的数据获取方式主动上传的监控信息,可支持多种方式获取监控信息,降低运维人员主动操作的工作量,实现网络应用系统的多方面信息监控。
在优选的实施方式中,如图4所示,所述S300中基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果具体可包括:
S310:对所述网络应用系统的监控信息进行缺失值、异常值和重复值的数据清洗或提取处理。
S320:将数据清洗或提取处理后的监控信息进行重分类和标准化得到分类标准数据。
S330:对所述分类标准数据进行数据维度分析确定是否存在数据偏离异常并基于多个网络应用系统间的数据传输路径确定是否存在数据链路异常,根据异常的判断结果形成监控结果。
可以理解的是,在该优选的实施方式中,通过对监控信息的缺失值、异常值和重复值进行清洗或提取处理,将处理后的监控信息通过分析挖掘进行重分类和标准化,并进一步将分类标准数据基于数据特征划分为不同维度后,对不同维度的分类标准数据根据分析规则进行数据维度分析,以确定是否存在数据偏离异常的情况,其中,不同维度的数据特征和数据维度分析的分析规则可根据需求预先设置。其中,可通过聚类或分类算法实现对监控信息处理后的监控信息的重分类和标准化。在一个具体例子中,由于Pandas对于数据探索、分析和探查的支持较为良好,可通过pandas、Numpy实现数据分析,通过自定义代码以及sklearn代码实现数据分类,常用的分类算法包括朴素贝叶斯、逻辑回归、决策树,并可通过正则化方法、关联算法提高算法准确性,在其他实施方式中,也可采用其他算法确定是否存在数据偏离异常的情况,本发明对此并不作限定。
此外,通过数据传输路径可以确定上下游关联的网络应用系统,通过时间线可以清晰分析出监控信息中每段数据的处理流向,动态展现出数据上下游之间的关系。数据线上下游系统的关联关系一般通过数据传输路径进行数据传递,通过分析上下游网络应用系统的监控信息得到数据是否发送或到达以及对应批处理任务的处理状态以及相关系统、客户端和服务器的响应时间,可以清晰获取每条数据传输路径的当前运行状态和进展情况。在该优选的实施方式中,通过多维度多指标分析可能出现的网络应用系统异常,对潜在的风险隐患进行预警,提高监控信息预警的准确性。同时,对监控信息基于数据传输路径的横向信息分析比对甚至可以在网络应用系统常规数据偏离异常分析预警之前发现网络应用系统可能存在的问题,达到尽早发现问题和安全隐患的作用。
在优选的实施方式中,如图5所示,所述S300中向用户反馈所述监控结果具体可包括:
S340:根据所述监控结果形成预警通知信息。
S350:通过邮件、短信和/或即时通讯方式向用户发送所述预警通知信息。其中,即时通讯方式可以采用espaec或oa通讯系统等企业内部通讯软件进行通讯,也可以是其他通讯软件进行信息反馈,本发明对此并不作限定。
可以理解的是,在该优选的实施方式中,根据监控结果形成预警通知信息并通过邮件、短信和/或即时通讯方式向用户发送所述预警通知信息,通过主动推送和多种推送方式向用户发送预警通知信息,可避免人为操作的遗漏。在其他实施方式中,还可以通过声音告警的形式向用户反馈预警通知信息,减少人为查看预警通知信息的工作量,以更好的辅助监控操作。
作为优选的实施方式,监控系统可形成监控界面并将监控界面向用户显示。在该监控界面中,可集成显示多个网络应用系统的监控信息,并可通过该监控界面向用户显示监控结果和预警通知信息,以使用户可以在一个监控界面中查看多个网络应用系统的监控信息、监控结果和预警通知信息等信息。
在实际应用中,监控界面可采用H5、CS3等适合移动端和PC端访问的语言开发得到,方便移动用户访问监控界面进行监控任务信息的输入和查看以及监控信息、监控结果和预警通知信息的查看,进一步可通过响应式布局和拖拉式设置将显示的信息进行模块化和窗口化设置,便于用户对模块化和窗口化设置的信息进行移动及显示方式等功能的控制。该监控系统通过将web服务的监控信息、监控任务和预警通知信息等各类信息和功能进行集成,实现数据统一存储和展现,达到通过一个界面了解多个网络应用系统运行状况的效果,大大降低监控信息量。其中,采用H5、CS3等适合移动端和PC端访问的语言开发前端显示的监控界面,可支持用户基于服务端和客户端的远程访问接入方式,支持web服务、windows窗体操作、数据传输接口等多渠道的信息输入,还可支持html、excel、邮件、文本等多种数据格式解析,满足多种模式数据接入需求。
在优选的实施方式中,如图6所示,所述方法进一步包括:
S410:通过预设的回归分析模型分析所述监控信息进行分析预测得到数据波动信息。
S420:根据所述数据波动信息形成预测图形并向用户展示。
可以理解的是,可通过回归分析模型对监控信息进行回归预测,分析未来一段时间可能出现的数据波动情形。在一个具体例子中,主要通过Sklearn的多个回归分析模型(贝叶斯岭回归、普通线性回归)做回归分析,并可进一步用Matplotlib做预测图形。通过不断丰富数据和完善回归模型,可以提高预测的准确性。在监控信息是否存在异常的判断过程中,聚类是一种非监督式学习算法,而分类是监督式学习算法,可以对通过回归分析模型进行数据回归预测起到一定的互补作用,以提高预测效果。在该优选的实施方式中,通过大数据对监控信息进行预测,
作为优选的实施方式,python作为解释型脚本语言,适用人工智能、数据分析、爬虫、云计算、自动化运维、WEB开发等领域,具有平台兼容性较好,支持多操作系统,丰富的开源插件/库和降低开发难度和工作量等优点。本发明的监控系统可通过python算法实现,借助python丰富的开源库,降低开发难度,避免重复造轮子,达到轻量化开发和部署,使监控系统的实现方式和部署机制灵活,适应多种主流部署环境,可快速变更。
基于相同原理,本实施例还公开了一种网络应用系统监控预警系统。如图7所示,本实施例中,所述系统包括监控任务形成单元11、监控信息获取单元12和监控信息分析单元13。
其中,监控任务形成单元11用于根据用户输入的监控任务信息建立多个网络应用系统的监控任务。
监控信息获取单元12用于根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息。
监控信息分析单元13用于基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果,并向用户反馈所述监控结果。
在优选的实施方式中,所述监控任务形成单元11具体用于根据用户输入的监控任务信息得到网络应用系统的监控频率、监控时点和分析周期至少之一的监控指标,根据网络应用系统的监控指标和对应的网络应用系统的连接信息形成监控任务。
在优选的实施方式中,所述监控信息获取单元12具体用于根据监控任务中所述网络应用系统的连接信息确定网络应用系统监控信息的数据获取方式,其中,所述数据获取方式包括用户账号信息登陆、网络信息抓取和数据接口交换的至少之一,根据监控任务中的监控指标通过所述数据获取方式获取网络应用系统的监控信息或者通过所述数据获取方式接收所述网络应用系统传输的监控信息。
在优选的实施方式中,所述监控信息分析单元13具体用于对所述网络应用系统的监控信息进行缺失值、异常值和重复值的数据清洗或提取处理,将数据清洗或提取处理后的监控信息进行重分类和标准化得到分类标准数据,对所述分类标准数据进行数据维度分析确定是否存在数据偏离异常并基于多个网络应用系统间的数据传输路径确定是否存在数据链路异常,根据异常的判断结果形成监控结果。
在优选的实施方式中,所述监控信息分析单元13具体用于根据所述监控结果形成预警通知信息,通过邮件、短信和/或即时通讯方式向用户发送所述预警通知信息。
在优选的实施方式中,如图8所示,所述系统进一步包括监控信息预测单元14。所述监控信息预测单元14用于通过预设的回归分析模型分析所述监控信息进行分析预测得到数据波动信息,根据所述数据波动信息形成预测图形并向用户展示。
由于该系统解决问题的原理与以上方法类似,因此本系统的实施可以参见方法的实施,在此不再赘述。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备,具体的,计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述方法。
下面参考图9,其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。
如图9所示,计算机设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中,还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡,调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种网络应用系统监控预警方法,其特征在于,包括:
根据用户输入的监控任务信息建立多个网络应用系统的监控任务;
根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息;
基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果,并向用户反馈所述监控结果。
2.根据权利要求1所述的网络应用系统监控预警方法,其特征在于,所述根据用户输入的监控任务信息建立多个网络应用系统的监控任务具体包括:
根据用户输入的监控任务信息得到网络应用系统的监控频率、监控时点和分析周期至少之一的监控指标;
根据网络应用系统的监控指标和对应的网络应用系统的连接信息形成监控任务。
3.根据权利要求2所述的网络应用系统监控预警方法,其特征在于,所述根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息具体包括:
根据监控任务中所述网络应用系统的连接信息确定网络应用系统监控信息的数据获取方式,其中,所述数据获取方式包括用户账号信息登陆、网络信息抓取和数据接口交换的至少之一;
根据监控任务中的监控指标通过所述数据获取方式获取网络应用系统的监控信息或者通过所述数据获取方式接收所述网络应用系统传输的监控信息。
4.根据权利要求2所述的网络应用系统监控预警方法,其特征在于,所述基于多个网络应用系统间的上下游关系对多个网络应用系统的监控信息综合分析得到监控结果具体包括:
对所述网络应用系统的监控信息进行缺失值、异常值和重复值的数据清洗或提取处理;
将数据清洗或提取处理后的监控信息进行重分类和标准化得到分类标准数据;
对所述分类标准数据进行数据维度分析确定是否存在数据偏离异常并基于多个网络应用系统间的数据传输路径确定是否存在数据链路异常,根据异常的判断结果形成监控结果。
5.根据权利要求1所述的网络应用系统监控预警方法,其特征在于,所述向用户反馈所述监控结果具体包括:
根据所述监控结果形成预警通知信息;
通过邮件、短信和/或即时通讯方式向用户发送所述预警通知信息。
6.根据权利要求1所述的网络应用系统监控预警方法,其特征在于,进一步包括:
通过预设的回归分析模型分析所述监控信息进行分析预测得到数据波动信息;
根据所述数据波动信息形成预测图形并向用户展示。
7.一种网络应用系统监控预警系统,其特征在于,包括:
监控任务形成单元,用于根据用户输入的监控任务信息建立多个网络应用系统的监控任务;
监控信息获取单元,用于根据所述监控任务获取所述多个网络应用系统的监控信息或接收所述多个网络应用系统的监控信息;
监控信息分析单元,用于基于多个网络应用系统间的数据传输路径对多个网络应用系统的监控信息综合分析得到监控结果,并向用户反馈所述监控结果。
8.根据权利要求7所述的网络应用系统监控预警系统,其特征在于,所述监控任务形成单元具体用于根据用户输入的监控任务信息得到网络应用系统的监控频率、监控时点和分析周期至少之一的监控指标,根据网络应用系统的监控指标和对应的网络应用系统的连接信息形成监控任务。
9.根据权利要求8所述的网络应用系统监控预警系统,其特征在于,所述监控信息获取单元具体用于根据监控任务中所述网络应用系统的连接信息确定网络应用系统监控信息的数据获取方式,其中,所述数据获取方式包括用户账号信息登陆、网络信息抓取和数据接口交换的至少之一,根据监控任务中的监控指标通过所述数据获取方式获取网络应用系统的监控信息或者通过所述数据获取方式接收所述网络应用系统传输的监控信息。
10.根据权利要求8所述的网络应用系统监控预警系统,其特征在于,所述监控信息分析单元具体用于对所述网络应用系统的监控信息进行缺失值、异常值和重复值的数据清洗或提取处理,将数据清洗或提取处理后的监控信息进行重分类和标准化得到分类标准数据,对所述分类标准数据进行数据维度分析确定是否存在数据偏离异常并基于多个网络应用系统间的数据传输路径确定是否存在数据链路异常,根据异常的判断结果形成监控结果。
11.根据权利要求7所述的网络应用系统监控预警系统,其特征在于,所述监控信息分析单元具体用于根据所述监控结果形成预警通知信息,通过邮件、短信和/或即时通讯方式向用户发送所述预警通知信息。
12.根据权利要求7所述的网络应用系统监控预警系统,其特征在于,进一步包括监控信息预测单元,用于通过预设的回归分析模型分析所述监控信息进行分析预测得到数据波动信息,根据所述数据波动信息形成预测图形并向用户展示。
13.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,
所述处理器执行所述程序时实现如权利要求1-6任一项所述方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,
该程序被处理器执行时实现如权利要求1-6任一项所述方法。
CN202010245868.3A 2020-03-31 2020-03-31 网络应用系统监控预警方法及系统 Active CN111464390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245868.3A CN111464390B (zh) 2020-03-31 2020-03-31 网络应用系统监控预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245868.3A CN111464390B (zh) 2020-03-31 2020-03-31 网络应用系统监控预警方法及系统

Publications (2)

Publication Number Publication Date
CN111464390A true CN111464390A (zh) 2020-07-28
CN111464390B CN111464390B (zh) 2022-06-10

Family

ID=71683464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245868.3A Active CN111464390B (zh) 2020-03-31 2020-03-31 网络应用系统监控预警方法及系统

Country Status (1)

Country Link
CN (1) CN111464390B (zh)

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826755A (zh) * 2010-05-11 2010-09-08 羿宝存 智能配电网及用电实时监控管理系统
CN102624570A (zh) * 2012-04-27 2012-08-01 杭州东信北邮信息技术有限公司 实现对web服务器可用性进行检测的监控系统和方法
CN103139256A (zh) * 2011-11-30 2013-06-05 北大方正集团有限公司 一种多租户网络舆情监控方法及系统
CN104115448A (zh) * 2011-12-16 2014-10-22 阿尔卡特朗讯公司 监测网络传输特性的方法与装置
CN104683145A (zh) * 2014-12-29 2015-06-03 中国普天信息产业北京通信规划设计院 告警监控系统服务器、客户端及告警信息处理、查询方法
CN105099755A (zh) * 2015-05-29 2015-11-25 北京奇虎科技有限公司 一种监控网站系统性能的方法、设备和系统
WO2016192604A1 (zh) * 2015-06-05 2016-12-08 阿里巴巴集团控股有限公司 一种全局任务节点依赖关系可视化方法、装置和系统
WO2017107826A1 (zh) * 2015-12-23 2017-06-29 阿里巴巴集团控股有限公司 一种业务信息的推送方法和装置
WO2017125015A1 (zh) * 2016-01-18 2017-07-27 中兴通讯股份有限公司 分布式系统工作流处理方法和工作流引擎系统
WO2018010566A1 (zh) * 2016-07-11 2018-01-18 中兴通讯股份有限公司 信息的通告方法、转发条目的生成方法及装置
CN107886242A (zh) * 2017-11-10 2018-04-06 平安科技(深圳)有限公司 数据监控方法、装置、计算机设备及存储介质
CN108667807A (zh) * 2018-04-11 2018-10-16 华南师范大学 一种基于监控云平台与网关的协议自适应方法及系统
CN108769585A (zh) * 2018-05-30 2018-11-06 深圳万智联合科技有限公司 一种监控效果良好的监控系统
CN109218080A (zh) * 2018-08-21 2019-01-15 平安科技(深圳)有限公司 一种自动绘制网络拓扑架构的方法、监控系统及终端设备
US20190050187A1 (en) * 2017-08-08 2019-02-14 Canon Kabushiki Kaisha Management apparatus and control method
CN109412957A (zh) * 2017-08-17 2019-03-01 阿里巴巴集团控股有限公司 流量调度方法、装置和系统以及电子设备
CN109542740A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 异常检测方法及装置
US10255559B1 (en) * 2014-08-25 2019-04-09 Virtual Instruments Worldwide Self-learning and best-practice profiling and alerting with relative and absolute capacity
CN109660419A (zh) * 2018-10-08 2019-04-19 平安科技(深圳)有限公司 预测网络设备异常的方法、装置、设备及存储介质
CN109672582A (zh) * 2018-09-25 2019-04-23 平安普惠企业管理有限公司 全路径监测方法、设备、存储介质及装置
CN109672583A (zh) * 2018-09-25 2019-04-23 平安科技(深圳)有限公司 网络监控方法、设备、存储介质及装置
CN110213198A (zh) * 2018-02-28 2019-09-06 中标软件有限公司 网络流量的监控方法及系统
CN110287081A (zh) * 2019-06-21 2019-09-27 腾讯科技(成都)有限公司 一种服务监控系统和方法
CN110297738A (zh) * 2019-05-21 2019-10-01 深圳壹账通智能科技有限公司 系统服务的监控方法、装置、设备及存储介质

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826755A (zh) * 2010-05-11 2010-09-08 羿宝存 智能配电网及用电实时监控管理系统
CN103139256A (zh) * 2011-11-30 2013-06-05 北大方正集团有限公司 一种多租户网络舆情监控方法及系统
CN104115448A (zh) * 2011-12-16 2014-10-22 阿尔卡特朗讯公司 监测网络传输特性的方法与装置
CN102624570A (zh) * 2012-04-27 2012-08-01 杭州东信北邮信息技术有限公司 实现对web服务器可用性进行检测的监控系统和方法
US10255559B1 (en) * 2014-08-25 2019-04-09 Virtual Instruments Worldwide Self-learning and best-practice profiling and alerting with relative and absolute capacity
CN104683145A (zh) * 2014-12-29 2015-06-03 中国普天信息产业北京通信规划设计院 告警监控系统服务器、客户端及告警信息处理、查询方法
CN105099755A (zh) * 2015-05-29 2015-11-25 北京奇虎科技有限公司 一种监控网站系统性能的方法、设备和系统
WO2016192604A1 (zh) * 2015-06-05 2016-12-08 阿里巴巴集团控股有限公司 一种全局任务节点依赖关系可视化方法、装置和系统
WO2017107826A1 (zh) * 2015-12-23 2017-06-29 阿里巴巴集团控股有限公司 一种业务信息的推送方法和装置
WO2017125015A1 (zh) * 2016-01-18 2017-07-27 中兴通讯股份有限公司 分布式系统工作流处理方法和工作流引擎系统
WO2018010566A1 (zh) * 2016-07-11 2018-01-18 中兴通讯股份有限公司 信息的通告方法、转发条目的生成方法及装置
US20190050187A1 (en) * 2017-08-08 2019-02-14 Canon Kabushiki Kaisha Management apparatus and control method
CN109412957A (zh) * 2017-08-17 2019-03-01 阿里巴巴集团控股有限公司 流量调度方法、装置和系统以及电子设备
CN109542740A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 异常检测方法及装置
CN107886242A (zh) * 2017-11-10 2018-04-06 平安科技(深圳)有限公司 数据监控方法、装置、计算机设备及存储介质
CN110213198A (zh) * 2018-02-28 2019-09-06 中标软件有限公司 网络流量的监控方法及系统
CN108667807A (zh) * 2018-04-11 2018-10-16 华南师范大学 一种基于监控云平台与网关的协议自适应方法及系统
CN108769585A (zh) * 2018-05-30 2018-11-06 深圳万智联合科技有限公司 一种监控效果良好的监控系统
CN109218080A (zh) * 2018-08-21 2019-01-15 平安科技(深圳)有限公司 一种自动绘制网络拓扑架构的方法、监控系统及终端设备
CN109672582A (zh) * 2018-09-25 2019-04-23 平安普惠企业管理有限公司 全路径监测方法、设备、存储介质及装置
CN109672583A (zh) * 2018-09-25 2019-04-23 平安科技(深圳)有限公司 网络监控方法、设备、存储介质及装置
CN109660419A (zh) * 2018-10-08 2019-04-19 平安科技(深圳)有限公司 预测网络设备异常的方法、装置、设备及存储介质
CN110297738A (zh) * 2019-05-21 2019-10-01 深圳壹账通智能科技有限公司 系统服务的监控方法、装置、设备及存储介质
CN110287081A (zh) * 2019-06-21 2019-09-27 腾讯科技(成都)有限公司 一种服务监控系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. HASHIMOTO等: "A multihoming application flow network using "A-BOX": a fast packet processing node featuring direct traffic monitoring", 《2004 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (IEEE CAT. NO.04CH37577)》 *
刘嘉裕: "基于分布式微服务全链路实时监控系统设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
赵芳等: "全国综合气象信息共享平台建设", 《气象科技进展》 *

Also Published As

Publication number Publication date
CN111464390B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN109471783B (zh) 预测任务运行参数的方法和装置
US20210035021A1 (en) Systems and methods for monitoring of a machine learning model
US10534983B1 (en) Piping and instrumentation planning and maintenance system
US20210081501A1 (en) System and method for automated insight curation and alerting
CN112036515A (zh) 基于smote算法的过采样方法、装置和电子设备
CN110929799A (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
CN115277261B (zh) 基于工控网络病毒的异常机器智能识别方法、装置、设备
US11645540B2 (en) Deep graph de-noise by differentiable ranking
CN115422003A (zh) 数据质量监控方法、装置、电子设备、存储介质
CN112861895A (zh) 一种异常物品的检测方法和装置
CN111464390B (zh) 网络应用系统监控预警方法及系统
CN114371888A (zh) 日志采集插件的热更新方法、装置、电子设备和可读介质
CN111105307A (zh) 一种贷后管理方法、系统、设备及可读介质
CN111241048A (zh) 一种web终端日志管理方法、装置、介质及电子设备
CN116155541A (zh) 面向网络安全应用的自动化机器学习平台以及方法
US20230229540A1 (en) Systems and methods for generating a system log parser
CN111309585A (zh) 日志数据测试方法及装置、系统、电子设备、存储介质
CN111880959A (zh) 一种异常检测方法、装置及电子设备
CN113487224A (zh) 内容处理方法、装置、设备、介质以及程序产品
CN113111897A (zh) 基于支持向量机的接警警情类别确定方法和装置
CN111178696A (zh) 一种业务处理时长超时预警方法和装置
US11909608B1 (en) Bifurcated telemetry data ingestion methods and systems
US11831531B2 (en) Methods and systems for determining severity of disruptions in communication networks in non-homogenous environments
CN115169321B (zh) 物流内容文本核对方法、装置、电子设备和计算机介质
US20230139081A1 (en) Systems and methods for detecting connection anomalies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221009

Address after: 12 / F, 15 / F, 99 Yincheng Road, Pudong New Area pilot Free Trade Zone, Shanghai, 200120

Patentee after: Jianxin Financial Science and Technology Co.,Ltd.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Patentee before: CHINA CONSTRUCTION BANK Corp.

Patentee before: Jianxin Financial Science and Technology Co.,Ltd.