CN111641535B - 网络监控方法、装置、电子设备和介质 - Google Patents

网络监控方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN111641535B
CN111641535B CN202010471513.6A CN202010471513A CN111641535B CN 111641535 B CN111641535 B CN 111641535B CN 202010471513 A CN202010471513 A CN 202010471513A CN 111641535 B CN111641535 B CN 111641535B
Authority
CN
China
Prior art keywords
network data
network
state
current
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010471513.6A
Other languages
English (en)
Other versions
CN111641535A (zh
Inventor
霍江游
孙茂森
姜茜
徐晨灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010471513.6A priority Critical patent/CN111641535B/zh
Publication of CN111641535A publication Critical patent/CN111641535A/zh
Application granted granted Critical
Publication of CN111641535B publication Critical patent/CN111641535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供了一种网络监控方法,包括:获取预定时间段内的当前网络数据;将所述当前网络数据输入到状态模型中,以由所述状态模型确定所述当前网络数据所属的当前状态类别;获取多个历史网络数据分别所属的状态类别;根据多个历史网络数据分别所属的状态类别,确定所述多个历史网络数据属于所述当前状态类别的第一概率;以及基于所述第一概率,确定所述网络的当前健康状态。本公开还提供了一种网络监控装置、电子设备和介质。

Description

网络监控方法、装置、电子设备和介质
技术领域
本公开涉及互联网技术领域,更具体地,涉及一种网络监控方法、装置、电子设备和介质。
背景技术
随着互联网和计算机技术的快速发展,对网络进行监控来确定网络是否健康越来越重要。例如出现了带内网络遥测技术以对网络进行监控。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:确定网络是否健康的效率依然较低。
发明内容
有鉴于此,本公开提供了一种网络监控方法、装置、电子设备和介质。
本公开的一个方面提供了一种网络监控方法,包括:获取预定时间段内的当前网络数据;将所述当前网络数据输入到状态模型中,以由所述状态模型确定所述当前网络数据所属的当前状态类别;获取多个历史网络数据分别所属的状态类别;根据多个历史网络数据分别所属的状态类别,确定所述多个历史网络数据属于所述当前状态类别的第一概率;以及基于所述第一概率,确定所述网络的当前健康状态。
根据本公开的实施例,网络数据包括多个评价指标各自的子网络数据,所述方法还包括:在确定所述网络的当前健康状态为非健康状态的情况下,确定所述历史网络数据中处于健康状态的历史健康数据;将所述当前网络数据中多个评价指标各自的子网络数据与历史健康数据中多个评价指标各自的子网络数据进行比对,以获得比对结果;基于所述比对结果,从所述多个评价指标中确定子网络数据异常的异常评价指标。
根据本公开的实施例,该方法还可以包括将所述异常评价指标的子网络数据输入到孤立森林模型中,以由所述孤立森林模型确定所述子网络数据是否是偶然事件,其中,所述孤立森林模型是通过分别对历史网络数据中各个评价指标的子网络数据进行训练而得到的;在确定所述子网络数据为非偶然事件的情况下,确定所述网络出现异常。
根据本公开的实施例,获取预定时间段的当前网络数据包括:在带内网络遥测功能开启的情况下,接收来自远程过程调用框架的第一网络数据;以及接收来自被镜像的远程端口的第二网络数据,并且对所述第二网络数据进行数据清洗;其中,所述当前网络数据包括所述第一网络数据和被清洗后的所述第二网络数据。
根据本公开的实施例,对所述第二网络数据进行清洗包括以下至少一种:从配置中心获取地址信息和应用之间的映射关系;以及根据所述第二网络数据中的地址信息,确定多个应用中每个应用的的第二网络数据;确定所述第一网络数据和所述第二网络数据分别所属的时间区间;以及删除无效数据。
根据本公开的实施例,第一网络数据包括以下至少一种:用于访问网络的电子设备的性能和资源数据,与链路相关的网络数据,与网络接口相关的网络数据,所述第二网络数据包括以下至少一种:TCP会话的转发路径、应用的访问流量、应用响应访问请求的延迟时间以及时间戳。
根据本公开的实施例,状态模型包括自组织映射模型。
根据本公开的实施例,该方法还包括获取多个时间段中每个时间段的历史网络数据分别所属的状态类别;基于每个时间段的历史网络数据分别所属的状态类别,确定所述多个历史网络数据由第一状态类别转化为第二状态类别的第二概率;其中,所述基于所述第一概率,确定所述网络的当前健康状态包括:基于所述第一概率和所述第二概率,确定所述网络的当前健康状态。
本公开的另一个方面提供了一种网络监控装置,包括:第一获取模块,用于获取预定时间段的当前网络数据;第一确定模块,用于将所述当前网络数据输入到状态模型中,以由所述状态模型确定所述当前网络数据所属的当前状态类别;第二获取模块,用于获取多个历史网络数据分别所属的状态类别;第二确定模块,用于根据所述多个历史网络数据分别所属的状态类别,确定所述多个历史网络数据属于所述当前状态类别的第一概率;以及第三确定模块,用于基于所述第一概率,确定所述网络的当前健康状态。
根据本公开的实施例,网络数据包括多个评价指标各自的子网络数据,所述装置还包括:第四确定模块,用于在所述网络的当前健康状态为非健康状态的情况下,确定所述历史网络数据中处于健康状态的历史健康数据;比对模块,用于将所述当前网络数据中多个评价指标各自的子网络数据与历史健康数据中多个评价指标各自的子网络数据进行比对,以获得比对结果;第五确定模块,用于基于所述比对结果,从所述多个评价指标中确定子网络数据异常的异常评价指标。
根据本公开的实施例,该装置还包括第六确定模块,用于将所述异常评价指标的子网络数据输入到孤立森林模型中,以由所述孤立森林模型确定所述子网络数据是否是偶然事件,其中,所述孤立森林模型是通过分别对历史网络数据中各个评价指标的子网络数据进行训练而得到的;第七确定模块,用于在确定所述子网络数据为非偶然事件的情况下,确定所述网络出现异常。
本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行上述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的可以应用网络监控方法的示例性系统架构;
图2示意性示出了根据本公开实施例的网络监控方法的流程图;
图3示意性示出了根据本公开另一实施例的网络监控方法流程图;
图4示意性示出了根据本公开另一实施例的网络监控方法流程图;
图5示意性示出了根据本公开另一实施例的网络监控方法流程图;
图6示意性示出了根据本公开实施例可以应用网络监控方法的示例性系统架构图;
图7示意性示出了根据本公开实施例的网络监控装置的框图;以及
图8示意性示出了根据本公开实施例的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种网络监控方法。该方法包括获取预定时间段内的当前网络数据;将当前网络数据输入到状态模型中,以由状态模型确定当前网络数据所属的当前状态类别;获取多个历史网络数据分别所属的状态类别;根据多个历史网络数据分别所属的状态类别,确定多个历史网络数据属于当前状态类别的第一概率;以及基于第一概率,确定网络的当前健康状态。
图1示意性示出了根据本公开实施例的可以应用网络监控方法的示例性系统架构100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103例如可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的网络监控方法一般可以由服务器105执行。相应地,本公开实施例所提供的网络监控装置一般可以设置于服务器105中。本公开实施例所提供的网络监控方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的网络监控装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的网络监控方法的流程图。
如图2所示,该方法可以包括操作S201~S205。
在操作S201,获取预定时间段内的当前网络数据。
例如可以获取10:00-11:00之间的当前网络数据。
根据本公开的实施例,例如可以周期性地获取预设时间段内的当前网络数据,以周期性地对网络健康状态进行监控。
根据本公开的实施例,在路由器或者交换机等网络设备被开启带内网络遥测(In-band Network Telemetry,简称INT)功能的情况下,当前网络数据例如可以包括来自远程过程调用(Remote Procedure Call,RPC)框架的第一网络数据和对来自被镜像的远程端口的第二网络数据进行清洗后的网络数据。远程过程调用框架例如可以是Google远程过程调用(gRPC)框架。第一网络数据例如可以包括以下至少一种:用于访问网络的电子设备的性能和资源数据、与链路相关的网络数据、与网络接口相关的网络数据。其中,用于访问网络的电子设备的性能和资源数据,例如可以是用于访问网络的终端设备的CPU的利用率、内存的利用率等。与链路相关的网络数据例如可以是网络带宽。与网络接口相关的网络数据,例如可以是网络接口的光模块温度、发光效率等。第二网络数据例如可以是基于ERSPAN(Enhanced Remoted Switch Port Analyzer,封装远程端口镜像)主动上送的TCP会话转发路径、针对某个应用的访问流量、应用响应访问请求的延迟时间、时间戳等。
根据本公开的实施例,开启路由器或者交换机等网络设备的带内网络遥测技术,利用gRPC框架和ERSPAN可以获取到多维度且丰富的网络数据,并且gRPC框架和ERSPAN能够保证数据的实时性,从而提高了网络监控的准确度和效率。
根据本公开的实施例,对所述第二网络数据进行清洗可以包括:从配置中心获取地址信息和应用之间的映射关系,以及根据所述第二网络数据中的地址信息,确定多个应用中每个应用的的第二网络数据。例如从配置中获取每个应用的IP地址,并且根据基于ERSPAN主动上送的TCP会话携带的IP地址来确定该TCP会话访问的应用。
根据本公开的实施例,对第二网络数据进行清洗可以包括确定所述第一网络数据和所述第二网络数据分别所属的时间区间,和/或删除无效数据。无效数据例如可以包括空数据和错误数据等。
根据本公开的另一实施例,在路由器或者交换机未开启带内网络遥测功能的情况下,例如可以通过监控设备发送探测报文,从而收集链路的状态信息。
在操作S202,将当前网络数据输入到状态模型中,以由状态模型确定当前网络数据所属的当前状态类别。
根据本公开的实施例,状态模型例如可以是利用SOM(Self-organizing Maps,自组织映射)算法得到的自组织映射模型。SOM算法是一种无监督学习的聚类算法。自组织映射模型的输入可以是多个历史网络数据,然后对该多个历史网络数据进行聚类,从而确定多个历史网络数据所属的状态类别。
例如可以将来自远程过程调用(Remote Procedure Ca1l,RPC)框架的历史网络数据和对来自被镜像的远程端口的历史网络数据存储到监控数据池中,然后使用大数据分析组件例如可以是kafka组件周期性地从监控数据池中调取历史网络数据。然后,可以对调取到的历史网络数据进行清洗,将清洗后的历史网络数据注入关系型数据库中。根据本公开的实施例,可以从关系型数据库中获取历史网络数据,并且将该历史网络数据输入到SOM算法中,由SOM算法学习历史网络数据而得到状态模型。例如可以每隔1个小时从关系型数据库中获取多个历史网络数据用于优化状态模型,而每个历史网络数据可以包括TCP会话转发路径、针对某个应用的访问流量、应用响应访问请求的延迟时间、时间戳、用于访问网络的电子设备的CPU利用率、带宽、网络接口的发光率等。
根据本公开的实施例,周期性地从监控数据池中调取历史网络数据,以用于状态模型的训练可以使得状态模型周期性地优化,从而提高监控的准确性。
根据本公开的实施例,例如可以利用spark框架对历史网络数据进行清洗。
根据本公开的实施例,例如可以将当前网络数据输入到状态模型中,由状态模型输出当前网络数据所属的当前状态类别。例如可以将10:00-11:00之间的当前网络数据输入到状态模型中,由状态模型输出10:00-11:00之间的当前网络数据所属的当前状态类别。
在操作S203,获取多个历史网络数据分别所属的状态类别。例如可以获取SOM算法对历史网络数据的训练结果,从而确定多个历史网络数据分别所属的状态类别。
在操作S204,根据多个历史网络数据分别所属的状态类别,确定多个历史网络数据属于当前状态类别的第一概率。
例如可以确定属于当前状态类别的历史网络数据在所有历史网络数据中的比例。
在操作S205,基于第一概率,确定网络的当前健康状态。
例如可以是在第一概率大于或者等于第一预设阈值的情况下,网络的当前健康状态为健康,而在第一概率小于预设阈值的情况下,网络的当前健康状态为非健康。
又例如,网络的健康状态可以包括多个健康等级,不同的概率区间对应不同的健康等级。确定第一概率所属的概率区间,从而确定网络的当前健康状态的健康等级。
根据本公开的实施例,利用状态模型可以提高对大量网络数据处理的效率,从而该方法可以提高对大量的网络数据进行处理来确定网络的当前健康状态的效率。该方法能够对周期性地获取的网络数据进行处理,从而可以持续地监控网络的健康状态,使得网络监控的实时性更佳。
图3示意性示出了根据本公开另一实施例的网络监控方法流程图。
如图3所示,该方法在前述实施例的基础上还可以包括操作S301~S303。
在该实施例中,网络数据可以包括多个评价指标各自的子网络数据。评价指标可以是本领域技术人员预先设定的,例如可以包括应用响应访问请求的延迟时间、应用的访问流量、带宽等。
在操作S301,在确定网络的当前健康状态为非健康状态的情况下,确定历史网络数据中处于健康状态的历史健康数据。
历史健康数据,例如可以是在历史网络数据中占据的比例大于第二预设阈值的网络数据。
在操作S302,将当前网络数据中多个评价指标各自的子网络数据与历史健康数据中多个评价指标各自的子网络数据进行比对,以获得比对结果。
根据本公开的实施例,例如可以从多个历史健康数据中确定与当前网络数据相近的至少一个历史健康数据,将当前网络数据的子网络数据与该相近的至少一个历史健康数据的子网络数据进行比对。例如可以将当前网络数据的应用响应访问请求的延迟时间与相近的至少一个历史健康数据的应用响应访问请求的延迟时间相对比。
根据本公开的实施例,相近的历史健康数据可以是与当前网络数据的欧式距离小于预设距离的历史健康数据。例如可以以历史网络数据的编号为横坐标,以状态类别为纵坐标来建立坐标系,从而可以根据每个历史健康数据和当前网络数据的坐标来确定每个历史健康数据与当前网络数据的欧式距离。
在操作S303,基于比对结果,从多个评价指标中确定子网络数据异常的异常评价指标。
例如若当前网络数据的某个评价指标的子网络数据与与其相近的历史健康数据的该评价指标的子网络数据的差异度大于第三预设阈值,则该评价指标的子网络数据异常。该评价指标为异常评价指标。
根据本公开的实施例,该网络监控方法还可以包括输出异常评价指标,以通知用户该异常评价指标异常。
图4示意性示出了根据本公开另一实施例的网络监控方法流程图。
如图4所示,该方法在前述实施例的基础上还可以包括操作S401~S402。
在操作S401,将异常评价指标的子网络数据输入到孤立森林模型中,以由孤立森林模型确定子网络数据是否是偶然事件,其中,孤立森林模型是通过分别对历史网络数据中各个评价指标的子网络数据进行训练而得到的。
根据本公开的实施例,例如可以将历史网络数据中的应用响应访问请求的延迟时间作为建立孤立森林模型的样本,使得孤立森林模型学习历史网络数据中的应用响应访问请求的延迟时间,以得到优化的针对应用响应访问请求的延迟时间的孤立森林模型。类似地,可以将历史网络数据中的应用的访问流量作为建立孤立森林模型的样本,使得孤立森林模型学习历史网络数据中的应用的访问流量而得到优化的针对应用的访问流量的孤立森林模型。
例如应用的访问流量为异常评价指标,将当前网络数据中的应用访问流量输入到针对应用的访问流量的孤立森林模型中,由孤立森林模型来对应用的访问流量进行分类,以确定应用的访问流量异常是偶然事件还是非偶然事件,以及输出分类结果。
根据本公开的另一实施例,输入到孤立森林模型中的异常评价指标的子网络数据的粒度可以大于输入到状态模型中的当前网络数据的粒度。例如,输入到状态模型中的当前网络数据为10:00-11:00之间的网络数据,而输入到孤立森林模型中的子网络数据可以是当天24小时内的异常评价指标的子网络数据。孤立森林模型可以根据当天24小时内中每小时的异常评价指标的子网络数据计算出10:00-11:00之间的该异常评价指标的子网络数据是否为偶然事件。例如根据SOM状态模型确定当天10:00-11:00之间的当前网络数据为非健康状态,假设在操作S303确定的异常评价指标是应用的访问流量,那么可以将当天0:00到24:00之间每个小时的访问流量均作为孤立森林模型的输入,由孤立森林模型对当天0:00到24:00之间每个小时的访问流量进行计算,以确定当天10:00-11:00之间应用的访问流量异常是否是偶然事件。
根据本公开的实施例,孤立森林模型例如可以根据当前预定时间段[a,b](a>0,b>0)内的应用访问流量与当天其他预定时间段[a±k,b±k](k>0)的应用访问流量进行第一比对,以及将当前预定时间段内的应用访问流量与之前连续的某些天的同一预定时间段[a,b]的应用访问流量进行第二比对,从而根据第一比对和第二比对得到分类结果。
在操作S402,在确定子网络数据为非偶然事件的情况下,确定网络出现异常。
根据本公开的实施例,该方法可以通过孤立森林模型对单个评价指标进行分析,孤立森林模型可以从时间的维度进一步判断该单个评价指标异常是偶然事件还是非偶然事件,在该单个评价指标异常是非偶然事件的情况下,再输出该单个评价指标异常,进一步提高了输出异常评价指标的准确性。
图5示意性示出了根据本公开另一实施例的网络监控方法流程图。
如图5所示,该方法在前述实施例的基础上还可以包括操作S501~S502。
在操作S501,获取多个时间段中每个时间段的历史网络数据分别所属的状态类别。
例如可以分别获取每天0∶00-1∶00、1∶00-2∶00、2∶00-3∶00、……、12:00-0∶00的历史网络数据,并对每个时间段的历史网络数据进行SOM训练,来确定每个时间段中历史网络数据所属的状态类别。
在操作S502,基于每个时间段的历史网络数据分别所属的状态类别,确定多个历史网络数据由第一状态类别转化为第二状态类别的第二概率。
例如可以对操作S501获得的结果进行统计,从而确定历史网络数据由第一状态类别转化为第二类别的第二概率。例如经对操作S501的获得结果进行统计确定0∶00-1∶00的历史网络数据中有50%属于第一健康等级,40%属于第二健康等级,10%属于第一健康等级,在1∶00-2∶00的历史网络数据中有20%的网络数据由第一健康等级转化为第二健康等级。在该例子中,多个历史网络数据由第一状态类别转化为第二状态类别的第二概率例如可以是40%。
在该实施例中,操作S205可以包括基于所述第一概率和所述第二概率,确定所述网络的当前健康状态。
例如可以对第一概率和第二概率进行加权平均,从而根据加权平均的得分来确定网络的当前健康状态的等级。
根据本公开的实施例,该方法不仅将第一概率作为评价指标,还将第二概率作为评价指标,即将状态类别的改变也作为评价指标,从而进一步提高了监控的准确性。
图6示意性示出了根据本公开实施例可以应用网络监控方法的示例性系统架构图。
如图6所示,该系统架构可以包括数据采集层601、模型处理层602和评价层603。
数据采集层601,例如可以利用带内网络技术采集多维度的指标数据。例如可以接收来自gRPC框架和ERSPAN的多维度且丰富的网络数据,并且可以将采集到的网络数据存储到监控数据池中。
模型处理层602,例如可以从监控数据池中获取预定时间段内的网络数据,并且利用spark框架的大数据处理能力,以及访问配置中心对对预定时间段内的网络数据进行清洗而获得当前网络数据。接下来,将当前网络数据输入到SOM模型中,由SOM模型确定当前网络数据的当前状态类别,根据多个历史网络数据分别所属的状态类别,基于所述第一概率,确定所述网络的当前健康状态。在确定所述网络的当前健康状态为非健康状态的情况下,确定当前网络数据中子网络数据异常的评价指标。将所述异常评价指标的子网络数据输入到孤立森林模型中,以由所述孤立森林模型确定所述子网络数据是否是偶然事件,其中,所述孤立森林模型是通过分别对历史网络数据中各个评价指标的子网络数据进行训练而得到的;在确定所述子网络数据为非偶然事件的情况下,确定所述网络出现异常。基于每个时间段的历史网络数据分别所属的状态类别,确定所述多个历史网络数据由第一状态类别转化为第二状态类别的第二概率。
评价层603,例如可以基于第一概率和所述第二概率,确定网络的当前健康状态。
图7示意性示出了根据本公开实施例的网络监控装置700的框图。
如图7所示,网络监控装置700可以包括第一获取模块710、第一确定模块720、第二获取模块730、第二确定模块740和第三确定模块750。
第一获取模块,例如可以执行上文参考图2描述的操作S201,用于获取预定时间段的当前网络数据。
第一确定模块,例如可以执行上文参考图2描述的操作S202,用于将所述当前网络数据输入到状态模型中,以由所述状态模型确定所述当前网络数据所属的当前状态类别。
第二获取模块,例如可以执行上文参考图2描述的操作S203,用于获取多个历史网络数据分别所属的状态类别。
第二确定模块,例如可以执行上文参考图2描述的操作S204,用于根据所述多个历史网络数据分别所属的状态类别,确定所述多个历史网络数据属于所述当前状态类别的第一概率。
第三确定模块,例如可以执行上文参考图2描述的操作S205,用于基于所述第一概率,确定所述网络的当前健康状态。
根据本公开的实施例,网络数据包括多个评价指标各自的子网络数据,该装置700还可以包括:第四确定模块,用于在所述网络的当前健康状态为非健康状态的情况下,确定所述历史网络数据中处于健康状态的历史健康数据;比对模块,用于将所述当前网络数据中多个评价指标各自的子网络数据与历史健康数据中多个评价指标各自的子网络数据进行比对,以获得比对结果;第五确定模块,用于基于所述比对结果,从所述多个评价指标中确定子网络数据异常的异常评价指标。
根据本公开的实施例,该装置700还可以包括:第六确定模块,用于将所述异常评价指标的子网络数据输入到孤立森林模型中,以由所述孤立森林模型确定所述子网络数据是否是偶然事件,其中,所述孤立森林模型是通过分别对历史网络数据中各个评价指标的子网络数据进行训练而得到的;以及第七确定模块,用于在确定所述子网络数据为非偶然事件的情况下,确定所述网络出现异常。
根据本公开的实施例,获取预定时间段的当前网络数据包括:在带内网络遥测功能开启的情况下,接收来自远程过程调用框架的第一网络数据;以及接收来自被镜像的远程端口的第二网络数据,并且对所述第二网络数据进行数据清洗;其中,所述当前网络数据包括所述第一网络数据和被清洗后的所述第二网络数据。
根据本公开的实施例,对所述第二网络数据进行清洗包括以下至少一种:从配置中心获取地址信息和应用之间的映射关系;以及根据所述第二网络数据中的地址信息,确定多个应用中每个应用的的第二网络数据;确定所述第一网络数据和所述第二网络数据分别所属的时间区间;以及删除无效数据。
根据本公开的实施例,第一网络数据包括以下至少一种:用于访问网络的电子设备的性能和资源数据,与链路相关的网络数据,与网络接口相关的网络数据,所述第二网络数据包括以下至少一种:TCP会话的转发路径、应用的访问流量、应用响应访问请求的延迟时间以及时间戳。
根据本公开的实施例,状态模型包括自组织映射模型。
根据本公开的实施例,该装置700还可以包括:第三获取模块,用于获取多个时间段中每个时间段的历史网络数据分别所属的状态类别;第八确定模块,用于基于每个时间段的历史网络数据分别所属的状态类别,确定所述多个历史网络数据由第一状态类别转化为第二状态类别的第二概率,其中,所述基于所述第一概率,确定所述网络的当前健康状态包括:基于所述第一概率和所述第二概率,确定所述网络的当前健康状态。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块710、第一确定模块720、第二获取模块730、第二确定模块740和第三确定模块750中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块710、第一确定模块720、第二获取模块730、第二确定模块740和第三确定模块750中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块710、第一确定模块720、第二获取模块730、第二确定模块740和第三确定模块750中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图8示意性示出了根据本公开实施例的电子设备的方框图。图8示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,根据本公开实施例的电子设备800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中,存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种网络监控方法,包括:
获取预定时间段内的当前网络数据;
将所述当前网络数据输入到状态模型中,以由所述状态模型确定所述当前网络数据所属的当前状态类别;
获取多个历史网络数据分别所属的状态类别;
根据多个历史网络数据分别所属的状态类别,确定所述多个历史网络数据属于所述当前状态类别的第一概率;以及
基于所述第一概率,确定所述网络的当前健康状态;
其中,所述状态模型由SOM算法学习历史网络数据而得到。
2.根据权利要求1所述的方法,其中,所述网络数据包括多个评价指标各自的子网络数据,所述方法还包括:
在确定所述网络的当前健康状态为非健康状态的情况下,确定所述历史网络数据中处于健康状态的历史健康数据;
将所述当前网络数据中多个评价指标各自的子网络数据与历史健康数据中多个评价指标各自的子网络数据进行比对,以获得比对结果;
基于所述比对结果,从所述多个评价指标中确定子网络数据异常的异常评价指标。
3.根据权利要求2所述的方法,还包括:
将所述异常评价指标的子网络数据输入到孤立森林模型中,以由所述孤立森林模型确定所述子网络数据是否是偶然事件,其中,所述孤立森林模型是通过分别对历史网络数据中各个评价指标的子网络数据进行训练而得到的;
在确定所述子网络数据为非偶然事件的情况下,确定所述网络出现异常。
4.根据权利要求1所述的方法,其中,所述获取预定时间段的当前网络数据包括:
在带内网络遥测功能开启的情况下,接收来自远程过程调用框架的第一网络数据;以及
接收来自被镜像的远程端口的第二网络数据,并且对所述第二网络数据进行数据清洗;
其中,所述当前网络数据包括所述第一网络数据和被清洗后的所述第二网络数据。
5.根据权利要求4所述的方法,其中,所述对所述第二网络数据进行清洗包括以下至少一种:
从配置中心获取地址信息和应用之间的映射关系;以及根据所述第二网络数据中的地址信息,确定多个应用中每个应用的第二网络数据;
确定所述第一网络数据和所述第二网络数据分别所属的时间区间;以及
删除无效数据。
6.根据权利要求4所述的方法,其中,所述第一网络数据包括以下至少一种:用于访问网络的电子设备的性能和资源数据,与链路相关的网络数据,与网络接口相关的网络数据,
所述第二网络数据包括以下至少一种:TCP会话的转发路径、应用的访问流量、应用响应访问请求的延迟时间以及时间戳。
7.根据权利要求1所述的方法,其中,所述状态模型包括自组织映射模型。
8.根据权利要求1所述的方法,还包括:
获取多个时间段中每个时间段的历史网络数据分别所属的状态类别;
基于每个时间段的历史网络数据分别所属的状态类别,确定所述多个历史网络数据由第一状态类别转化为第二状态类别的第二概率;
其中,所述基于所述第一概率,确定所述网络的当前健康状态包括:基于所述第一概率和所述第二概率,确定所述网络的当前健康状态。
9.一种网络监控装置,包括:
第一获取模块,用于获取预定时间段的当前网络数据;
第一确定模块,用于将所述当前网络数据输入到状态模型中,以由所述状态模型确定所述当前网络数据所属的当前状态类别;
第二获取模块,用于获取多个历史网络数据分别所属的状态类别;
第二确定模块,用于根据所述多个历史网络数据分别所属的状态类别,确定所述多个历史网络数据属于所述当前状态类别的第一概率;以及
第三确定模块,用于基于所述第一概率,确定所述网络的当前健康状态;
其中,所述状态模型由SOM算法学习历史网络数据而得到。
10.根据权利要求9所述的装置,其中,所述网络数据包括多个评价指标各自的子网络数据,所述装置还包括:
第四确定模块,用于在所述网络的当前健康状态为非健康状态的情况下,确定所述历史网络数据中处于健康状态的历史健康数据;
比对模块,用于将所述当前网络数据中多个评价指标各自的子网络数据与历史健康数据中多个评价指标各自的子网络数据进行比对,以获得比对结果;
第五确定模块,用于基于所述比对结果,从所述多个评价指标中确定子网络数据异常的异常评价指标。
11.根据权利要求10所述的装置,还包括:
第六确定模块,用于将所述异常评价指标的子网络数据输入到孤立森林模型中,以由所述孤立森林模型确定所述子网络数据是否是偶然事件,其中,所述孤立森林模型是通过分别对历史网络数据中各个评价指标的子网络数据进行训练而得到的;
第七确定模块,用于在确定所述子网络数据为非偶然事件的情况下,确定所述网络出现异常。
12.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1~8任意一项所述的方法。
13.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行如权利要求1~8任意一项所述的方法。
CN202010471513.6A 2020-05-28 2020-05-28 网络监控方法、装置、电子设备和介质 Active CN111641535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010471513.6A CN111641535B (zh) 2020-05-28 2020-05-28 网络监控方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010471513.6A CN111641535B (zh) 2020-05-28 2020-05-28 网络监控方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN111641535A CN111641535A (zh) 2020-09-08
CN111641535B true CN111641535B (zh) 2021-10-29

Family

ID=72328558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010471513.6A Active CN111641535B (zh) 2020-05-28 2020-05-28 网络监控方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN111641535B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037643B (zh) * 2022-03-25 2023-05-30 武汉烽火技术服务有限公司 一种网络健康状态数据采集标注的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360023A (zh) * 2008-09-09 2009-02-04 成都市华为赛门铁克科技有限公司 一种异常检测方法、装置及系统
CN102487293A (zh) * 2010-12-06 2012-06-06 中国人民解放军理工大学 基于网控的卫星通信网异常检测方法
CN107222319A (zh) * 2016-03-22 2017-09-29 中国移动通信集团河北有限公司 一种通信操作分析方法及装置
CN107749827A (zh) * 2017-10-30 2018-03-02 哈尔滨理工大学 基于网络状态分类的网络拥塞控制方法、装置及系统
DE102017213119A1 (de) * 2017-07-31 2019-01-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln von Anomalien in einem Kommunikationsnetzwerk
CN110572297A (zh) * 2019-08-09 2019-12-13 网宿科技股份有限公司 网络性能的评估方法、服务器及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704964B (zh) * 2019-09-16 2022-11-25 中国神华能源股份有限公司国华电力分公司 汽轮机运行状态诊断方法、装置及电子设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360023A (zh) * 2008-09-09 2009-02-04 成都市华为赛门铁克科技有限公司 一种异常检测方法、装置及系统
CN102487293A (zh) * 2010-12-06 2012-06-06 中国人民解放军理工大学 基于网控的卫星通信网异常检测方法
CN107222319A (zh) * 2016-03-22 2017-09-29 中国移动通信集团河北有限公司 一种通信操作分析方法及装置
DE102017213119A1 (de) * 2017-07-31 2019-01-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln von Anomalien in einem Kommunikationsnetzwerk
CN107749827A (zh) * 2017-10-30 2018-03-02 哈尔滨理工大学 基于网络状态分类的网络拥塞控制方法、装置及系统
CN110572297A (zh) * 2019-08-09 2019-12-13 网宿科技股份有限公司 网络性能的评估方法、服务器及存储介质

Also Published As

Publication number Publication date
CN111641535A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111092852B (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
US11184401B2 (en) AI-driven defensive cybersecurity strategy analysis and recommendation system
US11025674B2 (en) Cybersecurity profiling and rating using active and passive external reconnaissance
US11601475B2 (en) Rating organization cybersecurity using active and passive external reconnaissance
US11032323B2 (en) Parametric analysis of integrated operational technology systems and information technology systems
US11537940B2 (en) Systems and methods for unsupervised anomaly detection using non-parametric tolerance intervals over a sliding window of t-digests
US20190095266A1 (en) Detection of Misbehaving Components for Large Scale Distributed Systems
CN111902805A (zh) 根据应用程序遥测进行多变量异常检测
EP2975538B1 (en) Computer-implemented method and apparatus for determining relevance of a node in a network
US10379990B2 (en) Multi-dimensional selective tracing
US20210092160A1 (en) Data set creation with crowd-based reinforcement
US20210281609A1 (en) Rating organization cybersecurity using probe-based network reconnaissance techniques
EP3864516B1 (en) Veto-based model for measuring product health
US11108835B2 (en) Anomaly detection for streaming data
CN109684052A (zh) 事务分析方法、装置、设备及存储介质
CN112737800A (zh) 服务节点故障定位方法、调用链生成方法及服务器
CN112948223B (zh) 一种监测运行情况的方法和装置
CN111641535B (zh) 网络监控方法、装置、电子设备和介质
Bayat et al. Down for failure: Active power status monitoring
CN114443437A (zh) 告警根因输出方法、装置、设备、介质和程序产品
CN112308455B (zh) 根因定位方法、装置、设备及计算机存储介质
US20200042373A1 (en) Device operation anomaly identification and reporting system
US8032302B1 (en) Method and system of modifying weather content
CN115514618A (zh) 告警事件的处理方法、装置、电子设备和介质
US9625613B2 (en) Weather determination system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant