CN112291107A - 网络分析程序、网络分析装置以及网络分析方法 - Google Patents

网络分析程序、网络分析装置以及网络分析方法 Download PDF

Info

Publication number
CN112291107A
CN112291107A CN202010587800.3A CN202010587800A CN112291107A CN 112291107 A CN112291107 A CN 112291107A CN 202010587800 A CN202010587800 A CN 202010587800A CN 112291107 A CN112291107 A CN 112291107A
Authority
CN
China
Prior art keywords
network
data
analysis
connections
connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010587800.3A
Other languages
English (en)
Other versions
CN112291107B (zh
Inventor
饭塚史之
上野仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN112291107A publication Critical patent/CN112291107A/zh
Application granted granted Critical
Publication of CN112291107B publication Critical patent/CN112291107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0232—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on qualitative trend analysis, e.g. system evolution
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/091—Measuring contribution of individual network components to actual service level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Environmental & Geological Engineering (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

提出了网络分析程序、网络分析装置以及网络分析方法。计算机可读网络分析程序执行局部建模分析，该局部建模分析基于包括局部训练数据的局部模型确定与当前聚合数据中的说明变量向量相对应的当前网络质量的估计值；基于当前网络质量的测量值是否低于阈值来确定网络中的异常；确定具有超过阈值的网络质量的测量值的连接的分布是否以大的大小存在；提取包括具有大的大小的连接的分布中的多于预定比例的连接的个体分析对象连接组；以及对个体分析对象连接组和剩余连接组执行局部建模分析以确定网络中的异常。

Description

网络分析程序、网络分析装置以及网络分析方法
技术领域
本发明涉及网络分析程序、网络分析装置以及网络分析方法。
背景技术
在作为网络质量的指标之一的分组丢失率或吞吐量的测量值比基于正常状态下的先前测量值设置的异常确定阈值差(即，分组丢失率较高或吞吐量较低)的情况下，网络分析装置确定网络异常。
网络分析装置还通过使用例如在接入点处的路由器或交换机通过分组镜像将通信分组复制到分组传播的通信路径上的数据中心的入口，来捕获多个连接中的通信分组。然后，网络分析装置对通过分析所捕获的每个连接的分组数据而获得的网络分析数据(例如，分组数量、字节数量、丢失分组数量和往返时间(RTT))进行聚合和分析，根据先前的分析结果产生确定标准诸如异常确定阈值，并且确定当前网络质量是否异常。
为了满足降低网络质量监测成本的需求，网络分析装置共同分析多个连接的网络分析数据集，以获得例如分组丢失率的平均值。因此，当在非服务时段期间诸如夜间用于访问服务的连接数量减少时，分组数量同时从正常状态下诸如服务时段期间的分组数量减少，并且即使丢失分组数量没有增加，分组丢失率的平均值也由于分组的总数量的减少而增加，即使网络状态不一定异常，也检测到网络中的异常。在这种情况下，网络分析装置生成夸大的警报。
当异常确定阈值的余量被过度增大以防止生成夸大的警报时，即使网络中实际发生了异常，网络分析装置也不会(不能)生成必要的(适当的)警报。
从上述观点来看，网络分析装置使用即时建模(just-in-time modeling，JIT建模)来估计反映先前网络使用状态与先前网络质量(例如，分组丢失率)之间的关系的趋势的当前网络质量，并且基于通过将基于JIT分析中的局部模型中的网络质量的变化所设置的正常范围加到网络质量的估计值而获得的异常判断阈值来确定网络中的异常。网络分析装置还基于响应于在确定异常的情况下生成的警报而从通信系统的操作者发送的反馈来调整所设置的正常范围，以允许执行系统操作者所期望的警报通知。
通过使用上述JIT建模的JIT分析，网络分析装置基于反映网络的先前网络质量的趋势和其中的变化的异常确定阈值来确定网络中的异常。这允许网络分析装置即使在分组数量少的情况下，也执行适当的异常确定。在公布的PCT国际申请的日语译文JP2018-521611和日本公开特许公报第JP2011-145846号中公开了网络分析方法。
发明内容
然而，当存在属于一个或多个子网络的通信节点组例如基于公司组织等分类的基站时，建立使用同一通信节点组作为源或目的地的多个连接，并且执行通信。在下文中，将使用同一通信节点组作为源或目的地的多个连接称为连接组。
在存在多个基站并且多个连接组的网络分析数据要被聚合和分析时，难以将以下两个异常状态彼此区分。具体地，这两个异常状态对应于：情况(1)，其中多个连接组中的相应通信样本数量之间的比率与正常时间时的比率相同，但是连接组之一中的分组丢失率变得高于正常时间时的分组丢失率，作为整体的多个连接组中的平均分组丢失率超过异常确定阈值，并且检测到网络中的异常；以及情况(2)，其中多个连接组中的相应通信样本数量之间的比率与正常时间时的比率不同，连接组中的通常具有差的通信质量的连接组中的高分组丢失率和由于窄带等引起的高分组丢失率变得显著，整体平均分组丢失率超过异常确定阈值，并且检测到网络异常。在与情况(2)相对应的状态下，通常具有比另一连接组的通信质量低的通信质量的指定连接组中的高分组丢失率的测量值的数目与另一连接组中的不太高的分组丢失率的测量值的数目的比率高，因此整体平均分组丢失率高。
存在这样的情况，在该情况下，响应于当在上述情况(1)下确定异常时生成的警报，操作者返回指示所生成的警报是必要的(适当的)的反馈，而响应于当在上述情况(2)下确定异常时生成的警报，操作者返回指示所生成的警报是不必要的(不适当的)的反馈。在接收到反馈时，进行校正以使与情况(2)相对应的状态下的丢失率进入正常范围，并且将异常确定阈值的正常范围转换到较高的区域。这导致网络分析装置不能确定随后在情况1下发生的异常是异常的问题。
因此，本实施方式的第一方面的目的在于提供解决在上述网络分析中遇到的问题的网络分析程序、网络分析装置和网络分析方法。
本实施方式的第一方面是一种非暂态计算机可读存储介质，其中存储有用于使计算机执行以下处理的计算机可读网络分析程序，所述处理包括：
执行局部建模分析，局部建模分析基于包括局部训练数据的局部模型来确定与当前聚合数据中的说明变量向量相对应的当前网络质量的估计值，局部训练数据包括先前训练数据中的说明变量向量之中的距当前聚合数据中的说明变量向量在预定距离内的说明变量向量，先前训练数据是通过将每个均包括作为源或目的地的相同的通信节点组的多个连接组中的连接的先前网络分析数据聚合而获得的基于时间段的训练数据，连接的先前网络分析数据是通过获取网络的通信路径上的多个连接组中的分组并分析所获取的分组而获得的，并且当前聚合数据是通过将多个连接组中的连接的当前网络分析数据聚合而获得的；
基于当前网络质量的测量值是否低于基于估计值计算的异常确定阈值来确定网络中的异常；
执行分布确定，该分布确定确定具有超过异常确定阈值的网络质量的测量值的连接的分布是否以等于或大于预定大小的大小存在于网络中的异常被确定的异常时间块期间的连接的网络分析数据中；
提取指定连接组作为个体分析对象连接组，指定连接组拥有在具有等于或大于预定大小的大小的连接的分布中的等于或大于标准比例的连接；以及
分别使个体分析对象连接组的先前训练数据和当前聚合数据以及多个连接组中除个体分析对象连接组以外的连接组的先前训练数据和当前聚合数据经受局部建模分析，以确定网络中的异常。
附图说明
图1是示出应用本实施方式的通信网络的示例的图。
图2是示出第一网络异常确定方法的图。
图3是示出使用JIT模型的第二网络异常确定方法的图。
图4是示出JIT分析方法的流程图的图。
图5和图6是示出JIT分析方法的图。
图7是示出警报的生成和响应于该警报的反馈的图。
图8是示出网络解析装置和网络分析装置的配置的示例的图。
图9是示出网络分析装置的配置的示例的图。
图10是示出网络分析装置NW_AN_2中的网络分析程序中包括的异常确定程序的流程图的图。
图11是示出根据训练数据产生程序的处理的流程图的图。
图12是示出根据警报确定程序的处理的流程图的图。
图13是示出针对每个状态生成的每个连接中的分组丢失率的分布(直方图)的图。
图14是示出在基于JIT分析错误地确定网络异常时每个连接中的丢失率的分布(直方图)的示例的图。
图15是示出本实施方式中的网络分析程序中包括的警报确定程序的流程图的图。
图16是示出对反馈对象的警报通知的表。
图17是示出本实施方式中的网络分析处理中的警报确定的详细流程图的图。
图18是示出图17中的警报确定的详细流程图中的处理的图。
图19是示出上述每个处理步骤S41和S42的细节的图。
图20、图21和图22是均示出分布峰值检测处理步骤S42的图。
图23是示出对个体分析对象连接组CG_E执行JIT分析的图。
图24是示出数据提取条件的设置的示例和确定对象项的设置的示例的图。
图25示出训练数据的产生的示例。
图26是示出获取当前网络分析数据的示例的图。
图27是示出基于对应于前三周的训练数据DB2和基于当前聚合的网络分析数据(聚合数据)DB3_2的JIT分析的具体示例的图。
图28是示出处理步骤S44和S45中的每个连接组的训练数据DB2的示例的图。
图29是示出处理步骤S40中的异常确定时段期间每个连接组的网络分析数据DB3的示例的图。
具体实施方式
第一实施方式
下面将给出对第一实施方式中的网络分析装置的描述。首先，将描述应用第一实施方式的通信网络和使用JIT建模的网络状态的分析(以下称为JIT分析)。在描述了对网络状态的错误确定之后，将给出对根据第一实施方式的网络分析装置的描述。
通信网络
图1是示出应用本实施方式的通信网络的示例的图。通信网络1包括：公司中的多个基站A至E、数据中心DC中的服务系统SYS以及连接基站A至E与服务系统SYS的网络NW。在每个基站处，形成一个或多个子网络。在属于各个基站处的子网络的多个通信节点(终端)与服务系统SYS之间，建立连接组CG_A至CG_E。各个基站处的通信节点组(终端组)开始与服务系统SYS通信，并且由通信节点(终端)发送或接收的分组经由网络NW和服务系统SYS中的接入点AP而由服务系统中的目的地接收或发送。
通信节点组在下文中被定义为属于基于公司组织等分类的基站处的一个或多个子网络的多个通信节点(终端)的组。连接组被定义为包括使用同一通信节点组作为源或目的地的多个连接的组。示意性地说，在各个基站处的相应通信节点组与数据中心中的服务系统SYS之间建立(形成)各个连接组CG_A至CG_E。
在通信网络1中，提供网络解析装置NW_AN_1以在例如通信路径上的接入点AP处捕获(获取)各个连接中的分组，并且分析每个连接的网络质量指标。网络解析装置NW_AN_1分析捕获的多个连接组CG_A至CG_E中的连接中的分组，并且计算网络质量或通信吞吐量的测量值作为网络分析数据。网络质量包括：每个连接中的分组数量、字节数量和丢失分组数量(其将稍后被网络分析装置NW_AN_2转换为分组丢失率)、每个分组的RTT(返回行进时间)、服务器处理时间等。网络质量和通信吞吐量用作确定网络状态的指标。
连接到网络解析装置NW_AN_1的网络分析装置NW_AN_2对网络分析数据诸如通信量和网络质量执行有条件提取/聚合/分析，以执行对网络的异常确定，其是对网络是否异常的确定。当确定网络中的异常时，网络分析装置生成警报，以在必要时(适当地)向通信网络1的管理员通知网络中的异常。
网络异常确定
图2是示出第一网络异常确定方法的曲线图。在图2中，水平方向表示时间TIME，而垂直方向表示包括在网络质量中的分组丢失率LOSS。在第一网络异常确定方法中，网络分析装置基于每个均作为监测目标的多个连接组中的在正常时间的先前分组丢失率的测量值LOSS_RG来设置异常确定阈值TH1，并且基于多个连接组中的当前分组丢失率的测量值LOSS_M的平均值是否超过异常确定阈值TH1来确定网络是否异常。例如，异常确定阈值TH1被设置为是在正常时间的先前分组丢失率的测量值的最大值的倍数的常数。
在该网络异常确定方法中，如在时刻T2处观察到的，存在夜间通信量变得小于正常通信量而减少连接数量的情况，关于等于正常时间的丢失分组数量的当前丢失分组数量的分组丢失率的测量值LOSS_M迅速增大而超过异常确定阈值TH1，并且生成夸大的警报。在使用具有比异常确定阈值TH1的余量大的余量的异常确定阈值TH2进行确定或者设置较严格的警报通知条件以防止夸大的警报时，存在如在时刻T1处观察到的以下情况：即使在当前分组丢失率的测量值LOSS_M由于网络异常而增加时，测量值LOSS_M也不会超过异常确定阈值TH2，并且不执行必要的(适当的)警报通知。
图3是示出使用JIT模型的第二网络异常确定方法的图。在使用JIT模型的第二网络异常确定方法(以下称为JIT分析)中，网络分析装置(1)从包括先前网络分析数据中包括的多个说明变量(通信量，诸如字节数量和分组数量)及其目标变量(分组丢失率)的训练数据中提取接近包含在当前网络分析数据中的说明变量向量信息的样本作为局部模型，以及(2)基于局部模型中的说明变量与目标变量之间的关系，计算关于当前说明变量的分组丢失率的估计值LOS_SP。另外，网络分析装置将通过将表示从训练数据提取的局部模型中的目标变量的离差的标准偏差σ乘以因子N而获得的正常范围Nσ加到计算的估计值LOSS_SP，以设置分组丢失率的异常确定阈值LOSS_TH。异常确定阈值LOSS_TH不是恒定的，而是随时间变化的。
然后，网络分析装置确定当前分组丢失率的测量值LOSS_M是否超过异常确定阈值LOSS_TH，并且当LOSS_M超过异常确定阈值LOSS_TH时，检测网络中的异常。
图4是示出JIT分析方法的流程图的图。图5和图6是示出JIT分析方法的图。
首先，网络分析装置从作为先前网络分析数据的聚合数据的训练数据中提取训练数据——该训练数据包括距当前网络分析数据中的与通信量有关的说明变量的向量在预定距离内的说明变量(例如，分组数量和字节数量)的向量——并使用所提取的训练数据作为局部模型(S10)。例如，训练数据是两个说明变量(例如，分组数量和字节数量)的向量和一个目标变量(例如，分组丢失率)。
图5示出了用作说明变量的分组数量和字节数量的二维向量的空间INF_VCT，该空间INF_VCT是关于表示训练数据的目标变量(分组丢失率)的垂直轴而建立的。首先，网络分析装置将先前的训练数据集L_DATA置于图5的图上。然后，网络分析装置使用当前网络分析数据中的说明变量(分组数量和字节数量)的向量作为向量空间INF_VCT中的查询QRY。网络分析装置提取包括在距查询QRY预定距离内的说明变量向量的训练数据，并使用所提取的训练数据作为局部模型LCL_M。例如，本文提到的预定距离是L2标准等。
接下来，如图6所示，网络分析装置根据局部模型LCL_M中的多个训练数据集L_DATA计算局部线性模型LCL_L_M，并基于该局部线性模型估计针对当前说明变量的向量INF_VCT的目标变量(分组丢失率)的估计值LOSS_SP(S11)。
另外，网络分析装置基于包括在局部模型中的多个训练数据集中的分组丢失率的离差来计算标准偏差σ，并且将通过将标准偏差σ乘以因子N而获得的正常范围Nσ与分组丢失率的估计值LOSS_SP相加，以计算异常确定阈值LOSS_TH(＝LOSS_SP+Nσ)(S12)。
然后，在当前分组丢失率的测量值LOSS_M超过异常确定阈值LOSS_TH(＝LOSS_SP+Nσ)(S13中为是)时，网络分析装置确定网络异常(S14)，或者当测量值LOSS_M没有超过异常确定阈值LOSS_TH(S13中为否)时，网络分析装置确定网络正常(S15)。
基于通过在每个时间段中聚合网络分析数据而获得的数据来执行基于上述JIT分析的对网络的异常确定，该网络分析数据是通过分析多个通信节点组与服务系统SYS之间的多个连接组中包括的每个连接中的分组数据而得到的。因此，通过在每个单位时间内聚合包括在多个连接组中的各个连接的网络分析数据集，获得当前聚合数据。例如，说明变量诸如分组数量和字节数量对应于包括在多个连接组中的各个连接中的总值，而目标变量(确定对象值)诸如分组丢失率、返回行进时间(RTT)或者服务器处理时间对应于各个连接中的平均值。
根据图3中的第二网络异常确定方法，使用估计值LOSS_SP和正常范围Nσ来设置异常确定阈值LOSS_TH，估计值LOSS_SP和正常范围Nσ每个均反映关于包括在先前训练数据中的在正常时间的通信量的分组丢失率的趋势。因此，在如图3中的时刻T3处观察到的诸如在系统操作时段期间通信量增加而增加分组丢失率LOSS_M的第一种情况下，分组丢失率的估计值LOSS_SP和阈值LOSS_TH增加，因此确定网络正常。
在如在时刻T2处观察到的诸如在系统非操作时段期间通信量减少而减少分组数量并显著增加当前分组丢失率的测量值LOSS_M的第二种情况下，基于训练数据中的分组丢失率的离差的正常范围Nσ增加而同样增加异常确定阈值LOSS_TH，因此确定网络是正常的。这是因为，当分组数量由于通信量的减少而减少并且在任何连接中丢失分组数量垂直变化时，通过将丢失分组数量除以分组数量而获得的分组丢失率的离差增加，以扩大正常范围Nσ。
在如在时刻T1处观察到的尽管基于先前趋势的分组丢失率的估计值LOSS_SP没有增加，但当前分组丢失率的测量值LOSS_M显著增加的第三种情况下，当前测量值LOSS_M超过异常确定阈值LOSS_TH，因此确定网络异常。
因此，网络分析装置使用通过聚合多个连接组的网络分析数据而获得的数据来执行对网络的异常确定，并且通过JIT分析将先前的网络分析数据中包括的各种状态反映在局部模型和局部线性模型上。因此，可以执行与网络状况相对应的适当的异常确定。
警报和响应于警报的反馈
图7是示出警报的生成和响应于该警报的反馈的图。在网络异常确定方法中，在确定网络异常时，网络分析装置NW_AN_2向网络系统的管理员发送带有反馈FB的警报。响应于该带有反馈FB的警报，管理员检查网络中存在或不存在异常，并且将指示存在异常的反馈和指示不存在异常的反馈中的任意一个返回至网络分析装置。
然后，当接收到指示不存在异常的反馈时，网络分析装置根据管理员的标准确定基于其生成警报的异常确定为错误确定，并且增加正常范围Nσ的因子值N。同时，当接收到指示存在异常的反馈时，网络分析装置根据管理员的标准确定基于其生成警报的异常确定为正确确定，并且不增加正常范围Nσ的因子N。
通过这样检查作为网络的异常确定的用户的管理员的确定标准，网络分析装置优化正常范围Nσ的大小。
网络解析装置、网络分析装置以及分析程序
接下来，将给出对网络解析装置、网络分析装置以及根据其中的分析程序的处理的概要的描述。
图8是示出网络解析装置和网络分析装置的配置的示例的图。图8示出了网络解析装置NW_AN_1和网络分析装置NW_AN_2。在网络解析装置NW_AN_1中，解析引擎2收集在接入点AP处捕获的分组，该接入点AP设置在通信网络1中的多个通信节点组(例如，对应于多个连接组CG_A至CG_E)与数据中心中的服务系统SYS之间的通信路径上。要收集的分组的示例包括在多个连接组中的每一个连接组的各个连接中传输的在通信节点组(未示出)与服务系统SYS之间的通信数据等。然后，解析引擎2分析所收集的分组，对所述分组进行统计，并且将例如每个连接的网络分析数据存储在数据库DB1中。
网络分析装置NW_AN_2基于数据库DB1中的网络分析数据分析通信网络1的状态，并且执行异常确定。网络解析装置的处理器(未示出)执行随后描述的网络分析程序，以配置训练数据产生单元24、网络异常确定单元21、JIT分析单元22、警报确定单元23以及反馈反映单元36。网络分析装置还从外部的设置文件34读取设置信息35，并且上述单元21至24和36中的每一个基于该设置信息执行每个处理。
例如，设置文件34包括设置信息，诸如：训练数据提取条件、用作异常确定的指标(诸如分组丢失率或服务器处理时间)的异常确定对象、用于异常确定的变量(诸如正常范围Nσ)以及训练数据产生或异常确定被执行的间隔。
网络分析装置通信地连接至通信网络1的管理员的终端4，以将由异常确定单元21生成的异常确定结果32和由警报确定单元23生成的警报确定结果33输出至管理员终端装置4。另外，网络分析装置接收来自管理员终端装置4的响应于警报的反馈，并且反馈反映单元36基于该反馈调整作为设置信息35中包含的变量之一并且用于异常确定的正常范围Nσ的因子值N。
图9是示出网络分析装置的配置的示例的图。图9不仅示出了网络分析装置NW_AN_2，还示出了通信网络1、网络解析装置NW_AN_1和管理员终端装置4。通信网络1和网络解析装置NW_AN_1的配置与图8所示的通信网络1和网络解析装置NW_AN_1的配置相同。
同时，在图9中，网络分析装置NW_AN_2是计算机诸如网络分析服务器。网络分析装置包括处理器10、主存储器12、网络接口13和作为大容量存储装置的辅助存储装置ST。
在辅助存储装置ST中存储有包括异常确定程序21、JIT分析程序22、警报确定程序23以及训练数据产生程序24的网络分析程序20。另外，在辅助存储装置ST中，存储有从设置文件34读取的训练数据DB2、DB3、异常确定结果数据32、警报确定结果数据33和设置信息35。
网络分析装置的处理器10执行从辅助存储装置ST读取并部署在主存储器12中的网络分析程序20。因此，处理器10分析通信网络的状态，并执行对网络的异常确定。
将给出由网络解析装置NW_AN_1和网络分析装置NW_AN_2执行的处理的概要的描述。然后，将描述网络分析中的错误异常确定，并且将描述本实施方式中的解决了错误异常确定问题的网络分析中的处理。
首先，网络解析装置NW_AN_1在通信路径等上的各个接入点(每个接入点包括路由器、交换机等)处捕获分组，分析所捕获的分组，并且将网络分析数据DB1存储在存储装置中。
例如，网络分析数据是4级(level 4，L4)通信层中的分析数据，其是每个时间段中的每个连接的分析数据。每个连接的分析数据包括源/目的地IP地址、协议号、源/目的地端口号、源至目的地分组数量、目的地至源分组数量、数据的字节数量、丢失分组数量、返回行进时间(RTT)、服务器处理时间等。包括在每个连接的网络分析数据中的分组数量和字节数量是与通信量有关的数据，而丢失分组数量、RTT和服务器处理时间是用作网络的异常确定的指标的确定对象项。通过将丢失分组数量除以分组数量来计算分组丢失率。
图10是示出网络分析装置NW_AN_2中的网络分析程序中包括的异常确定程序的流程图的图。图10中示出的处理步骤号S21、S23、S25、S27等也在图8中示出。
网络分析装置的处理器执行网络分析程序以执行以下处理步骤。具体地，当到达产生训练数据的定时时，例如每天(S20中为是)，处理器根据与前三周相对应的网络分析数据产生训练数据(S21)。
图11是示出根据训练数据产生程序的处理的流程图的图。图25示出训练数据的产生的示例。处理器从网络解析装置的存储装置中的网络分析数据DB1提取并获取在训练数据产生对象时段(例如，三周)期间的每个时间段内(例如，每分钟处)的每个连接的网络分析数据D1(S21_1)。
图25示出了所获取的三周内(2018年5月1日至2018年5月21日)的每个时间段内的每个连接的网络分析数据D1的示例。网络分析数据的细节如先前所描述。
然后，处理器从在每个时间段内针对每个连接获取的网络分析数据D1中基于设置信息35中的各种提取条件提取连接(S21_2)。结果，在图25中，示出了基于提取条件1(协议号[Prot_No]“6”和目的地IP[dst_IP]“10.20.30.50”)在每个时间段中针对每个连接提取的网络分析数据D2。提取条件限定异常确定对象的网络和确定对象的通信协议。
图24是示出数据提取条件的设置的示例和确定对象项的设置的示例的图。在图24中，示出了上述提取条件的示例，并且条件1对应于上述的提取条件1。在图24中，目的地IP表示图1的通信网络1中的服务系统SYS的接入点的IP地址。协议号是IP层之上的层中的协议的标识号。协议号“6”表示TCP协议。
例如，当在图1的通信网络1的示例中描述时，条件1是用于提取寻址到数据中心DC中的服务系统SYS的连接的条件。在图1的通信网络1中，在条件1中包括的条件下，提取在属于基站A至E处的相应子网络的通信节点(终端)与数据中心DC中的服务系统SYS之间建立的连接。
在条件2中，协议号是“6”，并且源子网络地址是“20.30.0.0/16”。例如，在条件2的示例中，提取使用图1中的通信网络1中的基站的子网络地址作为源建立的连接。
下面是提取连接的各种提取条件的示例。
(示例1)如条件1中的单个目的地IP地址或子网络地址
[Prot_No]6，[dst_IP]10.20.30.50
(示例2)如条件2中的单个源子网络地址或IP地址
[Prot_No]6，[src_IP]20.30.0.0/16
(示例3)组合了多个目的地(或源)IP地址的模式
[Prot_No]6，[dst_IP]10.20.30.50
[Prot_No]6，[dst_IP]10.20.30.60
(示例4)指定如条件2中的单个目的地或源子网络的模式
[Prot_No]6，[src_IP]20.30.0.0/16
(示例5)指定多个目的地或源子网络的模式
[Prot_No]6，[src_IP]20.30.0.0/16
[Prot_No]6，[src_IP]20.40.0.0/16
[Prot_No]6，[src_IP]20.50.10.0/24
稍后将描述图24中的确定对象项。
然后，处理器在每个单位时间内聚合在每个单位时间内针对每个连接提取的网络分析数据D2以产生训练数据DB2(S21_3)。训练数据作为图8中所示的训练数据DB2存储在网络分析装置中的存储装置中。
图25示出了从基于单位时间的聚合得到的训练数据DB2的示例。在图25所示的训练数据DB2的示例中，前三周内的每个单位时间(1分钟)内的多个连接组中包括的每个连接的网络分析数据被聚合。根据该示例，连接数量对应于单位时间内的多个连接组中的连接总数量。分组数量、字节数量、丢失分组数量也对应于每个单位时间内的多个连接组中的分组总数量、字节总数量、丢失分组总数量。分组丢失率是通过将每个单位时间内的多个连接组中的丢失分组总数量除以每个单位时间内的多个连接组中的分组总数量而获得的值(即，所有连接中的平均丢失率)。RTT和服务器处理时间是包括在多个连接组中的所有连接中的平均RTT和平均服务器处理时间。
返回图10，处理器重复上述训练数据产生处理步骤S21，直到到达确定网络异常的定时(S22中为是)。在到达确定网络异常的定时时(S22中为是)，处理器获取当前网络分析数据(S23)。
图26是示出了获取当前网络分析数据的示例的图。获取在与异常确定的定时相对应的当前时间处的当前网络分析数据的处理基本上与图11和图25中的每一个中所示的产生训练数据的处理相同，除了获取时间不同(在前三周内或在当前时间处)。在获取当前网络分析数据的处理中，处理器从网络解析装置NW_AN_1的存储装置中的网络分析数据DB1获取当前时间处(在2018年5月22日12:51:00)针对每个连接的网络分析数据D11作为当前网络分析数据，如图26所示。
然后，处理器基于提取条件(条件1：协议号6，目的地IP地址：10:20:30:50)从获取的针对每个连接的当前网络分析数据D11中提取针对每个连接的网络分析数据DB3_1，并将提取的网络分析数据DB3_1存储在存储装置中。如图26所示，提取的网络分析数据DB3_1包括针对多个连接组中的所有当前连接的分析数据。对于针对所有当前连接的分析数据DB3_1，生成稍后描述的直方图。
然后，处理器聚合提取的针对多个连接组中的所有当前连接的分析数据DB3_1，以生成聚合的网络分析数据DB3_2，并且将聚合的网络分析数据DB3_2存储在存储装置中，如图26所示。当前聚合的网络分析数据DB3_2中的说明变量(分组数量和字节数量)用作用于JIT分析中的查询的说明变量(分组数量和字节数量)。
返回图10，处理器选择设置信息35中的确定对象项中的一个(S24)。图24示出了确定对象项的示例。确定对象项是用于网络的异常确定的指标。在图24所示的示例中，服务器处理时间、分组丢失率、RTT等被包括在确定对象项中。分组丢失率、服务器处理时间和RTT是网络质量的指标。
然后，处理器执行JIT分析(S25)。图3至图5示出JIT分析方法的概要。本文给出基于图25中所示的与前三周对应的训练数据DB2、基于图26中所示的每个当前连接的网络分析数据DB3_1以及基于网络分析数据DB3_1的聚合网络分析数据(聚合数据)DB3_2执行的JIT分析的描述。
图4是示出JIT分析的流程图的图。图27是示出基于对应于前三周的训练数据DB2和基于当前聚合的网络分析数据(聚合数据)DB3_2的JIT分析的具体示例的图。
在JIT分析中，处理器从先前的训练数据DB2中提取训练数据L_DATA/LCL，该训练数据L_DATA/LCL具有在当前网络分析数据的聚合数据DB3_2中的说明变量向量附近的说明变量向量，并且处理器使用训练数据L_DATA/LCL作为局部模型LCL_M(图4中的S10)。图27示出了图25中所示的三周内的训练数据DB2、当前网络分析数据的聚合数据DB3_2、以及训练数据DB2与聚合数据DB3_2之间的等同于图5中的向量空间的向量空间。先前训练数据DB2中包括的训练数据L_DATA被绘制在向量空间INF_VCT中。通过聚合三周内的每个时间段中的针对多个连接组中的每个连接的分析数据来获得训练数据L_DATA。
然后，处理器使用以下向量作为查询QRY，该向量具有当前网络分析数据的聚合数据DB3_2中的用作说明变量的分组数量和字节数量作为元素，处理器提取包括距查询在给定距离内的向量的训练数据L_DATA/LCL，并使用该训练数据L_DATA/LCL作为局部模型LCL_M(图4中的S10)。
如上所述，由于先前训练模型DB2是针对多个连接组中的每个连接的网络分析数据的聚合数据，因此针对多个连接组中的每个连接的当前网络分析数据的聚合数据DB3_2被用于查询QRY，以提取用于局部模型LCL_M的训练数据L_DATA/LCL。
然后，如图4所示，处理器基于包括在局部模型LCL_M中的多个训练数据集L_DATA/LCL中的向量(分组数量、字节数量和分组丢失率)来计算局部线性模型，并且基于图6所示的局部线性模型LCL_L_M来估计针对当前聚合数据中的向量的说明变量(分组数量和字节数量)的目标变量(分组丢失率)(图4中的S11)。
然后，处理器将通过将指示局部模型的训练数据中的分组丢失率的离差的标准偏差σ乘以因子N而获得的正常范围Nσ与分组丢失率的估计值LOSS_SP相加，从而计算异常确定阈值LOSS_TH(图4中的S12)。另外，处理器确定当前聚合数据中的分组丢失率的测量值是否超过异常确定阈值LOSS_TH(图4中的S13)。当分组丢失率的测量值超过异常判断阈值LOSS_TH时，处理器确定网络当前处于异常状态(图4中的S14)。当分组丢失率的测量值等于或小于异常确定阈值LOSS_TH时，处理器确定网络当前处于正常状态(图4中的S15)。当前聚合数据中的分组丢失率的测量值对应于图26中的聚合网络分析数据DB3_2中的分组丢失率的值，其是有条件提取的网络分析数据DB3_1中的多个连接组中的多个连接中的相应分组丢失率的平均值。
返回图10，当在JIT分析中检测到异常时(S26中为是)，处理器执行警报确定处理步骤S27。当生成询问反馈的警报(S28中为是)并且来自管理员的反馈指示警报是不需要的(不适当)(S29中为是)时，处理器增大因子值N以将正常范围Nσ调整为较大大小(S30)。当没有生成询问反馈的警报时(S28中为否)，或者当不存在指示警报是不需要的(不适当)的反馈时(S29中为否)，处理器不调整正常范围。处理器选择图24中的下一确定对象项，并执行相同的处理，直到对图24中的所有确定对象项的异常确定都结束(S31中为是)。
图12是示出根据警报确定程序的处理的流程图的图。当异常确定的频率等满足警报条件时(S27_1中为是)，处理器执行警报确定程序以发送询问反馈的警报(S27_2)。当异常确定的频率等不满足警报条件时(S27_1中为否)，处理器不发送询问反馈的警报。
[基于JIT分析的网络异常确定和错误确定的示例]
图13是示出针对每个状态生成的每个连接中的分组丢失率的分布(直方图)的图。图14是示出当基于JIT分析错误地确定网络异常时，每个连接中的分组丢失率的分布(直方图)的示例的图。
在图13中，状态1表示多个连接组CG_A至CG_E中的相应通信量之间的比率是正常状态下的比率并且多个连接组CG_A至CG_E中的各相应通信量也是正常状态下的通信量的示例。状态1下所示的对应于连接组CG_A至CG_E示出的箭头的宽度表示通信量。状态2与状态1的不同之处在于，虽然多个连接组CG_A至CG_E中的相应通信量之间的比率是在正常状态下的比率，但是多个连接组CG_A至CG_E中的相应通信量已经增加。
在通信网络1的右侧，直方图HST被示出为表示在状态1和状态2下的当前网络分析数据DB3_1中的所有连接中的分组丢失率的分布DST。沿着每个直方图的水平轴的每个区间对应于分组丢失率，而每个区间的高度对应于连接数量。
在每个直方图HST中示出了：通过JIT分析计算的当前分组丢失率的估计值LOSS_SP、异常确定阈值LOSS_TH以及包括在当前聚合的网络分析数据DB3_2中的平均分组丢失率的测量值(所有连接中的平均分组丢失率)LOSS_AV。
在图4所示的JIT分析中的网络异常确定处理步骤S13中，处理器确定当前平均分组丢失率的测量值LOSS_AV是否超过根据局部模型的训练数据计算出的异常确定阈值LOSS_TH。通过聚合针对多个连接组CG_A至CG_E中的连接的分析数据并执行确定，处理器能够执行对多个连接组CG_A至CG_E的共同异常确定。
在状态1下，多个连接组中的当前平均分组丢失率的测量值LOSS_AV小于异常确定阈值LOSS_TH，因此处理器确定网络正常。在直方图HST中，宽带中的连接组CG_A至CG_D中的分组丢失率低，并且大量连接分布在分组丢失率低的区域中，而窄带中的连接组CG_E中的分组丢失率高，并且连接组CG_E中的少量连接分布在分组丢失率高的区域中。
同时，在状态2下，所有连接组的通信量增加，并且当前平均分组丢失率的测量值LOSS_AV比状态1下的平均分组丢失率的测量值高。这是因为，通常，当通信量增加时，分组丢失率增加。然而，在JIT分析中，通过将测量值(平均值)LOSS_AV与通过将目标变量(分组丢失率)的估计值LOSS_SP和基于离差的正常范围Nσ相加而获得的异常确定阈值LOSS_TH进行比较来进行异常确定。在状态2下，多个连接组中的通信量增加，因此估计值LOSS_SP也增加，并且异常确定阈值LOSS_TH也增加。结果，在状态2下，当前平均分组丢失率的测量值LOSS_AV也小于异常确定阈值LOSS_TH，因此确定网络正常。
在状态2下的直方图HST中，所有连接组中的通信量增加，因此在分组丢失率低的区域和分组丢失率高的区域中的每一个区域中，连接的数量增加，如当前分布DST中所示。
在图14所示的状态3下，连接组CG_A至CG_D中的通信量等于或小于状态1下的通信量，而窄带中的连接组CG_E中的通信量大于状态1下的通信量。换句话说，连接组CG_A至CG_E中的相应通信量之间的比率不同于正常时间的相应通信量之间的比率。因此，在状态3下，基于局部模型中的训练数据的分组丢失率的估计值LOSS_SP等于或稍大于状态1下的分组丢失率的估计值。这是因为状态3的出现频率低，并且在DB2中基本上没有反映状态3的训练数据。
同时，由于连接组中的通信量之间的比率不同于正常时间的通信量之间的比率，所以如当前分布DST中所示，连接组CG_A至CG_D中具有低分组丢失率的连接数量的比例已经减少，并且连接组CG_E中具有高分组丢失率的连接数量的部分已经增加，当前聚合数据中的平均分组丢失率的测量值LOS_AV显著增加。结果，在状态3下，LOSS_AV＞LOSS_TH满足，并且处理器错误地确定网络处于异常状态。
如上所述，在状态3下，在窄带中的连接组CG_E中，通信量已经增加并且丢失分组数量已经增加，但是分组丢失率不是过高，因此连接组CG_E不处于异常状态。然而，其他连接组CG_A至CG_D中的通信量小，连接组CG_E中具有高分组丢失率的连接数量的增加是明显的，并且在当前聚合数据中的平均分组丢失率的测量值LOSS_AV显著增加。结果，错误地确定连接组CG_E处于异常状态。就通信网络1的操作/管理而言，基于由这种错误确定所导致的异常确定来发出警报不是优选的。另外，当基于错误确定发出具有反馈的警报时，反馈指示不存在异常，因此将正常范围Nσ的因子N调整为较大。基于这种错误确定的因子N的调整在随后的异常确定中不是优选的。
注意，当在所有连接组CG_A至CG_E中分组丢失率变得高于正常时间时的分组丢失率或者在部分连接组或任一连接组中分组丢失率变得高于正常时间时的分组丢失率时，可以使用JIT分析来检测异常。
本实施方式中的网络分析处理的特性特征
图15是示出本实施方式中的网络分析程序中包括的警报确定程序的流程图的图。图15的流程图除了图12的警报确定的流程图中的处理步骤S27_1和S27_2之外，还包括用于防止错误确定的处理步骤S27_3和S27_4。
在图15中，在处理步骤S27_3中，处理器确定在异常确定时段(期间网络被确定为异常的时段)期间的多个连接组是否包括具有差网络质量的连接组。当确定的结果为是时，在处理27_4中，处理器对每个均具有正常(非差)网络质量的连接组和具有差网络质量的连接组(或者每个均具有差网络质量的多个连接组)(称为个体分析对象连接组)执行个体(单独的)JIT分析(S27_4_1)。当确定两种连接组都正常时(S27_4_2中为是)，处理器执行不发送询问反馈的警报的处理步骤(S27_4_3)。当不存在具有差网络质量的个体分析对象连接组时(S27_3中为否)，或者当通过JIT分析确定连接组中的任何一个异常时(S27_4_2中为否)，处理器发送询问反馈的警报(S27_2)。基于警报的类型来确定是否是询问反馈的警报。
图16是示出询问反馈的警报的表。在图14所示的状态3下的通信网络中，仅在窄带中的个体分析对象连接组CG_E中，分组丢失率已经劣化。当在这种状态3下执行图15所示的警报确定时，处理器检测具有差网络质量的作为个体分析对象连接组的连接组CG_E，同时检测除了个体分析对象之外的作为每个都具有正常水平网络质量的连接组的连接组CG_A至CG_D。结果，处理器对个体分析对象连接组CG_E和除了个体分析对象连接组CG_E之外的连接组CG_A至CG_D执行个体(单独的)JIT分析。
图16示出了在所有连接组经受共同异常确定并且确定结果中的任一个指示异常的情况下，个体分析对象连接组CG_E和其他连接组CG_A至CG_D经受个体(单独的)JIT分析时的确定结果的组合。表的最左列示出了当所有连接组都经受共同异常确定时的结果，并且所有确定结果都是“异常”。同时，从左侧起的第二列和第三列示出了当除了个体分析对象连接组CG_E之外的连接组CG_A至CG_D和个体分析对象连接组CG_E经受个体JIT分析时的确定结果。从左侧起的第四列示出了最终确定的结果。从左侧起的第五列示出了警报通知的存在或不存在或者警报类型。最右边的列示出了响应于对询问反馈的警报的反馈而调整因子N的细节的示例。
在表的其中连接组CG_A至CG_D和个体分析对象连接组CG_E经受个体(单独的)JIT分析并且连接组中的任何连接组被确定为“异常”的上三行中的每一行中，最终确定的结果为“异常”。因此，处理器发送警报通知或者发送警报类型1至3中的任何一个(每个都是询问反馈的警报)。当反馈指示“警报不需要(适当)”时，因子N被调整为增加。
同时，在对连接组CG_A至CG_D和个体分析对象连接组CG_E的JIT分析中连接组CG_A至CG_D和个体分析对象连接组CG_E中的每一个被确定为“正常”的最下面的行中，最终确定的结果不为“异常”。因此，处理器不发送询问反馈的警报或发送警报类型4。由于警报类型4不是询问反馈的警报，所以不调整因子N。
图17是示出本实施方式中的网络分析处理中的警报确定的详细流程图的图。图17的流程图示出了图15中的处理步骤S27_3和S27_4的细节。图18是示出图17中的警报确定的详细流程图中的处理的图。处理步骤S47和S48分别与图15的步骤S27_4_2和S27_4_3相同。
首先，在确定多个连接组是否包括具有差网络质量的连接组的处理步骤S27_3中，处理器基于在异常确定时段期间针对每个连接的网络分析数据中的分组丢失率的分布，确定是否存在具有差网络质量的个体分析对象连接组。
为了执行该确定，处理器从网络解析装置中的网络分析数据DB1获取在网络被确定为异常的时段期间的针对每个连接的网络分析数据DB31(S40)。具体地，处理器以与图26的方式相同的方式从网络分析数据DB1获取在异常确定时段期间的针对每个连接的网络分析数据D11，并通过有条件提取从网络分析数据D11提取确定对象连接，以获取每个单位时间内针对每个连接的网络分析数据DB3_1。
图18是与图3等效的表示网络中的分组丢失率的日常转变的图。根据该图，在5月22日12:50至12:51的时段期间，在每个单位时间中聚合的连接中的分组丢失率的平均值LOSS_AV超过异常确定阈值LOSS_TH，并且确定网络中的异常。换句话说，5月22日12:50至12:51的时段对应于异常确定时段。
然后，处理器针对异常确定时段期间的针对连接的网络分析数据DB3_1，使用后面描述的核函数估计使用关于用作类(区间)的分组丢失率的连接数量SS×分组丢失率LOSS的测量值(SS×LOS)作为频率的分布DST(直方图)(S41)。然后，处理器确定估计分布DST在高于JIT分析中估计的异常确定阈值LOSS_TH的分组丢失率的分组丢失率处是否具有预定高度的分布峰值(S42)。当分布具有这样的分布峰值时，处理器确定包括分布峰值中包括的大量连接的连接组是具有差的网络质量的个体分析对象连接组。图18示出了分组丢失率的分布DST的示例。在图18中，分布SDT中的分布峰值由虚线椭圆指示。
图19是示出上述每个处理步骤S41和S42的细节的图。图19示出了在处理步骤S41中获取的异常确定时段期间针对每个连接的网络分析数据DB3_1。如上所述，异常确定时段是5月22日12:50至12:51。然后，在直方图HST中示出了在处理步骤S42中生成的、针对网络分析数据DB3_1中的所有连接的、使用连接数量SS作为频率的分布以及使用连接数量SS×分组丢失率LOSS的测量值(SS×LOSS)作为频率的分布。两个分布SS和SS×LOSS每个都基于核函数生成，并且将在后面详细具体地描述。
在直方图HST中，示出了异常确定阈值LOSS_TH以及连接数量×分组丢失率的测量值SS×LOSS的谷值VAL和两个峰值MT1和MT2。在较低分组丢失率处的峰值MT1对应于第一类型的连接组CG_A至CG_D中的连接的峰值。在较高分组丢失率处的峰值MT2对应于第二类型的连接组CG_E中的连接的峰值。
上述SS×LOSS的峰值MT2是位于比异常确定阈值LOSS_TH的分组丢失率高的分组丢失率处的峰值。换句话说，SS×LOSS的峰值MT2也是位于比SS×LOSS的谷值VAL的分组丢失率高的分组丢失率处的峰值。因此，处理器确定直方图HST中是否存在位于比异常确定阈值LOSS_TH(或谷VAL)的分组丢失率高的分组丢失率处的分布峰值MT2(S42)。
如图18和图19所示，处理器基于SS×LOSS的直方图HST检测在比LOSS_TH的分组丢失率高的分组丢失率的位置处的分布峰值MT2(S42)。结果，处理器检测具有差网络质量的个体分析对象连接组的存在(图17中的S27_3)。
返回图17，在每个都具有正常(非差)网络质量的连接组和具有差网络质量的个体分析对象连接组经受个体JIT分析的处理步骤27_4中，处理器检测包括分布峰值MT2中包括的连接的连接组，并且将具有差网络质量的个体分析对象连接组CG_E与其他连接组CG_A至CG_D分离(S43)。
如图19所示，处理器基于比SS×LOSS的谷值VAL处的分组丢失率高4.2％的分组丢失率处的分布峰值MT2中包括的连接的源IP地址[src_IP]，检测包括分布峰值MT2中包括的大量连接的连接组CG_E。
分布峰值检测处理步骤S42
图20、图21和图22是均示出分布峰值检测处理步骤S42的图。图20示出了在S42为否即没有检测到分布峰值的情况下和在S42为是即检测到分布峰值的情况下的直方图的示例。在任一直方图中，沿水平轴的类(区间)表示分组丢失率LOSS，而沿垂直轴的频率表示连接数量SS或者连接数量×分组丢失率(SS×LOSS)。
当连接数量SS(实线)用作直方图的频率时，在S42为是即检测到分布峰值的情况下的分布峰值MT2具有低的峰值高度并且难以检测。因此，在本实施方式中，连接数量×分组丢失率(SS×LOSS)被用作直方图的频率。具体地，基于使用通过将连接数量SS乘以分组丢失率LOSS的权重获得的值作为频率的分布(虚线)来检测分布峰值MT2。通过将连接数量SS乘以分组丢失率LOSS的权重，可以放大分组丢失率特别高的区域中的分布峰值MT2。
图21的左侧示出了使用连接数量SS作为频率的直方图。图21的右侧示出了连接数量SS小的区域处于放大关系下的直方图。由处理器生成的直方图是通过在图21的右侧示出的每个区间中绘制连接数量SS而获得的线图。由于线图表示不连续的峰值，因此当处理器基于线图检测在丢失率高的区域中是否存在分布峰值时，检测不易。
因此，在本实施方式中，如图22所示，处理器在直方图的水平轴(丢失率)上绘制通过核密度估计KDE获得的连接数量SS的分布(示为KDE)，并且确定KDE总值f(x)＝ΣKDE。f(x)的分布是连接数量SS的平滑分布。处理器还将核密度估计KDE乘以丢失率LOSS，以确定LOSS×KDE的总值LOSS×f(x)＝∑(LOSS×KDE)。LOSS×f(x)的分布对应于SS×LOSS的平滑分布。
在本实施方式中，处理器不是基于如图21中的将连接数量SS乘以丢失率LOSS而获得的直方图的分布，而是基于通过将连接数量SS的核密度估计KDE乘以丢失率LOSS而获得的LOSS×KDE的总值LOSS×f(x)＝Σ(LOSS×KDE)的分布，来执行对在高丢失率处是否存在分布峰值的确定S42。这允许处理器通过算术运算相对容易地检测高丢失率处的分布峰值。
返回图17，处理器检测以高比例包括所检测到的在高丢失率处的分布峰值MT2中包括的连接的个体分析对象连接组CG_E，并且将该个体分析对象连接组CG_E与其他连接组CG_A至CG_D分离(S43)。然后，处理器对个体分析对象连接组CG_E和其他连接组CG_A至CG_D中的每一个执行个体JIT分析。
在JIT分析中，首先，处理器从网络解析装置中的数据DB1中获取在异常确定时段期间JIT分析所需(要使用)的训练数据产生对象时段期间(异常确定时段之前的三周)的网络分析数据D1(S44)。然后，处理器根据获取的网络分析数据D1，针对彼此分离的连接组中的每一个产生训练数据DB2(S45)。处理步骤S44和S45等同于针对彼此分离的每个连接组执行图11中所示的用于数据产生的处理步骤S21_1至S21_3。然后，处理器执行对彼此分离的连接组中的每一个的JIT分析(S46)。通过使用在处理步骤S40中获取的异常确定时段期间针对每个连接的训练数据DB2和网络分析数据DB3_1的聚合数据DB3_2，基于图4中示出的处理来执行JIT分析。
图23是示出对个体分析对象连接组CG_E执行的JIT分析的图。如图18所示，在5月22日12:50至12:51的时段期间，所有连接组都经受共同的JIT分析并被确定为异常。同时，如图23所示，在5月22日12:50至12:51的时段期间，根据JIT分析，基于LOSS_AV＜LOSS_TH确定个体分析对象连接组CG_E正常。在图23所示的直方图HST中，每个均具有高分组丢失率的连接基于个体分析对象连接组CG_E的连接数据形成分布峰值MT2。因此，每个时间段中的网络分析数据的聚合数据DB3_2中的分组丢失率的平均值LOSS_AV在分布峰值MT2附近。同时，在个体分析对象连接组CG_E中，训练数据中的连接中的分组丢失率趋于高，因此局部线性模型中的分组丢失率的估计值LOSS_SP高，并且异常确定阈值LOSS_TH也高。结果，平均值LOSS_AV低于异常确定阈值LOSS_TH，并且连接组CG_E的JIT分析的结果指示没有异常。
网络分析的具体示例
图28是示出在处理步骤S44和S45中的针对每个连接组的训练数据DB2的示例的图。模式1示出了对应于三周的针对连接组CG_A至CG_D的网络分析数据D2和通过将每个单位时间内的网络分析数据D2聚合而获得的训练数据DB2。网络分析数据D2为经受条件提取的数据。同时，模式2示出了对应于三周的针对个体分析对象连接组CG_E的网络分析数据D2和通过将每个单位时间内的网络分析数据D2聚合而获得的训练数据DB2。
在模式1下，源IP地址是包括在连接组CG_A至CG_D中的IP地址10.20.30.50和10.20.30.70。同时，在模式2下，源IP地址是包括在个体分析对象连接组CG_E中的IP地址10.20.30.40至10.20.30.45。此外，模式1下的训练数据DB2中的丢失率低至0.04，而模式2下的训练数据DB2中的丢失率高达2.68。
模式1和模式2下的训练数据集分别用于连接组CG_A至CG_D的JIT分析和个体分析对象连接组CG_E的JIT分析。
图29是示出处理步骤S40中的异常确定时段期间针对每个连接组的网络分析数据DB3的示例的图。模式1示出了在异常确定时段期间针对连接组CG_A至CG_D的网络分析数据DB3_1和通过将每个单位时间内的网络分析数据DB3_1聚合而获得的聚合数据(网络分析数据)DB3_2。网络分析数据DB3_1是经受条件提取的数据。同时，模式2示出了在异常确定时段期间针对个体分析对象连接组CG_E的网络分析数据DB3_1和通过将每个单位时间内的网络分析数据DB3_1聚合而获得的聚合数据(网络分析数据)DB3_2。网络分析数据DB3_1也是经受条件提取的数据。模式1和模式2下的源IP地址和分组丢失率与图28中的源IP地址和分组丢失率相同。
图29中的模式1和模式2下的相应聚合数据集(网络分析数据集)DB3_2分别用于连接组CG_A至CG_D的JIT分析和个体分析对象连接组CG_E的JIT分析。
如上所述，在根据本实施方式的网络分析装置中，当对多个连接组共同地执行异常确定时，确定作为导致异常的因素的连接组的存在。当存在用作导致异常的因素的连接组时，用作导致异常的因素的个体分析对象连接组CG_E和除个体分析对象连接组CG_E之外的连接组CG_A至CG_D经受个体(单独的)JIT分析。因此，可以检查在共同确定多个连接组的情况下的异常确定是否是错误的。根据实施方式，可以提高网络分析的准确度。
另外，在本实施方式中，网络解析装置针对连接生成网络分析数据DB1。然而，由网络解析装置生成的网络分析数据不限于此。由网络解析装置生成的网络分析数据也可以是用于会话的网络分析数据。

Claims (10)

1.一种非暂态计算机可读存储介质，其中存储有用于使计算机执行处理的计算机可读网络分析程序，所述处理包括：
执行局部建模分析，所述局部建模分析基于包括局部训练数据的局部模型来确定与当前聚合数据中的说明变量向量相对应的当前网络质量的估计值，
所述局部训练数据包括先前训练数据中的说明变量向量之中的距所述当前聚合数据中的说明变量向量在预定距离内的说明变量向量，
所述先前训练数据是基于时间段的训练数据，所述基于时间段的训练数据是通过将每个均包括作为源或目的地的相同通信节点组的多个连接组中的连接的先前网络分析数据聚合而获得的，所述先前网络分析数据是通过获取网络的通信路径上的所述多个连接组中的分组并分析所获取的分组而获得的，以及
所述当前聚合数据是通过将所述多个连接组中的连接的当前网络分析数据聚合而获得的；
基于当前网络质量的测量值是否低于基于所述估计值计算的异常确定阈值来确定所述网络中的异常；
执行分布确定，所述分布确定确定具有超过所述异常确定阈值的网络质量的测量值的连接的分布是否以等于或大于预定大小的大小存在于所述网络中的异常被确定的异常时间块期间的连接的网络分析数据中；
提取指定连接组作为个体分析对象连接组，所述指定连接组拥有在具有等于或大于所述预定大小的大小的所述连接的分布中的等于或大于标准比例的连接；以及
分别使所述个体分析对象连接组的所述先前训练数据和所述当前聚合数据以及所述多个连接组中除所述个体分析对象连接组以外的连接组的所述先前训练数据和所述当前聚合数据经受所述局部建模分析，以确定所述网络中的异常。
2.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述局部建模分析包括：
基于所述局部模型，生成用于根据所述说明变量向量计算所述估计值的局部线性模型；以及
基于所述局部线性模型，计算关于所述当前聚合数据中的说明变量向量的所述估计值。
3.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述处理还包括：
当确定所述个体分析对象连接组和其他连接组中的每一个都不对应于所述网络中的异常时，不生成报告所述网络中的异常的警报。
4.根据权利要求3所述的非暂态计算机可读存储介质，其中，所述处理还包括：
通过将所述局部模型的离差乘以因子来设置基于所述离差的适当范围；以及
当响应于所述警报从所述警报的接收者返回的反馈指示所述警报不适当时，增加所述因子的值以扩大所述适当范围。
5.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述分布确定包括：
针对所述异常时间块期间的所述连接的网络分析数据，生成直方图，在所述直方图中，所述网络质量的测量值被分配给区间中的每个区间，并且通过将所述连接的数量乘以所述测量值而获得的值被用作所述区间的数量，以及
确定在所述直方图中具有超过所述异常确定阈值的网络质量的测量值的所述连接的分布是否具有分布峰值，所述分布峰值具有等于或大于所述预定大小的大小。
6.根据权利要求5所述的非暂态计算机可读存储介质，其中，包括在所述分布确定中的所述直方图的生成包括：
针对所述异常时间块期间的多个相应连接，将经修改的核函数放置在所述直方图中的所述测量值的位置处，其中，所述经修改的核函数中的每一个是通过将以所述测量值为中心的核函数乘以所述测量值而获得的，并且生成使用通过将多个所放置的经修改的核函数相加而获得的值作为所述区间的数量的分布曲线作为所述直方图；以及
确定所述分布曲线在具有超过所述异常确定阈值的网络质量的测量值的位置处是否具有大小等于或大于所述预定大小的分布峰值。
7.根据权利要求1所述的非暂态计算机可读存储介质，其中，
所述网络分析数据包括所述连接的数量和每个均表示网络质量的质量值，以及
均由所述多个连接组中的聚合而产生的所述先前训练数据和所述当前聚合数据中的每一个包括所述连接的总数和所述质量值的平均值。
8.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述异常确定阈值通过将基于所述局部模型中的网络质量的离差的适当范围加到所述估计值来计算。
9.一种用于确定网络中的异常的网络分析装置，所述装置包括：
处理器；以及
存储器，其被配置成由所述处理器访问，其中，所述处理器执行：
执行局部建模分析，所述局部建模分析基于包括局部训练数据的局部模型来确定与当前聚合数据中的说明变量向量相对应的当前网络质量的估计值，
所述局部训练数据包括先前训练数据中的说明变量向量之中的距所述当前聚合数据中的说明变量向量在预定距离内的说明变量向量，
所述先前训练数据是基于时间段的训练数据，所述基于时间段的训练数据是通过将每个均包括作为源或目的地的相同通信节点组的多个连接组中的连接的先前网络分析数据聚合而获得的，所述先前网络分析数据是通过获取网络的通信路径上的所述多个连接组中的分组并分析所获取的分组而获得的，以及
所述当前聚合数据是通过将所述多个连接组中的连接的当前网络分析数据聚合而获得的；
基于当前网络质量的测量值是否低于基于所述估计值计算的异常确定阈值来确定所述网络中的异常；
执行分布确定，所述分布确定确定具有超过所述异常确定阈值的网络质量的测量值的连接的分布是否以等于或大于预定大小的大小存在于所述网络中的异常被确定的异常时间块期间的连接的网络分析数据中；
提取指定连接组作为个体分析对象连接组，所述指定连接组拥有在具有等于或大于所述预定大小的大小的所述连接的分布中的等于或大于标准比例的连接；以及
分别使所述个体分析对象连接组的所述先前训练数据和所述当前聚合数据以及所述多个连接组中除所述个体分析对象连接组以外的连接组的所述先前训练数据和所述当前聚合数据经受所述局部建模分析，以确定所述网络中的异常。
10.一种网络分析方法，其包括以下处理：
执行局部建模分析，所述局部建模分析基于包括局部训练数据的局部模型来确定与当前聚合数据中的说明变量向量相对应的当前网络质量的估计值，
所述局部训练数据包括先前训练数据中的说明变量向量之中的距所述当前聚合数据中的说明变量向量在预定距离内的说明变量向量，
所述先前训练数据是基于时间段的训练数据，所述基于时间段的训练数据是通过将每个均包括作为源或目的地的相同通信节点组的多个连接组中的连接的先前网络分析数据聚合而获得的，所述先前网络分析数据是通过获取网络的通信路径上的所述多个连接组中的分组并分析所获取的分组而获得的，以及
所述当前聚合数据是通过将所述多个连接组中的连接的当前网络分析数据聚合而获得的；
基于当前网络质量的测量值是否低于基于所述估计值计算的异常确定阈值来确定所述网络中的异常；
执行分布确定，所述分布确定确定具有超过所述异常确定阈值的网络质量的测量值的连接的分布是否以等于或大于预定大小的大小存在于所述网络中的异常被确定的异常时间块期间的连接的网络分析数据中；
提取指定连接组作为个体分析对象连接组，所述指定连接组拥有在具有等于或大于所述预定大小的大小的所述连接的分布中的等于或大于标准比例的连接；以及
分别使所述个体分析对象连接组的所述先前训练数据和所述当前聚合数据以及所述多个连接组中除所述个体分析对象连接组以外的连接组的所述先前训练数据和所述当前聚合数据经受所述局部建模分析，以确定所述网络中的异常。
CN202010587800.3A 2019-07-24 2020-06-24 网络分析程序、网络分析装置以及网络分析方法 Active CN112291107B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-136265 2019-07-24
JP2019136265A JP7235967B2 (ja) 2019-07-24 2019-07-24 ネットワーク分析プログラム、ネットワーク分析装置及びネットワーク分析方法

Publications (2)

Publication Number Publication Date
CN112291107A true CN112291107A (zh) 2021-01-29
CN112291107B CN112291107B (zh) 2023-06-23

Family

ID=71120079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010587800.3A Active CN112291107B (zh) 2019-07-24 2020-06-24 网络分析程序、网络分析装置以及网络分析方法

Country Status (4)

Country Link
US (1) US11507076B2 (zh)
EP (1) EP3771152B1 (zh)
JP (1) JP7235967B2 (zh)
CN (1) CN112291107B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002818A (zh) * 2021-03-01 2022-09-02 上海大唐移动通信设备有限公司 网络分析系统运维方法、平台、装置和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7311402B2 (ja) * 2019-11-19 2023-07-19 エヌ・ティ・ティ・コミュニケーションズ株式会社 閾値出力装置、閾値出力方法および閾値出力プログラム
WO2021245854A1 (ja) * 2020-06-03 2021-12-09 日本電信電話株式会社 モデル構築装置、推定装置、モデル構築方法、推定方法及びプログラム
US11689763B2 (en) * 2020-09-28 2023-06-27 T-Mobile Usa, Inc. Cross-party diagnostics
AU2021269362A1 (en) * 2020-12-18 2022-07-07 The Boeing Company Systems and methods for real-time network traffic analysis

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238043A (ja) * 2005-02-24 2006-09-07 Mitsubishi Electric Corp ネットワーク異常検出装置
US20090052330A1 (en) * 2005-06-02 2009-02-26 Nec Corporation Anomaly detection method and system and maintenance method and system
US20110185235A1 (en) * 2010-01-26 2011-07-28 Fujitsu Limited Apparatus and method for abnormality detection
US20180077182A1 (en) * 2016-09-13 2018-03-15 Cisco Technology, Inc. Learning internal ranges from network traffic data to augment anomaly detection systems
CN108667856A (zh) * 2018-08-10 2018-10-16 广东电网有限责任公司 一种网络异常检测方法、装置、设备及存储介质
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4429095B2 (ja) * 2004-06-25 2010-03-10 富士通株式会社 障害解析プログラム、障害解析装置、記録媒体及び障害解析方法
JP2011145846A (ja) 2010-01-14 2011-07-28 Hitachi Ltd 異常検知方法、異常検知システム、及び異常検知プログラム
US10097417B2 (en) * 2013-01-24 2018-10-09 Vencore Labs, Inc. Method and system for visualizing and analyzing a field area network
US9521158B2 (en) * 2014-01-06 2016-12-13 Cisco Technology, Inc. Feature aggregation in a computer network
US9848005B2 (en) 2014-07-29 2017-12-19 Aruba Networks, Inc. Client reputation driven role-based access control
US9544321B2 (en) * 2015-01-30 2017-01-10 Securonix, Inc. Anomaly detection using adaptive behavioral profiles
US10154053B2 (en) * 2015-06-04 2018-12-11 Cisco Technology, Inc. Method and apparatus for grouping features into bins with selected bin boundaries for use in anomaly detection
WO2017015462A1 (en) 2015-07-22 2017-01-26 Dynamic Network Services, Inc. Methods, systems, and apparatus to generate information transmission performance alerts
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system
US9961571B2 (en) * 2015-09-24 2018-05-01 Futurewei Technologies, Inc. System and method for a multi view learning approach to anomaly detection and root cause analysis
JP6672751B2 (ja) * 2015-12-03 2020-03-25 富士通株式会社 パケット収集方法、パケット収集プログラム及びパケット収集装置
US11277420B2 (en) * 2017-02-24 2022-03-15 Ciena Corporation Systems and methods to detect abnormal behavior in networks
US11181894B2 (en) * 2018-10-15 2021-11-23 Uptake Technologies, Inc. Computer system and method of defining a set of anomaly thresholds for an anomaly detection model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238043A (ja) * 2005-02-24 2006-09-07 Mitsubishi Electric Corp ネットワーク異常検出装置
US20090052330A1 (en) * 2005-06-02 2009-02-26 Nec Corporation Anomaly detection method and system and maintenance method and system
US20110185235A1 (en) * 2010-01-26 2011-07-28 Fujitsu Limited Apparatus and method for abnormality detection
US20180077182A1 (en) * 2016-09-13 2018-03-15 Cisco Technology, Inc. Learning internal ranges from network traffic data to augment anomaly detection systems
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof
CN108667856A (zh) * 2018-08-10 2018-10-16 广东电网有限责任公司 一种网络异常检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹柏贤,李忠诚: "基于AR模型的网络异常检测" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002818A (zh) * 2021-03-01 2022-09-02 上海大唐移动通信设备有限公司 网络分析系统运维方法、平台、装置和存储介质

Also Published As

Publication number Publication date
US11507076B2 (en) 2022-11-22
EP3771152A1 (en) 2021-01-27
EP3771152B1 (en) 2023-04-19
CN112291107B (zh) 2023-06-23
JP2021022759A (ja) 2021-02-18
US20210026341A1 (en) 2021-01-28
JP7235967B2 (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
CN112291107B (zh) 网络分析程序、网络分析装置以及网络分析方法
US9015312B2 (en) Network management system and method for identifying and accessing quality of service issues within a communications network
US9491285B2 (en) Technique for performance management in a mobile communications network
US12063528B2 (en) Anomaly detection method and device, terminal and storage medium
CN114978568B (zh) 使用机器学习进行数据中心管理
CN111935172A (zh) 基于网络拓扑的网络异常行为检测方法、计算机装置及计算机可读存储介质
CN110929896A (zh) 一种系统设备的安全分析方法及装置
CN102487523A (zh) 用户投诉分析方法及装置
CN116016237B (zh) 一种智能网关监控系统
US20170206125A1 (en) Monitoring system, monitoring device, and monitoring program
CN109963292B (zh) 投诉预测的方法、装置、电子设备和存储介质
US20070030815A1 (en) Method and system for analysing data quality measurements in wireless data communication networks
WO2023093527A1 (zh) 告警关联规则生成方法、装置、电子设备和存储介质
CN116668080A (zh) 一种流量异常评估方法及装置、电子设备和存储介质
CN112367311B (zh) DDoS攻击检测方法、装置、设备及存储介质
KR20110035336A (ko) 비정상 트래픽 탐지 방법 및 이를 이용한 네트워크 관리 시스템
CN114666210A (zh) 基于大数据日志分析的告警方法及装置
CN114860543A (zh) 异常检测方法、装置、设备与计算机可读存储介质
US20200162605A1 (en) Network Topology Determining Method, Apparatus, and System
JP2019175070A (ja) アラート通知装置およびアラート通知方法
CN118400291B (zh) 一种通信信息监测方法和系统
WO2024114567A1 (zh) 一种网络问题分析方法以及相关装置
CN117424797B (zh) 一种实时大并发告警接收和处理方法
CN106302499A (zh) 一种安全日志采集方法、装置及系统
WO2023084282A1 (en) Network analytics system with data loss detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant