CN112436968A - 一种网络流量的监测方法、装置、设备及存储介质 - Google Patents

一种网络流量的监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112436968A
CN112436968A CN202011324622.1A CN202011324622A CN112436968A CN 112436968 A CN112436968 A CN 112436968A CN 202011324622 A CN202011324622 A CN 202011324622A CN 112436968 A CN112436968 A CN 112436968A
Authority
CN
China
Prior art keywords
flow
real
data
time
baseline model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011324622.1A
Other languages
English (en)
Other versions
CN112436968B (zh
Inventor
张雯雯
史帅
尚程
梁彧
田野
傅强
王杰
杨满智
蔡琳
金红
陈晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eversec Beijing Technology Co Ltd
Original Assignee
Eversec Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eversec Beijing Technology Co Ltd filed Critical Eversec Beijing Technology Co Ltd
Priority to CN202011324622.1A priority Critical patent/CN112436968B/zh
Publication of CN112436968A publication Critical patent/CN112436968A/zh
Application granted granted Critical
Publication of CN112436968B publication Critical patent/CN112436968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0695—Management of faults, events, alarms or notifications the faulty arrangement being the maintenance, administration or management system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种网络流量的监测方法、装置、设备及存储介质，该方法包括：获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息，实现了网络流量的实时监测，以及对网络流量异常的及时报警。

Description

一种网络流量的监测方法、装置、设备及存储介质
技术领域
本发明实施例涉及网络技术领域，尤其涉及一种网络流量的监测方法、装置、设备及存储介质。
背景技术
随着网络技术和计算机技术的不断发展，现代通信网络变得越发的庞大与复杂，而业务拥塞及通信故障等问题频发造成严重的经济损失；因此，对于网络资源进行有效的管理变得必不可少。
现有的网络资源管理方法主要包括网元管理方式、运行管理方式和性能/服务管理方式，主要通过中央服务器监控管理网络设备的安装与维护，或者针对网络的使用情况进行管理；但无法实现对网络中异常情况、未知的威胁或具体业务流量的监测与管控，易导致网络故障等问题，从而造成严重的经济损失。
发明内容
本发明实施例提供了一种网络流量的监测方法、装置、设备及存储介质，以实现网络流量的实时监测和网络流量异常的及时告警。
第一方面，本发明实施例提供了一种网络流量的监测方法，包括：
获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；
将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；
若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
第二方面，本发明实施例提供了一种网络流量的监测装置，包括：
预处理模块，用于获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；
异常数据判断模块，用于将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；
报警信息发送模块，用于若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
第三方面，本发明实施例还提供了一种电子设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的网络流量的监测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的网络流量的监测方法。
本发明实施例提供的技术方案，首先获取实时网络流量，并对实时网络流量进行预处理，以获取预处理完成的实时流量数据；然后将实时流量数据输入至自适应训练完成的流量基线模型，并通过流量基线模型，对预处理完成的实时流量数据进行异常判断；最后若确定当前实时流量数据为异常数据，则将实时流量数据进行展示，并发送报警信息，实现了网络流量的实时监测，以及对网络流量异常的及时报警。
附图说明
图1是本发明实施例一提供的一种网络流量的监测方法的流程图；
图2是本发明实施例二提供的另一种网络流量的监测方法的流程图；
图3是本发明实施例三提供的一种网络流量的监测装置的结构框图；
图4是本发明实施例四提供的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种网络流量的监测方法的流程图，本实施例可适用于基于自适应训练完成的流量基线模型对网络流量进行监测，该方法可以由本发明实施例中的网络流量的监测装置来执行，该装置可以通过软件和/或硬件实现，并集成在电子设备上，典型的，可以集成在网络中的计算机设备、交换机设备或路由器设备中，该方法具体包括如下步骤：
S110、获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测。
网络流量，可以是网络中一台终端设备(例如，个人计算机设备、交换机设备或路由器设备)传输的数据量，通过在上述终端设备中部署探针设备获取；也可以是由多台终端设备组成的网络系统中传输的数据量，通过在网络系统中的每台终端设备中分别部署探针设备，或在各终端设备之间的网络链路中分别部署探针设备，再通过流量汇总获取网络系统的网络流量；在获取实时网络流量后，还包括对获取的网络流量数据进行存储，每存储一定时间，例如，每间隔10秒，进行一次数据异常的判断；由于实时网络流量数据的周期性会造成数据异常的误判，故在获取实时网络流量后，对实时网络流量进行时序周期性检测，进行时序周期性检测的方式包括：采用扩张的迪基-福勒检验(Augumented Dickey-Fullertest)方法以判断实时网络流量数据的时序周期性；本发明实施例中，通过对获取的实时网络数据进行预处理，检测实时网络流量数据的周期性，以针对周期性流量数据和非周期流量数据执行对应的处理，可提升对网络流量数据的异常判断的准确度。
可选的，在本发明实施例中，所述预处理还包括缺失值检测、缺失值填充和/或滤波处理。具体的，对实时网络流量进行预处理，包括检测所获取实时网络流量的时序缺失情况，若确定实时流量数据存在时序缺失，计算并返回当前网络流量的缺失率，即缺失数据长度与总实时网络流量数据长度的比值；在获取当前网络流量的缺失率后，还包括，若当前网络流量的缺失率大于预设缺失阈值，对网络流量进行缺失值填充，以保证网络数据的完整性；具体的，通过总体均值、特定值、中位数和/或前后数值均值，对实时网络流量进行缺失值填充；其中，总体均值即为当前网络流量总体数值的均值；特定值为根据需要预先设定的数值，例如，根据经验值或历史流量记录设定的流量数值；中位数，是将当前网络流量数据进行排序，选取排序的中间数值；前后数值均值，为数据缺失位置前后数据的均值。当确定所获取的实时网络流量为周期性数据时，还包括对实时网络流量进行滤波处理，以消除实时网络流量中噪声信息的影响，具体的，通过卡尔曼滤波、移动平均滤波和/或有限长单位冲激响应滤波，对所述实时网络流量进行滤波处理；其中，卡尔曼滤波通过获取当前时刻系统的最优输出，从而滤除噪声对系统的影响；移动平均滤波通过对历史数据求算术平均数，并把算术平均数作为以后时期的预测值，以实现噪声的滤除；有限长单位冲激响应(FiniteImpulse Response，FIR)滤波，根据当前流量数据和历史理论数据，可获取以后时期理论流量数据，从而消除噪声对流量数据的影响。
S120、将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据。
具体的，在本发明实施例中，将预处理完成的实时流量数据输入至训练完成的流量基线模型，以获取初始异常数据和实时流量数据对应的流量基线，通过将预处理完成的实时流量数据中的初始异常数据和获取的流量基线进行对比，以对初始异常数据进行判断，并确定是否为异常实时流量数据。可选的，在本发明实施例中，所述通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，包括：通过所述流量基线模型，对预处理后的流量数据进行异常值提取，并根据所述流量基线模型的流量基线，确定所述流量数据中是否为异常数据。其中，流量基线模型基于机器学习构建，可根据历史流量数据生成对应的流量基线，并可根据实时流量数据实现流量模型的迭代优化；流量基线，为流量基线模型根据输入的历史流量数据生成的对应基线，表征网络流量应处于的合理范围，可用于实时流量数据的异常情况的判断，例如以流量基线为最大阈值，超过该最大阈值的初始异常数据可确定为异常流量数据，或以流量基线为最小阈值，小于该最小阈值的初始异常数据可确定为异常流量数据；对于初始异常流量数据的判断，包括采用删减的精确线性时间(Pruned Exact Linear Time，Pelt)变点检测算法进行实时网络流量数据的异常拐点的检测，通过检测实时流量数据的异常拐点，以确定实时流量数据中的初始异常流量数据。在完成流量数据中初始异常流量数据的提取后，流量基线模型根据当前流量基线，将初始异常数据与当前流量基线进行对比，获取对比结果，以确定当前实时流量数据的实际异常情况，可实现异常流量数据的准确判断。
可选的，在本发明实施例中，在将所述流量数据输入至自适应训练完成的流量基线模型前，还包括：基于机器学习构建初始流量基线模型，并通过历史网络流量，对所述初始流量基线模型进行自适应训练，以获取自适应训练完成的流量基线模型。具体的，以历史网络流量作为训练样本，对初始流量基线模型进行自适应训练，包括对历史网络流量进行时序周期性检测，确定历史网络流量为周期性训练样本或非周期性训练样本，并采用对应的训练样本对初始流量基线模型进行自适应训练；通过采用历史网络流量作为训练样本对初始流量基线模型进行训练，可获取更加准确的对应流量基线，进而提升对异常流量数据判断的准确度。
S130、若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
具体的，在本发明实施例中，若确定实时流量数据为异常数据，将当前实时流量数据发送至前端，并在前端进行异常数据的展示，包括以图表的形式对该异常数据进行展示；前端操作人员可根据展示图表直观的观察异常数据的变化情况，并可对展示图表进行点击或缩放等操作，以获取对应的流量数据或更加细节的数据变化情况；在将实时流量数据发送至前端进行展示时，还包括向前端发送报警信息，以提示前端人员当前流量数据存在异常，从而及时进行对应的处理。通过在确定实时流量数据为异常数据时，及时发送报警信息，可实现网络流量异常的及时报警，避免因故障处理不及时导致的经济损失。
可选的，在本发明实施例中，在将所述实时流量数据进行展示，并发送报警信息后，还包括：将所述实时流量数据进行存储，并通过所述实时流量数据，对所述流量基线模型进行迭代更新。其中，通过实时流量数据，对流量基线模型进行迭代更新，可以是以实时流量数据作为新的训练样本，对流量基线模型进行训练，以获取优化的流量基线模型；也可以是将当前实时流量数据加入至历史网络流量以作为新的训练样本，对流量基线模型进行训练，以获取优化的流量基线模型。若当前实时流量数据不为异常数据，则直接对实时流量数据进行存储，并以当前实时流量数据为新的训练样本或将当前实时流量数据加入至历史流量数据中作为新的训练样本对流量基线模型进行优化，但不对实时流量信息进行展示，且不发送告警信息。本发明实施例中，通过实时流量数据对流量基线模型进行迭代更新，可进一步提升对异常流量数据判断的准确度。
本发明实施例提供的技术方案，首先获取实时网络流量，并对实时网络流量进行预处理，以获取预处理完成的实时流量数据；然后将实时流量数据输入至自适应训练完成的流量基线模型，并通过流量基线模型，对预处理完成的实时流量数据进行异常判断；最后若确定当前实时流量数据为异常数据，则将实时流量数据进行展示，并发送报警信息，实现了网络流量的实时监测，以及对网络流量异常的及时报警。
实施例二
图2为本发明实施例二提供的一种网络流量的监测方法的流程图，本实施例在上述实施例的基础上进行具体化，在本实施例中，通过历史网络流量，对初始流量基线模型进行自适应训练，以获取自适应训练完成的流量基线模型，该方法具体包括：
S210、获取历史网络流量，并对所述历史网络流量进行预处理，以获取预处理完成的历史流量数据。
S220、若确定所述历史流量数据为周期性流量数据，则根据时间序列分解算法和/或三西格玛算法，并通过所述初始流量基线模型对所述历史流量数据进行异常值提取，以获取第一提取结果。
具体的，在本发明实施例中，当确定历史流量数据为周期性流量数据时，获取当前流量数据的周期长度，包括对历史流量数据进行傅里叶变换以获取周期长度；由于流量数据的周期性会导致数据异常的误判，故通过时间序列分解算法将历史流量数据分解为趋势分量、周期分量和残差分量，以获取历史流量数据的残差分量，其中，时间序列分解算法包括基于loess的季节性趋势分解过程(Seasonal-trend decomposition procedures basedon loess，STL)算法；通过对残差分量异常情况的判断，可消除流量数据周期性的影响，提升流量数据异常判断的准确度。本发明实施例中，在获取历史流量数据的残差分量后，采用三西格玛(3-sigma)算法对残差分量进行异常值的检测，选取残差分量中与平均值的偏差超过3倍标准差的残差分量为异常残差分量，并将该异常残差分量对应历史流量数据确定为异常流量数据。在确定异常流量数据后，将异常流量数据添加至第一提取结果，通过初始流量基线模型对周期性历史流量数据进行异常值提取，实现了第一提取结果的获取。
S230、若确定所述历史流量数据为非周期性流量数据，则根据k-西格玛算法，并通过所述初始流量基线模型对所述历史流量数据进行异常值提取，以获取第二提取结果。
具体的，在本发明实施例中，若确定历史流量数据为非周期性流量数据，判断当前流量数据是否可以进行对数变换；若确定历史流量数据不可进行对数变换，采用k-西格玛(k-sigma)算法对历史流量数据进行处理，选取历史流量数据中与平均值的偏差超过k倍标准差的流量数据为异常流量数据，本发明实施例中，可根据业务类型以确定k值的选取；若确定历史流量数据可进行对数变换，则判断对数变换前后的历史流量数据哪一个更符合正态分布，选取更符合正态分布的流量数据，并采用k-西格玛算法对更符合正态分布的流量数据进行异常值的提取，并将提取的异常流量数据添加至第二提取结果，其中，正态分布的判断方式包括采用柯尔莫哥洛夫-斯米尔诺夫(Kolmogorov-Smirnov，KS)检验方法以判断对数变换前后的历史流量数据哪个更符合正态分布。本发明实施例中，通过初始流量基线模型对非周期性历史流量数据进行异常值提取，实现了第二提取结果的获取。
S240、根据所述第一提取结果或所述第二提取结果，通过所述初始流量基线模型，获取流量基线。
具体的，在本发明实施例中，初始流量基线模型根据历史流量数据的异常提取结果，输出对应的流量基线；其中，初始流量基线模型根据异常提取结果，输出对应的流量基线，包括输出位于正常流量数据和异常流量数据之间的流量基线，以实现正常流量数据和异常数据的区分；还包括以全部流量数据最大值的某一比例值，例如最大值的三分之二，为流量基线值以绘制流量基线；针对不同的业务，本发明实施例中获取流量基线的方式可对应改变，通过根据提取结果，以获取流量基线，可实现更加准确流量基线模型的获取。
本发明实施例提供的技术方案，通过对周期性和非周期性历史网络流量进行相应的处理，以获取第一提取结果和第二提取结果，并通过初始流量基线模型，获取流量基线，实现了训练完成的基线流量模型的获取。
实施例三
图3是本发明实施例三所提供的一种网络流量的监测装置的结构框图，该装置具体包括：预处理模块310、异常数据判断模块320和报警信息发送模块330。
预处理模块310，用于获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；
异常数据判断模块320，用于将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；
报警信息发送模块330，用于若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
本发明实施例提供的技术方案，首先获取实时网络流量，并对实时网络流量进行预处理，以获取预处理完成的实时流量数据；然后将实时流量数据输入至自适应训练完成的流量基线模型，并通过流量基线模型，对预处理完成的实时流量数据进行异常判断；最后若确定当前实时流量数据为异常数据，则将实时流量数据进行展示，并发送报警信息，实现了网络流量的实时监测，以及对网络流量异常的及时报警。
可选的，在上述技术方案的基础上，网络流量的监测装置，还包括：
数据存储模块，用于将所述实时流量数据进行存储，并通过所述实时流量数据，对所述流量基线模型进行迭代更新。
可选的，在上述技术方案的基础上，网络流量的监测装置，还包括：
流量基线模型获取模块，用于基于机器学习构建初始流量基线模型，并通过历史网络流量，对所述初始流量基线模型进行自适应训练，以获取自适应训练完成的流量基线模型。
可选的，在上述技术方案的基础上，流量基线模型获取模块，包括：
历史流量数据获取单元，用于获取历史网络流量，并对所述历史网络流量进行预处理，以获取预处理完成的历史流量数据；
第一提取结果获取单元，用于若确定所述历史流量数据为周期性流量数据，则根据时间序列分解算法和/或三西格玛算法，并通过所述初始流量基线模型对所述历史流量数据进行异常值提取，以获取第一提取结果；
第二提取结果获取单元，用于若确定所述历史流量数据为非周期性流量数据，则根据k-西格玛算法，并通过所述初始流量基线模型对所述历史流量数据进行异常值提取，以获取第二提取结果；
流量基线获取单元，用于根据所述第一检测结果或所述第二检测结果，通过所述初始流量基线模型，获取流量基线。
可选的，在上述技术方案的基础上，异常数据判断模块320，具体用于通过所述流量基线模型，对预处理后的流量数据进行异常值提取，并根据所述流量基线模型的流量基线，确定所述流量数据中是为异常数据。
可选的，在上述技术方案的基础上，所述预处理还包括缺失值检测、缺失值填充和/或滤波处理。
可选的，在上述技术方案的基础上，预处理模块310，具体还用于通过总体均值、特定值、中位数和/或前后数值均值，对所述实时网络流量进行缺失值填充；和/或通过卡尔曼滤波、移动平均滤波和/或有限长单位冲激响应滤波，对所述实时网络流量进行滤波处理。
上述装置可执行本发明任意实施例所提供的网络流量的监测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的方法。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图4显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28，连接不同系统组件(包括存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例提供的网络流量的监测方法。也即：获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的网络流量的监测方法；该方法包括：
获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；
将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；
若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种网络流量的监测方法，其特征在于，包括：
获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；
将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；
若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
2.根据权利要求1所述的方法，其特征在于，在将所述实时流量数据进行展示，并发送报警信息后，还包括：
将所述实时流量数据进行存储，并通过所述实时流量数据，对所述流量基线模型进行迭代更新。
3.根据权利要求1所述的方法，其特征在于，在将所述流量数据输入至自适应训练完成的流量基线模型前，还包括：
基于机器学习构建初始流量基线模型，并通过历史网络流量，对所述初始流量基线模型进行自适应训练，以获取自适应训练完成的流量基线模型。
4.根据权利要求3所述的方法，其特征在于，所述通过历史网络流量，对所述初始流量基线模型进行自适应训练，以获取自适应训练完成的流量基线模型，包括：
获取历史网络流量，并对所述历史网络流量进行预处理，以获取预处理完成的历史流量数据；
若确定所述历史流量数据为周期性流量数据，则根据时间序列分解算法和/或三西格玛算法，并通过所述初始流量基线模型对所述历史流量数据进行异常值提取，以获取第一提取结果；
若确定所述历史流量数据为非周期性流量数据，则根据k-西格玛算法，并通过所述初始流量基线模型对所述历史流量数据进行异常值提取，以获取第二提取结果；
根据所述第一提取结果或所述第二提取结果，通过所述初始流量基线模型，获取流量基线。
5.根据权利要求1所述的方法，其特征在于，所述通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，包括：
通过所述流量基线模型，对预处理后的流量数据进行异常值提取，并根据所述流量基线模型的流量基线，确定所述流量数据是否为异常数据。
6.根据权利要求1所述的方法，其特征在于，所述预处理还包括缺失值检测、缺失值填充和/或滤波处理。
7.根据权利要求6所述的方法，其特征在于，对所述实时网络流量进行预处理，包括：
通过总体均值、特定值、中位数和/或前后数值均值，对所述实时网络流量进行缺失值填充；
和/或通过卡尔曼滤波、移动平均滤波和/或有限长单位冲激响应滤波，对所述实时网络流量进行滤波处理。
8.一种网络流量的监测装置，其特征在于，包括：
预处理模块，用于获取实时网络流量，并对所述实时网络流量进行预处理，以获取预处理完成的实时流量数据；其中，所述预处理包括时序周期性检测；
异常数据判断模块，用于将所述实时流量数据输入至自适应训练完成的流量基线模型，并通过所述流量基线模型，对预处理完成的实时流量数据进行异常判断，以判断所述实时流量数据是否为异常数据；
报警信息发送模块，用于若确定所述实时流量数据为异常数据，则将所述实时流量数据进行展示，并发送报警信息。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的网络流量的监测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的网络流量的监测方法。
CN202011324622.1A 2020-11-23 2020-11-23 一种网络流量的监测方法、装置、设备及存储介质 Active CN112436968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011324622.1A CN112436968B (zh) 2020-11-23 2020-11-23 一种网络流量的监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011324622.1A CN112436968B (zh) 2020-11-23 2020-11-23 一种网络流量的监测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112436968A true CN112436968A (zh) 2021-03-02
CN112436968B CN112436968B (zh) 2023-10-17

Family

ID=74693776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011324622.1A Active CN112436968B (zh) 2020-11-23 2020-11-23 一种网络流量的监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112436968B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113645215A (zh) * 2021-08-03 2021-11-12 恒安嘉新（北京）科技股份公司 异常网络流量数据的检测方法、装置、设备及存储介质
CN113746862A (zh) * 2021-09-14 2021-12-03 恒安嘉新（北京）科技股份公司 一种基于机器学习的异常流量检测方法、装置和设备
CN113765881A (zh) * 2021-07-20 2021-12-07 奇安信科技集团股份有限公司 异常网络安全行为的检测方法、装置、电子设备及存储介质
CN113794774A (zh) * 2021-09-15 2021-12-14 厦门畅合赢文化传媒有限公司 一种基于网络视听新媒体的流量监测系统
CN113852603A (zh) * 2021-08-13 2021-12-28 京东科技信息技术有限公司 网络流量的异常检测方法、装置、电子设备和可读介质
CN113872806A (zh) * 2021-09-26 2021-12-31 中国电信股份有限公司 网络数据异常告警方法、装置、电子设备及存储介质
CN114172708A (zh) * 2021-11-30 2022-03-11 北京天一恩华科技股份有限公司 网络流量异常的识别方法
CN114389964A (zh) * 2021-12-29 2022-04-22 鹏城实验室 一种流量监测方法、装置、终端及存储介质
CN114615034A (zh) * 2022-03-01 2022-06-10 中铁第四勘察设计院集团有限公司 业务传输的控制方法、装置、处理设备及存储介质
CN114826893A (zh) * 2022-03-04 2022-07-29 中信银行股份有限公司 异常访问流量的预警方法、装置、设备及可读存储介质
CN114844802A (zh) * 2022-07-04 2022-08-02 北京六方云信息技术有限公司 流量检测方法、装置、终端设备以及存储介质
CN115348151A (zh) * 2022-08-12 2022-11-15 中国工商银行股份有限公司 端口流量假活告警方法、装置、设备、介质和程序产品
CN117479219A (zh) * 2023-11-07 2024-01-30 广州方舟文化科技有限公司 一种手机流量卡套餐监测方法及系统
WO2024104406A1 (zh) * 2022-11-15 2024-05-23 杭州阿里云飞天信息技术有限公司 异常检测的方法和云网络平台

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092357B1 (en) * 2001-11-13 2006-08-15 Verizon Services Corp. Anti-flooding flow-control methods and apparatus
US20140317735A1 (en) * 2013-04-19 2014-10-23 Lastline, Inc. Methods and systems for reciprocal generation of watch-lists and malware signatures
CN106357474A (zh) * 2016-08-30 2017-01-25 成都科来软件有限公司 一种基于链路的数据流量基线获取方法及装置
CN106452948A (zh) * 2016-09-22 2017-02-22 恒安嘉新(北京)科技有限公司 一种网络流量的自动分类方法和系统
CN106844138A (zh) * 2016-12-14 2017-06-13 北京奇艺世纪科技有限公司 运维报警系统及方法
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
CN107612938A (zh) * 2017-10-27 2018-01-19 朱秋华 一种网络用户异常行为检测方法、装置、设备及存储介质
CN107733905A (zh) * 2017-10-24 2018-02-23 北京威努特技术有限公司 一种工控网络设备异常流量的检测方法
US10050987B1 (en) * 2017-03-28 2018-08-14 Symantec Corporation Real-time anomaly detection in a network using state transitions
CN109164786A (zh) * 2018-08-24 2019-01-08 杭州安恒信息技术股份有限公司 一种基于时间相关基线的异常行为检测方法、装置及设备
CN109542740A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 异常检测方法及装置
US20190260778A1 (en) * 2018-02-19 2019-08-22 Nec Laboratories America, Inc. Unsupervised spoofing detection from traffic data in mobile networks
CN111163092A (zh) * 2019-12-30 2020-05-15 深信服科技股份有限公司 流量异常检测方法、装置、设备及存储介质
CN111163073A (zh) * 2019-12-24 2020-05-15 山石网科通信技术股份有限公司 流量数据处理方法和装置
US20200210393A1 (en) * 2018-09-14 2020-07-02 Verint Americas Inc. Framework and method for the automated determination of classes and anomaly detection methods for time series
CN111970156A (zh) * 2020-08-27 2020-11-20 广州华多网络科技有限公司 网络故障根因分析方法、装置、计算机设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092357B1 (en) * 2001-11-13 2006-08-15 Verizon Services Corp. Anti-flooding flow-control methods and apparatus
US20140317735A1 (en) * 2013-04-19 2014-10-23 Lastline, Inc. Methods and systems for reciprocal generation of watch-lists and malware signatures
CN106357474A (zh) * 2016-08-30 2017-01-25 成都科来软件有限公司 一种基于链路的数据流量基线获取方法及装置
CN106452948A (zh) * 2016-09-22 2017-02-22 恒安嘉新(北京)科技有限公司 一种网络流量的自动分类方法和系统
CN106844138A (zh) * 2016-12-14 2017-06-13 北京奇艺世纪科技有限公司 运维报警系统及方法
US10050987B1 (en) * 2017-03-28 2018-08-14 Symantec Corporation Real-time anomaly detection in a network using state transitions
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
CN109542740A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 异常检测方法及装置
CN107733905A (zh) * 2017-10-24 2018-02-23 北京威努特技术有限公司 一种工控网络设备异常流量的检测方法
CN107612938A (zh) * 2017-10-27 2018-01-19 朱秋华 一种网络用户异常行为检测方法、装置、设备及存储介质
US20190260778A1 (en) * 2018-02-19 2019-08-22 Nec Laboratories America, Inc. Unsupervised spoofing detection from traffic data in mobile networks
CN109164786A (zh) * 2018-08-24 2019-01-08 杭州安恒信息技术股份有限公司 一种基于时间相关基线的异常行为检测方法、装置及设备
US20200210393A1 (en) * 2018-09-14 2020-07-02 Verint Americas Inc. Framework and method for the automated determination of classes and anomaly detection methods for time series
CN111163073A (zh) * 2019-12-24 2020-05-15 山石网科通信技术股份有限公司 流量数据处理方法和装置
CN111163092A (zh) * 2019-12-30 2020-05-15 深信服科技股份有限公司 流量异常检测方法、装置、设备及存储介质
CN111970156A (zh) * 2020-08-27 2020-11-20 广州华多网络科技有限公司 网络故障根因分析方法、装置、计算机设备及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113765881A (zh) * 2021-07-20 2021-12-07 奇安信科技集团股份有限公司 异常网络安全行为的检测方法、装置、电子设备及存储介质
CN113645215A (zh) * 2021-08-03 2021-11-12 恒安嘉新（北京）科技股份公司 异常网络流量数据的检测方法、装置、设备及存储介质
CN113852603A (zh) * 2021-08-13 2021-12-28 京东科技信息技术有限公司 网络流量的异常检测方法、装置、电子设备和可读介质
CN113852603B (zh) * 2021-08-13 2023-11-07 京东科技信息技术有限公司 网络流量的异常检测方法、装置、电子设备和可读介质
CN113746862A (zh) * 2021-09-14 2021-12-03 恒安嘉新（北京）科技股份公司 一种基于机器学习的异常流量检测方法、装置和设备
CN113794774A (zh) * 2021-09-15 2021-12-14 厦门畅合赢文化传媒有限公司 一种基于网络视听新媒体的流量监测系统
CN113872806A (zh) * 2021-09-26 2021-12-31 中国电信股份有限公司 网络数据异常告警方法、装置、电子设备及存储介质
CN113872806B (zh) * 2021-09-26 2024-05-17 中国电信股份有限公司 网络数据异常告警方法、装置、电子设备及存储介质
CN114172708A (zh) * 2021-11-30 2022-03-11 北京天一恩华科技股份有限公司 网络流量异常的识别方法
CN114389964B (zh) * 2021-12-29 2023-08-22 鹏城实验室 一种流量监测方法、装置、终端及存储介质
CN114389964A (zh) * 2021-12-29 2022-04-22 鹏城实验室 一种流量监测方法、装置、终端及存储介质
CN114615034B (zh) * 2022-03-01 2023-09-29 中铁第四勘察设计院集团有限公司 业务传输的控制方法、装置、处理设备及存储介质
CN114615034A (zh) * 2022-03-01 2022-06-10 中铁第四勘察设计院集团有限公司 业务传输的控制方法、装置、处理设备及存储介质
CN114826893A (zh) * 2022-03-04 2022-07-29 中信银行股份有限公司 异常访问流量的预警方法、装置、设备及可读存储介质
CN114826893B (zh) * 2022-03-04 2024-01-30 中信银行股份有限公司 异常访问流量的预警方法、装置、设备及可读存储介质
CN114844802A (zh) * 2022-07-04 2022-08-02 北京六方云信息技术有限公司 流量检测方法、装置、终端设备以及存储介质
CN115348151A (zh) * 2022-08-12 2022-11-15 中国工商银行股份有限公司 端口流量假活告警方法、装置、设备、介质和程序产品
WO2024104406A1 (zh) * 2022-11-15 2024-05-23 杭州阿里云飞天信息技术有限公司 异常检测的方法和云网络平台
CN117479219A (zh) * 2023-11-07 2024-01-30 广州方舟文化科技有限公司 一种手机流量卡套餐监测方法及系统

Also Published As

Publication number Publication date
CN112436968B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112436968B (zh) 一种网络流量的监测方法、装置、设备及存储介质
CN107766299B (zh) 数据指标异常的监控方法及其系统、存储介质、电子设备
US10373065B2 (en) Generating database cluster health alerts using machine learning
US9704382B2 (en) Method for calculating error rate of alarm
CN110059894B (zh) 设备状态评估方法、装置、系统及存储介质
CN110674009B (zh) 应用服务器性能监测方法、装置、存储介质及电子设备
CN112000806A (zh) 异常日志监控分析方法、系统、设备及存储介质
CN111210225B (zh) 交易系统的状态监控方法、装置、设备和存储介质
CN111708687B (zh) 一种设备异常指标确定方法、装置、设备和存储介质
CN108491875A (zh) 一种数据异常检测方法、装置、设备及介质
CN114721912B (zh) 一种数据分析方法、装置、设备及介质
CN115034596A (zh) 一种风险传导预测方法、装置、设备和介质
US9116804B2 (en) Transient detection for predictive health management of data processing systems
CN111241155B (zh) 时序数据异常检测方法、装置、设备及存储介质
CN115686910A (zh) 一种故障分析方法、装置、电子设备及介质
US11410049B2 (en) Cognitive methods and systems for responding to computing system incidents
CN111666171A (zh) 故障识别方法及装置、电子设备和可读存储介质
CN112256548B (zh) 异常数据的监听方法、装置、服务器及存储介质
CN113313304A (zh) 一种基于大数据决策树的电网事故异常分析方法及系统
CN106533812B (zh) 一种应用服务器
CN111784176A (zh) 一种数据处理方法、装置、服务器及介质
CN114756401B (zh) 基于日志的异常节点检测方法、装置、设备及介质
CN112819262A (zh) 存储器、工艺管道检维修决策方法、装置和设备
CN115454794A (zh) 风险检测方法、装置、电子设备及存储介质
CN114500075A (zh) 用户异常行为检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant