CN116170339A - 流量数据的检测方法及装置 - Google Patents

流量数据的检测方法及装置 Download PDF

Info

Publication number
CN116170339A
CN116170339A CN202310172148.2A CN202310172148A CN116170339A CN 116170339 A CN116170339 A CN 116170339A CN 202310172148 A CN202310172148 A CN 202310172148A CN 116170339 A CN116170339 A CN 116170339A
Authority
CN
China
Prior art keywords
data
flow data
preset
time domain
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310172148.2A
Other languages
English (en)
Inventor
李欣
陈翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310172148.2A priority Critical patent/CN116170339A/zh
Publication of CN116170339A publication Critical patent/CN116170339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/30—Peripheral units, e.g. input or output ports
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供了一种流量数据的检测方法及装置，其中，该方法包括：获取交换机的流量数据；对流量数据进行特征提取，得到特征数据，其中，特征数据包括：时域特征数据和频域特征数据；通过预设样本库对时域特征数据和频域特征数据进行检测，得到检测结果，其中，检测结果用于表征流量数据是否正常。通过本申请，解决了对流量数据进行检测的检测准确率低的问题，进而达到了提高流量数据的检测准确率的效果。

Description

流量数据的检测方法及装置
技术领域
本申请实施例涉及流量数据处理领域，具体而言，涉及一种流量数据的检测方法及装置。
背景技术
交换机作为企业数据中心中重要的网络设备，时刻都在进行海量数据的传输与处理，在网络不稳定或者网络异常时，通常交换机端口流量也会发生突变。
目前用以交换机端口流量突变监测或者预警的技术手段均较为简单，存在流量特征提取与选择不充分、判断算法单一以及误报率较高、实时性较差等问题，进而导致对流量数据进行检测的检测准确率低。
发明内容
本申请实施例提供了一种流量数据的检测方法及装置，以至少解决相关技术中对流量数据进行检测的检测准确率低的问题。
根据本申请的一个实施例，提供了一种流量数据的检测方法，包括：获取交换机的流量数据；对流量数据进行特征提取，得到特征数据，其中，特征数据包括：时域特征数据和频域特征数据；通过预设样本库对时域特征数据和频域特征数据进行检测，得到检测结果，其中，检测结果用于表征流量数据是否正常。
在一个示例性实施例中，对流量数据进行特征提取，得到特征数据，包括：对流量数据进行时域特征提取，得到时域特征数据；对时域特征数据进行归一化处理，得到归一化后的时域特征数据；对流量数据进行频域特征提取，得到频域特征数据；基于归一化后的时域特征数据和频域特征数据，得到特征数据。
在一个示例性实施例中，通过预设样本库对时域特征数据和频域特征数据进行检测，得到检测结果，包括：通过预设样本库分别对时域特征数据与频域特征数据进行检测，得到第一检测结果与第二检测结果，其中，第一检测结果用于表征时域特征数据是否正常，第二检测结果用于表征频域特征数据是否正常；基于第一检测结果和第二检测结果，确定检测结果。
在一个示例性实施例中，基于第一检测结果和第二检测结果，确定检测结果，包括：响应于第一检测结果为时域特征数据正常，确定检测结果为流量数据正常；响应于第一检测结果为时域特征数据异常，且第二检测结果为频域特征数据正常，确定检测结果为流量数据正常；响应于第一检测结果为时域特征数据异常，且第二检测结果为频域特征数据异常，确定检测结果为流量数据异常。
在一个示例性实施例中，该方法还包括：获取预设端口的预设流量数据，其中，预设流量数据包括：预设正常流量数据和预设异常流量数据；对预设流量数据进行特征提取，得到预设特征数据；基于预设特征数据建立初始预设样本库；通过预设算法对初始预设样本库进行训练，得到预设样本库。
在一个示例性实施例中，对预设流量数据进行特征提取，得到预设时域特征数据，包括：通过第一滑动窗口与第二滑动窗口在预设时间段内分别采集得到多个第一瞬时流量数据和多个第二瞬时流量数据，其中，第一瞬时流量数据和第二瞬时流量数据，均包含正常瞬时流量数据和异常瞬时流量数据；对多个第一瞬时流量数据和多个第二瞬时流量数据进行时域特征处理，得到多种初始预设时域特征数据；对初始预设时域特征数据进行归一化，得到预设时域特征数据。
在一个示例性实施例中，对预设流量数据进行特征提取，得到预设频域特征数据，包括：通过第一滑动窗口在预设时间段内采集得到多个瞬时流量数据；基于预设规则对多个瞬时流量数据进行分组，得到多组瞬时流量数据；分别对多组瞬时流量数据进行频域特征处理，得到预设频域特征数据。
在一个示例性实施例中，正常流量数据的数据量大于异常流量数据的数据量。
根据本申请的另一个实施例，提供了一种流量数据的检测装置，包括：第一获取模块，用于获取交换机的流量数据；第一提取模块，用于对流量数据进行特征提取，得到特征数据，其中，特征数据包括：时域特征数据和频域特征数据；检测模块，用于通过预设样本库对时域特征数据和频域特征数据进行检测，得到检测结果，其中，检测结果用于表征流量数据是否正常。
根据本申请的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项流量数据的检测方法实施例中的步骤。
根据本申请的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项流量数据的检测方法实施例中的步骤。
通过本申请，由于分别对流量数据进行时域特征和频域特征处理，分别得到时域特征数据和频域特征数据，因此可以对流量数据进行准确的分类，进一步的，基于预设样本库分别对时域特征数据和频域特征数据进行处理，可以达到准确的对流量数据进行检测的目的，因此，可以解决现有技术中对流量数据进行检测的检测准确率低的问题，达到了提高对流量数据进行检测的检测准确率的效果。
附图说明
图1是根据本申请实施例的一种流量数据的检测方法的移动终端的硬件结构框图；
图2是根据本申请实施例的一种流量数据的检测方法的流程图；
图3是根据本申请实施例的一种可选的滑动窗口采集数据的示意图；
图4是根据本申请实施例的一种可选的流量数据突变检测的系统；
图5是根据本申请实施例的一种可选的对流量数据进行检测的方法流程图；
图6是根据本申请实施例的一种可选的对流量数据进行处理的流程图；
图7是根据本申请实施例的一种可选的对流量数据进行研判的流程图；
图8是根据本申请实施例的一种流量数据的检测装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请的实施例。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是根据本申请实施例的一种流量数据的检测方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的流量数据的检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的流量数据的检测方法，图2是根据本申请实施例的一种流量数据的检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取交换机的流量数据。
上述的交换机可以是任意一种能够对流量数据进行传输与处理的交换机，在本实施例中，以白盒交换机为例进行说明，但不仅限于此。上述的流量数据可以是流数据、原始包数据等流量数据，但不仅限于此，在本实施例中，对流量数据的类型不做具体限定，用户可根据实际使用需求自行确定。需要说明的是，在本实施例中，流量数据可以包括但不限于：正常流量数据、异常流量数据。
在一种可选的实施例中，当需要对交换机端口的流量数据进行检测时，首先可以获取交换机的流量数据。
步骤S204，对流量数据进行特征提取，得到特征数据，其中，特征数据包括：时域特征数据和频域特征数据。
上述的时域特征数据可以是经过时域特征处理后得到的数据，上述的频域特征数据可以是经过频域特征处理后得到的数据。需要说明的是，上述的时域特征数据和频域特征数据可以包括但不限于：正常时域特征数据，异常时域特征数据、正常频域特征数据、异常频域特征数据。
在一种可选的实施例中，当获取到交换机的流量数据后，可以分别对流量数据进行时域特征处理和频域特征处理，分别得到时域特征数据和频域特征数据。
步骤S206，通过预设样本库对时域特征数据和频域特征数据进行检测，得到检测结果，其中，检测结果用于表征流量数据是否正常。
上述的预设样本库可以是用户提前设置的，用来分别对时域特征数据和频域特征数据进行检测的样本库，具体的样本库类型用户可更具实际使用需求自行设定，在本实施例中，以包含预设正常时域特征数据、预设异常时域特征数据、预设正常频域特征数据、预设异常频域特征数据，以及采用K近邻算法的样本库为例进行说明，但不仅限于此。
通过上述步骤，由于分别对流量数据进行时域特征和频域特征处理，分别得到时域特征数据和频域特征数据，因此可以对流量数据进行准确的分类，进一步的，基于预设样本库分别对时域特征数据和频域特征数据进行处理，可以达到准确的对流量数据进行检测的目的，因此，可以解决现有技术中对流量数据进行检测的检测准确率低的问题，达到了提高对流量数据进行检测的检测准确率的效果。
其中，上述步骤的执行主体可以为服务器、终端等，但不限于此。
在一个示例性实施例中，对流量数据进行特征提取，得到特征数据，包括：对流量数据进行时域特征提取，得到时域特征数据；对时域特征数据进行归一化处理，得到归一化后的时域特征数据；对流量数据进行频域特征提取，得到频域特征数据；基于归一化后的时域特征数据和频域特征数据，得到特征数据。
在一种可选的实施例中，可以对流量数据进行时域特征处理，得到时域特征数据，其次可以对时域特征数据进行归一化处理，可以得到归一化后的时域特征数据；同时，还可以对流量数据进行频域特征处理，即可以得到频域特征数据；最后，可以获取归一化后的时域特征数据和频域特征数据的和值，即可以得到特征数据。需要说明的是，上述的归一化后的时域特征数据包括归一化后的正常时域特征数据和归一化后的异常时域特征数据，上述的频域特征数据包括正常频域特征数据和异常频域特征数据。
在一个示例性实施例中，通过预设样本库对时域特征数据和频域特征数据进行检测，得到检测结果，包括：通过预设样本库分别对时域特征数据与频域特征数据进行检测，得到第一检测结果与第二检测结果，其中，第一检测结果用于表征时域特征数据是否正常，第二检测结果用于表征频域特征数据是否正常；基于第一检测结果和第二检测结果，确定检测结果。
上述的第一检测结果可以是时域特征数据检测正常，还可以是时域特征数据检测异常；上述的第二检测结果可以是频域特征数据检测正常，还可以是频域特征数据检测异常。上述的检测结果可以是流量数据正常，还可以是流量数据异常。
在一种可选的实施例中，通过预设样本库对流量数据进行检测时，可以通过预设样本库对流量数据的时域特征数据进行检测，得到第一检测结果；还可以通过预设样本库对流量数据的频域特征数据进行检测，得到第二检测结果，最后可以基于第一检测结果和第二检测结果得到检测结果。
在一个示例性实施例中，基于第一检测结果和第二检测结果，确定检测结果，包括：响应于第一检测结果为时域特征数据正常，确定检测结果为流量数据正常；响应于第一检测结果为时域特征数据异常，且第二检测结果为频域特征数据正常，确定检测结果为流量数据正常；响应于第一检测结果为时域特征数据异常，且第二检测结果为频域特征数据异常，确定检测结果为流量数据异常。
在一种可选的实施例中，当通过预设样本库检测到时域特征数据正常时，可以确定检测结果为流量数据正常。
在另一种可选的实施例中，当通过预设样本库检测到时域特征数据异常时，其次可以通过预设样本库检测频域特征数据，当检测到频域特征数据异常时，可以确定检测结果为流量数据异常；当通过预设样本库检测到时域特征数据异常时，其次可以通过预设样本库检测频域特征数据，当检测到频域特征数据正常时，可以确定检测结果为流量数据正常。
在一个示例性实施例中，该方法还包括：获取预设端口的预设流量数据，其中，预设流量数据包括：预设正常流量数据和预设异常流量数据；对预设流量数据进行特征提取，得到预设特征数据；基于预设特征数据建立初始预设样本库；通过预设算法对初始预设样本库进行训练，得到预设样本库。
上述的预设端口可以是交换机上任意一个或多个用于获取预设流量数据的端口。上述的预设流量数据可以是用户在预设接口获取到的，用以建立预设样本库的数据，其中，预设流量数据可以包括但不限于：预设正常流量数据、预设异常流量数据。上述的预设流量数据的特征处理过程与流量数据的特征处理过程相同，在此不做赘述。上述的预设算法可以是任意一种或多种，能够对预设样本库进行训练的算法，具体的预设算法用户可根据实际使用需求自行设定，在本实施例中，以K近邻算法为例进行说明，但不仅限于此。其中，K近邻(K-Nearest Neighbor，KNN)是一种经典和简单的有监督学习算法，该算法的原理为，当对测试样本进行分类时，首先通过扫描训练样本集，找到与该测试样本最相似的K个训练样本，根据这K个样本的类别进行投票确定测试样本的类别，也可以通过K个样本与测试样本的相似程度进行加权投票，如果需要以测试样本对应每类的概率形式输出，可以通过K个样本中不同类别的样本数量分布来进行估计。在本实施例中，K值可以为5，但不仅限于此。
在一种可选的实施例中，测试数据xi与样本数据xj的距离Lp定义如下：
设特征空间
Figure BDA0004099710590000081
是n维实数向量空间Rn，/>
Figure BDA0004099710590000082
Figure BDA0004099710590000083
其中，T代表转置，
Figure BDA0004099710590000084
表示向量空间Rn中的n个测试向量，
Figure BDA0004099710590000085
表示向量空间Rn中的n个样本向量，则测试数据xi与样本数据xj的距离Lp定义如下：
Figure BDA0004099710590000086
其中，
Figure BDA0004099710590000091
和/>
Figure BDA0004099710590000092
表示特征空间中的第l个测试数据和样本数据，测试数据可以理解为本申请中的流量数据，样本数据可以理解为本申请中的预设流量数据。p表示距离的类别，当p＝1时，距离为欧氏距离，当p＝2时，距离为曼哈顿距离。在本实施例中，p可以取值为2，但不仅限于此。
在另一种可选的实施例中，首先可以获取预设端口的预设流量数据，其中，预设流量数据包括：预设正常流量数据和预设异常流量数据；其次可以对预设流量数据进行特征提取，得到预设特征数据，其中，预设特征数据包括预设时域特征数据和预设频域特征数据；然后可以基于预设特征数据建立初始预设样本库；最后可以通过预设算法对初始预设样本库进行训练，得到预设样本库。
在一个示例性实施例中，对预设流量数据进行特征提取，得到预设时域特征数据，包括：通过第一滑动窗口与第二滑动窗口在预设时间段内分别采集得到多个第一瞬时流量数据和多个第二瞬时流量数据，其中，第一瞬时流量数据和第二瞬时流量数据，均包含正常瞬时流量数据和异常瞬时流量数据；对多个第一瞬时流量数据和多个第二瞬时流量数据进行时域特征处理，得到多种初始预设时域特征数据；对初始预设时域特征数据进行归一化，得到预设时域特征数据。
上述的第一滑动窗口可以是在某一时刻之前的窗口，第二滑动窗口可以是在某一时刻之后的窗口，其中，第一滑动窗口与第二滑动窗口相邻，时间间隔为预设时间段，也即，第一滑动窗口和第二滑动窗口的时间长度相同，都为预设时间段。上述的预设时间段可以是用户提前设置的，用来确定第一滑动窗口和第二滑动窗口时间长度的时间段，具体数值可根据用户需求自行设定，在本实施例中，以1秒(s)为例进行说明，但不仅限于此。
上述的多个第一瞬时流量数据，可以是对第一滑动窗口等时间间距采集得到的瞬时流量数据，例如，可以是对第一滑动窗口间隔20毫秒(ms)采集得到的50个瞬时流量数据，可以表示为vm，其中，m的取值范围为0-49，但不仅限于此。上述的多个第二瞬时流量数据的采集方式与第一流量数据的采集方式相同，可以表示为v′ m，在此不做赘述。需要说明的是，因为是对流量数据等时间间隔采集，并未进行分类处理，所以多个第一瞬时流量数据和多个第二瞬时流量数据中，均包含正常瞬时流量数据和异常瞬时流量数据。
在一种可选的实施例中，可以在交换机的预设端口采集预设正常流量数据和预设异常流量数据，其中，异常流量数据可以采用测试仪模拟。图3是根据本申请实施例的一种可选的滑动窗口采集数据的示意图，如图3所示，超出第一滑动窗口和第二滑动窗口的虚线，表示某一时刻，基于该时刻，可以设置两个相邻的滑动窗口，其中，每个滑动窗口内的虚线部分表示对流量数据进行采集，即可以得到多个瞬时流量数据，例如图3中的1、2、3···48、49、50，均表示采集得到的瞬时流量数据。由图3可知，设置两个流量数据采集滑动窗口，前后两个滑动窗口长度均可以设置为1秒，在每个滑动窗口内，利用现有采集装置间隔20毫秒采集一次，即1秒内分别连续采集50次瞬时流量速率数据，其中，前滑动窗口内部50次的流量数据瞬时速率为vm，后滑动窗口内部50次的流量数据瞬时速率为v′ m，m取值范围可以为0-49，但不仅限于此。
上述的多种初始预设时域特征数据可以包括但不限于：第一滑动窗口瞬时流量速率均值E、第二窗口瞬时流量速率均值E′、第一滑动窗口瞬时流量速率中值M、第二滑动窗口瞬时流量速率中值M′，第一滑动窗口瞬时流量速率峰值P、第二滑动窗口瞬时流量速率峰值P′、第一滑动窗口瞬时流量速率均方差σ、第二滑动窗口瞬时流量速率均方差σ′、第一滑动窗口和第二滑动窗口的瞬时流量速率均值变化率A、第一滑动窗口和第二滑动窗口的瞬时流量速率中值变化率B、第一滑动窗口和第二滑动窗口的瞬时流量速率峰值变化率C，以及第一滑动窗口和第二滑动窗口的瞬时流量速率均方差变化率D。
在另一种可选的实施例中，多种预设时域特征数据可以通过如下公式得到：
Figure BDA0004099710590000111
Figure BDA0004099710590000112
Figure BDA0004099710590000113
Figure BDA0004099710590000114
Figure BDA0004099710590000115
Figure BDA0004099710590000116
Figure BDA0004099710590000117
Figure BDA0004099710590000118
Figure BDA0004099710590000119
Figure BDA00040997105900001110
Figure BDA00040997105900001111
Figure BDA00040997105900001112
需要说明的是，初始异常预设时域特征数据与初始正常预设时域特征数据的处理方式相同，均可以通过以上公式得到，其中，初始正常预设时域特征数据的数据量大于初始异常预设时域特征数据的数据量。
上述的预设时域特征数据可以是对多种初始预设时域特征数据进行归一化处理后，得到的时域特征数据。
在又一种可选的实施例中，预设时域特征数据可以通过以下公式得到：
Figure BDA00040997105900001113
其中，X表示每种预设特征数据，x表示每种初始预设特征数据，xmin表示每种初始预设特征数据中的最小值，xmax表示每种初始预设特征数据中的最大值。
在一个示例性实施例中，对预设流量数据进行特征提取，得到预设频域特征数据，包括：通过第一滑动窗口在预设时间段内采集得到多个瞬时流量数据；基于预设规则对多个瞬时流量数据进行分组，得到多组瞬时流量数据；分别对多组瞬时流量数据进行频域特征处理，得到预设频域特征数据。
上述的多个瞬时流量数据可以是对第一滑动窗口等时间间距采集得到的瞬时流量数据，例如，可以是对第一滑动窗口间隔20毫秒(ms)采集得到的50个瞬时流量数据，但不仅限于此。上述的预设规则可以是用户提前设置的用来对多个瞬时流量数据进行分组的规则，具体规则用户可根据实际使用需求自行设定，在本实施例中，预设规则可以是序号为偶数的瞬时流量数据为一组，序号为奇数的瞬时流量数据为一组，但不仅限于此。
在一种可选的实施例中，首先可以通过第一滑动窗口在预设时间段内对流量数据进行等时间间隔采集，得到多个瞬时流量数据。
在另一种可选的实施例中，可以通过如下公式对多个瞬时流量数据进行分组，得到多组瞬时流量数据：
非周期连续时间信号x(t)的傅里叶变换公式为：
Figure BDA0004099710590000121
其中，ω表示圆频率，t表示时间，e-jωt表示复变函数，上式中计算出来的是信号x(t)的连续频谱X(ω)，在本实例中，实际得到的是连续流量数据的离散采样值x(nT)，故需要利用离散信号x(nT)来计算信号x(t)的频谱。
有限长离散信号x(n),x＝0,1,…,N-1的离散傅里叶变换公式为：
Figure BDA0004099710590000122
其中，X(k)表示信号在第k个点的频率分量，
Figure BDA0004099710590000123
表示第kn个点的圆频率，利用ωN的对称性和周期性，可将N点的离散傅里叶变换分解为N/2点的离散傅里叶变换以降低总的计算量，利用快速傅里叶变换算法，将单个滑动窗口内长度为N的数据点x(n)分为奇偶两组，即：x(n)＝x1(n)+x2(n)，其中：
Figure BDA0004099710590000131
其中n＝0,1，…，N-1，N取值为50，上式中x1(n)和x2(n)的长度都是N/2，且x1(n)是偶数序列，x2(n)是奇数序列，则：
Figure BDA0004099710590000132
由上式可得：
Figure BDA0004099710590000133
其中，由于：
Figure BDA0004099710590000134
则可以得到：
Figure BDA0004099710590000135
X1(k)和X2(k)分别为x1(n)和x2(n)的N/2点离散傅里叶变换，由于X1(k)和X2(k)均以N/2为周期，且
Figure BDA0004099710590000136
所以X(k)又可表示为：
Figure BDA0004099710590000137
/>
Figure BDA0004099710590000138
上述的频域特征数据可以包括但不限于：重心频率FFC、平均频率FMF、均方根频率FRMSF、以及频率标准差FRVF。
在另一种可选的实施例中，得到多组瞬时流量数据后，可以对多种瞬时流量数据进行频域特征处理，得到多种频域特征数据，其中，可以通过如下公式得到频域特征数据：
基于快速傅里叶变换算法，可得如下频域特征：
重心频率：
Figure BDA0004099710590000139
平均频率：
Figure BDA00040997105900001310
均方根频率：
Figure BDA00040997105900001311
频率标准差：
Figure BDA0004099710590000141
其中，P(n)为对应点的功率谱值，fn为对应点的频率幅值大小。
在一个示例性实施例中，正常流量数据的数据量大于异常流量数据的数据量。
需要说明的是，初始异常预设频域特征数据与初始正常预设频域特征数据的处理方式相同，均可以通过以上公式得到，其中，初始正常预设频域特征数据的数据量大于初始异常预设频域特征数据的数据量。
本申请为了解决当前白盒交换机端口流量突变监测技术存在的可靠性差、误报率高以及实时性较差等问题，提供了一种白盒交换机端口流量数据突变检测方法，图4是根据本申请实施例的一种可选的流量数据突变检测的系统，如图4所示，该系统包括：数据采集模块，数据处理模块，数据研判模块，以及通知模块，其中，数据采集模块与数据处理模块连接，数据处理模块与分别与数据采集模块和数据研判模块连接，数据研判模块分别与数据处理模块和通知模块连接，通知模块与数据研判模块连接。
该系统中各个模块的作用如下：
1、数据采集模块基于滑动窗口方法在交换机端口采集正常流量信息和异常流量信息，其中异常流量数据通过测试仪模拟获取，数据采集模块统计并计算滑动窗口内部瞬时流量速率；
2、数据处理模块接收来自数据采集模块的瞬时流量数据，提取流量数据的时域特征，待时域特征数据提取完成后进一步对时域特征数据进行归一化处理；
3、数据处理模块接收来自数据采集模块的瞬时流量数据，计算流量数据的频域特征；
4、数据研判模块接收数据处理模块的频域特征数据和归一化时域特征数据，利用归一化时域特征数据建立时域特征样本库，利用频域特征数据建立频域特征样本库；需要说明的是，数据采集模块采集实时数据并提取时域特征和频域特征，并将时域特征数据归一化后，统一送入数据研判模块，如图4所示，在数据研判模块中，首先根据时域特征研判此流量是否为异常流量数据，若初步判定为异常流量数据，则再利用频域特征进一步研判是否为异常流量，若通过时域分析和频域分析，均研判此流量异常，则输出异常报告。
5、数据采集模块采集流量实时数据，在数据处理模块提取时域特征和频域特征数据后，在数据研判模块利用KNN算法判断此时域特征和频域特征数据是否异常，如异常则输出异常报告信息，如果正常则继续执行采集后续流量进行研判。
图5是根据本申请实施例的一种可选的对流量数据进行检测的方法流程图，如图5所示，该方法包括以下步骤：
步骤S501，采集正常流量数据和异常流量数据；
步骤S502，对数据进行处理；
步骤S503，建立训练样本库；
步骤S504，采集实时流量数据；
步骤S505，对实时流量数据进行处理；
步骤S506，利用K近邻算法判断当前流量是否异常，若是，进入步骤S507，若否，进入步骤S508；
步骤S507，输出异常诊断结果；
步骤S508，移动滑动窗口继续采集数据，返回步骤S504。
图6是根据本申请实施例的一种可选的对流量数据进行处理的流程图，如图6所示，数据处理模块对流量数据分别进行时域特征处理与频域特征处理，并且在得到时域特征数据后，对时域特征数据进行归一化处理，得到归一化后的时域特征数据。
图7是根据本申请实施例的一种可选的对流量数据进行研判的流程图，如图7所示，数据研判模块首先对时域特征数据进行基于时域特征的K近邻算法的研判，响应于判断时域特征数据为异常，此次可以对频域特征数据进行基于频域特征的K近邻算法的研判，即可以得到检测结果。
本申请利用滑动窗口法采集白盒交换机端口流量瞬时速率信息，分析并提取端口流量时域特征和频域特征，分别基于时域特征和频域特征建立特征样本库，利用KNN算法分别基于时域特征和频域特征研判流量类别。该算法模型在面对复杂的网络环境时，具有可靠性高、稳定性好的特点，且具有良好的实时性与低误报率，为交换机安全、可靠、稳定运行提供了有效的解决办法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
在本实施例中还提供了一种流量数据的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本申请实施例的一种流量数据的检测装置的结构框图，如图8所示，该装置包括：第一获取模块82，用于获取交换机的流量数据；第一提取模块84，用于对流量数据进行特征提取，得到特征数据，其中，特征数据包括：时域特征数据和频域特征数据；检测模块86，用于通过预设样本库对时域特征数据和频域特征数据进行检测，得到检测结果，其中，检测结果用于表征流量数据是否正常。
在一个示例性实施例中，第一提取模块包括：第一提取单元，用于对流量数据进行时域特征提取，得到时域特征数据；第一处理单元，用于对时域特征数据进行归一化处理，得到归一化后的时域特征数据；第二提取单元，用于对流量数据进行频域特征提取，得到频域特征数据；基于归一化后的时域特征数据和频域特征数据，得到特征数据。
在一个示例性实施例中，检测模块包括：检测单元，用于通过预设样本库分别对时域特征数据与频域特征数据进行检测，得到第一检测结果与第二检测结果，其中，第一检测结果用于表征时域特征数据是否正常，第二检测结果用于表征频域特征数据是否正常；确定单元，用于基于第一检测结果和第二检测结果，确定检测结果。
在一个示例性实施例中，确定单元包括：第一确定子单元，用于响应于第一检测结果为时域特征数据正常，确定检测结果为流量数据正常；第二确定子单元，用于响应于第一检测结果为时域特征数据异常，且第二检测结果为频域特征数据正常，确定检测结果为流量数据正常；第三确定子单元，用于响应于第一检测结果为时域特征数据异常，且第二检测结果为频域特征数据异常，确定检测结果为流量数据异常。
在一个示例性实施例中，该装置还包括：第二获取模块，用于获取预设端口的预设流量数据，其中，预设流量数据包括：预设正常流量数据和预设异常流量数据；第二提取模块，用于对预设流量数据进行特征提取，得到预设特征数据；建立模块，用于基于预设特征数据建立初始预设样本库；训练模块，用于通过预设算法对初始预设样本库进行训练，得到预设样本库。
在一个示例性实施例中，第二提取模块包括：第一采集单元，用于通过第一滑动窗口与第二滑动窗口在预设时间段内分别采集得到多个第一瞬时流量数据和多个第二瞬时流量数据，其中，第一瞬时流量数据和第二瞬时流量数据，均包含正常瞬时流量数据和异常瞬时流量数据；第三提取单元，用于对多个第一瞬时流量数据和多个第二瞬时流量数据进行时域特征处理，得到多种初始预设时域特征数据；第二处理单元，用于对初始预设时域特征数据进行归一化，得到预设时域特征数据。
在一个示例性实施例中，第二提取模块还包括：第二采集单元，用于通过第一滑动窗口在预设时间段内采集得到多个瞬时流量数据；分组单元，用于基于预设规则对多个瞬时流量数据进行分组，得到多组瞬时流量数据；第三处理单元，用于分别对多组瞬时流量数据进行频域特征处理，得到预设频域特征数据。
在一个示例性实施例中，正常流量数据的数据量大于异常流量数据的数据量。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项流量数据的检测方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项流量数据的检测方法实施例中的步骤。
在一个示例性实施例中，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种流量数据的检测方法，其特征在于，包括：
获取交换机的流量数据；
对所述流量数据进行特征提取，得到特征数据，其中，所述特征数据包括：时域特征数据和频域特征数据；
通过预设样本库对所述时域特征数据和所述频域特征数据进行检测，得到检测结果，其中，所述检测结果用于表征所述流量数据是否正常。
2.根据权利要求1所述的方法，其特征在于，对所述流量数据进行特征提取，得到特征数据，包括：
对所述流量数据进行时域特征提取，得到所述时域特征数据；
对所述时域特征数据进行归一化处理，得到归一化后的时域特征数据；
对所述流量数据进行频域特征提取，得到所述频域特征数据；
基于所述归一化后的时域特征数据和所述频域特征数据，得到所述特征数据。
3.根据权利要求1所述的方法，其特征在于，通过预设样本库对所述时域特征数据和所述频域特征数据进行检测，得到检测结果，包括：
通过所述预设样本库分别对所述时域特征数据与所述频域特征数据进行检测，得到第一检测结果与第二检测结果，其中，所述第一检测结果用于表征所述时域特征数据是否正常，所述第二检测结果用于表征所述频域特征数据是否正常；
基于所述第一检测结果和所述第二检测结果，确定所述检测结果。
4.根据权利要求3所述的方法，其特征在于，基于所述第一检测结果和所述第二检测结果，确定所述检测结果，包括：
响应于所述第一检测结果为所述时域特征数据正常，确定所述检测结果为所述流量数据正常；
响应于所述第一检测结果为所述时域特征数据异常，且所述第二检测结果为所述频域特征数据正常，确定所述检测结果为所述流量数据正常；
响应于所述第一检测结果为所述时域特征数据异常，且所述第二检测结果为所述频域特征数据异常，确定所述检测结果为所述流量数据异常。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预设端口的预设流量数据，其中，所述预设流量数据包括：预设正常流量数据和预设异常流量数据；
对所述预设流量数据进行特征提取，得到预设特征数据；
基于所述预设特征数据建立初始预设样本库；
通过预设算法对所述初始预设样本库进行训练，得到所述预设样本库。
6.根据权利要求5所述的方法，其特征在于，对所述预设流量数据进行特征提取，得到预设时域特征数据，包括：
通过第一滑动窗口与第二滑动窗口在预设时间段内分别采集得到多个第一瞬时流量数据和多个第二瞬时流量数据，其中，所述第一瞬时流量数据和所述第二瞬时流量数据，均包含正常瞬时流量数据和异常瞬时流量数据；
对所述多个第一瞬时流量数据和所述多个第二瞬时流量数据进行时域特征处理，得到多种初始预设时域特征数据；
对所述初始预设时域特征数据进行归一化，得到所述预设时域特征数据。
7.根据权利要求5所述的方法，其特征在于，对所述预设流量数据进行特征提取，得到预设频域特征数据，包括：
通过第一滑动窗口在预设时间段内采集得到多个瞬时流量数据；
基于预设规则对所述多个瞬时流量数据进行分组，得到多组瞬时流量数据；
分别对所述多组瞬时流量数据进行频域特征处理，得到所述预设频域特征数据。
8.一种流量数据的检测装置，其特征在于，包括：
第一获取模块，用于获取交换机的流量数据；
第一提取模块，用于对所述流量数据进行特征提取，得到特征数据，其中，所述特征数据包括：时域特征数据和频域特征数据；
检测模块，用于通过预设样本库对所述时域特征数据和所述频域特征数据进行检测，得到检测结果，其中，所述检测结果用于表征所述流量数据是否正常。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的流量数据的检测方法的步骤。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的流量数据的检测方法的步骤。
CN202310172148.2A 2023-02-27 2023-02-27 流量数据的检测方法及装置 Pending CN116170339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310172148.2A CN116170339A (zh) 2023-02-27 2023-02-27 流量数据的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310172148.2A CN116170339A (zh) 2023-02-27 2023-02-27 流量数据的检测方法及装置

Publications (1)

Publication Number Publication Date
CN116170339A true CN116170339A (zh) 2023-05-26

Family

ID=86419792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310172148.2A Pending CN116170339A (zh) 2023-02-27 2023-02-27 流量数据的检测方法及装置

Country Status (1)

Country Link
CN (1) CN116170339A (zh)

Similar Documents

Publication Publication Date Title
CN111475680A (zh) 检测异常高密子图的方法、装置、设备及存储介质
CN110113226B (zh) 一种检测设备异常的方法及装置
CN108173670B (zh) 检测网络的方法和装置
WO2022111327A1 (zh) 风险等级的数据处理方法及装置、存储介质、电子设备
CN110572297B (zh) 网络性能的评估方法、服务器及存储介质
CN113822366A (zh) 业务指标异常检测方法及装置、电子设备、存储介质
CN109257383B (zh) 一种bgp异常检测方法及系统
CN113037595B (zh) 异常设备检测方法、装置、电子设备及存储介质
CN112181767A (zh) 软件系统异常的确定方法、装置和存储介质
CN113612650B (zh) 一种对边缘计算设备的监测方法
CN110071829A (zh) Dns隧道检测方法、装置及计算机可读存储介质
CN110430226A (zh) 网络攻击检测方法、装置、计算机设备及存储介质
CN111626360A (zh) 用于检测锅炉故障类型的方法、装置、设备和存储介质
CN111064719B (zh) 文件异常下载行为的检测方法及装置
KR102469664B1 (ko) 이상 행위 탐지 방법 및 시스템
CN116302809A (zh) 边缘端数据分析计算装置
CN112269937B (zh) 一种计算用户相似度的方法、系统及装置
US20230409422A1 (en) Systems and Methods for Anomaly Detection in Multi-Modal Data Streams
CN108399387A (zh) 用于识别目标群体的数据处理方法及装置
CN106304084B (zh) 信息处理方法及装置
CN116170339A (zh) 流量数据的检测方法及装置
CN114928467A (zh) 一种网络安全运维关联分析方法及系统
CN108768774A (zh) 一种定量化的网络安全评估方法及评估系统
CN109086207B (zh) 页面响应故障分析方法、计算机可读存储介质及终端设备
CN113958463A (zh) 风机叶片在线监测方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination