CN113612656A - 网络流量检测方法、装置、终端设备及存储介质 - Google Patents

网络流量检测方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN113612656A
CN113612656A CN202110849346.9A CN202110849346A CN113612656A CN 113612656 A CN113612656 A CN 113612656A CN 202110849346 A CN202110849346 A CN 202110849346A CN 113612656 A CN113612656 A CN 113612656A
Authority
CN
China
Prior art keywords
data
time slice
communication
dimensional
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110849346.9A
Other languages
English (en)
Inventor
瞿毅力
裴斐
刘哲
李云龙
龙晓颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Bank Co Ltd
Original Assignee
China Merchants Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Bank Co Ltd filed Critical China Merchants Bank Co Ltd
Priority to CN202110849346.9A priority Critical patent/CN113612656A/zh
Publication of CN113612656A publication Critical patent/CN113612656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络流量检测方法、装置、终端设备及存储介质，该方法包括：当检测到通信连接请求时，获取通信对数据并进行分类预处理，得到不同类型的监控指标数据；将各类监控指标数据输入至预设的目标分类检测模型中进行分类检测，其中，所述目标分类检测模型是基于历史通信对数据进行迭代训练得到的，其中包括从历史通信对数据中提取的告警阈值曲线；基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。通过对不同类型的监控指标数据分别进行检测，并从历史通信对数据中提取的告警阈值曲线，可以忽略突发业务导致的瞬时流量超出告警阈值的情况，从而减少无效告警和漏告警，提高了流量异常的检测准确率。

Description

网络流量检测方法、装置、终端设备及存储介质
技术领域
本发明涉及通信技术领域，尤其涉及一种网络流量检测方法、装置、终端设备及存储介质。
背景技术
目前，随着信息技术的发展，各行各业纷纷建立数据中心，特别是银行等金额行业，数据中心作为客户端与服务器端数据流转和交换的枢纽，每时每刻都有大量的数据涌入，支撑着各个客户端的业务流程。客户端在与服务器端进行数据传输之前，一般需要先建立通信连接，一旦数据中心客户端与服务器端之间的通信连接存在异常，则会对客户端的业务流程产生影响，因此，数据中心的建立对数据运维提出了更高的要求，及时检测出客户端与服务器端之间，在通信连接的建立过程中存在的异常是十分必要的。
可知地，在客户端与服务器端建立通信连接时，需要经过三次握手并发送报文，对报文进行抓取和分析，可以检测通信连接的建立情况，当需要建立的通信连接较多时，一般对通信连接建立过程中的各个数据的流量进行检测，从而检测通信连接的建立过程是否存在异常。常用的流量检测方式为基于固定阈值的告警方式，当某个指标数据的整体流量超出固定阈值时，生成告警信息。而银行等金融机构的业务流程大多存在周期性，基于固定阈值的告警方式无法适应通信连接建立过程中的数据流量的周期性变化，对于未触发告警阈值的流量异常和瞬时超出告警阈值的非异常容易产生误报和漏报，导致对网络流量异常的检测和告警准确度较低。
发明内容
本发明的主要目的在于提供一种网络流量检测方法、装置、终端设备及存储介质，旨在解决传统的基于固定阈值的网络流量的检测方式存在误报和漏报，导致对流量异常的告警准确度较低的技术问题。
此外，为实现上述目的，本发明还提供一种网络流量检测方法，所述网络流量检测方法包括以下步骤：
当检测到通信连接请求时，获取所述通信连接请求的通信对数据；
对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；
将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；
基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。
可选地，所述当检测到通信连接请求时，获取所述通信连接请求的通信对数据的步骤之前，还包括：
获取历史通信对数据，并搭建基础分类检测模型；
基于所述历史通信对数据构建样本数据集，并利用所述样本数据集对所述基础分类检测模型进行迭代训练，得到目标分类检测模型。
可选地，所述样本数据集包括样本时间片集，所述基于所述历史通信对数据构建样本数据集的步骤，包括：
对所述历史通信对数据进行采样处理，得到采样数据；
对所述采样数据中的各所述历史通信对数据的各监控指标数据进行排序和切片处理，得到正样本时间片对，其中，所述正样本时间片对包括前继时间片和后继时间片；
对所述正样本时间片对中的后继时间片进行变异操作，得到负样本时间片对；
根据所述正样本时间片对和所述负样本时间片对，得到所述样本数据集中的样本时间片集。
可选地，所述样本数据集还包括流量数据集，所述基于所述历史通信对数据构建样本数据集的步骤，还包括：
基于所述样本时间片集对所述采样数据中的各所述历史通信对数据进行汇总，得到所述历史通信对数据的各监控指标数据的一维时间序列，其中，所述一维时间序列具有周期性特征；
根据所述一维时间序列的周期性特征，对所述一维时间序列进行二维化，得到二维数据；
对所述二维数据进行切片处理，得到二维特征矩阵，并从所述二维特征矩阵中截取标签数据，对所述二维特征矩阵中所述标签数据对应的位置进行填补，得到所述样本数据集中的流量数据集。
可选地，所述利用所述样本数据集对所述基础分类检测模型进行迭代训练，得到目标分类检测模型的步骤，包括：
将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息；
对所述多维特征信息进行加权平均计算，得到目标特征值，根据所述目标特征值对所述样本数据集进行预测，得到所述样本数据集的预测数据集合，其中，对所述多维特征信息进行加权平均计算的权重系数为所述基础分类检测模型的模型参数；
根据所述预测数据集合确定所述基础分类模型的损失函数，并利用所述损失函数对所述基础分类检测模型的模型参数进行更新，返回并执行所述将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息的步骤，直到所述损失函数收敛时，得到目标检测模型。
可选地，所述多维特征信息包括多维时间片特征信息和多维流量特征信息，所述利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息的步骤，包括：
对所述样本时间片集中的前继时间片和后继时间片分别进行残差计算、拼接和堆叠处理，得到多个第一输入矩阵，并根据所述第一输入矩阵确定所述基础分类检测模型的第一卷积核尺寸，其中，所述第一卷积核尺寸包括所述第一输入矩阵的尺寸、所述第一输入矩阵的行尺寸和所述第一输入矩阵的列尺寸；
根据所述第一卷积核尺寸对所述前继时间片和/或所述后继时间片进行卷积处理，得到所述多维特征信息中的多维时间片特征信息，其中，所述多维时间片特征信息包括所述前继时间片和所述后继时间片的时间片残差和拼接矩阵；
对所述流量数据集中的二维特征矩阵进行截取处理，得到多个第二输入矩阵，并根据所述第二输入矩阵确定所述基础分类检测模型的第二卷积核尺寸，其中，所述第二输入矩阵包括所述二维特征矩阵，所述第二卷积核尺寸包括所述第二输入矩阵的尺寸、所述第二输入矩阵的行尺寸和所述第二输入矩阵的列尺寸；
根据所述第二卷积核尺寸对所述第二输入矩阵进行卷积处理，得到第一特征信息；
对所述二维特征矩阵和所述第一特征信息进行特征拉直和拼接处理，得到特征向量；
根据所述特征向量、所述第一特征信息和所述第二输入矩阵，得到所述多维特征信息中的多维流量特征信息。
可选地，所述通信对数据包括通信对的属性信息，所述监控指标数据包括流量指标数据和时间片数据，所述对所述通信对数据进行分类预处理，得到不同类型的监控指标数据的步骤，包括：
对所述通信对数据的各项监控指标数据进行排序和切片处理，得到各通信对的时间片数据；
根据所述时间片数据和所述通信对数据中各通信对的属性信息对所述通信对数据进行分类汇总，得到各所述监控指标数据的流量指标数据，其中，所述属性信息包括所述通信对数据的源地址和目的地址，所述源地址和所述目的地址与所述通信对关联。
此外，为实现上述目的，本发明还提供一种网络流量检测装置，所述网络流量检测装置包括：
数据获取模块，用于当检测到通信连接请求时，获取所述通信连接请求的通信对数据；
分类处理模块，用于对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；
分类检测模块，用于将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；
告警提示模块，用于基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络流量检测程序，所述程序被所述处理器执行时实现如上述的网络流量检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有网络流量检测程序，所述程序被处理器执行时实现如上述的网络流量检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的网络流量检测方法的步骤。
本发明实施例提出的一种网络流量检测方法、装置、终端设备及存储介质。现有技术中，采用固定阈值的网络流量检测方式，对未触发告警阈值的流量异常容易产生漏报，对于瞬时超出告警阈值的非异常则存在无效告警，导致对异常的监测和告警准确度较低。本发明实施例中，当检测到通信连接请求时，获取所述通信连接请求的通信对数据；对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。基于历史通信对数据对预设的基础分类检测模型进行迭代训练，得到的目标分类检测模型，可以提取不同层级的各个监控指标数据在不同时间的告警阈值，进而拟合出告警阈值曲线，基于该告警阈值曲线，对于突发业务导致的瞬时流量超出阈值范围的情况进行忽略，并能够对不同类型的监控指标数据分别进行检测，从而减少无效告警和漏告警，提高了流量异常的检测准确率。
附图说明
图1为本发明实施例提供的终端设备一种实施方式的硬件结构示意图；
图2为本发明网络流量检测方法第一实施例的流程示意图；
图3为本发明网络流量检测方法第二实施例中的监控指标的流量数据分布示意图；
图4为本发明网络流量检测装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明实施例终端设备(又叫终端或者设备)可以是PC，也可以是智能手机、平板电脑和便携计算机等具有显示和数据处理功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络流量检测程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的网络流量检测程序，所述网络流量检测程序被处理器执行时实现下述实施例提供的网络流量检测方法中的操作。
基于上述设备硬件结构，提出了本发明网络流量检测方法的实施例。
需要说明的是，在银行等金融机构，为满足大量不同客户端的需求，客户端与服务器端一般建立的都是短连接以减少对服务器端的资源占用，当数据传输完成或流程结束时，通信连接会自动断开，当同一个客户端又有数据传输需求时，需要与服务器端重新建立通信连接。因此，在数据中心的服务器端每时每刻都存在大量的通信连接，或有大量建立通信连接的请求，要做到对每个客户端的通信连接请求进行监控需要耗费大量的运维成本，并且对于个别客户端偶尔出现的连接异常属于正常现象，不需要人为干预，为减少运维成本，现有技术通常是基于固定阈值对数据中心整个网络中的数据流量进行监控，通过对流量的监控确定通信连接是否存在异常，例如，当各个客户端发送的报文与服务器端接收的报文数量不一致，且差值超过设定阈值时则触发告警，证明通信连接过程存在异常。
但是，传统的基于固定阈值的流量检测方式容易存在误报和漏报，例如，对于业务存在周期性的客户端，会导致对服务器端的资源占用率呈现周期性变化，若对服务器的资源占用率设置为固定阈值告警，该阈值过小时，当存在周期性的客户端集中处理业务时，会产生误告警或无效告警，若设置的告警阈值过大，当服务器的性能下降导致资源占用率升高时，无法及时触发告警从而产生漏报，导致对网络流量异常的告警准确度较低。
基于上述现象提出了本发明各个实施例，参照图2，图2为本发明第一实施例的流程示意图，在本发明网络流量检测方法的第一实施例中，所述网络流量检测方法包括：
步骤S10，当检测到通信连接请求时，获取所述通信连接请求的通信对数据；
在本发明的各个实施例中，网络流量检测方法在个人电脑、平板电脑等具有显示和数据处理功能的终端设备上实施，用于对网络中建立通信连接的数据流量进行检测，从而确定网络中的通信连接状态是否存在异常。具体地，当检测到通信连接请求时，获取该通信连接请求对应的通信对数据，在本实施实施例中，通信对数据是指客户端与服务器端建立通信连接时，发送的源地址、目的地址和端口号等信息均相同的报文信息，也即，同一个客户端就相同的业务与同一个服务器端建立通信连接时发送的报文信息即为通信对数据。可知地，同一个客户端可以与不同的服务器端建立通信连接，同一个服务器端也可以与多个客户端建立通信连接，客户端与服务器端之间为多对多的关系。在本实施例中，同一个客户端通过同一个端口与同一个服务器建立通信连接时发送的报文信息，为通信对数据，建立通信连接的客户端和服务器端为一个通信对，可以理解的是，通信对数据可以是同一个通信对多次建立通信连接时发送的报文信息。
步骤S20，对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；
对获取的通信对数据进行分类预处理，得到不同类型的监控指标数据，其中，不同类型的监控指标数据至少包括不同层级的流量指标数据和时间片数据，将通信对数据中每个通信对的数据按照各项监控指标数据进行汇总后，对各个通信对的汇总数据进行切片处理，得到各个通信对的时间片数据。基于该时间片数据，根据通信对数据中的属性信息对每个通信对的数据按照时间切片中的各项监控指标进行汇总，得到各通信对的流量数据，其中，属性信息用于对获取的通信对数据进行区分，确定获取的通信对数据属于哪个通信对，进而对各个通信对的通信对数据进行汇总，得到各通信对的流量数据。
进一步地，步骤S20的细化，包括：
步骤S21，对所述通信对数据的各项监控指标数据进行排序和切片处理，得到各通信对的时间片数据；
步骤S22，根据所述时间片数据和所述通信对数据中各通信对的属性信息对所述通信对数据进行分类汇总，得到所述监控指标数据中的流量指标数据，其中，所述属性信息包括所述通信对数据的源地址和目的地址，所述源地址和所述目的地址与所述通信对关联。
在对获取的通信对数据进行分类预处理时，首先对获取的通信对数据中的每个通信对的数据进行排序和切片处理，得到时间片数据，然后对获取的通信对数据分别按照通信对、业务类型等不同的维度进行分类汇总，得到不同层级的流量指标数据。在获取时间片数据时，可以是对各个通信对的数据根据各项监控指标按列排列，然后进行时间片切片处理，得到对应的时间片数据，该时间片数据是各项监控指标的一维时间序列。
在获取流量指标数据时，根据通信对数据中的属性信息，对获取的通信对数据进行区分，并基于切片后的时间片数据，对相同的通信对数据的各项监控指标数据按照时间片数据中的时间序列进行汇总，得到各个通信对的流量数据，即第一子流量数据；然后基于第一子流量数据，再按照通信对的业务类型，对业务类型相同的通信对数据进行汇总，得到不同业务类型的通信对的流量数据，即第二子流量数据；最后对各业务类型的流量数据进行汇总，得到各个通信对的总流量数据。
需要说明的是，在本实施例中，通信对数据的属性信息包括源地址和目的地址，该源地址和目的地址与通信对相关联，为通信对中的客户端和服务器端的地址信息。可以理解的是，获取的通信对数据是客户端和服务器端在建立通信连接时发送的报文信息，其中包括了发送报文的客户端/服务器端(源地址)，以及接收报文的服务器端/客户端(目的地址)，因此，根据通信对数据中的属性信息可以对获取的通信对数据进行区分，从而得到各个通信对数据的流量数据。对业务类型相同的各个通信对的流量数据进行汇总，得到各业务类型的流量数据，对各业务类型的流量数据进行汇总，得到通信对数据的总流量数据，而不同层级的汇总流量数据，与时间片数据类似，也是通信对数据的各项监控指标数据的一维时间序列。
步骤S30，将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；
在得到通信对数据的监控指标数据后，将监控指标数据输入至目标分类检测模型中进行分类检测，其中，用于对监控指标数据进行分类检测的目标分类检测模型是基于历史通信对数据，对预设的基础分类检测模型进行迭代训练得到的。通过利用历史通信对数据对基础的分类检测模型进行迭代训练，从历史通信对数据中提取各项监控指标数据的特征信息，进而确定不同层级的各项监控指标数据在不同时间的告警阈值，并拟合出各项监控指标数据的告警阈值曲线，基于该告警阈值曲线，对于突发情况导致的某个监控指标的瞬时流量超出该时刻的告警阈值进行忽略，从而减少无效告警。
在本实施例中，监控指标数据包括客户端请求数、服务端响应数、三次握手syn包、三次握手syn.ack包、三次握手ack包、客户端带数据的包数、客户端reset包、客户端fin包、客户端其他无数据的包数、服务器端带数据的包数、服务器端reset包、服务器端fin包、服务器端其他无数据的包数、客户端的数据包重传数，客户端的非数据包重传数，服务器端的数据包重传数，服务器端的非数据包的重传数等不同指标的流量数据，此外，根据各个指标数据的流量数据，还可以得到服务器端的的延时基数、服务器端的最大响应时间、客户端延时基数、服务器端的最大延时等监控指标数据。
对各项监控指标按照通信对、各通信对的业务类型分别进行汇总，得到各监控指标不同层级的流量数据，利用预设的目标分类检测模型，对输入的各项监控指标数据进行分类，进而对各项监控指标数据分别进行检测，能有效提高对流量异常的检测准确度，并且，将对通信对数据的流量检测细化到对通信对数据各项监控指标的流量检测，细化了流量检测的颗粒度。
步骤S40，基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。
基于提取的告警阈值曲线，对于超出告警阈值曲线外的某个点视为突发业务情况，予以忽略，对于长时间连续超过告警阈值曲线的指标，则视为异常指标数据，当检测到监控指标数据中存在异常数据时，输出告警提示信息。其中，该告警提示信息包括流量异常的目标监控指标、异常通信对以及该目标监控指标的异常程度等。基于历史运维数据，根据异常的监控指标、通信对以及监控指标的异常程度，初步分析异常原因，并通过告警提示信息给出初步的解决方案，以便运维人员根据告警提示信息迅速处理异常问题。
进一步地，在本实施例中，对网络流量的检测颗粒度进行了细化，将对网络中通信对数据的流量检测细化至对通信对数据各项监控指标的流量检测，当检测到流量异常时，能够快速定位出流量异常的指标，实现对异常的快速定位。
在本实施例中，当检测到通信连接请求时，获取所述通信连接请求的通信对数据；对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。基于历史通信对数据对预设的基础分类检测模型进行迭代训练，得到的目标分类检测模型，可以提取不同层级的各个监控指标数据在不同时间的告警阈值，进而拟合出告警阈值曲线，基于该告警阈值曲线，对于突发业务导致的瞬时流量超出阈值范围的情况进行忽略，并能够对不同类型的监控指标数据分别进行检测，从而减少无效告警和漏告警，提高了流量异常的检测准确率。
进一步地，通过对网络流量的检测颗粒度进行细化，可以进一步提高检测准确度，并且，将对网络中通信对数据的流量检测细化至对通信对数据各项监控指标的流量检测，当检测到流量异常时，能够快速定位出流量异常的指标，实现对异常的快速定位。
进一步地，在本发明上述实施例的基础上，提出了本发明方法的第二实施例。
本实施例是第一实施例中步骤S10之前的步骤，包括：
步骤S01，获取历史通信对数据，并搭建基础分类检测模型；
步骤S02，基于所述历史通信对数据构建样本数据集，并利用所述样本数据集对所述基础分类检测模型进行迭代训练，得到目标分类检测模型。
在获取通信对数据之前，需要获取历史通信对数据并搭建基础分类检测模型，然后利用获取的历史通信对数据构建样本数据集，并利用构建的样本数据集对搭建的基础分类检测模型进行迭代训练，从而得到目标分类检测模型。其中，构建样本数据集的操作与分类预处理的操作基本相同，搭建的基础分类检测模型可以是多分类的深度学习神经网络模型，还可以是其他检测模型，在此不作具体限定。
在本实施例中，以多分类的深度学习神经网络模型为例进行说明，进一步地，基础分类建模型中包括对不同类型的监控指标数据进行检测的基础模型，因此需要构建不同的数据集分别进行训练，需要构建的样本数据集包括样本时间片集，在本实施例中，以某银行数据中心的某个业务区一个月的网络流量数据为历史通信对数据为例，构建样本数据集的步骤包括：
步骤A1，对所述历史通信对数据进行采样处理，得到采样数据；
步骤A2，对所述采样数据中的各所述历史通信对数据的各监控指标数据进行排序和切片处理，得到正样本时间片对，其中，所述正样本时间片对包括前继时间片和后继时间片；
步骤A3，对所述正样本时间片对中的后继时间片进行变异操作，得到负样本时间片对；
步骤A4，根据所述正样本时间片对和所述负样本时间片对，得到所述样本数据集中的样本时间片集。
首先，对获取的历史通信对数据进行采样处理，得到采样数据，采样数据的方式为，按照各项监控指标数据，对历史通信对数据中各个通信对预设时间间隔内的数据进行汇总。例如，若历史通信对数据中，包含32000个需要检测的通信对的流量数据，且有客户端请求数、服务端响应数、三次握手syn包、三次握手syn.ack包、三次握手ack包等28项监控指标，对每个通信对的28项监控指标每隔固定时间间隔汇总记录一次，即可得到采样数据。然后基于采样数据，对每个通信对的28项监控指标进行排序和切片处理，得到正样本时间片对，其中，每个时间片对包含一个前继时间片和后继时间片，前继时间片和后继时间片根据时间顺序进行划分。具体地，在本实施例中，一种优选的排序和切片处理方式为，将每个通信对的28项监控指标按列排列，每行为同一采样时刻获取的通信对数据的监控指标数据，对采样数据中的每个通信对按照切片参数为横向长度为28，纵向长度为16进行时间片切片，得到正样本时间片对，其中，一个通信对在时间上前后相连的两个时间片组成一对正样本时间片对，对纵向数据长度小于16*2的通信对数据进行舍弃。
对正样本时间片对中的后继时间片进行变异操作，得到负样本时间片对，变异操作包括从其他时间片中选取一个或多个时间片，并利用选取的时间片替换当前进行变异操作的时间片的部分或全部监控指标数据，选取的时间片的通信对应与当前执行变异操作的时间片的通信对无关或不相似，其中，通信对的无关是指通信对的源地址、目的地址等均不相同，通信对的不相似是指通信对之间的平均误差率大于设定阈值，通信对的平均误差率表示时间片对的平均误差与前继时间片的比率，可以按照下列公式1进行计算：
Figure BDA0003180855270000101
在公式1中，ER表示通信对的平均误差率，x1表示通信对的前继时间片，x2表示通信对的后继时间片，ε为一个非负的极小值，防止分母为0，readuce_mean表示取通信对的全部时间片对的平均值。
在对所有正样本时间片对中的后继时间片执行变异操作，得到对应的负样本时间片对，进而得到样本数据集中的样本时间片集，该样本时间片集中，包括了包含真实数据的正样本时间片对和基于正样本时间片对通过变异操作得到的负样本时间片对，需要说明的是，构建的样本时间片集中的各个时间片对是各项监控指标数据的一维时间序列。利用样本时间片集对基础分类检测模型进行训练，可以使模型快速识别并分类出属于同一个通信对的监控指标，并且，通过对样本时间片对中的前继时间片和后继时间片不仅可以对各个通信对中服务器端的响应时间、延时时间等指标数据进行监控和检测，还可以检测出各项监控指标的流量数据中的异常时间片对。
进一步地，构建的样本数据集中还包括流量数据集，基于上述基于历史通信对数据得到的采样数据和样本时间片集，流量数据集的构建包括以下步骤：
步骤B1，基于所述样本时间片集对所述采样数据中的各所述通信对数据进行汇总，得到所述历史通信对数据的各监控指标数据的一维时间序列，其中，所述一维时间序列具有周期性特征；
步骤B2，根据所述一维时间序列的周期性特征，对所述一维时间序列进行二维化，得到二维数据；
步骤B3，对所述二维数据进行切片处理，得到二维特征矩阵，并从所述二维特征矩阵中截取标签数据，对所述二维特征矩阵中所述标签数据对应的位置进行填补，得到所述样本数据集中的流量数据集。
在构建流量数据集时，对采样数据中的各个通信对数据进行汇总，具体是基于构建的样本时间片集进行汇总，将业务类型相同的或具有相同特征的时间片对中的各个监控指标的数据进行堆叠汇总，得到各个通信对数据的各项监控指标数据的汇总数据，该汇总数据也是各个监控指标的一维时间序列。具体地，在汇总时，先根据各个通信对的业务类型对业务类型相同的通信对的监控指标数据进行汇总，得到各个业务类型的各项监控指标的流量数据，再对各个业务类型的流量数据进行汇总，得到历史通信对数据的总体流量数据，从而得到通信对数据各项监控指标数据不同层级的流量数据。如图3所示，图3为根据选取的业务区一个月的历史通信对数据中，对某监控指标5天的流量数据每一分钟汇总一次得到的流量分布示意图，其中，散点图为实际流量的分布情况，每个点为该监控指标一分钟的时间间隔内的汇总流量，曲线图为散点图的拟合结果，根据拟合出的曲线可以确定告警阈值曲线。总体流量数据为各项监控指标的一维时间序列，由于业务流量通常都存在以小时或天为周期的小周期性，或者以周、季度或年度为周期的大周期性，因此，各项监控指标的一维时间序列具有周期性特征，从图3可知，某监控指标5天的流量数据在分布图中对应5个峰值，且第二和第三个峰值较低，根据该周期性特征，对各项监控指标数据的一维时间序列进行二维化。具体地，由图3可知，若某业务流量是以天为周期的小周期性，则以天为横坐标，并以预设的时间间隔对历史通信对数据进行采样处理，以得到的采样数据为纵坐标进行二维化，得到的二维数据在纵坐标方向表示监控指标的流量在当天的变化趋势，在横坐标方向表示监控指标的流量在每天同一时间段的变化趋势。
对得到的二维数据进行切片处理，得到二维特征矩阵，切片参数为横向长度为W＝8，纵向长度为H＝64，不同的监控指标数据按照时间维度在通道方向进行堆叠，得到尺寸为H*W*C即64*8*28的多通道二维特征矩阵。从的魏特征矩阵中截取标签数据，并对二维特征矩阵中，被截取的部分进行填补，得到流量数据集。需要说明的是，从二维特征矩阵中截取标签数据时，可以截取二维特征矩阵中，全部通道的最后一列即最后M＝8个时刻的采样数据作为标签数据，并对截取的标签数据在二维特征矩阵中的位置上填补预设数值，如-1，进而构建一个带有标签数据的流量数据集。
以截取的一维序列标签数据为指导标签，以二维特征矩阵为输入，对基础分类检测模型进行训练，在训练过程中，模型的输出为对最后M＝8个时刻的监控指标流量的预测值。
在构建样本数据集后，利用构建的样本数据集对基础分类检测模型进行迭代训练，具体包括：
步骤C1，将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息；
步骤C2，对所述多维特征信息进行加权平均计算，得到目标特征值，根据所述目标特征值对所述样本数据集进行预测，得到所述样本数据集的预测数据集合，其中，对所述多维特征信息进行加权平均计算的权重系数为所述基础分类检测模型的模型参数；
步骤C3，根据所述预测数据集合确定所述基础分类模型的损失函数，并利用所述损失函数对所述基础分类检测模型的模型参数进行更新，返回并执行所述将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息的步骤，直到所述损失函数收敛时，得到目标检测模型。
将构建的样本数据集输入至搭建的基础分类检测模型中，利用基础分类检测模型对样本数据集进行多层次卷积处理，提取多维特征信息，对提取的多维特征信息进行加权平均，得到可用于预测的目标特征值，根据该目标特征值进行预测，得到样本数据集中各项监控指标数据的预测数据集合，其中，对多维信息进行加权平均得到目标特征值的权重系数，为搭建的基础分类检测模型的可学习模型参数。根据各项监控指标数据的预测数据集合与其实际数据之间的差值，确定模型的损失函数，并根据该损失函数求导模型参数进而对模型参数进行更新，然后将样本数据集重新输入至参数更新后的基础分类检测模型中，直到损失函数收敛，即得到训练好的目标分类检测模型。该目标分类检测模型中包括了根据历史通信对数据得到的告警阈值曲线，当各项监控指标的预测值持续超过其告警阈值曲线一段时间后，即可触发相应的告警并生成告警提示信息，将异常数据上报至运维人员进行处理。
在本实施例中，通过构建不同的样本数据集对基础分类检测模型进行迭代训练，在对基础分类检测模型进行迭代训练时，对样本数据集进行多层次卷积处理，进而提取多维特征信息，可以根据不同的监控指标数据从不同的维度分别进行特征提取，以提高目标分类检测模型的分类精度和检测精度，从而提高对流量异常的检测准确度。
进一步地，基于上述第一和/或第二实施例，提出本发明流量检测方法的第三实施例，本实施例是对上述第二实施例中步骤C1的细化，步骤C1中，利用基础分类检测模型对样本数据集分别进行多层级卷积处理后，得到的多维特征信息中包括多维时间片特征信息和多维流量特征信息，对样本数据集进行多层次的卷积处理，实际上是对样本数据集中不同的数据集分别进行多层卷积处理，进而提取不同类型的多维特征信息，具体地，样本数据集中包括样本时间片集和流量数据集，对样本数据集进行多层次卷积处理，得到多维时间片特征信息的步骤，包括：
步骤C1001，对所述样本时间片集中的前继时间片和后继时间片分别进行残差计算、拼接和堆叠处理，得到多个第一输入矩阵，并根据所述第一输入矩阵确定所述基础分类检测模型的第一卷积核尺寸，其中，所述第一卷积核尺寸包括所述第一输入矩阵的尺寸、所述第一输入矩阵的行尺寸和所述第一输入矩阵的列尺寸；
步骤C1002，根据所述第一卷积核尺寸对所述前继时间片和/或所述后继时间片进行卷积处理，得到所述多维特征信息中的多维时间片特征信息，其中，所述多维时间片特征信息包括所述前继时间片和所述后继时间片的时间片残差和拼接矩阵；
在本实施例中，提取的多维时间片特征信息用于对基础分类检测模型进行训练，从而使多分类的基础分类检测模型能够识别输入的时间片对是否为同一个通信对的时间片，其中，输入的时间片对是否属于同一个通信对根据对该时间片对的预测概率确定，若对该时间片对的预测结果为正样本的概率大于预设阈值(或者大于该时间片对为负样本的概率)，则认为该时间片对为同一个通信对的时间片，进而可以识别出各个通信对的时间片，从而得到各个通信对的监控指标数据，便于对各个通信对进行监控。可以理解的是，基础分类检测模型对输入的时间片对预测为正样本的概率和预测为负样本的概率之和应为1。
进一步地，考虑到对模型进行训练的目的是区分出两个输入的时间片是否属于同一通信对的前继时间片和后继时间片，因此对输入的两个时间片进行拼接、残差计算、堆叠等处理，得到不同的输入矩阵，根据不同的输入矩阵确定不同的卷积核尺寸，并根据该卷积核尺寸对输入的前继时间片和/或后继时间片进行不同的卷积处理，得到多维时间片特征信息。其中，得到的多维时间特征信息中，还包括对前继时间片和后继时间片的残差，以及对前继时间片和后继时间片进行拼接处理得到的拼接矩阵。
在本实施例中，以九组特征信息为例，具体来说，九组特征信息分别为：
1、对输入的前继时间片与时间片残差通道进行堆叠后得到输入矩阵，并根据与搞输入矩阵尺寸相同的卷积核尺寸对输入矩阵进行卷积处理得到的特征信息，其中，时间片残差通道是指对输入的时间片中的所有元素进行残差计算；
2、对输入的后继时间片在时间片残差通道进行堆叠后得到输入矩阵，根据与该输入矩阵尺寸相同的卷积核尺寸对该输入矩阵进行卷积处理后得到的特征信息；
3、对输入的时间片对在时间片残差通道进行堆叠后得到输入矩阵，根据与该输入矩阵尺寸相同的卷积核尺寸对该输入矩阵进行卷积处理后得到的特征信息；
4、分别以输入的前继时间片与后继时间片为输入矩阵，并对输入矩阵进行进行卷积核尺寸与输入矩阵尺寸相同的卷积处理，对得到的特征信息进行相减后得到的残差特征信息；
5、对输入的前继时间片与后继时间片在时间方向(纵向)进行拼接处理后，将拼接处理得到的矩阵作为输入矩阵，并对该输入矩阵进行卷积核尺寸与该输入矩阵的列尺寸相同的卷积处理得到的特征信息；
6、对输入的前继时间片与后继时间片在时间方向(纵向)进行拼接处理后，将拼接处理得到的矩阵作为输入矩阵，并对该输入矩阵进行卷积核尺寸与该输入矩阵的尺寸相同的卷积处理得到的特征信息；
7、对输入的前继时间片与后继时间片在时间方向(纵向)进行拼接处理后，将拼接处理得到的矩阵作为输入矩阵，并利用VGG11模型对该输入矩阵进行多层卷积后得到的特征信息；
8、输入的前继时间片与后继时间片在时间方向(纵向)拼接后得到的拼接矩阵；
9、对输入的前继时间片与后继时间片进行残差计算得到的时间片残差。
得到九组特征信息后，利用基础分类检测模型即一个输出神经元依次为1024、1024、256、M的简单四层全连接神经网络，对得到的特征信息进行变换，得到九组预测结果，然后对九组预测结果进行回归运算后再进行加权平均，加权平均的权重系数为可学习的模型参数，最后将结果传入到损失函数中以对模型参数进行更新。损失函数对模型参数求导后反向传输更新模型参数，然后重新输入样本数据集进行训练，如此不断输入样本数据集进行迭代训练，最终可使损失函数值收敛，进而得到最终训练好的模型。
利用训练好的模型对当前时刻输入的各个通信对的各项监控指标数据进行分类预测，一旦检测到通信对的前继时间片与当前时间片组成的时间片对预测为负样本(异常)的概率大于设定的阈值，则认为该通信对的监控指标数据存在异常，输出告警提示信息，否则通信对的监控指标数据为正常。
在本实施例中，时间片数据的预测损失函数如下列公式2所示：
Figure BDA0003180855270000151
在公式2中，yi为输入的类别i的指导标签，即输入的后继时间片是否为异常时间片(即y0表示正常的概率，y1表示异常的概率，概率值为0或1)，pi表示模型输出的类别为i的预测概率(预测概率的值在0到1之间)。
进一步地，对样本数据集进行多层次卷积处理，得到多维时间片特征信息的步骤之后，从流量数据集中提取多维流量特征信息，包括：
步骤C1003，对所述流量数据集中的二维特征矩阵进行截取处理，得到多个第二输入矩阵，并根据所述第二输入矩阵确定所述基础分类检测模型的第二卷积核尺寸，其中，所述第二输入矩阵包括所述二维特征矩阵，所述第二卷积核尺寸包括所述第二输入矩阵的尺寸、所述第二输入矩阵的行尺寸和所述第二输入矩阵的列尺寸；
步骤C1004，根据所述第二卷积核尺寸对所述第二输入矩阵进行卷积处理，得到第一特征信息；
步骤C1005，对所述二维特征矩阵和所述第一特征信息进行特征拉直和拼接处理，得到特征向量；
步骤C1006，根据所述特征向量、所述第一特征信息和所述第二输入矩阵，得到所述多维特征信息中的多维流量特征信息。
在提取多维流量特征信息时，首先要对输入的流量数据集中的二维特征矩阵进行截取处理，得到对应的模型输入矩阵，根据不同的输入矩阵确定不同的卷积核尺寸并对输入矩阵进行不同的卷积处理，对经过卷积处理得到的特征信息进行拉直、拼接等处理，得到不同的特征向量，进而得到多维流量特征信息。
具体地，在本实施例中，以八组流量特征信息为例，八组流量特征信息分别为：
1、输入的二维特征矩阵；
2、对输入的二维特征矩阵进行截取处理，截取的二维特征矩阵的最后一列数据；
3、对输入的二维特征矩阵进行截取处理，截取的二维特征矩阵的最后M行；
4、根据与输入的二维特征矩阵行尺寸相同的卷积核尺寸，对二维特征矩阵进行卷积处理后得到的特征信息；
5、根据与输入的二维特征矩阵列尺寸相同的卷积核尺寸，对二维特征矩阵进行卷积处理后得到的特征信息；
6、根据与输入的二维特征矩阵尺寸相同的卷积核尺寸，对二维特征矩阵进行卷积处理后得到的特征信息；
7、利用VGG11模型对输入的二维特征矩阵进行多层卷积后得到的特征信息；
8、将上述4、5、6、7中得到的四项卷积特征信息进行特征拉直后，与输入的二维特征矩阵进行拼接处理得到的拼接向量。
得到八组流量特征信息后，利用基础分类检测模型即一个输出神经元依次为1024、1024、256、M的简单四层全连接神经网络，对得到的特征信息进行变换，得到八组预测结果，然后对八组预测结果进行加权平均，加权平均的权重系数为可学习的模型参数，最后将结果传入到公式3所示的损失函数中以对模型参数进行更新。损失函数对模型参数求导后反向传输更新模型参数，然后重新输入样本数据集对模型进行训练，如此不断输入样本数据集进行迭代训练，最终可使损失函数值收敛，进而得到最终训练好的模型。
Figure BDA0003180855270000161
在公式3中，向量y表示输入的指导标签即最近M个时刻的真实流量值，向量p表示模型输出的最近M个时刻的流量预测值。利用训练好的模型对一段时间内汇总的各个业务类型的流量数据和总流量数据进行监控和预测，将预测值与历史真实数据进行比较，计算两者的最大误差，以此作为各项监控指标数据的各层级流量数据预测时的经验阈值。
可以理解的是，在本实施例中，构建的基础分类检测模型中包括至少两个基础检测模型，分别用于对通信对数据各项监控指标数据的时间片对和流量数据进行检测，本实施例以两个基础检测模型为例，其中一个对时间片对中的前继时间片和后继时间片进行检测，确定各项监控指标数据中是否存在异常通信对，另一个用于检测各项监控指标数据的不同层级的流量数据。两个基础检测模型特征提取的模型结构基本相同，输出层和损失函数不同，根据输入的数据不同，分别对输入数据进行不同的处理得到不同的输入矩阵，进而输出不同的预测结果，可以实现从不同维度和层面对网络流量进行检测的目的，提高对网络流量异常的检测精度。也即，在本实施例中，不仅可以通过时间片对各个通信对的各项指标的流量进行检测，还可以对各个业务类型的通信对的各项监控指标的流量进行检测，通过对各项监控指标的流量进行分类分级检测，提高对网络流量异常的检测准确度。
需要说明的是，本实施例中提取的多维特征信息及特征信息的数量仅用于对本发明进行说明，在实际应用时，可以根据搭建的基础分类检测模型，或者根据实际的监控指标数据的不同，对提取的多维特征信息及其数量进行调整，在构建样本数据集时，所使用的时间切片参数、搭建的神经网络模型结构、模型参数和损失函数等，也仅用于对本发明实施例进行示例性的说明和解释，并不对本发明构成限定。
在本实施例中，通过基于历史通信对数据构建样本数据集，并对构建的样本数据集进行多维度的特征提取，进而得到多维特征信息，利用提取的多维特征信息对基础分类检测模型进行迭代训练，得到目标分类检测模型，从不同维度对各项指标数据进行检测，提高多分类检测模型对各个维度的监控指标数据的预测准确度，进而提高目标分类检测模型对流量异常的检测准确度。
此外，参照图，本发明实施例还提出一种网络流量检测装置，所述网络流量检测装置包括：
数据获取模块10，用于当检测到通信连接请求时，获取所述通信连接请求的通信对数据；
分类处理模块20，用于对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；
分类检测模块30，用于将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；
告警提示模块40，用于基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。
可选地，所述分类处理模块20，还用于：
对所述通信对数据的各项监控指标数据进行排序和切片处理，得到各通信对的时间片数据；
根据所述时间片数据和所述通信对数据中各通信对的属性信息对所述通信对数据进行分类汇总，得到各所述监控指标数据中的流量指标数据，其中，所述属性信息包括所述通信对数据的源地址和目的地址，所述源地址和所述目的地址与所述通信对关联。
可选地，所述网络流量检测装置还包括模型训练模块，用于：
获取历史通信对数据，并搭建基础分类检测模型；
基于所述历史通信对数据构建样本数据集，并利用所述样本数据集对所述基础分类检测模型进行迭代训练，得到目标分类检测模型。
可选地，所述模型训练模块，还用于：
对所述历史通信对数据进行采样处理，得到采样数据；
对所述采样数据中的各所述历史通信对数据的各监控指标数据进行排序和切片处理，得到正样本时间片对，其中，所述正样本时间片对包括前继时间片和后继时间片；
对所述正样本时间片对中的后继时间片进行变异操作，得到负样本时间片对；
根据所述正样本时间片对和所述负样本时间片对，得到所述样本数据集中的样本时间片集。
可选地，所述模型训练模块，还用于：
基于所述样本时间片集对所述采样数据中的各所述历史通信对数据进行汇总，得到所述历史通信对数据的各监控指标数据的一维时间序列，其中，所述一维时间序列具有周期性特征；
根据所述一维时间序列的周期性特征，对所述一维时间序列进行二维化，得到二维数据；
对所述二维数据进行切片处理，得到二维特征矩阵，并从所述二维特征矩阵中截取标签数据，对所述二维特征矩阵中所述标签数据对应的位置进行填补，得到所述样本数据集中的流量数据集。
可选地，所述模型训练模块，还用于：
将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息；
对所述多维特征信息进行加权平均计算，得到目标特征值，根据所述目标特征值对所述样本数据集进行预测，得到所述样本数据集的预测数据集合，其中，对所述多维特征信息进行加权平均计算的权重系数为所述基础分类检测模型的模型参数；
根据所述预测数据集合确定所述基础分类模型的损失函数，并利用所述损失函数对所述基础分类检测模型的模型参数进行更新，返回并执行所述将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息的步骤，直到所述损失函数收敛时，得到目标检测模型。
可选地，所述模型训练模块，还用于：
对所述样本时间片集中的前继时间片和后继时间片分别进行残差计算、拼接和堆叠处理，得到多个第一输入矩阵，并根据所述第一输入矩阵确定所述基础分类检测模型的第一卷积核尺寸，其中，所述第一卷积核尺寸包括所述第一输入矩阵的尺寸、所述第一输入矩阵的行尺寸和所述第一输入矩阵的列尺寸；
根据所述第一卷积核尺寸对所述前继时间片和/或所述后继时间片进行卷积处理，得到所述多维特征信息中的多维时间片特征信息，其中，所述多维时间片特征信息包括所述前继时间片和所述后继时间片的时间片残差和拼接矩阵；
对所述流量数据集中的二维特征矩阵进行截取处理，得到多个第二输入矩阵，并根据所述第二输入矩阵确定所述基础分类检测模型的第二卷积核尺寸，其中，所述第二输入矩阵包括所述二维特征矩阵，所述第二卷积核尺寸包括所述第二输入矩阵的尺寸、所述第二输入矩阵的行尺寸和所述第二输入矩阵的列尺寸；
根据所述第二卷积核尺寸对所述第二输入矩阵进行卷积处理，得到第一特征信息；
对所述二维特征矩阵和所述第一特征信息进行特征拉直和拼接处理，得到特征向量；
根据所述特征向量、所述第一特征信息和所述第二输入矩阵，得到所述多维特征信息中的多维流量特征信息。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现上述实施例提供的网络流量检测方法中的操作。
此外，本发明实施例还提出一种计算机程序产品，包括计算机程序，所述计算机被处理器执行时实现上述实施例提供的网络流量检测方法中的操作。
本发明设备、计算机程序产品和计算机可读存储介质各实施例，均可参照本发明网络流量检测方法各个实施例，此处不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的网络流量检测方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种网络流量检测方法，其特征在于，所述网络流量检测方法包括以下步骤：
当检测到通信连接请求时，获取所述通信连接请求的通信对数据；
对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；
将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；
基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。
2.如权利要求1所述的网络流量检测方法，其特征在于，所述当检测到通信连接请求时，获取所述通信连接请求的通信对数据的步骤之前，还包括：
获取历史通信对数据，并搭建基础分类检测模型；
基于所述历史通信对数据构建样本数据集，并利用所述样本数据集对所述基础分类检测模型进行迭代训练，得到目标分类检测模型。
3.如权利要求2所述的网络流量检测方法，其特征在于，所述样本数据集包括样本时间片集，所述基于所述历史通信对数据构建样本数据集的步骤，包括：
对所述历史通信对数据进行采样处理，得到采样数据；
对所述采样数据中的各所述历史通信对数据的各监控指标数据进行排序和切片处理，得到正样本时间片对，其中，所述正样本时间片对包括前继时间片和后继时间片；
对所述正样本时间片对中的后继时间片进行变异操作，得到负样本时间片对；
根据所述正样本时间片对和所述负样本时间片对，得到所述样本数据集中的样本时间片集。
4.如权利要求3所述的网络流量检测方法，其特征在于，所述样本数据集还包括流量数据集，所述基于所述历史通信对数据构建样本数据集的步骤，还包括：
基于所述样本时间片集对所述采样数据中的各所述历史通信对数据进行汇总，得到所述历史通信对数据的各监控指标数据的一维时间序列，其中，所述一维时间序列具有周期性特征；
根据所述一维时间序列的周期性特征，对所述一维时间序列进行二维化，得到二维数据；
对所述二维数据进行切片处理，得到二维特征矩阵，并从所述二维特征矩阵中截取标签数据，对所述二维特征矩阵中所述标签数据对应的位置进行填补，得到所述样本数据集中的流量数据集。
5.如权利要求2所述的网络流量检测方法，其特征在于，所述利用所述样本数据集对所述基础分类检测模型进行迭代训练，得到目标分类检测模型的步骤，包括：
将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息；
对所述多维特征信息进行加权平均计算，得到目标特征值，根据所述目标特征值对所述样本数据集进行预测，得到所述样本数据集的预测数据集合，其中，对所述多维特征信息进行加权平均计算的权重系数为所述基础分类检测模型的模型参数；
根据所述预测数据集合确定所述基础分类模型的损失函数，并利用所述损失函数对所述基础分类检测模型的模型参数进行更新，返回并执行所述将所述样本数据集输入至所述基础分类检测模型中，利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息的步骤，直到所述损失函数收敛时，得到目标检测模型。
6.如权利要求3至5任一项所述的网络流量检测方法，其特征在于，所述多维特征信息包括多维时间片特征信息和多维流量特征信息，所述利用所述基础分类检测模型对所述样本数据集进行多层次卷积处理，得到多维特征信息的步骤，包括：
对所述样本时间片集中的前继时间片和后继时间片分别进行残差计算、拼接和堆叠处理，得到多个第一输入矩阵，并根据所述第一输入矩阵确定所述基础分类检测模型的第一卷积核尺寸，其中，所述第一卷积核尺寸包括所述第一输入矩阵的尺寸、所述第一输入矩阵的行尺寸和所述第一输入矩阵的列尺寸；
根据所述第一卷积核尺寸对所述前继时间片和/或所述后继时间片进行卷积处理，得到所述多维特征信息中的多维时间片特征信息，其中，所述多维时间片特征信息包括所述前继时间片和所述后继时间片的时间片残差和拼接矩阵；
对所述流量数据集中的二维特征矩阵进行截取处理，得到多个第二输入矩阵，并根据所述第二输入矩阵确定所述基础分类检测模型的第二卷积核尺寸，其中，所述第二输入矩阵包括所述二维特征矩阵，所述第二卷积核尺寸包括所述第二输入矩阵的尺寸、所述第二输入矩阵的行尺寸和所述第二输入矩阵的列尺寸；
根据所述第二卷积核尺寸对所述第二输入矩阵进行卷积处理，得到第一特征信息；
对所述二维特征矩阵和所述第一特征信息进行特征拉直和拼接处理，得到特征向量；
根据所述特征向量、所述第一特征信息和所述第二输入矩阵，得到所述多维特征信息中的多维流量特征信息。
7.如权利要求1所述的网络流量检测方法，其特征在于，所述通信对数据包括通信对的属性信息，所述监控指标数据包括流量指标数据和时间片数据，所述对所述通信对数据进行分类预处理，得到不同类型的监控指标数据的步骤，包括：
对所述通信对数据的各项监控指标数据进行排序和切片处理，得到各通信对的时间片数据；
根据所述时间片数据和所述通信对数据中各通信对的属性信息对所述通信对数据进行分类汇总，得到各所述监控指标数据的流量指标数据，其中，所述属性信息包括所述通信对数据的源地址和目的地址，所述源地址和所述目的地址与所述通信对关联。
8.一种网络流量检测装置，其特征在于，所述网络流量检测装置包括：
数据获取模块，用于当检测到通信连接请求时，获取所述通信连接请求的通信对数据；
分类处理模块，用于对所述通信对数据进行分类预处理，得到不同类型的监控指标数据；
分类检测模块，用于将所述监控指标数据输入至预设的目标分类检测模型中，对所述监控指标数据进行分类检测，其中，所述目标分类检测模型是利用历史通信对数据对预设的基础分类检测模型进行迭代训练得到的，所述目标检测模型中包括从所述历史通信对数据中提取的告警阈值曲线；
告警提示模块，用于基于所述告警阈值曲线，当检测到所述监控指标数据中存在异常数据时，输出告警提示信息。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络流量检测程序，所述网络流量检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的网络流量检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现如权利要求1至7中任一项所述的网络流量检测方法的步骤。
CN202110849346.9A 2021-07-26 2021-07-26 网络流量检测方法、装置、终端设备及存储介质 Pending CN113612656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110849346.9A CN113612656A (zh) 2021-07-26 2021-07-26 网络流量检测方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849346.9A CN113612656A (zh) 2021-07-26 2021-07-26 网络流量检测方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN113612656A true CN113612656A (zh) 2021-11-05

Family

ID=78305530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849346.9A Pending CN113612656A (zh) 2021-07-26 2021-07-26 网络流量检测方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113612656A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778836A (zh) * 2021-11-11 2021-12-10 深圳市明源云科技有限公司 云原生应用健康监测方法、装置、设备与可读存储介质
CN114019946A (zh) * 2021-11-11 2022-02-08 辽宁石油化工大学 工控终端的监控数据处理方法及装置
CN114629785A (zh) * 2022-03-10 2022-06-14 国网浙江省电力有限公司双创中心 一种告警位置的检测与预测方法、装置、设备及介质
CN115037528A (zh) * 2022-05-24 2022-09-09 天翼云科技有限公司 一种异常流量检测方法及装置
CN115080356A (zh) * 2022-07-21 2022-09-20 支付宝(杭州)信息技术有限公司 异常告警方法和装置
CN115174254A (zh) * 2022-07-22 2022-10-11 科来网络技术股份有限公司 流量异常告警方法、装置、电子设备及存储介质
CN116647877A (zh) * 2023-06-12 2023-08-25 广州爱浦路网络技术有限公司 一种基于图卷积模型的流量类别验证方法和系统
CN117037073A (zh) * 2023-09-12 2023-11-10 天津君萌科技有限公司 基于人工智能可视化的对象定位方法及可视化监控系统
WO2024098174A1 (en) * 2022-11-07 2024-05-16 Qualcomm Incorporated Model monitoring using input samples

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200030A (zh) * 2017-12-27 2018-06-22 深信服科技股份有限公司 恶意流量的检测方法、系统、装置及计算机可读存储介质
CN108809974A (zh) * 2018-06-07 2018-11-13 深圳先进技术研究院 一种网络异常识别检测方法及装置
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质
CN112953924A (zh) * 2021-02-04 2021-06-11 西安电子科技大学 网络异常流量检测方法、系统、存储介质、终端及应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200030A (zh) * 2017-12-27 2018-06-22 深信服科技股份有限公司 恶意流量的检测方法、系统、装置及计算机可读存储介质
CN108809974A (zh) * 2018-06-07 2018-11-13 深圳先进技术研究院 一种网络异常识别检测方法及装置
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质
CN112953924A (zh) * 2021-02-04 2021-06-11 西安电子科技大学 网络异常流量检测方法、系统、存储介质、终端及应用

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019946A (zh) * 2021-11-11 2022-02-08 辽宁石油化工大学 工控终端的监控数据处理方法及装置
CN113778836A (zh) * 2021-11-11 2021-12-10 深圳市明源云科技有限公司 云原生应用健康监测方法、装置、设备与可读存储介质
CN114019946B (zh) * 2021-11-11 2023-08-29 辽宁石油化工大学 工控终端的监控数据处理方法及装置
CN114629785A (zh) * 2022-03-10 2022-06-14 国网浙江省电力有限公司双创中心 一种告警位置的检测与预测方法、装置、设备及介质
CN114629785B (zh) * 2022-03-10 2023-08-11 国网浙江省电力有限公司双创中心 一种告警位置的检测与预测方法、装置、设备及介质
CN115037528A (zh) * 2022-05-24 2022-09-09 天翼云科技有限公司 一种异常流量检测方法及装置
CN115037528B (zh) * 2022-05-24 2023-11-03 天翼云科技有限公司 一种异常流量检测方法及装置
CN115080356A (zh) * 2022-07-21 2022-09-20 支付宝(杭州)信息技术有限公司 异常告警方法和装置
CN115080356B (zh) * 2022-07-21 2022-12-13 支付宝(杭州)信息技术有限公司 异常告警方法和装置
CN115174254A (zh) * 2022-07-22 2022-10-11 科来网络技术股份有限公司 流量异常告警方法、装置、电子设备及存储介质
CN115174254B (zh) * 2022-07-22 2023-10-31 科来网络技术股份有限公司 流量异常告警方法、装置、电子设备及存储介质
WO2024098174A1 (en) * 2022-11-07 2024-05-16 Qualcomm Incorporated Model monitoring using input samples
CN116647877A (zh) * 2023-06-12 2023-08-25 广州爱浦路网络技术有限公司 一种基于图卷积模型的流量类别验证方法和系统
CN116647877B (zh) * 2023-06-12 2024-03-15 广州爱浦路网络技术有限公司 一种基于图卷积模型的流量类别验证方法和系统
CN117037073A (zh) * 2023-09-12 2023-11-10 天津君萌科技有限公司 基于人工智能可视化的对象定位方法及可视化监控系统
CN117037073B (zh) * 2023-09-12 2024-05-28 湖北亿立能科技股份有限公司 基于人工智能可视化的对象定位方法及可视化监控系统

Similar Documents

Publication Publication Date Title
CN113612656A (zh) 网络流量检测方法、装置、终端设备及存储介质
CN108520229B (zh) 图像检测方法、装置、电子设备和计算机可读介质
CN113110207A (zh) 基于物联网传感器的虫害远程监测方法、系统及存储介质
CN107292154B (zh) 一种终端特征识别方法及系统
CN106844138A (zh) 运维报警系统及方法
US10719768B1 (en) System and method for detecting an undesirable event
US20210150284A1 (en) Classification model building apparatus and classification model building method thereof
CN113222942A (zh) 多标签分类模型的训练方法和预测标签的方法
CN112114986A (zh) 数据异常识别方法、装置、服务器和存储介质
CN107579858A (zh) 云主机的告警方法及装置、通信系统
CN110502677A (zh) 一种设备识别方法、装置及设备、存储介质
CN108764369B (zh) 基于数据融合的人物识别方法、装置和计算机存储介质
CN114842185A (zh) 用于火灾的目标识别方法、装置、设备及介质
CN113537337A (zh) 训练方法、异常检测方法、装置、设备和存储介质
CN111597376B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
US20230104345A1 (en) Image attack detection method and apparatus, and image attack detection model training method and apparatus
CN107122464A (zh) 一种辅助决策系统及方法
FI130045B (en) Analyzing the measurement results of the communication network or other target system
CN115392361A (zh) 一种智能排序方法、装置、计算机设备及存储介质
US20210142192A1 (en) Distributable clustering model training system
CN110929118B (zh) 网络数据处理方法、设备、装置、介质
US11308407B1 (en) Anomaly detection with feedback
CN113098910A (zh) 基于时空粒度和三宽度学习的网络入侵检测方法及系统
US20230409422A1 (en) Systems and Methods for Anomaly Detection in Multi-Modal Data Streams
CN113595784B (zh) 网络流量检测方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211105

RJ01 Rejection of invention patent application after publication