CN112200256A - 基于深度学习的sketch网络测量方法及电子设备 - Google Patents

基于深度学习的sketch网络测量方法及电子设备 Download PDF

Info

Publication number
CN112200256A
CN112200256A CN202011110727.7A CN202011110727A CN112200256A CN 112200256 A CN112200256 A CN 112200256A CN 202011110727 A CN202011110727 A CN 202011110727A CN 112200256 A CN112200256 A CN 112200256A
Authority
CN
China
Prior art keywords
network
flow
attribute
hash
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011110727.7A
Other languages
English (en)
Inventor
李清
谢国锐
段光林
江勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Peng Cheng Laboratory
Southern University of Science and Technology
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Peng Cheng Laboratory
Southern University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University, Peng Cheng Laboratory, Southern University of Science and Technology filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202011110727.7A priority Critical patent/CN112200256A/zh
Publication of CN112200256A publication Critical patent/CN112200256A/zh
Priority to PCT/CN2021/101864 priority patent/WO2022077951A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于深度学习的sketch网络测量方法及电子设备，包括：获取sketch中的采样流量和采样流量对应的第一属性标签；根据采样流量和第一属性标签对预设网络模型进行训练，得到流量属性预测模型；将待测网络流量输入流量属性预测模型中，获取待测网络流量的属性类别；根据属性类别将所述待测网络流量插入sketch中进行网络测量。本发明通过sketch中的采样流量对预设网络模型进行训练，得到用于对待测网络流量的属性类别进行预测的流量属性预测模型，根据流量属性预测模型的预测结果将待测网络流量插入sketch中进行网络测量，避免了待测网络流量在哈希主表和哈希副表间的频繁交换，提高了网络测量的精度。

Description

基于深度学习的sketch网络测量方法及电子设备
技术领域
本发明涉及网络测量技术领域，具体涉及基于深度学习的sketch网络测量方法及电子设备。
背景技术
网络状态检测、网络故障分析、网络安全防御等是保证现代网络鲁棒性和安全性的重要技术，网络测量为上述技术提供了基本的信息，是上述技术的基础。然而，随着网络的高速发展，测量海量的流量数据成为网络测量的难点，需要在有限的资源下，尽可能提升测量的准确度。其中，Sketch是一种基于散列的近似的数据结构，由于其具备精确度和资源理论上的平衡特性，被网络测量领域广泛接受。
传统的Sketch使用哈希主表和哈希副表分别存储数据包数目大于预设数据包阈值和小于或者等于预设数据包阈值的网络流量，由于不能提前判断待测网络流量的属性，需要在哈希主表和哈希副表间频繁交换流量。而哈希副表是一个没有流ID标记的哈希表，这意味着会有多条流被哈希至同一位置，从而导致计数值普遍偏大。
因此，现有技术还有待于改进和发展。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于深度学习的sketch网络测量方法及电子设备，旨在解决现有Sketch进行网络测量时，待测网络流量需要在哈希主表和哈希副表间频繁交换，导致计数值不准确的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于深度学习的sketch网络测量方法，其中，包括：
获取sketch中的采样流量和所述采样流量对应的第一属性标签；
根据所述采样流量和所述第一属性标签对预设网络模型进行训练，得到流量属性预测模型；
将待测网络流量输入所述流量属性预测模型中，获取所述待测网络流量的属性类别；
根据所述属性类别将所述待测网络流量插入sketch中进行网络测量。
所述的基于深度学习的sketch网络测量方法，其中，所述根据所述采样流量和所述第一属性标签对预设网络模型进行训练，得到流量属性预测模型的步骤包括：
将所述采样流量输入预设网络模型中，并获取所述预设网络模型输出的预测属性标签；
根据所述预测属性标签和所述第一属性标签对所述预设网络模型的模型参数进行更新，直至所述预设网络模型的训练情况满足预设条件，以得到流量属性预测模型。
所述的基于深度学习的sketch网络测量方法，其中，所述根据所述预测属性标签和所述第一属性标签对所述预设网络模型的模型参数进行更新，直至所述预设网络模型的训练情况满足预设条件的步骤包括：
根据所述预测属性标签和所述第一属性标签确定损失值，并判断所述损失值是否小于预设阈值；
若否，则根据预设的参数学习率对所述预设网络模型的模型参数进行更新，直至所述损失值小于预设阈值。
所述的基于深度学习的sketch网络测量方法，其中，所述将待测网络流量输入所述流量属性预测模型中，获取所述待测网络流量的属性类别的步骤包括：
将待测网络流量输入所述流量属性预测模型中，并获取所述流量属性预测模型输出的属性类别概率；
根据所述属性类别概率，获取所述待测网络流量的属性类别。
所述的基于深度学习的sketch网络测量方法，其中，所述属性类别包括第一属性类别和第二属性类别，所述sketch包括哈希主表和哈希副表，所述根据所述属性类别将所述待测网络流量插入sketch中进行网络测量的步骤包括：
当所述属性类别为第一属性类别时，将所述待测网络流量插入哈希主表中进行网络测量；其中，第一属性类别的网络流量的数据包数目大于预设数据包阈值；
当所述属性类别为第二属性类别时，将所述待测网络流量插入哈希副表中进行网络测量；其中，第二属性类别的网络流量的数据包数目小于或者等于预设数据包阈值。
所述的基于深度学习的sketch网络测量方法，其中，所述将所述待测网络流量插入哈希主表中进行网络测量的步骤包括：
通过所述哈希主表中的第一哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希主表中的位置信息；
根据所述位置信息将所述待测网络流量插入所述哈希主表中进行网络测量。
所述的基于深度学习的sketch网络测量方法，其中，所述将所述待测网络流量插入哈希副表中进行网络测量的步骤包括：
通过所述哈希副表中的第二哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希副表对应的计数器信息；
根据所述计数器信息将所述待测网络流量插入所述哈希副表中进行网络测量。
所述的基于深度学习的sketch网络测量方法，其中，所述根据所述计数器信息将所述待测网络流量插入所述哈希副表中进行网络测量的步骤之后包括：
通过所述第二哈希函数将所述待测网络流量的流ID映射到所述计数器上，获取所述待测网络流量的数据包数目；
当所述待测网络流量的数据包数目大于预设数据包阈值时，将所述待测网络流量插入所述哈希主表中进行网络测量。
一种终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的基于深度学习的sketch网络测量方法的步骤。
一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现所述的基于深度学习的sketch网络测量方法的步骤。
有益效果：本发明通过sketch中的采样流量对预设网络模型进行训练，得到用于对待测网络流量的属性类别进行预测的流量属性预测模型，根据流量属性预测模型的预测结果将待测网络流量插入sketch中进行网络测量，避免了待测网络流量在哈希主表和哈希副表间的频繁交换，提高了网络测量的精度。
附图说明
图1是本发明实施例一中提供的一种基于深度学习的sketch网络测量方法的一个实施例的流程图；
图2是现有sketch的结构示意图；
图3是本发明实施例一中提供的一种预设网络模型的结构示意图；
图4是本发明实施例二中提供的一种终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的基于深度学习的sketch网络测量方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器(CentralProcessing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)、视频处理单元(Video Processing Unit，VPU)等中的至少一种。
实施例一
为了解决现有Sketch在进行计数时，由于不能提前判断网络流量的属性，导致计数值不准确的问题，本发明提供了一种基于深度学习的sketch网络测量方法。
请参照图1，图1是本发明提供的一种基于深度学习的sketch网络测量方法的一个实施例的流程图。
在本发明的一个实施例中，所述基于深度学习的sketch网络测量方法有四个步骤：
S100、获取sketch中的采样流量和所述采样流量对应的第一属性标签。
Sketch是用来对网络流量的数据包数目进行计数的数据结构。传统Sketch结构如图2所示，包括哈希主表和哈希副表，哈希主表用于对数据包数目大于预设数据包阈值的网络流量进行计数，哈希副表用于对数据包数目小于或者等于预设数据包阈值的网络流量进行计数。哈希主表中包括流ID和计数器，而哈希副表是一个没有流ID标记的哈希表。
为了减少现有Sketch在进行网络测量时，网络流量从哈希副表交换到哈希主表带入的计数误差，本实施例中获取sketch中的采样流量和所述采样流量对应的第一属性标签，以便后续步骤中得到用于预测网络流量的属性的流量属性预测模型。所述采样流量为已经通过sketch进行网络测量的网络流量，其数据包数目和属性类别是已知的，采样流量经过sketch查询后即可生成采样流量对应的第一属性标签，用于后续的预设网络模型学习。
S200、根据所述采样流量和所述第一属性标签对预设网络模型进行训练，得到流量属性预测模型。
为了使网络流量输入sketch中进行计数时，能提前获悉网络流量的属性类别，本实施例中预先设置一个网络模型，获取到采样流量和第一属性标签后，根据采样流量和第一属性标签对预设网络模型进行训练，得到流量属性预测模型。在待测网络流量插入sketch中进行网络测量之前，通过流量属性预测模型确定待测网络流量的属性类别，然后根据待测网络流量的属性类别确定将待测网络流量插入哈希主表或哈希副表中进行网络测量，避免网络测量时在哈希主表和哈希副表间频繁交换流量，导致测量误差大。
在一具体实施例中，步骤S200具体包括：
S210、将所述采样流量输入预设网络模型中，并获取所述预设网络模型输出的预测属性标签；
S220、根据所述预测属性标签和所述第一属性标签对所述预设网络模型的模型参数进行更新，直至所述预设网络模型的训练情况满足预设条件，以得到流量属性预测模型。
本实施例中预设网络模型的结构如图3所示，其包括一个嵌入模块，n个卷积模块以及一个分类器。每个卷积模块都包括一个卷积层、一个激活函数ReLU和一个池化层MaxPool，分类器包括一个全连接层和一个softmax函数。
获取到采样流量后，对采样流量进行预处理，使采样流量中的五元组数据包转化成长度为13的字节向量，然后将预处理后的采样流量输入预设网络模型中。预处理后的采样流量先经过嵌入模块，各个字节向量在嵌入模块中均被映射成一个长度为256的向量，预处理后的采样流量经过嵌入模块后输出规模为
Figure BDA0002728509170000081
的矩阵。随后这个矩阵经过n个卷积模块，卷积模块输出的结果经过分类器输出采样流量对应的预测属性标签。根据预测属性标签和第一属性标签对预设网络模型的模型参数进行更新，直至预设网络模型的训练情况满足预设条件，以得到流量属性预测模型。
在一具体实施例中，步骤S220包括：
S221、根据所述预测属性标签和所述第一属性标签确定损失值，并判断所述损失值是否小于预设阈值；
S222、若否，则根据预设的参数学习率对所述预设网络模型的模型参数进行更新，直至所述损失值小于预设阈值。
具体地，本实施例中预先设置用于判断预设网络模型的训练情况是否满足预设条件的阈值，获取到预测属性标签后，根据预测属性标签和第一属性标签确定损失值。一般损失值越小，则表明网络模型的性能越优，获取损失值后，进一步判断损失值是否小于预设阈值；若是，则表明预设网络模型的训练情况满足预设条件；若否，则说明预设网络模型的训练情况不满足预设条件，则根据预设的参数学习率对预设网络模型的模型参数进行更新，并继续执行获取预测属性标签的步骤，直至所述损失值小于预设阈值。
S300、将待测网络流量输入所述流量属性预测模型中，获取所述待测网络流量的属性类别。
当有网络流量需要进行网络测量时，首先将待测网络流量输入前述步骤中已经训练的流量属性预测模型中，通过所述流量属性预测模型对待测网络流量的属性类别进行预测，获取所述待测网络流量的属性类别，以便后续步骤中根据待测网络流量的属性类别将待测网络流量插入sketch中进行网络测量，避免网络测量时在哈希主表和哈希副表间频繁交换流量，导致测量误差大。
在一具体实施例中，步骤S300具体包括：
S310、将待测网络流量输入所述流量属性预测模型中，并获取所述流量属性预测模型输出的属性类别概率；
S320、根据所述属性类别概率，获取所述待测网络流量的属性类别。
将待测网络流量输入流量属性预测模型进行属性类别预测前，对待测网络流量进行预处理，使待测网络流量中的五元组数据包转化成长度为13的字节向量，然后将预处理后的待测网络流量输入预设网络模型中。预处理后的待测网络流量先经过嵌入模块，各个字节向量在嵌入模块中均被映射成一个长度为256的向量，预处理后的待测网络流量经过嵌入模块后输出规模为
Figure BDA0002728509170000101
的矩阵。随后这个矩阵经过n个卷积模块，卷积模块输出的结果在分类器内首先与全连接层作用，然后通过softmax函数输出预测的属性类别概率，然后根据属性类别概率，获取待测网络流量的属性类别。例如，当属性类别包括第一属性类别和第二属性类别，且流量属性预测模型输出的第一属性类别的概率为0.2，第二属性类别的概率为0.8，则获取待测网络流量的属性类别为第二属性类别。
S400、根据所述属性类别将所述待测网络流量插入sketch中进行网络测量。
具体地，本实施例中在数据平面构建sketch和采样流量，数据平面维护一个流表记录目前已经预测的网络流量，待测量网络流量在流量属性预测模型中得到属性预测结果后，该属性预测结果会被记录在流表中，并根据该属性预测结果将待测网络流量插入sketch中进行网络测量。
在一具体实施例中，步骤S400包括：
S410、当所述属性类别为第一属性类别时，将所述待测网络流量插入哈希主表中进行网络测量；其中，第一属性类别的网络流量的数据包数目大于预设数据包阈值；
S420、当所述属性类别为第二属性类别时，将所述待测网络流量插入哈希副表中进行网络测量；其中，第二属性类别的网络流量的数据包数目小于或者等于预设数据包阈值。
具体地，本实施例中的sketch包括哈希主表和哈希副表，网络流量的属性类别包括第一属性类别和第二属性类别，其中，第一属性类别的网络流量的数据包数目大于预设数据包阈值，第二属性类别的网络流量的数据包数目小于或者等于预设数据包阈值。当流量属性预测模型预测的待测网络流量的属性类别为第一属性类别时，说明待测网络流量为大流量，将待测网络流量插入哈希主表中进行网络测量；当流量属性预测模型预测的待测网络流量的属性类别为第二属性类别时，说明待测网络流量为小流量，将待测网络流量插入哈希副表中进行网络测量。本实施例中进行网络测量时，根据属性类别将待测网络流量插入哈希主表和哈希副表中，减少待测网络流量从哈希副表交换到哈希主表时带入的计数误差，提高网络测量的准确性。
在一具体实施例中，步骤S410中将所述待测网络流量插入哈希主表中进行网络测量的步骤具体包括：
S411、通过所述哈希主表中的第一哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希主表中的位置信息；
S412、根据所述位置信息将所述待测网络流量插入所述哈希主表中进行网络测量。
具体地，本实施例中哈希主表中每个单元存储两元组，所述两元组包括流ID和该流数据包计数器，同时有5个第一哈希函数可以映射网络流量到哈希主表的单元。在确定待测网络流量的属性类别为第一属性类别后，获取待测网络流量的流ID，通过哈希主表中的第一哈希函数对待测网络流量的流ID进行哈希运算，获取待测网络流量在哈希主表中的位置信息，然后根据位置信息将待测网络流量插入哈希主表中进行网络测量。
在一具体实施例中，步骤S420中将所述待测网络流量插入哈希副表中进行网络测量的步骤具体包括：
S421、通过所述哈希副表中的第二哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希副表对应的计数器信息；
S422、根据所述计数器信息将所述待测网络流量插入所述哈希副表中进行网络测量。
具体地，本实施例中哈希副表是一个有2个哈希函数的2D数组(长w＝28672，宽d＝2)，2D数组中每一维度对应一个第二哈希函数，2D数组中每个单元对应一个流数据包计数器。在确定待测网络流量的属性类别为第二属性类别后，获取待测网络流量的流ID，通过哈希副表中的第二哈希函数对待测网络流量的流ID进行哈希运算，获取待测网络流量在哈希副表对应的计数器信息，然后根据计数器信息将待测网络流量插入哈希副表中进行网络测量。
在一具体实施例中，步骤S422之后还包括：
S423、通过所述第二哈希函数将所述待测网络流量的流ID映射到所述计数器上，获取所述待测网络流量的数据包数目；
S424、当所述待测网络流量的数据包数目大于预设数据包阈值时，将所述待测网络流量插入所述哈希主表中进行网络测量。
考虑到流量属性预测模型存在预测误差，本实施例中在待测网络流量插入哈希副表中进行网络测量后，通过第二哈希函数将待测网络流量的流ID映射到计数器上，获得待测网络流量的数据包数目，并判断待测网络流量的数据包数目是否小于或者等于预设数据包阈值，若否，则说明流量属性预测模型预测的待测网络流量的属性类别存在误差，则将待测网络流量插入哈希主表中进行网络测量。
实施例二
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图4所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏和温度传感器。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的sketch网络测量方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的温度传感器是预先在装置内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
获取sketch中的采样流量和所述采样流量对应的第一属性标签；
根据所述采样流量和所述第一属性标签对预设网络模型进行训练，得到流量属性预测模型；
将待测网络流量输入所述流量属性预测模型中，获取所述待测网络流量的属性类别；
根据所述属性类别将所述待测网络流量插入sketch中进行网络测量。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述采样流量输入预设网络模型中，并获取所述预设网络模型输出的预测属性标签；根据所述预测属性标签和所述第一属性标签对所述预设网络模型的模型参数进行更新，直至所述预设网络模型的训练情况满足预设条件，以得到流量属性预测模型。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：根据所述预测属性标签和所述第一属性标签确定损失值，并判断所述损失值是否小于预设阈值；若否，则根据预设的参数学习率对所述预设网络模型的模型参数进行更新，直至所述损失值小于预设阈值。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将待测网络流量输入所述流量属性预测模型中，并获取所述流量属性预测模型输出的属性类别概率；根据所述属性类别概率，获取所述待测网络流量的属性类别。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：当所述属性类别为第一属性类别时，将所述待测网络流量插入哈希主表中进行网络测量；其中，第一属性类别的网络流量的数据包数目大于预设数据包阈值；当所述属性类别为第二属性类别时，将所述待测网络流量插入哈希副表中进行网络测量；其中，第二属性类别的网络流量的数据包数目小于或者等于预设数据包阈值。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：通过所述哈希主表中的第一哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希主表中的位置信息；根据所述位置信息将所述待测网络流量插入所述哈希主表中进行网络测量。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：通过所述哈希副表中的第二哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希副表对应的计数器信息；根据所述计数器信息将所述待测网络流量插入所述哈希副表中进行网络测量。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：通过所述第二哈希函数将所述待测网络流量的流ID映射到所述计数器上，获取所述待测网络流量的数据包数目；当所述待测网络流量的数据包数目大于预设数据包阈值时，将所述待测网络流量插入所述哈希主表中进行网络测量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了基于深度学习的sketch网络测量方法及电子设备，方法包括：获取sketch中的采样流量和所述采样流量对应的第一属性标签；根据所述采样流量和所述第一属性标签对预设网络模型进行训练，得到流量属性预测模型；将待测网络流量输入所述流量属性预测模型中，获取所述待测网络流量的属性类别；根据所述属性类别将所述待测网络流量插入sketch中进行网络测量。本发明通过sketch中的采样流量对预设网络模型进行训练，得到用于对待测网络流量的属性类别进行预测的流量属性预测模型，根据流量属性预测模型的预测结果将待测网络流量插入sketch中进行网络测量，避免了待测网络流量在哈希主表和哈希副表间的频繁交换，提高了网络测量的精度。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于深度学习的sketch网络测量方法，其特征在于，包括：
获取sketch中的采样流量和所述采样流量对应的第一属性标签；
根据所述采样流量和所述第一属性标签对预设网络模型进行训练，得到流量属性预测模型；
将待测网络流量输入所述流量属性预测模型中，获取所述待测网络流量的属性类别；
根据所述属性类别将所述待测网络流量插入sketch中进行网络测量。
2.根据权利要求1所述的基于深度学习的sketch网络测量方法，其特征在于，所述根据所述采样流量和所述第一属性标签对预设网络模型进行训练，得到流量属性预测模型的步骤包括：
将所述采样流量输入预设网络模型中，并获取所述预设网络模型输出的预测属性标签；
根据所述预测属性标签和所述第一属性标签对所述预设网络模型的模型参数进行更新，直至所述预设网络模型的训练情况满足预设条件，以得到流量属性预测模型。
3.根据权利要求2所述的基于深度学习的sketch网络测量方法，其特征在于，所述根据所述预测属性标签和所述第一属性标签对所述预设网络模型的模型参数进行更新，直至所述预设网络模型的训练情况满足预设条件的步骤包括：
根据所述预测属性标签和所述第一属性标签确定损失值，并判断所述损失值是否小于预设阈值；
若否，则根据预设的参数学习率对所述预设网络模型的模型参数进行更新，直至所述损失值小于预设阈值。
4.根据权利要求1所述的基于深度学习的sketch网络测量方法，其特征在于，所述将待测网络流量输入所述流量属性预测模型中，获取所述待测网络流量的属性类别的步骤包括：
将待测网络流量输入所述流量属性预测模型中，并获取所述流量属性预测模型输出的属性类别概率；
根据所述属性类别概率，获取所述待测网络流量的属性类别。
5.根据权利要求1所述的基于深度学习的sketch网络测量方法，其特征在于，所述属性类别包括第一属性类别和第二属性类别，所述sketch包括哈希主表和哈希副表，所述根据所述属性类别将所述待测网络流量插入sketch中进行网络测量的步骤包括：
当所述属性类别为第一属性类别时，将所述待测网络流量插入哈希主表中进行网络测量；其中，第一属性类别的网络流量的数据包数目大于预设数据包阈值；
当所述属性类别为第二属性类别时，将所述待测网络流量插入哈希副表中进行网络测量；其中，第二属性类别的网络流量的数据包数目小于或者等于预设数据包阈值。
6.根据权利要求5所述的基于深度学习的sketch网络测量方法，其特征在于，所述将所述待测网络流量插入哈希主表中进行网络测量的步骤包括：
通过所述哈希主表中的第一哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希主表中的位置信息；
根据所述位置信息将所述待测网络流量插入所述哈希主表中进行网络测量。
7.根据权利要求5所述的基于深度学习的sketch网络测量方法，其特征在于，所述将所述待测网络流量插入哈希副表中进行网络测量的步骤包括：
通过所述哈希副表中的第二哈希函数对所述待测网络流量的流ID进行哈希运算，获取所述待测网络流量在所述哈希副表对应的计数器信息；
根据所述计数器信息将所述待测网络流量插入所述哈希副表中进行网络测量。
8.根据权利要求7所述的基于深度学习的sketch网络测量方法，其特征在于，所述根据所述计数器信息将所述待测网络流量插入所述哈希副表中进行网络测量的步骤之后包括：
通过所述第二哈希函数将所述待测网络流量的流ID映射到所述计数器上，获取所述待测网络流量的数据包数目；
当所述待测网络流量的数据包数目大于预设数据包阈值时，将所述待测网络流量插入所述哈希主表中进行网络测量。
9.一种终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-8任一项所述的基于深度学习的sketch网络测量方法的步骤。
10.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-8任一项所述的基于深度学习的sketch网络测量方法的步骤。
CN202011110727.7A 2020-10-16 2020-10-16 基于深度学习的sketch网络测量方法及电子设备 Pending CN112200256A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011110727.7A CN112200256A (zh) 2020-10-16 2020-10-16 基于深度学习的sketch网络测量方法及电子设备
PCT/CN2021/101864 WO2022077951A1 (zh) 2020-10-16 2021-06-23 基于深度学习的sketch网络测量方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011110727.7A CN112200256A (zh) 2020-10-16 2020-10-16 基于深度学习的sketch网络测量方法及电子设备

Publications (1)

Publication Number Publication Date
CN112200256A true CN112200256A (zh) 2021-01-08

Family

ID=74010440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011110727.7A Pending CN112200256A (zh) 2020-10-16 2020-10-16 基于深度学习的sketch网络测量方法及电子设备

Country Status (2)

Country Link
CN (1) CN112200256A (zh)
WO (1) WO2022077951A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077951A1 (zh) * 2020-10-16 2022-04-21 鹏城实验室 基于深度学习的sketch网络测量方法及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834427B (zh) * 2022-11-08 2024-06-18 清华大学 高速网络流被动测量方法及装置
CN116471196B (zh) * 2023-06-19 2023-10-20 宏景科技股份有限公司 运维监控网络维护方法、系统及设备
CN116886433B (zh) * 2023-08-18 2024-07-30 内蒙古工业大学 一种基于深度对比学习的加密异常流量检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104348740A (zh) * 2013-07-31 2015-02-11 国际商业机器公司 数据包处理方法和系统
CN107682216A (zh) * 2017-09-01 2018-02-09 南京南瑞集团公司 一种基于深度学习的网络流量协议识别方法
CN110149280A (zh) * 2019-05-27 2019-08-20 中国科学技术大学 网络流量分类方法和装置
CN111355671A (zh) * 2019-12-31 2020-06-30 鹏城实验室 基于自注意机制的网络流量分类方法、介质及终端设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9923912B2 (en) * 2015-08-28 2018-03-20 Cisco Technology, Inc. Learning detector of malicious network traffic from weak labels
CN109639481B (zh) * 2018-12-11 2020-10-27 深圳先进技术研究院 一种基于深度学习的网络流量分类方法、系统及电子设备
CN112200256A (zh) * 2020-10-16 2021-01-08 鹏城实验室 基于深度学习的sketch网络测量方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104348740A (zh) * 2013-07-31 2015-02-11 国际商业机器公司 数据包处理方法和系统
CN107682216A (zh) * 2017-09-01 2018-02-09 南京南瑞集团公司 一种基于深度学习的网络流量协议识别方法
CN110149280A (zh) * 2019-05-27 2019-08-20 中国科学技术大学 网络流量分类方法和装置
CN111355671A (zh) * 2019-12-31 2020-06-30 鹏城实验室 基于自注意机制的网络流量分类方法、介质及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TONG YANG 等: "Elastic Sketch: Adaptive and Fast Network-wide Measurements", ASSOCIATION FOR COMPUTING MACHINERY, 25 August 2018 (2018-08-25), pages 561 - 575 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077951A1 (zh) * 2020-10-16 2022-04-21 鹏城实验室 基于深度学习的sketch网络测量方法及电子设备

Also Published As

Publication number Publication date
WO2022077951A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN112200256A (zh) 基于深度学习的sketch网络测量方法及电子设备
CN111814740B (zh) 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN111931864B (zh) 基于顶点距离与交并比多重优化目标检测器的方法与系统
EP4170662A1 (en) Methods for determining interaction information and for training prediction model, an apparatus, and medium
CN111429482A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN109271611B (zh) 一种数据校验方法、装置及电子设备
CN113468330B (zh) 信息获取方法、装置、设备及介质
CN112396047B (zh) 训练样本生成方法、装置、计算机设备和存储介质
WO2019148706A1 (zh) web入侵检测方法、装置、计算机设备和存储介质
CN111815576A (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN111552696A (zh) 基于大数据的数据处理方法、装置、计算机设备和介质
CN111291902A (zh) 后门样本的检测方法、装置和电子设备
CN114549849A (zh) 图像识别方法、装置、计算机设备和存储介质
CN116843677A (zh) 钣金件的外观质量检测系统及其方法
CN113887609A (zh) 设备屏幕老化检测模型训练方法及设备屏幕老化检测方法
CN115761648A (zh) 应用于变压器的渗油评估方法、装置、设备、介质及产品
CN113010550B (zh) 结构化数据的批处理对象生成、批处理方法和装置
CN113364702B (zh) 广告流量异常检测方法、系统、存储介质及电子设备
CN111551499B (zh) 果实糖分含量的测量方法、装置、计算机设备及存储介质
CN114049578A (zh) 一种敏感图片的识别方法和装置
CN113127858A (zh) 异常检测模型训练方法、异常检测方法及装置
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN112711574A (zh) 数据库安全性检测方法、装置、电子设备及介质
CN110852400A (zh) 分类模型的评估方法、装置、计算机设备和存储介质
CN117115568B (zh) 数据筛选方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination