CN111600750B - 一种pcdn网络节点流量的限速检测方法及系统 - Google Patents

一种pcdn网络节点流量的限速检测方法及系统 Download PDF

Info

Publication number
CN111600750B
CN111600750B CN202010391469.8A CN202010391469A CN111600750B CN 111600750 B CN111600750 B CN 111600750B CN 202010391469 A CN202010391469 A CN 202010391469A CN 111600750 B CN111600750 B CN 111600750B
Authority
CN
China
Prior art keywords
pcdn
data
flow rate
network
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010391469.8A
Other languages
English (en)
Other versions
CN111600750A (zh
Inventor
陶清乾
孙昊
石进
苏文飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tingyu Technology Co ltd
Original Assignee
Beijing Tingyu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tingyu Technology Co ltd filed Critical Beijing Tingyu Technology Co ltd
Priority to CN202010391469.8A priority Critical patent/CN111600750B/zh
Publication of CN111600750A publication Critical patent/CN111600750A/zh
Application granted granted Critical
Publication of CN111600750B publication Critical patent/CN111600750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种PCDN网络节点流量的限速检测方法及系统，采集正常服务的PCDN网络节点在时间窗口的数据流上行速率，预处理生成数据流速率特征序列；重复执行t次得到t个数据流速率特征序列s，以此特征序列s作为输入数据对LSTM神经网络模型进行训练，得到正常服务的网络通信LSTM神经网络流量模型；采集待测网络的数据流上行速率，预处理生成数据流速率特征序列s′；将特征序列s′输入LSTM神经网络模型中，判定其是否存在流量限速的情况。本发明无需事先给出流量识别规则且处理速度快，不影响PCDN节点的正常网络服务；通过输入不同类型的PCDN服务的流量，可获得多种类型的LSTM训练模型，适用于多种PCDN服务场景。

Description

一种PCDN网络节点流量的限速检测方法及系统
技术领域
本发明涉及网络安全技术，具体涉及一种PCDN网络节点流量的限速检测方法及系统。
背景技术
PCDN建立在传统的CDN系统基础上，在骨干网层次保留了原有的CDN系统的架构和功能，在边缘节点引入了P2P技术来进行文件及流媒体的共享，实现了P2P技术与CDN传输的结合。在CDN骨干网仍旧继承了CDN的内容缓存机制、全局负载均衡机制、骨干网内容分发流程、认证计费相关机制等基本技术特征。PCDN在核心节点根据P2P协议对内容(包括文件和流)做切片处理，P2P用户将根据这些规则来完成P2P共享，P2P在边缘层的引入大大降低了边缘服务器的压力，提高了文件传输和流媒体传输的效率。P2P技术充分利用了用户的闲置上行带宽，这样运营商可以通过更少的边缘服务器，提供更多的业务量为更多的用户服务。
PCDN产品通常采用月95峰值计费方式，即用户节点IP结算按95峰值带宽计费，在一个自然月内，取每5分钟有效带宽值进行降序排列，然后把带宽数值前5％的点去掉，剩下的最高带宽就是95峰值带宽即计费值。在实际应用中，可能会存在多个用户IP共享固定带宽的情况，比如两个IP地址(IP1和IP2)共享1G带宽。在PCDN调度期间满负荷的情况下，用户这两个IP的月95峰值流量约1G。然而，部分用户利用计费方式的特点，在调度期间的前半段时间限制IP2的速率，使得IP1满负荷运行，在调度期间的下半段时间限制IP1的速率，使得IP2满负荷运行。在这种情况下，IP1和IP2的月95峰值分别是1G，即该用户两个IP的计费流量为2G。由于用户私自限制PCDN节点的速率，造成PCDN产品服务的带宽波动，严重影响PCDN业务的稳定性。
PCDN技术目前还在快速发展期，PCDN技术主要应用于互联网主要厂商的业务中，然而PCDN市场资源良莠不齐，缺乏对PCDN网络节点的有效监控。
现有的其他领域中，基于规则的检测方法由于规则的有限性并不能适应PCDN业务的需求，目前专门针对PCDN网络节点流量限速检测尚无有效的技术手段。基于PCDN网络节点资源的市场现状和PCDN服务对节点资源稳定性的要求，设计一种PCDN网络节点流量的限速检测方法及系统，引导PCDN网络节点市场的健康发展。
发明内容
发明目的：本发明的目的在于解决PCDN网络节点管控上的空白，提供一种PCDN网络节点流量的限速检测方法及系统，本发明能在不影响PCDN业务的条件下快速检测PCDN网络节点限速情况，同时通过对不同类型的业务(如视频类业务、图像类业务、存储类业务、计算类业务等)流量训练，该方法能够支持多种形式的调度业务限速检测。
技术方案：本发明的一种PCDN网络节点流量的限速检测方法，包括以下步骤。
(1)数据采集模块：采集正常服务的PCDN网络节点在时间窗口[t1，tn]的数据流上行速率，预处理生成数据流速率特征序列；重复执行t次，得到t个数据流速率特征序列；
(2)数据训练模块：以步骤(1)中的数据流速率特征序列作为输入数据，对LSTM神经网络模型进行训练，得到正常服务的网络通信LSTM神经网络流量模型；
(3)数据检测模块：采集待测网络的数据流上行速率，预处理生成数据流速率特征序列；将特征序列输入步骤(2)中已经训练完成的的LSTM神经网络模型中，判定其是否存在流量限速的情况；
进一步的，所述步骤(1)具体包括以下步骤：
(1.1)采集正常服务的PCDN网络节点在时间窗口[t1，tn]的数据流上行速率，得到n个上行数据流速率观测值序列k＝{k1，k2...kn}，其中ki是ti时刻的数据流上行速率，1≤i≤n；
(1.2)预处理数据流观测值序列，即：
计算流速率观测序列k的一阶差分y＝{y1，y2...yn-1}，其中yi＝ki+1-ki，1≤i≤n-1；
计算流速率观测序列k的二阶差分z＝{z1，z2...zn-2}，其中zj＝kj+1-kj，1≤j≤n-2；
组合差分得到二维流速率特征序列
Figure BDA0002485953650000021
进一步的，所述步骤(2)具体包括以下步骤：
(2.1)以流速率特征序列s作为输入训练LSTM神经网络模型；
(2.2)将流速率特征序列s编码成隐变量，采用Attention机制对隐变量分配权重生成包含数据流信息的上下文变量；
(2.3)采用sigmod做为激活函数，将上下文变量归一化得到初始网络模型；
(2.4)使用步骤(1)得到的流速率特征序列反复训练，采用梯度下降反向传播误差，不断调整模型中各个节点和连接的权重，得到最终的LSTM训练模型。
进一步的，所述步骤(3)具体包括以下步骤：
(3.1)采集待检测的PCDN网络节点的数据流上行速率，得到数据流观测值序列k′，按照步骤(1)中的方法预处理该序列得到二维流速率特征序列s′；
(3.2)以二维流速率特征序列s′作为输入将步骤(2)生成的LSTM神经网络模型中，即：将特征序列s′编码成隐变量，采用Attention机制对隐变量分配权重生成包含数据流信息的上下文变量，采用sigmod函数作为激活函数，即可得到检测结果。
有益效果：与现有技术相比，本发明具有如下显著优点：
(1)本发明以正常运行的PCDN网络节点流作为输入，通过LSTM训练得到训练模型，这种基于LSTM的方法与基于规则的检测方法相比，无需事先给出流量识别规则，且处理速度快，不影响PCDN节点的正常网络服务。
(2)本发明具有很强的PCDN业务适配性。不同的PCDN服务有不同的流量特征，这些特征根据PCDN调度时间有很大的关系。通过输入不同类型的PCDN服务的流量，可获得多种类型的LSTM训练模型。
附图说明
图1为本发明的整体流程示意图；
图2为实施例中某视频类业务流量图；
图3为实施例中循环神经网络结构；
图4为实施例中LSTM的循环单元；
图5为实施例中待测网络流量图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示，本实施例的一种PCDN网络节点流量的限速检测方法，其具体实施步骤如下：
(1)采集某视频类业务的PCDN网络节点24小时的数据流速率，提取数据流速率特征，形成流特征序列，该视频类业务的网络流量如图2所示；每隔5分钟采集一次正常服务下的PCDN网络节点流速率，采集时间窗口为24小时，得到288个流速率观测值序列X＝{X1,X2,...X288}；计算流速率观测序列的一阶差分Y＝{Y1,Y2,...Y287}，其中Yi＝{Xi+1-Xi},1≤i≤287；计算流速率观测序列的二阶差分Z＝{Z1,Z2,...Z286}，其中Zi＝{Yi+1-Yi},1≤i≤286；组合差分得到二维流速率特征序列
Figure BDA0002485953650000041
(2)重复执行步骤(1)n次，得到n个二维数据流速率特征序列S＝{Ki},1≤i≤n；
(3)以步骤(2)中的n个流速率特征序列作为输入，对LSTM神经网络模型进行训练，得到正常服务的网络通信LSTM神经网络流量模型；以流速率特征序列S作为输入训练LSTM神经网络模型；将流速率特征序列S编码成隐变量，采用Attention机制对隐变量分配权重生成包含数据流信息的上下文变量；采用sigmod做为激活函数，将上下文变量归一化得到初始网络模型；使用步骤(2)得到的n个流速率特征序列反复训练，采用梯度下降反向传播误差，不断调整模型中各个节点和连接的权重，得到最终的LSTM训练模型；图3所示为循环神经网络结构，图4所示为LSTM的循环单元。
其中本实施例的LSTM网络结构设计如下：LSTM的循环模块包含四个神经网络层，涉及到三个门激活函数σ1、σ2以及σ3，两个输出激活函数φ1和φ2，符号π和∑分别表示向量点乘和加法。
输入门层(input gate)学习记忆新信息并存储在细胞状态中，对应的数学公式为It＝σ2(wi[Ht-1，xt，yt，zt]+bi)，其中，σ2是sigmoid函数，wi是输入门神经元的权重，Ht-1是上一个循环单元的输出，xt是当前时点的上行网络流量，yt是当前时点上行网络流量的一阶差分，即yt＝xt-xt-1，zt是当前时点上行网络流量的二阶差分，bi是输入门的误差。
遗忘门层(forget gate)忘记细胞状态中的部分信息，对应的数学公式为Ft＝σ1(wf[Ht-1，xt，yt，zt]+bf)，其中，σ1是sigmoid函数，wf是遗忘门层神经元的权重，bf是遗忘门的误差。
输出门层(output game)激活产生输出，对应的数学公式为Ot＝σ3(wo[Ht-1，xt，yt，zt]+bo)，其中，σ3是sigmoid函数，wo是输出门层神经元的权重，bo是输出门层的误差。
(4)采集待测PCDN网络节点24小时的数据流速率，提取其流速率特征，形成未知网络数据流的流特征序列；待测流量如图5所示。
(5)以步骤(4)中的流特征序列作为输入，将其输入步骤(2)中的LSTM神经网络模型，对待测网络数据流进行检测，判定其是否存在网络节点流量限速的情况。将步骤(4)生成的流速率特征序列编码成隐变量，采用Attention机制对隐变量分配权重生成包含数据流信息的上下文变量；采用sigmod函数作为激活函数，即可得到检测结果。
通过上述实施例可以看出，本发明能够保持PCDN业务稳定性的同时，及时发现用户限制PCDN网络节点速率的情形；并且本发明无需事先给出流量识别规则，且处理速度快，不影响PCDN节点的正常网络服务；通过输入不同类型的PCDN服务的流量，可获得多种类型的LSTM训练模型，适用于多种PCDN服务场景。

Claims (4)

1.一种PCDN网络节点流量的限速检测方法，其特征在于，包括以下步骤：
（1）数据采集及处理
采集正常服务的PCDN网络节点在时间窗口[
Figure DEST_PATH_IMAGE002
]的数据流上行速率，预处理生成数据流速率特征序列；重复执行t次，得到t个数据流速率特征序列
Figure DEST_PATH_IMAGE004
；
所述步骤（1）包括：
（1.1）采集正常服务的PCDN网络节点在时间窗口[
Figure DEST_PATH_IMAGE006
]的数据流上行速率，得到n个上行数据流速率观测值序列
Figure DEST_PATH_IMAGE008
，其中
Figure DEST_PATH_IMAGE010
是
Figure DEST_PATH_IMAGE012
时刻的数据流上行速率，
Figure DEST_PATH_IMAGE014
；
（1.2）预处理数据流速率观测值序列，即：
计算流速率观测值序列k的一阶差分y
Figure DEST_PATH_IMAGE016
，其中
Figure DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE020
；
计算流速率观测值序列k的二阶差分
Figure DEST_PATH_IMAGE022
，其中
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
；
组合差分得到二维流速率特征序列
Figure DEST_PATH_IMAGE028
；
（2）数据训练
以步骤（1）中的数据流速率特征序列
Figure 622067DEST_PATH_IMAGE004
作为输入数据，对LSTM神经网络模型进行训练，得到正常服务的网络通信LSTM神经网络流量模型；
（3）数据检测
采集待测网络的数据流上行速率，预处理生成数据流速率特征序列
Figure DEST_PATH_IMAGE030
；将特征序列
Figure 70366DEST_PATH_IMAGE030
输入步骤（2）中已经训练完成的LSTM神经网络模型中，判定其是否存在流量限速的情况。
2.根据权利要求1所述的PCDN网络节点流量的限速检测方法，其特征在于：所述步骤（2）具体包括：
（2.1）以流速率特征序列s作为输入训练LSTM神经网络模型；
（2.2）将流速率特征序列s编码成隐变量，采用Attention机制对隐变量分配权重生成包含数据流信息的上下文变量；
（2.3）采用sigmod做为激活函数，将上下文变量归一化得到初始网络模型；
（2.4）使用步骤（1）得到的流速率特征序列反复训练，采用梯度下降反向传播误差，不断调整模型中各个节点和连接的权重，得到最终的LSTM训练模型。
3.根据权利要求1所述的PCDN网络节点流量的限速检测方法，其特征在于：所述步骤（3）中数据检测的具体过程包括：
（3.1）采集待检测的PCDN网络节点的数据流上行速率，得到数据流速率观测值序列
Figure DEST_PATH_IMAGE032
，按照步骤（1）中的方法预处理该序列得到二维流速率特征序列
Figure 381261DEST_PATH_IMAGE030
；
（3.2）将二维流速率特征序列
Figure 510891DEST_PATH_IMAGE030
输入步骤（2）生成的LSTM神经网络模型中，即：将特征序列
Figure 122001DEST_PATH_IMAGE030
编码成隐变量，采用Attention机制对隐变量分配权重生成包含数据流信息的上下文变量，采用sigmod函数作为激活函数，即可得到检测结果。
4.一种实现权利要求1至3任意一项所述的PCDN网络节点流量的限速检测方法的系统，其特征在于：包括数据采集模块、数据训练模块和数据检测模块；
所述数据采集模块提取节点流速率，预处理获得流特征序列；
所述数据训练模块对流特征序列进行训练，形成正常服务下的网络通信流量模型；
所述数据检测模块通过所得网络通信流量模型对待测网络流量进行检测，判定其是否存在网络限速情形。
CN202010391469.8A 2020-05-11 2020-05-11 一种pcdn网络节点流量的限速检测方法及系统 Active CN111600750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010391469.8A CN111600750B (zh) 2020-05-11 2020-05-11 一种pcdn网络节点流量的限速检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010391469.8A CN111600750B (zh) 2020-05-11 2020-05-11 一种pcdn网络节点流量的限速检测方法及系统

Publications (2)

Publication Number Publication Date
CN111600750A CN111600750A (zh) 2020-08-28
CN111600750B true CN111600750B (zh) 2022-10-21

Family

ID=72189346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010391469.8A Active CN111600750B (zh) 2020-05-11 2020-05-11 一种pcdn网络节点流量的限速检测方法及系统

Country Status (1)

Country Link
CN (1) CN111600750B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114389977B (zh) * 2021-12-29 2024-03-19 中国电信股份有限公司 Pcdn违规业务检测方法、装置、电子设备及存储介质
CN116916048B (zh) * 2023-09-07 2023-11-17 典基网络科技(上海)有限公司 一种用于流媒体传输优化的混合架构、方法、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146021A (zh) * 2006-09-11 2008-03-19 思华科技（上海）有限公司 内容分发网络的路由系统及方法
CN101146022A (zh) * 2006-09-11 2008-03-19 思华科技（上海）有限公司 节点重叠内容分发网络
CN109714322A (zh) * 2018-12-14 2019-05-03 中国科学院声学研究所 一种检测网络异常流量的方法及其系统
CN110287439A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于lstm的网络行为异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11451565B2 (en) * 2018-09-05 2022-09-20 Oracle International Corporation Malicious activity detection by cross-trace analysis and deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146021A (zh) * 2006-09-11 2008-03-19 思华科技（上海）有限公司 内容分发网络的路由系统及方法
CN101146022A (zh) * 2006-09-11 2008-03-19 思华科技（上海）有限公司 节点重叠内容分发网络
CN109714322A (zh) * 2018-12-14 2019-05-03 中国科学院声学研究所 一种检测网络异常流量的方法及其系统
CN110287439A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于lstm的网络行为异常检测方法

Also Published As

Publication number Publication date
CN111600750A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN109831392B (zh) 半监督网络流量分类方法
CN111600750B (zh) 一种pcdn网络节点流量的限速检测方法及系统
CN115102763B (zh) 基于可信联邦学习多域DDoS攻击检测方法与装置
CN108304877A (zh) 一种基于机器学习的物理层信道认证方法
Eldardiry et al. Across-model collective ensemble classification
Zhao et al. Fedprompt: Communication-efficient and privacy-preserving prompt tuning in federated learning
CN110351303B (zh) 一种DDoS特征提取方法及装置
CN116386853A (zh) 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法
CN115409203A (zh) 一种基于模型无关元学习的联邦推荐方法及系统
CN103281555B (zh) 基于半参考评估的视频流业务QoE客观评估方法
CN115567269A (zh) 基于联邦学习与深度学习的物联网异常检测方法及系统
CN115293256A (zh) 一种由区块链辅助的联邦学习无线网络模型
Wang et al. YATA: Yet Another Proposal for Traffic Analysis and Anomaly Detection.
CN115051929A (zh) 基于自监督目标感知神经网络的网络故障预测方法及装置
Tan et al. A novel internet traffic identification approach using wavelet packet decomposition and neural network
CN110944002B (zh) 一种基于指数平均数据增强的物理层认证方法
Yang et al. A Classification Method for Network Applications using BP Neural Network
CN115438753B (zh) 一种基于生成的衡量联邦学习协议数据安全性的方法
CN113746707A (zh) 一种基于分类器及网络结构的加密流量分类方法
CN113850399A (zh) 一种基于预测置信度序列的联邦学习成员推断方法
Kim et al. Optimized quantization for convolutional deep neural networks in federated learning
Yang et al. Federated continual learning via knowledge fusion: A survey
Altenburger et al. Which node attribute prediction task are we solving? within-network, across-network, or across-layer tasks
CN117892019B (zh) 一种跨社交网络身份链接方法及装置
CN117354053B (zh) 一种基于大数据的网络安全保护方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant