CN111159063A - 一种面向多层Sketch网络测量的缓存分配方法 - Google Patents

一种面向多层Sketch网络测量的缓存分配方法 Download PDF

Info

Publication number
CN111159063A
CN111159063A CN201911355884.1A CN201911355884A CN111159063A CN 111159063 A CN111159063 A CN 111159063A CN 201911355884 A CN201911355884 A CN 201911355884A CN 111159063 A CN111159063 A CN 111159063A
Authority
CN
China
Prior art keywords
sketch
layer
network
accuracy
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911355884.1A
Other languages
English (en)
Other versions
CN111159063B (zh
Inventor
齐恒
赵柯妍
李克秋
王军晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911355884.1A priority Critical patent/CN111159063B/zh
Publication of CN111159063A publication Critical patent/CN111159063A/zh
Application granted granted Critical
Publication of CN111159063B publication Critical patent/CN111159063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment

Abstract

一种面向多层Sketch网络测量的缓存分配方法，属于计算机网络技术和强化学习的交叉领域。首先通过数据采集模块获取相应的训练数据；然后通过基于A3C的强化学习算法和相关训练数据集来训练并得到相应的模型；接着使用训练好的模型来决策各层Sketch的缓存大小，使基于多层Sketch的网络测量方法几乎能够达到最优准确度；最后使用Sketch缓存分配模块决定的Sketch缓存分配方案进行相应的网络测量，得到更准确的测量结果。本发明优势在于不需要依靠经验人为设置各层Sketch缓存的分配方案，可以通过强化学习的Sketch缓存分配方法决策各层Sketch的缓存大小，使网络测量方法几乎能够达到最优准确度。

Description

一种面向多层Sketch网络测量的缓存分配方法
技术领域
本发明属于计算机网络和强化学习的交叉领域，更具体地说，涉及一种面向多层Sketch网络测量的缓存分配方法。
背景技术
如今，互联网已经成为人们日常生活中不可或缺的一部分，互联网流量增长速度飞快，截至2018年，每年全球的互联网流量已达到了1.6ZB。随着网络流量的飞速增长，对网络进行有效管理变得愈发困难，其根本原因是我们无法全面的了解网络行为。因此，网络测量作为监控、认知和掌握网络行为的重要方式，引起了研究人员的广泛关注，使得网络测量成为近几年的研究热点。
目前，基于Sketch的数据流统计算法被广泛应用于网络测量，如流大小估算，大象流检测和流数量估算等。虽然研究人员已经在Sketch方法方面做出了重大贡献，但是现有方法大多是基于多层的Sketch来进行网络测量的，而各层Sketch缓存该如何分配目前没有好的解决方法，基本都是靠经验来人为设定的。
在实际的网络测量中，对于基于多层Sketch的网络测量方法，如果各层Sketch的缓存大小分配不同，那么网络测量结果的准确度也会随之变化。所以当依靠经验人为设置的各层Sketch的缓存分配方案不适合当前网络测量方法时，网络测量的结果会变得不准确。进而可能导致网络运营商不能做出正确的决策，难以保证网络的正常运行。
因此如何确定各层Sketch的缓存分配，使基于多层Sketch的网络测量方法在总缓存相同的情况下提高准确度，是十分重要的。
综上，现有基于多层Sketch的网络测量方法仍有改善的空间，为此，本发明在基于多层Sketch的网络测量方法基础上进行了创新，设计一种面向多层Sketch网络测量的缓存分配方法，可以在总缓存相同的情况下提高网络测量的准确度，使准确度几乎能达到该网络测量方法的最优值。
发明内容
为了克服上述不足，本发明提出了一种面向多层Sketch网络测量的缓存分配方法，目的是在总缓存相同的情况下提高网络测量的准确度，使准确度几乎能达到该网络测量方法的最优值。为此，首先我们借鉴了Actor-Critic算法的思想，设计了基于A3C算法的强化学习算法。然后，通过该基于A3C的强化学习算法和相关数据集来训练得到相应的模型。该模型可以为基于多层Sketch的网络测量方法调整各层Sketch的缓存分配，实现在总缓存相同的情况下提高网络测量的准确度，使准确度几乎能达到该网络测量方法的最优值。图1显示的是本发明的整体流程图。
为了达到上述目的，本发明的技术方案如下：
一种面向多层Sketch网络测量的缓存分配方法，步骤如下：
步骤一、数据采集：采集基于多层Sketch的网络测量方法中的数据作为训练数据集，需要采集的数据包括各层Sketch的缓存分配以及对应的准确度；
步骤二、基于A3C算法构建强化学习模型：利用A3C算法中的强化学习算法以及步骤一中采集的数据集来训练，得到强化学习模型；具体过程为：
(1)演员网络和评价者网络的输入状态st为数据采集模块记录的各层Sketch的缓存大小；
(2)演员网络和评价者网络具有相同的结构，都经过卷积网络、全连接层和softmax，但输出不同，其中：
1)演员网络：输出向量πθ(st，at)为动作at的概率分布，at为各层Sketch缓存大小调整的动作，和为1；不断优化策略，使得其表现的越来越好；
2)评价者网络：尝试估计值函数，即输出vπθ(st)，使其更加准确；
(3)构建强化学习模型过程中的目标是最大化所能得到的奖励，奖励设计为：
1)当前的准确度accuracyn大于等于上一次测量的准确度accuracyn-1时：
奖励＝accuracyn/accuracyn-1；
2)当前的准确度accuracyn小于上一次测量的准确度accuracyn-1时：
奖励＝-accuracyn-1/accuracyn；
步骤三、Sketch缓存分配：将当前各层Sketch的缓存大小以及对应的准确度作为输入，使用步骤二中训练好的强化学习模型来决策各层Sketch的缓存大小，使基于Sketch的网络测量方法能够达到最优准确度；
步骤四、网络测量模块：根据步骤三得到的各层Sketch的缓存大小，进行网络测量并得到测量结果。
具体从图1中可以看出，本发明为基于多层Sketch的网络测量方法设计了一种面向多层Sketch网络测量的缓存分配方法，在使用总缓存相同的情况下为这些网络测量方法决策各层Sketch的缓存大小，提高测量的准确度。本发明一共分为四个模块：数据采集模块、强化学习模型构建模块、Sketch缓存分配模块和网络测量模块。首先通过数据采集模块获取相应的训练数据；然后强化学习模型构建模块通过基于A3C的强化学习算法和相关训练数据集来训练并得到相应的模型；接着Sketch缓存分配模块使用训练好的模型来决策各层Sketch的缓存大小，使基于Sketch的网络测量方法几乎能够达到最优准确度；最后在网络测量模块中，基于Sketch的网络测量方法使用Sketch缓存分配模块决定的Sketch缓存分配方案进行相应的网络测量任务，得到测量结果。本发明具体包括以下步骤：
步骤一、数据采集模块：采集基于Sketch的网络测量方法中的数据作为训练数据集，需要采集的数据包括各层Sketch的缓存分配以及对应的准确度；
步骤二、强化学习模型构建模块：借鉴Actor-Critic算法的思想，设计基于A3C算法的强化学习算法。然后，通过该基于A3C的强化学习算法和步骤一中采集的数据集来训练得到相应的模型；
步骤三、Sketch缓存分配模块：将基于Sketch的网络测量方法当前各层Sketch的缓存大小以及对应的准确度作为输入，使用步骤二中训练好的模型来决策各层Sketch的缓存大小，使基于多层Sketch的网络测量方法几乎能够达到最优准确度；
步骤四、网络测量模块：根据步骤三得到的各层Sketch的缓存分配方案设置基于Sketch的网络测量方法，进行网络测量并得到测量结果。
本方法区别于已有方法的特色在于：本发明提出了一种面向多层Sketch网络测量的缓存分配方法，能够决策基于多层Sketch的网络测量方法的各层Sketch的缓存大小分配，避免依靠经验人为设置的各层Sketch缓存分配方案不适合当前网络测量方法，提高测量的准确度。
本发明的有益效果为：
(1)不需要依靠经验人为设置各层Sketch缓存的分配方案，避免依靠经验人为设置的各层Sketch缓存分配方案不适合当前网络测量方法。
(2)使用基于强化学习的Sketch缓存分配方法决策各层Sketch的缓存大小，使基于Sketch的网络测量方法几乎能够达到最优准确度。
附图说明
图1为本发明的整体流程图。
图2为本发明的基于A3C的强化学习算法结构图。
具体实施方式
下面对本发明的实施方式进行详细说明。
一种面向多层Sketch网络测量的缓存分配方法，参照图1，具体包括以下模块及步骤：
1、数据采集模块
数据采集主要是对基于多层Sketch的网络测量方法在测量过程中使用和产生的相关数据进行收集，将收集到的数据作为之后强化学习算法的训练集。具体方法为：
(1)对于一次测量，记录网络测量方法的各层Sketch的缓存大小，并在测量完成之后记录测量结果的准确度；
(2)改变该网络测量方法的各层Sketch的缓存大小，再一次进行网络测量，并记录各层Sketch的缓存大小和测量结果的准确度；
(3)重复步骤(2)，直到得到想要的训练集大小。
2、强化学习模型构建模块
强化学习模型是根据基于A3C算法的强化学习算法构建的，A3C算法则是结合策略和值函数的产物，参照图2，具体实现如下：
(1)演员网络和评价者网络的输入状态st为数据采集模块记录的各层Sketch的缓存大小。
(2)演员网络和评价者网络具有相同的结构，都经过卷积网络、全连接层和softmax。不过他们的输出不同，其中：
1)演员网络：输出向量πθ(st，at)为动作at的概率分布(at为各层Sketch缓存大小调整的动作)，和为1；不断优化策略，使得其表现的越来越好。
2)评价者网络：尝试估计值函数，即输出vπθ(st)，使其更加准确。
(3)构建强化学习模型过程中的目标是最大化所能得到的奖励，奖励设计为：
1)若当前的准确度accuracyn大于等于上一次测量的准确度accuracyn-1时：
奖励＝accuracyn/accuracyn-1；
2)若当前的准确度accuracyn小于上一次测量的准确度accuracyn-1时：
奖励＝-accuracyn-1/accuracyn。
3、Sketch缓存分配模块
Sketch缓存分配模块使用强化学习模型构建模块训练好的模型来决策各层Sketch的缓存大小，使基于Sketch的网络测量方法几乎能够达到最优准确度，具体方法为：
(1)随机设定网络测量方法的各层Sketch的缓存大小，并进行网络测量得到测量结果的准确度。
(2)将(1)中设定的各层Sketch的缓存大小以及得到的测量的准确度输入到强化学习模型，强化学习模型会自动调整该网络测量方法的各层Sketch的缓存大小的分配，直到测量的准确度达到我们所设置的要求。
4、网络测量模块
在网络测量模块中，根据Sketch缓存分配模块得到的缓存分配方案，将该网络测量方法的各层Sketch的缓存大小重新设置。然后，可以像之前一样地执行流大小估算，大象流检测和流数量估算等网络测量任务，并得到更准确的测量结果。
以上所述仅表达了本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (1)

1.一种面向多层Sketch网络测量的缓存分配方法，其特征在于，步骤如下：
步骤一、数据采集：采集基于多层Sketch的网络测量方法中的数据作为训练数据集，需要采集的数据包括各层Sketch的缓存分配以及对应的准确度；
步骤二、基于A3C算法构建强化学习模型：利用A3C算法中的强化学习算法以及步骤一中采集的数据集来训练，得到强化学习模型；具体过程为：
(1)演员网络和评价者网络的输入状态st为数据采集模块记录的各层Sketch的缓存大小；
(2)演员网络和评价者网络具有相同的结构，都经过卷积网络、全连接层和softmax，但输出不同，其中：
1)演员网络：输出向量πθ(st，at)为动作at的概率分布，和为1，其中at为各层Sketch缓存大小调整的动作；不断优化策略，使得其表现的越来越好；
2)评价者网络：尝试估计值函数，即输出vπθ(st)，使其更加准确；
(3)构建强化学习模型过程中的目标是最大化所能得到的奖励，奖励设计为：
1)当前的准确度accuracyn大于等于上一次测量的准确度accuracyn-1时：
奖励＝accuracyn/accuracyn-1；
2)当前的准确度accuracyn小于上一次测量的准确度accuracyn-1时：
奖励＝-accuracyn-1/accuracyn；
步骤三、Sketch缓存分配：将当前各层Sketch的缓存大小以及对应的准确度作为输入，使用步骤二中训练好的强化学习模型来决策各层Sketch的缓存大小，使基于Sketch的网络测量方法能够达到最优准确度；
步骤四、网络测量模块：根据步骤三得到的各层Sketch的缓存大小，进行网络测量并得到测量结果。
CN201911355884.1A 2019-12-25 2019-12-25 一种面向多层Sketch网络测量的缓存分配方法 Active CN111159063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911355884.1A CN111159063B (zh) 2019-12-25 2019-12-25 一种面向多层Sketch网络测量的缓存分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911355884.1A CN111159063B (zh) 2019-12-25 2019-12-25 一种面向多层Sketch网络测量的缓存分配方法

Publications (2)

Publication Number Publication Date
CN111159063A true CN111159063A (zh) 2020-05-15
CN111159063B CN111159063B (zh) 2022-10-21

Family

ID=70556773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911355884.1A Active CN111159063B (zh) 2019-12-25 2019-12-25 一种面向多层Sketch网络测量的缓存分配方法

Country Status (1)

Country Link
CN (1) CN111159063B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970176A (zh) * 2020-10-21 2020-11-20 中国人民解放军国防科技大学 用于IPv4和IPv6双栈网络的数据摘要方法及设备
CN112134738A (zh) * 2020-09-24 2020-12-25 中电科仪器仪表有限公司 基于复合二维Sketch的网络多维度数据流仿真装置
CN112446501A (zh) * 2020-10-30 2021-03-05 北京邮电大学 真实网络环境中缓存分配模型的获取方法、装置及系统
CN113779453A (zh) * 2021-01-06 2021-12-10 北京沃东天骏信息技术有限公司 缓存更新方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070203871A1 (en) * 2006-01-23 2007-08-30 Tesauro Gerald J Method and apparatus for reward-based learning of improved systems management policies
CN104392253A (zh) * 2014-12-12 2015-03-04 南京大学 一种草图数据集的交互式类别标注方法
US9754221B1 (en) * 2017-03-09 2017-09-05 Alphaics Corporation Processor for implementing reinforcement learning operations
CN107220277A (zh) * 2017-04-14 2017-09-29 西北大学 基于手绘草图的图像检索算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070203871A1 (en) * 2006-01-23 2007-08-30 Tesauro Gerald J Method and apparatus for reward-based learning of improved systems management policies
CN104392253A (zh) * 2014-12-12 2015-03-04 南京大学 一种草图数据集的交互式类别标注方法
US9754221B1 (en) * 2017-03-09 2017-09-05 Alphaics Corporation Processor for implementing reinforcement learning operations
CN107220277A (zh) * 2017-04-14 2017-09-29 西北大学 基于手绘草图的图像检索算法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134738A (zh) * 2020-09-24 2020-12-25 中电科仪器仪表有限公司 基于复合二维Sketch的网络多维度数据流仿真装置
CN112134738B (zh) * 2020-09-24 2023-03-24 中电科思仪科技股份有限公司 基于复合二维Sketch的网络多维度数据流仿真装置
CN111970176A (zh) * 2020-10-21 2020-11-20 中国人民解放军国防科技大学 用于IPv4和IPv6双栈网络的数据摘要方法及设备
CN112446501A (zh) * 2020-10-30 2021-03-05 北京邮电大学 真实网络环境中缓存分配模型的获取方法、装置及系统
CN112446501B (zh) * 2020-10-30 2023-04-21 北京邮电大学 真实网络环境中缓存分配模型的获取方法、装置及系统
CN113779453A (zh) * 2021-01-06 2021-12-10 北京沃东天骏信息技术有限公司 缓存更新方法和装置

Also Published As

Publication number Publication date
CN111159063B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN111159063B (zh) 一种面向多层Sketch网络测量的缓存分配方法
CN107909108B (zh) 基于内容流行度预测的边缘缓存系统及其方法
CN113242469B (zh) 一种自适应视频传输配置方法和系统
CN110366193B (zh) 一种智能电网的网络编排层承载的切片部署方法及装置
CN111461463B (zh) 一种基于tcn-bp的短期负荷预测方法、系统及设备
JP2023510566A (ja) ニューラル・ネットワークのための適応的探索方法および装置
CN112052948B (zh) 一种网络模型压缩方法、装置、存储介质和电子设备
CN111400040B (zh) 基于深度学习和边缘计算的工业互联网系统及工作方法
CN113206887A (zh) 边缘计算下针对数据与设备异构性加速联邦学习的方法
CN112287990A (zh) 一种基于在线学习的边云协同支持向量机的模型优化方法
CN112949904A (zh) 一种基于特征选择与多层级深度迁移学习的风电场短期功率预测方法
CN115051929A (zh) 基于自监督目标感知神经网络的网络故障预测方法及装置
CN113035348A (zh) 一种基于gru特征融合的糖尿病诊断方法
CN116451873B (zh) 基于多尺度双时空网络区域风力发电功率预测方法及系统
CN113128666A (zh) 基于Mo-S-LSTMs模型的时间序列多步预测方法
Zhou et al. Dynamic path based DNN synergistic inference acceleration in edge computing environment
Wang et al. Automatic learning-based data optimization method for autonomous driving
CN116193516A (zh) 一种物联网场景下用于高效联邦学习的成本优化方法
CN112600869B (zh) 基于td3算法的计算卸载分配方法和装置
CN113408808A (zh) 训练方法、数据生成方法、装置、电子设备以及存储介质
CN113807005A (zh) 基于改进fpa-dbn的轴承剩余寿命预测方法
CN114298300A (zh) 不确定度预测方法、装置、电子设备及存储介质
CN112906893A (zh) 基于自适应变权重的bn参数学习算法及其应用
CN106600630A (zh) 一种基于稀疏编码的粒子滤波目标跟踪方法
CN113033653A (zh) 一种边-云协同的深度神经网络模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant