CN111159063B - 一种面向多层Sketch网络测量的缓存分配方法 - Google Patents
一种面向多层Sketch网络测量的缓存分配方法 Download PDFInfo
- Publication number
- CN111159063B CN111159063B CN201911355884.1A CN201911355884A CN111159063B CN 111159063 B CN111159063 B CN 111159063B CN 201911355884 A CN201911355884 A CN 201911355884A CN 111159063 B CN111159063 B CN 111159063B
- Authority
- CN
- China
- Prior art keywords
- sketch
- layer
- network
- accuracy
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0871—Allocation or management of cache space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/15—Use in a specific computing environment
- G06F2212/154—Networked environment
Abstract
一种面向多层Sketch网络测量的缓存分配方法,属于计算机网络技术和强化学习的交叉领域。首先通过数据采集模块获取相应的训练数据;然后通过基于A3C的强化学习算法和相关训练数据集来训练并得到相应的模型;接着使用训练好的模型来决策各层Sketch的缓存大小,使基于多层Sketch的网络测量方法几乎能够达到最优准确度;最后使用Sketch缓存分配模块决定的Sketch缓存分配方案进行相应的网络测量,得到更准确的测量结果。本发明优势在于不需要依靠经验人为设置各层Sketch缓存的分配方案,可以通过强化学习的Sketch缓存分配方法决策各层Sketch的缓存大小,使网络测量方法几乎能够达到最优准确度。
Description
技术领域
本发明属于计算机网络和强化学习的交叉领域,更具体地说,涉及一种面向多层Sketch网络测量的缓存分配方法。
背景技术
如今,互联网已经成为人们日常生活中不可或缺的一部分,互联网流量增长速度飞快,截至2018年,每年全球的互联网流量已达到了1.6ZB。随着网络流量的飞速增长,对网络进行有效管理变得愈发困难,其根本原因是我们无法全面的了解网络行为。因此,网络测量作为监控、认知和掌握网络行为的重要方式,引起了研究人员的广泛关注,使得网络测量成为近几年的研究热点。
目前,基于Sketch的数据流统计算法被广泛应用于网络测量,如流大小估算,大象流检测和流数量估算等。虽然研究人员已经在Sketch方法方面做出了重大贡献,但是现有方法大多是基于多层的Sketch来进行网络测量的,而各层Sketch缓存该如何分配目前没有好的解决方法,基本都是靠经验来人为设定的。
在实际的网络测量中,对于基于多层Sketch的网络测量方法,如果各层Sketch的缓存大小分配不同,那么网络测量结果的准确度也会随之变化。所以当依靠经验人为设置的各层Sketch的缓存分配方案不适合当前网络测量方法时,网络测量的结果会变得不准确。进而可能导致网络运营商不能做出正确的决策,难以保证网络的正常运行。
因此如何确定各层Sketch的缓存分配,使基于多层Sketch的网络测量方法在总缓存相同的情况下提高准确度,是十分重要的。
综上,现有基于多层Sketch的网络测量方法仍有改善的空间,为此,本发明在基于多层Sketch的网络测量方法基础上进行了创新,设计一种面向多层Sketch网络测量的缓存分配方法,可以在总缓存相同的情况下提高网络测量的准确度,使准确度几乎能达到该网络测量方法的最优值。
发明内容
为了克服上述不足,本发明提出了一种面向多层Sketch网络测量的缓存分配方法,目的是在总缓存相同的情况下提高网络测量的准确度,使准确度几乎能达到该网络测量方法的最优值。为此,首先我们借鉴了Actor-Critic算法的思想,设计了基于A3C算法的强化学习算法。然后,通过该基于A3C的强化学习算法和相关数据集来训练得到相应的模型。该模型可以为基于多层Sketch的网络测量方法调整各层Sketch的缓存分配,实现在总缓存相同的情况下提高网络测量的准确度,使准确度几乎能达到该网络测量方法的最优值。图1显示的是本发明的整体流程图。
为了达到上述目的,本发明的技术方案如下:
一种面向多层Sketch网络测量的缓存分配方法,步骤如下:
步骤一、数据采集:采集基于多层Sketch的网络测量方法中的数据作为训练数据集,需要采集的数据包括各层Sketch的缓存分配以及对应的准确度;
步骤二、基于A3C算法构建强化学习模型:利用A3C算法中的强化学习算法以及步骤一中采集的数据集来训练,得到强化学习模型;具体过程为:
(1)演员网络和评价者网络的输入状态st为数据采集模块记录的各层Sketch的缓存大小;
(2)演员网络和评价者网络具有相同的结构,都经过卷积网络、全连接层和softmax,但输出不同,其中:
1)演员网络:输出向量πθ(st,at)为动作at的概率分布,at为各层Sketch缓存大小调整的动作,和为1;不断优化策略,使得其表现的越来越好;
2)评价者网络:尝试估计值函数,即输出vπθ(st),使其更加准确;
(3)构建强化学习模型过程中的目标是最大化所能得到的奖励,奖励设计为:
1)当前的准确度accuracyn大于等于上一次测量的准确度accuracyn-1时:
奖励=accuracyn/accuracyn-1;
2)当前的准确度accuracyn小于上一次测量的准确度accuracyn-1时:
奖励=-accuracyn-1/accuracyn;
步骤三、Sketch缓存分配:将当前各层Sketch的缓存大小以及对应的准确度作为输入,使用步骤二中训练好的强化学习模型来决策各层Sketch的缓存大小,使基于Sketch的网络测量方法能够达到最优准确度;
步骤四、网络测量模块:根据步骤三得到的各层Sketch的缓存大小,进行网络测量并得到测量结果。
具体从图1中可以看出,本发明为基于多层Sketch的网络测量方法设计了一种面向多层Sketch网络测量的缓存分配方法,在使用总缓存相同的情况下为这些网络测量方法决策各层Sketch的缓存大小,提高测量的准确度。本发明一共分为四个模块:数据采集模块、强化学习模型构建模块、Sketch缓存分配模块和网络测量模块。首先通过数据采集模块获取相应的训练数据;然后强化学习模型构建模块通过基于A3C的强化学习算法和相关训练数据集来训练并得到相应的模型;接着Sketch缓存分配模块使用训练好的模型来决策各层Sketch的缓存大小,使基于Sketch的网络测量方法几乎能够达到最优准确度;最后在网络测量模块中,基于Sketch的网络测量方法使用Sketch缓存分配模块决定的Sketch缓存分配方案进行相应的网络测量任务,得到测量结果。本发明具体包括以下步骤:
步骤一、数据采集模块:采集基于Sketch的网络测量方法中的数据作为训练数据集,需要采集的数据包括各层Sketch的缓存分配以及对应的准确度;
步骤二、强化学习模型构建模块:借鉴Actor-Critic算法的思想,设计基于A3C算法的强化学习算法。然后,通过该基于A3C的强化学习算法和步骤一中采集的数据集来训练得到相应的模型;
步骤三、Sketch缓存分配模块:将基于Sketch的网络测量方法当前各层Sketch的缓存大小以及对应的准确度作为输入,使用步骤二中训练好的模型来决策各层Sketch的缓存大小,使基于多层Sketch的网络测量方法几乎能够达到最优准确度;
步骤四、网络测量模块:根据步骤三得到的各层Sketch的缓存分配方案设置基于Sketch的网络测量方法,进行网络测量并得到测量结果。
本方法区别于已有方法的特色在于:本发明提出了一种面向多层Sketch网络测量的缓存分配方法,能够决策基于多层Sketch的网络测量方法的各层Sketch的缓存大小分配,避免依靠经验人为设置的各层Sketch缓存分配方案不适合当前网络测量方法,提高测量的准确度。
本发明的有益效果为:
(1)不需要依靠经验人为设置各层Sketch缓存的分配方案,避免依靠经验人为设置的各层Sketch缓存分配方案不适合当前网络测量方法。
(2)使用基于强化学习的Sketch缓存分配方法决策各层Sketch的缓存大小,使基于Sketch的网络测量方法几乎能够达到最优准确度。
附图说明
图1为本发明的整体流程图。
图2为本发明的基于A3C的强化学习算法结构图。
具体实施方式
下面对本发明的实施方式进行详细说明。
一种面向多层Sketch网络测量的缓存分配方法,参照图1,具体包括以下模块及步骤:
1、数据采集模块
数据采集主要是对基于多层Sketch的网络测量方法在测量过程中使用和产生的相关数据进行收集,将收集到的数据作为之后强化学习算法的训练集。具体方法为:
(1)对于一次测量,记录网络测量方法的各层Sketch的缓存大小,并在测量完成之后记录测量结果的准确度;
(2)改变该网络测量方法的各层Sketch的缓存大小,再一次进行网络测量,并记录各层Sketch的缓存大小和测量结果的准确度;
(3)重复步骤(2),直到得到想要的训练集大小。
2、强化学习模型构建模块
强化学习模型是根据基于A3C算法的强化学习算法构建的,A3C算法则是结合策略和值函数的产物,参照图2,具体实现如下:
(1)演员网络和评价者网络的输入状态st为数据采集模块记录的各层Sketch的缓存大小。
(2)演员网络和评价者网络具有相同的结构,都经过卷积网络、全连接层和softmax。不过他们的输出不同,其中:
1)演员网络:输出向量πθ(st,at)为动作at的概率分布(at为各层Sketch缓存大小调整的动作),和为1;不断优化策略,使得其表现的越来越好。
2)评价者网络:尝试估计值函数,即输出vπθ(st),使其更加准确。
(3)构建强化学习模型过程中的目标是最大化所能得到的奖励,奖励设计为:
1)若当前的准确度accuracyn大于等于上一次测量的准确度accuracyn-1时:
奖励=accuracyn/accuracyn-1;
2)若当前的准确度accuracyn小于上一次测量的准确度accuracyn-1时:
奖励=-accuracyn-1/accuracyn。
3、Sketch缓存分配模块
Sketch缓存分配模块使用强化学习模型构建模块训练好的模型来决策各层Sketch的缓存大小,使基于Sketch的网络测量方法几乎能够达到最优准确度,具体方法为:
(1)随机设定网络测量方法的各层Sketch的缓存大小,并进行网络测量得到测量结果的准确度。
(2)将(1)中设定的各层Sketch的缓存大小以及得到的测量的准确度输入到强化学习模型,强化学习模型会自动调整该网络测量方法的各层Sketch的缓存大小的分配,直到测量的准确度达到我们所设置的要求。
4、网络测量模块
在网络测量模块中,根据Sketch缓存分配模块得到的缓存分配方案,将该网络测量方法的各层Sketch的缓存大小重新设置。然后,可以像之前一样地执行流大小估算,大象流检测和流数量估算等网络测量任务,并得到更准确的测量结果。
以上所述仅表达了本发明的实施方式,但并不能因此而理解为对本发明专利的范围的限制,应当指出,对于本领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些均属于本发明的保护范围。
Claims (1)
1.一种面向多层Sketch网络测量的缓存分配方法,其特征在于,步骤如下:
步骤一、数据采集:采集基于多层Sketch的网络测量方法中的数据作为训练数据集,需要采集的数据包括各层Sketch的缓存分配以及对应的准确度;
步骤二、基于A3C算法构建强化学习模型:利用A3C算法中的强化学习算法以及步骤一中采集的数据集来训练,得到强化学习模型;具体过程为:
(1)演员网络和评价者网络的输入状态st为数据采集模块记录的各层Sketch的缓存大小;
(2)演员网络和评价者网络具有相同的结构,都经过卷积网络、全连接层和softmax,但输出不同,其中:
1)演员网络:输出向量πθ(st,at)为动作at的概率分布,和为1,其中at为各层Sketch缓存大小调整的动作;不断优化策略,使得其表现的越来越好;
2)评价者网络:尝试估计值函数,即输出vπθ(st),使其更加准确;
(3)构建强化学习模型过程中的目标是最大化所能得到的奖励,奖励设计为:
1)当前的准确度accuracyn大于等于上一次测量的准确度accuracyn-1时:
奖励=accuracyn/accuracyn-1;
2)当前的准确度accuracyn小于上一次测量的准确度accuracyn-1时:
奖励=-accuracyn-1/accuracyn;
步骤三、Sketch缓存分配:将当前各层Sketch的缓存大小以及对应的准确度作为输入,使用步骤二中训练好的强化学习模型来决策各层Sketch的缓存大小,使基于Sketch的网络测量方法能够达到最优准确度;
步骤四、网络测量模块:根据步骤三得到的各层Sketch的缓存大小,进行网络测量并得到测量结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911355884.1A CN111159063B (zh) | 2019-12-25 | 2019-12-25 | 一种面向多层Sketch网络测量的缓存分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911355884.1A CN111159063B (zh) | 2019-12-25 | 2019-12-25 | 一种面向多层Sketch网络测量的缓存分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111159063A CN111159063A (zh) | 2020-05-15 |
CN111159063B true CN111159063B (zh) | 2022-10-21 |
Family
ID=70556773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911355884.1A Active CN111159063B (zh) | 2019-12-25 | 2019-12-25 | 一种面向多层Sketch网络测量的缓存分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111159063B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112134738B (zh) * | 2020-09-24 | 2023-03-24 | 中电科思仪科技股份有限公司 | 基于复合二维Sketch的网络多维度数据流仿真装置 |
CN111970176B (zh) * | 2020-10-21 | 2021-01-15 | 中国人民解放军国防科技大学 | 用于IPv4和IPv6双栈网络的数据摘要方法及设备 |
CN112446501B (zh) * | 2020-10-30 | 2023-04-21 | 北京邮电大学 | 真实网络环境中缓存分配模型的获取方法、装置及系统 |
CN113779453A (zh) * | 2021-01-06 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 缓存更新方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392253A (zh) * | 2014-12-12 | 2015-03-04 | 南京大学 | 一种草图数据集的交互式类别标注方法 |
US9754221B1 (en) * | 2017-03-09 | 2017-09-05 | Alphaics Corporation | Processor for implementing reinforcement learning operations |
CN107220277A (zh) * | 2017-04-14 | 2017-09-29 | 西北大学 | 基于手绘草图的图像检索算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070203871A1 (en) * | 2006-01-23 | 2007-08-30 | Tesauro Gerald J | Method and apparatus for reward-based learning of improved systems management policies |
-
2019
- 2019-12-25 CN CN201911355884.1A patent/CN111159063B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392253A (zh) * | 2014-12-12 | 2015-03-04 | 南京大学 | 一种草图数据集的交互式类别标注方法 |
US9754221B1 (en) * | 2017-03-09 | 2017-09-05 | Alphaics Corporation | Processor for implementing reinforcement learning operations |
CN107220277A (zh) * | 2017-04-14 | 2017-09-29 | 西北大学 | 基于手绘草图的图像检索算法 |
Also Published As
Publication number | Publication date |
---|---|
CN111159063A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111159063B (zh) | 一种面向多层Sketch网络测量的缓存分配方法 | |
CN103164742B (zh) | 一种基于粒子群优化神经网络的服务器性能预测方法 | |
CN113242469B (zh) | 一种自适应视频传输配置方法和系统 | |
CN111160525B (zh) | 一种边缘计算环境下基于无人机群的任务卸载智能决策方法 | |
CN111461463B (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
CN112052948B (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
CN112287990A (zh) | 一种基于在线学习的边云协同支持向量机的模型优化方法 | |
CN111198966A (zh) | 基于多智能体边界感知网络的自然语言视频片段检索方法 | |
CN113128666A (zh) | 基于Mo-S-LSTMs模型的时间序列多步预测方法 | |
CN116451873B (zh) | 基于多尺度双时空网络区域风力发电功率预测方法及系统 | |
CN113035348A (zh) | 一种基于gru特征融合的糖尿病诊断方法 | |
CN108108837A (zh) | 一种地区新能源电源结构优化预测方法和系统 | |
Zhang et al. | A health condition assessment and prediction method of Francis turbine units using heterogeneous signal fusion and graph-driven health benchmark model | |
CN117172097A (zh) | 基于云边协同与多智能体深度学习的配电网调度运行方法 | |
CN109413746B (zh) | 一种混合能源供能的通信系统中最优化能量分配方法 | |
CN114757111B (zh) | 一种基于数字孪生技术的智能装备健康管理方法 | |
CN111476402A (zh) | 耦合气象信息与emd技术的风电发电能力预测方法 | |
Wang et al. | Automatic learning-based data optimization method for autonomous driving | |
CN116193516A (zh) | 一种物联网场景下用于高效联邦学习的成本优化方法 | |
CN114298300A (zh) | 不确定度预测方法、装置、电子设备及存储介质 | |
CN114563671A (zh) | 一种基于CNN-LSTM-Attention神经网络的高压电缆局部放电诊断方法 | |
CN113408808A (zh) | 训练方法、数据生成方法、装置、电子设备以及存储介质 | |
TW202327380A (zh) | 基於聯邦強化學習的邊緣計算卸載優化方法及通信系統 | |
CN113807005A (zh) | 基于改进fpa-dbn的轴承剩余寿命预测方法 | |
CN112906893A (zh) | 基于自适应变权重的bn参数学习算法及其应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |