CN111885648A - 基于边缘缓存的能量有效的网络内容分发机制构建方法 - Google Patents
基于边缘缓存的能量有效的网络内容分发机制构建方法 Download PDFInfo
- Publication number
- CN111885648A CN111885648A CN202010713197.9A CN202010713197A CN111885648A CN 111885648 A CN111885648 A CN 111885648A CN 202010713197 A CN202010713197 A CN 202010713197A CN 111885648 A CN111885648 A CN 111885648A
- Authority
- CN
- China
- Prior art keywords
- network
- power consumption
- content
- model
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 19
- 238000010276 construction Methods 0.000 title claims abstract description 6
- 239000013256 coordination polymer Substances 0.000 claims abstract description 35
- 230000002787 reinforcement Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 5
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 10
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 239000003795 chemical substances by application Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013403 standard screening design Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/02—Power saving arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/02—Power saving arrangements
- H04W52/0203—Power saving arrangements in the radio access network or backbone network of wireless communication networks
- H04W52/0206—Power saving arrangements in the radio access network or backbone network of wireless communication networks in access points, e.g. base stations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于边缘缓存的能量有效的网络内容分发机制构建方法，包括如下具体步骤：根据网络服务模式的变化，构建系统模型，根据所述系统模型，在网络边缘部署内容；根据网络边缘部署内容，构建ISP和CP的网络功耗模型，并进行约束和简化；基于强化学习对所述网络功耗模型进行优化求解。本发明解决了现有研究基本针对内容流行度、缓存命中率等预测角度，缺乏基于机器学习的最优路由方案解决ISP、CP协作能耗问题，通过研究边缘缓存环境下的网络参与者行为变化，对ISP和CP功耗建立了一个集中系统模型，并使用机器学习进行了分布式在线与离线求解，计算结果与理论值相比拟。
Description
技术领域
本发明涉及网络通信技术领域，更具体的说是涉及一种基于边缘缓存的能量有效的网络内容分发机制构建方法。
背景技术
根据预测2023年将有53亿人使用互联网，这带来了互联网产业的迅猛发展，标志着对互联网需求的具象化，设备增多，网络流量激增，移动通信网络的通信量负担沉重，能耗问题严重。虽然网络运营商(Internet Service Provider，ISP)和内容提供商(ContentProvider，CP)的动机是不同的，但在现有网络体系，CP与ISP无法单独实现各自目标，只有协作才能准确获取网络和请求信息，使CP选择最优内容服务器实现负载平衡，降低延迟，ISP最小化传输流量，降低堵塞。因此，ISP和CP希望协作为用户提供更好的内容交付服务。
通过对互联网状况的深度调研：由于传统互联网具有端对端通信的特点，使传统互联网缺乏对内容交付服务的内在支持，因此迫切需要消除网络内容的冗余传输问题的新方案。如果在网络通信的接入侧缓存流行内容，则可以有效减少流量问题。研究人员针对此架构做出了许多初步尝试：P2P打破了传统IP网络的用户和服务器模式，但节点难以维护。CDN建立了缓存层，但应用层的架构缺乏对下层网络的感知，难以提高内容分发效率。为了根本解决此问题，研究者们提出网络层的内容检索架构ICN，使用户只需关注内容，其最流行的实现方案CCN是本发明的根基，通过在网内缓存流行内容，有效解决上述问题，但在ICN中并不总是需要广泛的缓存部署以及基于内容复制的最近路由可能会带来更多的消耗。针对上述解决方案，对ICN的研究指明提高缓存利用率的紧迫性。大量研究者关注缓存部署、ISP内协作等，但缺乏与CP合作控制能耗。研究者讨论了多种影响能耗因素，提供了先导意义，但缺乏系统地研究。进一步的，现有研究基本针对内容流行度、缓存命中率等预测角度，缺乏基于机器学习的最优路由方案解决ISP、CP协作能耗问题。
因此，如何提供一种基于边缘缓存的能量有效的网络内容分发机制，通过优化缓存资源的分配和最佳路由路径传输来实现整个网络的功耗最小化是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于边缘缓存的能量有效的网络内容分发机制构建方法，解决相关技术问题中能耗大的问题。
为了达到上述目的，本发明采用如下技术方案：
根据本发明的一个方面，提供了一种基于边缘缓存的能量有效的网络内容分发机制构建方法，包括如下具体步骤：
根据网络服务模式的变化，构建系统模型，根据所述系统模型，在网络边缘部署内容；
根据网络边缘部署内容，构建ISP和CP的网络功耗模型，并进行约束和简化；
基于强化学习对所述网络功耗模型进行优化求解。
进一步地，构建所述系统模型包括：
根据Zipf分布构建内容流行度模型；
构建网络模型；所述网络模型包括网络服务与架构模型、网络拓扑模型。
进一步地，所述内容流行度模型构建，假设内容种类数为F，按照从1到k给视频内容编号；在给定的固定时间内，网络总的请求数为R，内容编号为k的内容流行度的分布为：
其中，齐普夫偏度系数α表征了内容流行度。
进一步地，构建的ISP功耗模型包括：基站功耗模型、传输功耗模型和缓存功耗模型；根据构建的所述基站功耗模型、所述传输功耗模型和所述缓存功耗模型得到ISP的功耗模型；所述ISP的功耗模型如下表示：
其中，P0为基站的固有功耗；Δp是斜率参数，用来指明BS流量负载对其功耗的影响；g是通道增益；B表示系统带宽；N0是与噪声有关的功率密度；η是与误码率要求相关的常数；
是第i个基站中关于内容k的请求数，sk是内容k的大小；Pn是网络节点功率；Pl是请求经过的网络链路功率；
来表示基站i和内容源之间的平均跳数；Xik为布尔变量；每个缓存到达的内容请求的平均检索功耗为Pr；ωca为功率效率参数。
进一步地，构建的所述CP功耗模型包括：静态功耗Ps、处理边缘缓存中未满足请求所消耗的功率；所述CP功耗模型如下表示：
其中，PD为源服务器中每个用户请求的平均检索功耗。
进一步地，对构建ISP和CP的网络功耗模型约束条件，具体表达式如下：
其中，Ci是缓存i的最大缓存容量。
进一步地，所述简化方式包括：每个基站的缓存i均按照内容流行度排名的降序缓存内容以获得最佳的缓存性能；每个基站具有由x表示的平均服务容量和相同数量的内容请求；
基于上述的两个条件用户请求在边缘缓存中不满足的个数被简化为：R
根据所述简化方式和所述约束条件，所述网络功率模型重写为：
其中，
g是通道增益；B表示系统带宽；N0是与噪声有关的功率密度；η是与误码率要求相关的常数。
进一步地，使用强化学习的Q-Learning算法对所述网络功耗模型进一步优化。
进一步地，Q-Learning算法对矩阵Q进行训练步骤表示为：
给定参数β，并在矩阵R中设定环境奖励；
将矩阵Q初始化；
循环遍历场景：
(1)随机选取一个状态作为初始状态；
(2)在尚未达到目标状态的情况下执行：在当前状态下，随机选取一个行为a；执行行为a得到下一个状态；
(3)根据所有可能的动作，获取下一个状态的最大Q值；
(4)根据Q(s,a)＝R(s,a)+(maxQ(s′,a′))更新状态；
得到训练后的矩阵Q。
进一步地，利用矩阵Q的Q-Learning算法的具体实现：
设置当前状态为初始状态；
从当前状态中，找到具有最高Q值的动作；
进入下一个状态；
重复上两步，直到当前状态等于目标状态。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于边缘缓存的能量有效的网络内容分发机制构建方法，在ISP和CP的协作下合理部署边缘缓存以优化资源分配，极大缓解了移动核心网络链路的压力，有效降低网络存在的大量冗余内容传输和网络域内、域间流量负载，提高了整个网络的能量效率，这对社会和经济产生了积极的影响，且符合绿色节能理念，有发展前景。本发明利用具有广阔应用前景的机器强化学习进一步优化系统模型，设计出自适应用户请求以最优路由路径就近获取缓存的系统，进一步减少系统传输能耗，进一步联合提高网络服务质量，具有较为广泛的研究发展前景，对相关领域的研究人员存在参考价值。本发明具有一定的实用价值，在不考虑在异构无线网络和底层协议的情况下解决网络功耗问题。同时，分析结果验证了多种影响能耗的网络因素，为未来的研究者奠定相关基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明的网络架构模型图；
图2附图为本发明的网络拓扑模型图；
图3附图为本发明不同策略在不同网络拓扑结构下的网络功率性能评估柱状图；
图4附图为本发明不同策略在不同缓存硬件下的网络功率性能评估柱状图；
图5附图为本发明不同策略在不同缓存大小下的网络功率性能评估折线图；
图6附图为本发明不同策略在不同内容流行度下的网络功率性能评估折线图；
图7附图为本发明不同策略在不同内容种类下的网络功率性能评估柱状图；
图8附图为本发明的方法流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提供了一种基于边缘缓存的能量有效的网络内容分发机制构建方法，图8是根据本发明实施例的构建方法，如图8所示，该流程包括如下步骤：
步骤S101：根据网络服务模式的变化，构建系统模型，根据所述系统模型，在网络边缘部署内容；
步骤S102：根据网络边缘部署内容，构建ISP和CP的网络功耗模型，并进行约束和简化；
步骤S103：基于强化学习对所述网络功耗模型进行优化求解。
通过上述步骤，基于上述优化得到的网络功耗模型，解决了现有研究基本针对内容流行度、缓存命中率等预测角度，缺乏基于机器学习的最优路由方案解决ISP、CP协作能耗问题，提供了一种基于边缘缓存的能量有效的网络内容分发机制构建方法，通过研究边缘缓存环境下的网络参与者行为变化，对ISP和CP功耗建立了一个集中系统模型，并进行了理论计算。然后，利用强化学习对该模型优化求解，设计了自适应寻求缓存内容的最优路由路径解决方案。最后，分别在多种策略下对所设计的联合功耗模型仿真分析，综合影响能耗的多种因素讨论实现最佳化内容缓存和最小化功耗。
实施例一
在本实施例中，上述步骤S101中，构建所述系统模型包括：
步骤S1011：根据Zipf分布构建内容流行度模型；
步骤S1012：构建网络模型；所述网络模型包括网络服务与架构模型、网络拓扑模型。
进一步，步骤S1011构建内容流行度模型。
按照齐普夫定律(Zipf's Law)来设计网络视频内容的流行度模型。假设内容种类数为F，按照从1到k给视频内容编号；在给定的固定时间内，网络总的请求数为R，内容编号为k的内容流行度的分布为：
其中，齐普夫偏度系数α表征了内容流行度，α取值越大，内容请求越集中，流行数据的请求量越大。
步骤S1012：构建网络模型。
在本实施例中，服务模型包括三个参与者：ISP、CP和MC。在传统的互联网中，ISP只负责将所有的内容请求从CP传输到MC，这使得ISP和CP的功耗更高。然而，在基于边缘缓存的网络中，ISP可以在接入网中部署网络内缓存，同时提供网络支持和内容交付服务。显然，边缘缓存的采用改变了现有的网络服务模型，可以通过满足网络边缘的大部分内容请求来降低功耗，进一步提高服务质量和终端用户体验质量。
如图1所示，边缘缓存被放置在ISP的基站(BS)中，ISP和CP提供协同的内容交付服务，以提高数据分发的效率。在网络模型中，Xik是一个布尔变量，指示部署在BS i上的缓存是否缓存内容k。如果BS i缓存了内容k，Xik则取1，否则取0。根据内容流行程度排序，流行内容可以在BS中进行缓存，满足大多数终端用户的需求。虽然引入的边缘缓存将为ISP带来额外的缓存能力，但可以显著降低整个网络的流量负担。因此，可以明显提高ISP和CP的总功率效率。
建立三种网络拓扑结构模型，Transit-Stub的域内节点具有较高的关联度，但是在地理位置的分布上有一定的局限性。Waxman拓扑结构具有完全平等的无序特点，因而只适用于小型网络，通常作为对比分析网络拓扑对网络性能的影响。网络分布往往不是随机性的，而是以近似的度分布，Power-Law拓扑的结构特性具有少量节点连接大量节点的特性，这不但满足齐普夫分布，且利于维护，大大降低了单个节点对拓扑结构的影响。因此本实施例将重点基于图2的Power-Law拓扑模型进行讨论，并将其余两种拓扑结构作为对比分析。
在本实施例中，上述步骤S102中，本实施例使用集中式策略来制定ISP和CP的最优功耗问题。在不失一般性的前提下，模型只考虑一个ISP和一个CP的场景来简化这个问题。如表1，本实施例的核心参数符号及定义。
表1
步骤S1021构建ISP功耗模型；
其中，ISP的功耗由基站功耗、传输功耗和缓存功耗组成。
1)基站功率模型：
BS i的常规功率基于M/G/1处理器表示为：PBS,i＝P0+ΔPPt,i(2)。当一个基站工作时，P0为基站的固有功耗，ΔP是斜率参数，用来指明BS流量负载对其功耗的影响；Pt,i为BSi的发射功耗。
假设BS i的服务容量或服务速率为每秒xi位，传输功耗与BS i处理的数据流量数相匹配。因此，发射功率Pt,i(BS i)可以表示为：
g是通道增益；B表示系统带宽；N0是与噪声有关的功率密度；η是与误码率要求相关的常数；
是第i个基站中关于内容k的请求数，sk是内容k的大小；
综上所述，不带缓存的基站功耗可以用公式表示为：
然而，当用户的请求到达BS i时，将会通过BS i的缓存内容来部分处理这些请求，因而可以有效地降低网络功率。
假设基站i不满足内容请求的数量用
表示，
可以将具有缓存的BS i的总功耗代表定义为：
2)传输功率模型：
ISPs中请求的传输功率由网络节点(如路由器、交换机)功率Pn和请求经过的网络链路功率Pl组成。为了便于说明，使用
来表示基站i和内容源之间的平均跳数，以此简化传输功率模型。ICN网络由N个内容路由器、服务器等组成，并且在稳定状态下，n个(≤N)内容元素的副本被缓存在n个内容路由器上。未满足缓存的内容必须通过一个或多个跳数经由N-n个内容路由器访问内容。因此，到内容的平均跳跃距离
是缓存位置效率的重要指标。跳数驱动了缓存和传输能量之间的平衡，其确切的形式取决于网络拓扑和副本放置算法。因此，到达基站i的内容请求传输所消耗的功率可表示为：
3)缓存功率模型：
缓存功耗模型：缓存功耗包括缓存的检索功耗和内容缓存功耗，二者与用户请求和被缓存的数据有关。
假设每个缓存到达的内容请求的平均检索功耗为Pr，一个基站的内容缓存功率适应于其缓存中被缓存的内容总数。总缓存功耗可以表示为：
其中Ci是缓存i的最大缓存容量。高速缓存硬件技术，如动态随机存取存储器(DRAM)、高速固态磁盘(SSD)和静态随机存取存储器(SARM)决定了ωca，即功率效率参数。
因此，ISP的网络功耗模型可以协作：
步骤S1022构建CP功耗模型。
CP的功耗由静态功耗Ps和处理边缘缓存中未满足请求所消耗的功率两部分组成，可以写成：
其中PD为源服务器中每个用户请求的平均检索功耗。由CP与ISP协商合作后，在基站附近部署边缘缓存，缓存满足的内容请求越多，边缘缓存中未满足的内容请求的处理功耗越小，以此达到节省功耗的目的。
步骤S1023构建网络功耗模型。
本实施例的目标是将整个网络的功耗降到最低，以便在由ISP功耗和CP功耗组成的边缘缓存环境下有效地分配数据。因此，最大网络功率效率问题可以表述为：
在集中式模型中，第一个约束要求缓存i中缓存内容大小的数量小于其容量Ci。第二个参数Xik是一个布尔变量，它只接受网络中0或1的值。
步骤S1024对模型限定约束条件。
在集中式模型中，第一个约束条件要求缓存中缓存的内容k应小于其容量Ci；第二个约束条件为布尔变量Xi在网络中只接受0或1的值
①每个基站的缓存i均按照内容流行度排名的降序缓存内容以获得最佳的
缓存性能。
②每个基站具有由
表示的平均服务容量和相同数量的内容请求。
基于上述的两个假设用户请求在边缘缓存中不满足的个数可以被简化为：
经由上述的简化方式和约束条件，整个网络功率模型可以被重写为
N，B，γ，
是与现实的网络环境相关的参数；R，α，F，
与用户的请求和网络数据相关；P0，ΔP，Pn，Pl，Pr，ωca，PS，PD是与功耗相关的给定参数。
因此，可以发现网络功耗主要取决于边缘缓存大小、网络内容的流行度分布、网络拓扑结构以及不同内容的数量。
进一步，上述步骤S103，基于强化学习对网络功耗模型集中求解，如表2所示，强化学习求解部分采用的核心参数符号及意义。使用强化学习的Q-Learning算法对网络功耗模型进一步求解。
表2
| s | 当前状态：(1，2，3，…，64)个节点 |
| a | 当前状态下可能执行的动作：转移至任意节点 |
| s′ | 转移到某节点后的新状态 |
| Q(s，a) | 转移到某节点后获得的经验分数 |
| R(s，a) | 环境的即时奖励(连通0，不连通-1) |
| MaxQ(s′，a′) | 新状态下自我经验中最有价值的行为经验分数 |
| β | 折损率，近0倾向仅考虑即得奖励，近1倾向考虑权重最大的未来奖励 |
智能体将在无监督情况下通过经验进行学习，进行不断地探索，直到到达目的地。每次探索可以称为一个场景，每个场景由从初始状态移动到目标状态的主体组成，到达目标状态时，将转到下一场景。智能体的具体学习过程可以表示为：
1、设置β，并在矩阵R中设定环境奖励。
2、将矩阵Q初始化。
3、循环遍历场景：
(1)随机选取一个状态作为初始状态。
(2)在尚未达到目标状态的情况下执行：
①在当前状态下，随机选取一个行为a。
②执行行为a得到下一个状态。
(3)根据所有可能的动作，获取下一个状态的最大Q值。
(4)根据Q(s,a)＝R(s,a)+β(max Q(s′,a′))(12)更新状态。
智能体使用以上算法从经验中学习。每个场景相当于一个训练课程，训练的目的是对环境的持续探索：在到达目标状态之前，通过R矩阵，即探索环境，来获取奖励。智能体只需要跟踪初始状态到目标状态的状态序列，便可以使用矩阵Q，Q-Learning算法可以找到矩阵Q中记录的当前状态的最高奖励值的动作来决定未来的行为。智能体不断训练使得Q表(矩阵Q)给出愈来愈好的近似，使得智能体不会一直持续四处探索或陷入循环，以找到到达目标状态的最短路径。
利用Q矩阵的Q-Learning算法的具体实现：
1、设置当前状态为初始状态。
2、从当前状态中，找到具有最高Q值的动作。
3、进入下一个状态。
4、重复步骤2和3，直到当前状态等于目标状态。
由于使用64节点的拓扑结构，所以用64×64的对角对称邻接矩阵表示网络节点的连接状态：在初始的R奖励矩阵中设置，若节点连通为0，不连通即为-1。Q表则是64×64的表格。
智能体根据Q-Learning算法从任意位置自动寻找内容传输的最短路由路径。除此之外，更新Q表时还需要判断是否连通，若奖励值为负，说明节点不连通，则直接在Q表中的对应策略位置上存储-1，而不进行Q值更新影响后续动作选取；反之，通过公式进行Q值的更新计算得到新Q值，有效避免智能体在节点不连通的情况下传输，造成原则错误。
在功耗模型中，用户的请求内容可以不从源服务器，而是从过去请求节点的路径上的临近源响应节点寻求，这减小了CP的检索功率和ISP的节点、链路传输功耗，利用Q-Learning算法计算最佳的路由路径，并利用计数变量计算出对应的跳数，代入公式中便可以计算出优化后的功耗。
例如，计算一个请求节点的功耗时，从源服务器获取的总内容请求数即为缓存不满足内容数，将每个临近响应节点的获取的内容总数Sc i对应的跳数Hc i代入功耗公式中的节点和链路传输功耗求和，得到临近响应节点传输产生的总链路和节点功耗，与去往源服务器寻求带来的链路和节点传输功耗进一步求和，即得到总节点和链路的传输功耗：
经过强化学习优化后的复杂联合功耗模型可以表示为：
下面结合仿真实验结果对本实施例所涉及的方法进行性能分析及比较。
(1)仿真设置：
在仿真中，网络拓扑中包含64个网络节点，在不同的策略下得到变化的平均跳数Hi，并将每个基站的边缘缓存大小抽象为不同网络数据量的相对大小。从实际的网络场景(如ITU测试环境)中得到与网络功率相关的重要变量的值。
为了体现本实施例的系统性能，在不考虑边缘缓存在无线网络中的部署的条件下，基于LRU的在线缓存策略、离线缓存策略、理想无缓存策略，并设计基于这三种策略在两种平台环境下与功耗模型结合的五种具体策略，如表3所示，以讨论系统性能，得到系统功耗模型最优解。
表3
无缓存策略下替换的内容不再被访问，ISP，CP理想共享信息，功耗主要由静态功耗、内容到源服务器的传输功耗和CP检索功耗组成。
离线缓存策略不更替，缓存基站i将根据内容流行度排名缓存最流行的N个i内容，边缘缓存中不满足的内容从源服务器获取，分为使用简化功耗模型的理想策略和利用数据集模拟内容请求的强化学习优化策略。
在线缓存策略基于最近最少使用LRU算法，需要顺序遍历数据。理想策略创建结构体，并通过标识判断缓存和空间状态，以决定替换办法和缓存满足个数，利用拓扑函数和OSPF最短跳数路由寻找最近响应节点。强化学习策略的LRU算法使用双向链表修改元素位置。拓扑体现在奖励矩阵中。利用Q-Learning算法寻找最优路径，并计算从临近响应节点或源服务器获取的内容数量和对应跳数。其中强化学习在线策略的误差来源于Q表路由，如本应从临近节点获取的内容，去源服务器寻求了或没有选择最近响应节点。
(2)性能分析：
图3为不同策略在不同网络拓扑结构下的网络功率。在其他条件均相同时，无论网络拓扑的结构如何，三种方案整体的网络性能变化不大。这说明本实施例设计的模型具有通用性，可广泛应用于异构的无线网络环境中。基于前述对三种拓扑结构的对比讨论分析得出，Power-Law拓扑结构模型更符合网络互联状态，具有一定的普适性和优势性，且与本实施例更强的针对性和适配性。
图4为不同策略在不同缓存硬件下的网络功率。以SRAM作为对比，SSD和DRAM的功耗差距不大。SSD虽然适用于高性能存储，但是对于长期存档和备份(通常使用固定磁盘)则较少，DRAM作为主流存储设备在写入性能上与SSD相比具有很大的优势，且由于其具有高耐用性，这使DRAM更适合应用于对存储硬件的使用寿命有要求的大型网络环境。因此，本实施例将DRAM作为进一步仿真分析的缓存硬件技术。
图5为不同策略在不同缓存大小下的网络功率。整体无缓存策略功耗最大，在线策略其次，离线策略最小，体现缓存的优势性。离线策略不更替，自身不满足，则去往源服务器获取，不存在Q-Learning算法路由误差，曲线重合。随着缓存增大，满足更多请求，带缓存的功耗减小，但增大的缓存功耗逐渐抵消了传输功耗的正向影响，变化率减小，由于离线缓存策略是最佳的内容放置，与在线缓存策略差距增大。从临近节点获取内容数增多导致误差影响增大，在线强化学习策略与理想的差距增大。从图中观察到，本实施例设计的方案与理想方案差距较小，具有现实性。
图6为不同策略在不同内容流行度下的网络功率。随着内容流行度增大，用户对排名靠前的需求量增大，可以从基站边缘缓存或临近获取的内容数也随之增多，大大减少了传输功耗，变化率增大。两种在线缓存差距是由于齐普夫偏度系数为1.2之前，请求较为分散，大部分内容从源服务器获取，Q-Learning算法误差较小。齐普夫偏度系数1-1.2时，请求逐渐集中，大部分内容临近获取，误差逐渐显著，齐普夫偏度系数1.2之后请求过于集中，自身基站就能满足大量请求，减小了误差影响。本实施例设计的方案与理想方案整体差距较小，具有实用性。
图7为不同策略在不同内容种类下的网络功率。内容种类增多减小了缓存命中数，增大传输功耗，缓存优势降低。在线缓存策略差距体现在内容种类较小时，临近获取的概率增大，Q-Learning误差增大，但自身边缘缓存中满足的概率也随之增大，差距并不显著。内容种类增多，更多内容需从源服务器获取，Q-Learning算法路由误差减小，差距减小。本实施例设计的方案与理想方案整体差距较小，具有实用性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，包括如下具体步骤：
根据网络服务模式的变化，构建系统模型，根据所述系统模型，在网络边缘部署内容；
根据网络边缘部署内容，构建ISP和CP的网络功耗模型，并进行约束和简化；基于强化学习对所述网络功耗模型进行优化求解。
2.根据权利要求1所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，构建所述系统模型包括：
根据Zipf分布构建内容流行度模型；
构建网络模型；所述网络模型包括网络服务与架构模型、网络拓扑模型。
3.根据权利要求2所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，所述内容流行度模型构建，假设内容种类数为F，按照从1到k给视频内容编号；在给定的固定时间内，网络总的请求数为R，内容编号为k的内容流行度的分布为：
其中，齐普夫偏度系数α表征了内容流行度。
4.根据权利要求1所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，构建的ISP功耗模型包括：基站功耗模型、传输功耗模型和缓存功耗模型；根据构建的所述基站功耗模型、所述传输功耗模型和所述缓存功耗模型得到ISP的功耗模型；所述ISP的功耗模型如下表示：
其中，P0为基站的固有功耗；Δp是斜率参数，用来指明BS流量负载对其功耗的影响；g是通道增益；B表示系统带宽；N0是与噪声有关的功率密度；η是与误码率要求相关的常数；
是第i个基站中关于内容k的请求数，sk是内容k的大小；Pn是网络节点功率；Pl是请求经过的网络链路功率；
来表示基站i和内容源之间的平均跳数；Xik为布尔变量；每个缓存到达的内容请求的平均检索功耗为Pr；ωca为功率效率参数。
5.根据权利要求4所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，构建的所述CP功耗模型包括：静态功耗Ps、处理边缘缓存中未满足请求所消耗的功率；所述CP功耗模型如下表示：
其中，PD为源服务器中每个用户请求的平均检索功耗。
6.根据权利要求5所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，对构建ISP和CP的网络功耗模型约束条件，具体表达式如下：
其中，Ci是缓存i的最大缓存容量。
7.根据权利要求6所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，所述简化方式包括：每个基站的缓存i均按照内容流行度排名的降序缓存内容以获得最佳的缓存性能；每个基站具有由
表示的平均服务容量和相同数量的内容请求；
基于上述的两个条件用户请求在边缘缓存中不满足的个数被简化为：
根据所述简化方式和所述约束条件，所述网络功率模型重写为：
s.t.
其中，
g是通道增益；B表示系统带宽；N0是与噪声有关的功率密度；η是与误码率要求相关的常数。
8.根据权利要求1所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，使用强化学习的Q-Learning算法对所述网络功耗模型进一步求解。
9.根据权利要求8所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，Q-Learning算法对矩阵Q进行训练步骤表示为：
给定参数β，并在矩阵R中设定环境奖励；
将矩阵Q初始化；
循环遍历场景：
(1)随机选取一个状态作为初始状态；
(2)在尚未达到目标状态的情况下执行：在当前状态下，随机选取一个行为a；执行行为a得到下一个状态；
(3)根据所有可能的动作，获取下一个状态的最大Q值；
(4)根据Q(s,a)＝R(s,a)+(maxQ(s′,a′))更新状态；
得到训练后的矩阵Q。
10.根据权利要求9所述的一种基于边缘缓存的能量有效的网络内容分发机制构建方法，其特征在于，利用矩阵Q的Q-Learning算法的具体实现：
设置当前状态为初始状态；
从当前状态中，找到具有最高Q值的动作；
进入下一个状态；
重复上两步，直到当前状态等于目标状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010713197.9A CN111885648A (zh) | 2020-07-22 | 2020-07-22 | 基于边缘缓存的能量有效的网络内容分发机制构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010713197.9A CN111885648A (zh) | 2020-07-22 | 2020-07-22 | 基于边缘缓存的能量有效的网络内容分发机制构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111885648A true CN111885648A (zh) | 2020-11-03 |
Family
ID=73155300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010713197.9A Pending CN111885648A (zh) | 2020-07-22 | 2020-07-22 | 基于边缘缓存的能量有效的网络内容分发机制构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111885648A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112671847A (zh) * | 2020-12-11 | 2021-04-16 | 周口师范学院 | 基于异构无线蜂窝网络的内容存储与传输的联合规划方法 |
| CN112887992A (zh) * | 2021-01-12 | 2021-06-01 | 滨州学院 | 基于接入均衡核和置换率的密集无线网络边缘缓存方法 |
| CN112954026A (zh) * | 2021-01-29 | 2021-06-11 | 重庆邮电大学 | 一种基于边缘计算的多约束内容协作缓存优化方法 |
| CN113115362A (zh) * | 2021-04-16 | 2021-07-13 | 三峡大学 | 协同边缘缓存方法及装置 |
| CN113596138A (zh) * | 2021-07-26 | 2021-11-02 | 东北大学 | 一种基于深度强化学习的异构信息中心网络缓存分配方法 |
| CN113709853A (zh) * | 2021-07-23 | 2021-11-26 | 北京工业大学 | 面向云边协同的网络内容传输方法、装置及存储介质 |
| CN113766540A (zh) * | 2021-09-02 | 2021-12-07 | 北京工业大学 | 低时延的网络内容传输方法、装置、电子设备及介质 |
| CN116821009A (zh) * | 2023-06-21 | 2023-09-29 | 国网江苏省电力有限公司信息通信分公司 | 一种面向应用特征的分布式数据缓存方法和系统 |
| CN117407237A (zh) * | 2023-09-15 | 2024-01-16 | 通明智云(北京)科技有限公司 | 一种基于轮询模式的cpu利用率统计方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110324175A (zh) * | 2019-05-27 | 2019-10-11 | 北京工业大学 | 基于边缘缓存的网络节能方法及系统 |
| CN111273329A (zh) * | 2020-01-19 | 2020-06-12 | 中国十七冶集团有限公司 | 一种基于强化学习q学习的实时整周模糊度快速搜索方法 |
-
2020
- 2020-07-22 CN CN202010713197.9A patent/CN111885648A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110324175A (zh) * | 2019-05-27 | 2019-10-11 | 北京工业大学 | 基于边缘缓存的网络节能方法及系统 |
| CN111273329A (zh) * | 2020-01-19 | 2020-06-12 | 中国十七冶集团有限公司 | 一种基于强化学习q学习的实时整周模糊度快速搜索方法 |
Non-Patent Citations (1)
| Title |
|---|
| JUN-BO WANG等: "A Machine Learning Framework for Resource Allocation Assisted by Cloud Computing", 《IEEE NETWORK》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112671847A (zh) * | 2020-12-11 | 2021-04-16 | 周口师范学院 | 基于异构无线蜂窝网络的内容存储与传输的联合规划方法 |
| CN112887992A (zh) * | 2021-01-12 | 2021-06-01 | 滨州学院 | 基于接入均衡核和置换率的密集无线网络边缘缓存方法 |
| CN112887992B (zh) * | 2021-01-12 | 2022-08-12 | 滨州学院 | 基于接入均衡核和置换率的密集无线网络边缘缓存方法 |
| CN112954026B (zh) * | 2021-01-29 | 2022-07-01 | 重庆邮电大学 | 一种基于边缘计算的多约束内容协作缓存优化方法 |
| CN112954026A (zh) * | 2021-01-29 | 2021-06-11 | 重庆邮电大学 | 一种基于边缘计算的多约束内容协作缓存优化方法 |
| CN113115362A (zh) * | 2021-04-16 | 2021-07-13 | 三峡大学 | 协同边缘缓存方法及装置 |
| CN113709853B (zh) * | 2021-07-23 | 2022-11-15 | 北京工业大学 | 面向云边协同的网络内容传输方法、装置及存储介质 |
| CN113709853A (zh) * | 2021-07-23 | 2021-11-26 | 北京工业大学 | 面向云边协同的网络内容传输方法、装置及存储介质 |
| CN113596138A (zh) * | 2021-07-26 | 2021-11-02 | 东北大学 | 一种基于深度强化学习的异构信息中心网络缓存分配方法 |
| CN113766540A (zh) * | 2021-09-02 | 2021-12-07 | 北京工业大学 | 低时延的网络内容传输方法、装置、电子设备及介质 |
| CN113766540B (zh) * | 2021-09-02 | 2024-04-16 | 北京工业大学 | 低时延的网络内容传输方法、装置、电子设备及介质 |
| CN116821009A (zh) * | 2023-06-21 | 2023-09-29 | 国网江苏省电力有限公司信息通信分公司 | 一种面向应用特征的分布式数据缓存方法和系统 |
| CN117407237A (zh) * | 2023-09-15 | 2024-01-16 | 通明智云(北京)科技有限公司 | 一种基于轮询模式的cpu利用率统计方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111885648A (zh) | 基于边缘缓存的能量有效的网络内容分发机制构建方法 | |
| AU2020103384A4 (en) | Method for Constructing Energy-efficient Network Content Distribution Mechanism Based on Edge Intelligent Caches | |
| Zhang et al. | An SDN-based caching decision policy for video caching in information-centric networking | |
| CN108366089B (zh) | 一种基于内容流行度和节点重要度的ccn缓存方法 | |
| CN108600998B (zh) | 超密度蜂窝与d2d异构融合网络缓存优化决策方法 | |
| CN111935246A (zh) | 一种基于云边协作的用户生成内容上传方法和系统 | |
| WO2023159986A1 (zh) | 一种分层网络体系结构中的协作缓存方法 | |
| Xu et al. | Joint replica server placement, content caching, and request load assignment in content delivery networks | |
| Gui et al. | A cache placement strategy based on entropy weighting method and TOPSIS in named data networking | |
| CN113453038A (zh) | 一种cdn-p2p混合架构下效用最优协同缓存管理方法 | |
| CN106210024B (zh) | 信息中心网络中基于流行度的多态蚁群算法来实现的方法 | |
| CN112399485A (zh) | 一种6g中基于ccn的新节点价值和内容流行度缓存方法 | |
| Nguyen et al. | Adaptive caching for beneficial content distribution in information-centric networking | |
| Khodaparas et al. | A multi criteria cooperative caching scheme for internet of things | |
| Alduayji et al. | PF-EdgeCache: Popularity and freshness aware edge caching scheme for NDN/IoT networks | |
| CN112911614B (zh) | 基于动态请求d2d网络中的协作编码缓存方法 | |
| Xu et al. | Design and evaluation of coordinated in-network caching model for content centric networking | |
| Wu et al. | Ptf: Popularity-topology-freshness-based caching strategy for icn-iot networks | |
| Hao et al. | Stochastic adaptive forwarding strategy based on deep reinforcement learning for secure mobile video communications in NDN | |
| Wauters et al. | Load balancing through efficient distributed content placement | |
| CN110324175B (zh) | 基于边缘缓存的网络节能方法及系统 | |
| Iqbal | Cache-MCDM: A hybrid caching scheme in Mobile Named Data Networks based on multi-criteria decision making | |
| Alkhazaleh et al. | A review of caching strategies and its categorizations in information centric network | |
| CN113709853B (zh) | 面向云边协同的网络内容传输方法、装置及存储介质 | |
| Cheng et al. | A Forwarding Strategy Based on Recommendation Algorithm in Named Data Networking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201103 |
|
| RJ01 | Rejection of invention patent application after publication |