CN114710452A - 一种多节点协商的信息中心网络流量优化控制系统及方法 - Google Patents

Abstract

一种多节点协商的信息中心网络流量优化控制系统及方法，涉及信息中心网络流量调度技术领域，接收者端(即用户)可在发送兴趣包之前表示是否需要后续内容，若需要，则当发送者端接收到兴趣包时，相互协商各自的缓存内容，将满足接收者端需要的缓存及相关缓存内容回传给用户。本发明有益效果：用户不用花费通信资源和时间去不断请求数据，从而降低通信时延，提升整个网络的性能。

Description

一种多节点协商的信息中心网络流量优化控制系统及方法

技术领域

本发明属于信息中心网络流量调度技术领域，具体涉及一种多节点协商的 信息中心网络流量优化控制系统及方法。

背景技术

随着网络应用的快速拓展与信息量的急剧增加，互联网的职能由最初的 资源共享逐渐演变为内容分发与获取，网络需求由主机到主机的通信转变为主机 到网络的信息访问。而TCP/IP网络以地址为中心，更适用于主机到主机之间的 通信，已经难以满足如今主机到网络的通信需求。为了解决这一问题，信息中心 网络(Information-CentricNetworking，ICN)应运而生。

ICN采用名字作为路由标识，并且在路由转发的过程中增加了路径内缓 存。比起传统的TCP/IP网络，ICN无需将需求转化为IP地址，可以大幅节约通 信开销。ICN通过内容和位置的解耦，有望从根本上解决海量信息分发与获取的 问题。

正是由于ICN的种种优越性，近年来各国学者纷纷对ICN这一全新的架 构进行了多方面的研究，提出了DONA(Data Oriented Network Architecture)、 CCN(ContentCentric Networking)、NDN(Named Data Networking)、 PURSUIT(Publish SubscribeInternet Technology)等多种ICN架构，并着力研究这 些架构中所存在的问题，由此可见，网络体系架构重建已是世界大势所趋。ICN 在未来网络架构中优势得天独厚，因此，推动ICN建设符合我国政策方针，也 对未来网络技术的发展意义重大。

ICN的引入，有望解决海量信息的分发与获取问题，但同时也导致ICN 网络节点耦合更为紧密、关系更加复杂。尤其是利用路由节点替代服务器响应部 分兴趣包，在大幅降低网络流量的同时却增加了数据流的波动性与复杂性，这给 ICN网络带来了巨大的挑战。由于ICN无法维持主机之间端到端的通信流，传 统TCP/IP网络的流量控制无法满足ICN的需求。因此，如何进行有效的流量调 度，维持这个复杂网络高效运行，避免网络发生拥塞，无疑成为ICN网络亟 待解决的关键核心问题。

分析近年来的相关工作可以看出，在ICN中，采取的往往是逐包请求的通 信模式，即一个兴趣包对应一个数据包。但在实时业务中，用户想请求大量数据， 如当用户在线观看电影时，若想看完整部电影，则要不断发送兴趣包进行数据请 求，这会造成通信资源极大浪费，同时造成通信效率降低。所以，如何在节省请 求资源的前提下高效获取大量所需数据，是ICN流量控制问题中亟待解决的问 题。

发明内容

本发明所要解决的技术问题是提供一种多节点协商的信息中心网络流量 优化控制系统及方法，解决现有ICN流量控制中如何在节省请求资源的前提下 高效获取大量所需数据的问题。

本发明为解决上述技术问题所采用的技术方案是：

在本发明的第一方面，提供了一种多节点协商的信息中心网络流量优化控 制方法，包括如下步骤：

(1)接收者模块确定除了其请求的内容外是否需要后续相关内容，决定多 节点协商机制是否启用，并将兴趣包发送至路由节点模块；

(2)路由节点模块将兴趣包从接收者模块路由至发送者模块；

(3)发送者模块判断兴趣包是否需要后续内容，如果不需要，则按照一个 兴趣包对应一个数据包的通信模式进行回传；如果需要，执行PPO算法输出流 量调度策略，回传接收者模块请求的内容及相关后续内容；

(4)路由节点模块将步骤(3)中发送者模块回传的数据路由至接收者模块。

本发明所述步骤(1)中接收者模块决定多节点协商机制是否启用的方法 为：

1.1在接收者模块发送兴趣包之前，首先确定接收者除了其请求的内容外， 是否需要后续相关内容；

1.2为兴趣包名字加前缀，用于发送者模块识别接收者是否需要后续内容；

1.3将经过加前缀操作的兴趣包发送至路由节点模块。

本发明所述步骤(3)中执行PPO算法输出流量调度策略的具体方法为：

3.1将发送者端所有缓存内容进行类型匹配和最长前匹配，得到满足接收者 请求的缓存内容及相关后续内容；

3.2将满足条件的缓存内容作为PPO算法的状态输入到actor_θ^k网络；

3.3初始化策略参数θ⁰；

3.4在T次迭代过程中，使用θ^k与环境进行交互，并收集状态和动作{s_t,a_t}， 其中θ^k为策略参数，s_t为状态；动作为a_t，代表回传部分缓存内容至接收者端这 一行为；

3.5计算优势函数：A_t＝∑γ^t'-tr_t'-V_Φ(s_t)；其中A_t为优势函数，γ为折扣 因子，t表示时刻，t’为t时刻的下一时刻，r_t’为t’时刻的回报，Vφ(s_t)为t时 刻s状态下的值函数；

通过优化性能函数：

找寻最优策略参数θ，其中p函数指t时刻在状态s下采取动作a的状态转移概率， A(s_t,a_t)表示在t时刻状态s下采取动作a的优势，clip()函数将两个p函数 的比值限制在1-ε和1+ε之间；

3.6输出流量调度策略，即由哪位发送者负责回传哪些数据。

本发明所述路由节点模块采用只传输不缓存的机制进行信息的传输。

在本发明的第二方面，提供了一种多节点协商的信息中心网络流量优化控 制系统，包括：

接收者模块，用于确定除了其请求的内容外是否需要后续相关内容，进而决 定多节点协商机制是否启用，并将兴趣包发送至路由节点模块；

路由节点模块，用于将兴趣包从接收者模块路由至发送者模块，并且将发送 者模块回传的数据路由至接收者模块；

发送者模块，用于各发送者之间的群体协商，识别满足接收者需求的发送者， 收集这些发送者的缓存内容，将缓存内容作为PPO算法的输入，最终输出流量 调度策略。

本发明的有益效果是：本发明提出多节点协商的信息中心网络流量优化控 制系统及方法，接收者端(即用户)可在发送兴趣包之前表示是否需要后续内容， 若需要，则当发送者端接收到兴趣包时，相互协商各自的缓存内容，将满足接收 者端需要的缓存及相关缓存内容回传给用户，用户不用花费通信资源和时间去不 断请求数据，达到一个兴趣包可对应多个数据包的目的，从而节省通信资源，降 低通信时延，提升整个网络的性能。

附图说明

图1为本发明多节点协商的信息中心网络流量优化控制系统的整体结构示 意图；

图2为本发明多节点协商的信息通信过程示意图。

具体实施方式

下面结合具体实施例对本发明的技术方案作进一步阐述。

为了在处理ICN实时业务的通信过程中节省通信资源，对需要后续内容和 不需要后续内容的接收者采取不同的通信机制。具体来说，即当接收者需要后续 内容时，在发送单个或少量兴趣包之后，除了获取请求数据外，还能获取与请求 数据相关的后续数据，达到一个兴趣包可对应多个数据包的目的，从而节省通信 资源，降低通信时延，提高通信效率。

在本发明中，提出一种多节点协商的信息中心网络流量优化控制方法，接 收者端(即用户)可在发送兴趣包之前表示是否需要后续内容，若需要，则当发 送者端接收到兴趣包时，相互协商各自的缓存内容，将满足接收者端需要的缓存 及相关缓存内容回传给用户，用户不用花费通信资源和时间去不断请求数据，从 而降低通信时延，提升整个网络的性能。本发明使用近端策略优化算法(PPO) 完成发送者端缓存内容的协商工作。多节点协商的信息中心网络流量优化控制系 统主要分为三个部分，如图1所示：

1.接收者模块

接收者模块决定多节点协商机制是否启用，具体工作分为以下三部分：

(1)在接收者发送兴趣包之前，首先确定接收者除了其请求的内容外，是否 需要后续相关内容，这是决定是否启用多节点协商机制的依据。

(2)为兴趣包名字加前缀，用于发送者模块识别接收者是否需要后续内容。 假设兴趣包名字为/video1/part1.mp4，若接收者需要后续相关内容，则给兴趣包 加上前缀/y，这时兴趣包名字为/y/video1/part1.mp4；若接收者不需要后续内容， 则给兴趣包加上前缀/n，则兴趣包的名字为/n/video1/part1.mp4。

(3)将经过加前缀操作的兴趣包发送至路由节点模块。

2.路由节点模块

路由节点模块主要负责将兴趣包从接收者模块路由至发送者模块，并且将发 送者模块回传的数据路由至接收者模块。由于实时业务私有性高，内容共享度低， 按照原来的缓存模式盲目的对内容进行缓存，不但浪费了路由节点有限的缓存存 储资源，还增加了响应请求时查询缓存标操作的处理时延。所以在进行数据传输 时，路由节点模块采用只传输不缓存的机制。

3.发送者模块

发送者模块主要负责各发送者之间的群体协商，协商内容主要为：识别满足 接收者需求的发送者，收集这些发送者的缓存内容，将缓存内容作为近端策略优 化算法(PPO)的输入，最终输出流量调度策略。而在一些针对流量问题常用的 强化学习算法，例如DQN算法中：在更新的过程中，往往需要先计算出所有动 作在下一时刻状态下的动作价值，然后根据最优的动作价值进行更新。此时，如 果数据是文本类的离散型数据，即使数量庞大，依然可以采用以上的算法。但是 类似视频流这类连续型数据，就无法进行如上的动作价值计算与动作选择。而策 略梯度法中的更新过程是直接对轨迹的累计价值的期望进行求导，不需要根据下 一时刻状态下的动作价值进行动作选择，因此，连续型动作空间的问题可以使用 策略梯度法进行求解。

在流量调度问题中，目的是给用户提供最好的体验，所以用户的体验是策 略更新和优化最重要的依据。此时，流量调度策略就像舞台上的舞者，而用户的 体验则是对舞者表演好坏最直接的反映。因此，本发明使用了Actor-Critic架构 下的近端策略优化(PPO)算法，并基于本发明的网络进行了改进。由于我们处理 的业务对实时性要求很高，所以算法与环境的交互非常有限，而在Actor-Critic 算法中，每次更新产生的数据只能进行一次更新就要丢弃，在本发明的应用场景 中，这对数据是一种极大的浪费。而PPO中的重要性采样方法就很好的解决这 一问题。算法步骤如下：

(1)将发送者端所有缓存内容进行类型匹配和最长前匹配，得到满足接收者 请求的缓存内容及相关后续内容。

(2)将满足条件的缓存内容作为PPO算法的状态输入到actor_θ^k网络， PPO算法有两个actor网络，分别为actor_θ和actor_θ^K，其中actor_θ^K网络 为与环境进行交互的网络，actor_θ网络根据actor_θ^K网络进行更新。

(3)初始化策略参数θ⁰。

(4)在T次迭代过程中，使用θ^k与环境进行交互，并收集状态和动作 {s_t,a_t}，其中θ^k为策略参数，s_t为状态；动作为a_t，代表回传部分缓存内容至 接收者端这一行为。

(5)计算优势函数：A_t＝∑γ^t'-tr_t'-V_Φ(S_t)；其中A_t为优势函数，γ为折扣 因子，t表示时刻，t’为t时刻的下一时刻，r_t’为t’时刻的回报，Vφ(s_t)为t时 刻s状态下的值函数；

通过优化性能函数：

从而找寻最优策略参数θ，其中p函数指t时刻在状态s下采取动作a的状态转移 概率，A(s_t,a_t)表示在t时刻状态s下采取动作a的优势，clip()函数将两个p 函数的比值限制在1-ε和1+ε之间。

(6)最终输出流量调度策略，即由哪位发送者负责回传哪些数据。

根据得出的流量调度策略，各发送者端回传相应数据给接收者端。将发送 者端所有缓存内容进行类型匹配和最长前缀匹配，得到满足接收者请求的缓存内 容及相关后续内容。

下面以接收者请求视频业务为例进行说明：

第一步，将接收者发送的兴趣包打上前缀/y或者/n，以确定接收者是否需 要发送者将相关后续内容一并回传；在这里假设接收者发送的兴趣包名字为 /y/video2/content_a.mp4。

第二步，发送者端判断兴趣包是否需要后续内容。如果兴趣包前缀为/y， 则表示接收者需要后续内容；如果前缀为/n，则表示接收者端不需要后续内容。 由此可知，兴趣包/y/video2/content_a.mp4表示需要发送者提供后续内容。

第三步，由于兴趣包前缀为/y，这时将执行PPO算法输出流量调度策略， 接收者收到其请求的内容及相关后续内容。假设有三个发送者p1,p2,p3的缓存满 足兴趣包请求内容或拥有相关后续内容，则我们对三个发送者的缓存进行收集， 并采用类型匹配和最长前缀匹配进行无关缓存内容过滤。这里假设满足兴趣包请 求及相关后续内容的缓存有由p1提供的video2/content_c.mp4、由p2提供的 video2/content_a.mp4和由p3提供的video2/content_b.mp4。

第四步，将第三步中满足接收者需求的缓存内容作为PPO网络的状态输 入，与环境进行交互。在本次通信过程中，状态指：(1)初始状态为文件的时间 区间，在迭代过程中的状态为切割后的文件的时间区间；(2)算法向前探索的步 长。

第五步，在网络中引入链路权重α，每条链路根据拥塞情况调整权重。如 果链路拥塞，则权重调整为α*β，(0<β<1)；如果链路无拥塞情况，则权重 调整为α/β，(0<β<1)。这里如果各发送者端的缓存内容有重复之处，则根 据接收者与发送者之间链路的权重来决定由谁来发送重复内容。假设 video2/content_b.mp4的时间区间为15s-35s，video2/content_c.mp4的时间区间为 25s-45s。若想要15s到45s的内容，则意味着25s-35s的内容将会重复，那么应 比较p1至接收者端的链路权重和p3至接收者端的链路权重大小，这里假设p3 链路权重大于p1。

第六步，由PPO算法输出流量调度策略。这里假设输出的流量调度策略为 由p2先发送video2/content_a.mp4，接着由p3发送video2/content_b.mp4，最后 由p1发送video2/content_c.mp4的时间区间为35s-45s部分的内容。

当兴趣包前缀为/y时，采用的多节点协商通信过程如图2所示。

当兴趣包前缀为/n时，则依然按传统的一个兴趣包对应一个数据包的通信 模式。

Claims (5)

1.一种多节点协商的信息中心网络流量优化控制方法，其特征在于，包括如下步骤：

(1)接收者模块确定除了其请求的内容外是否需要后续相关内容，决定多节点协商机制是否启用，并将兴趣包发送至路由节点模块；

(2)路由节点模块将兴趣包从接收者模块路由至发送者模块；

(3)发送者模块判断兴趣包是否需要后续内容，如果不需要，则按照一个兴趣包对应一个数据包的通信模式进行回传；如果需要，执行PPO算法输出流量调度策略，回传接收者模块请求的内容及相关后续内容；

(4)路由节点模块将步骤(3)中发送者模块回传的数据路由至接收者模块。

2.根据权利要求1所述的一种多节点协商的信息中心网络流量优化控制方法，其特征在于，所述步骤(1)中接收者模块决定多节点协商机制是否启用的方法为：

1.1在接收者模块发送兴趣包之前，首先确定接收者除了其请求的内容外，是否需要后续相关内容；

1.2为兴趣包名字加前缀，用于发送者模块识别接收者是否需要后续内容；

1.3将经过加前缀操作的兴趣包发送至路由节点模块。

3.根据权利要求1所述的一种多节点协商的信息中心网络流量优化控制方法，其特征在于，所述步骤(3)中执行PPO算法输出流量调度策略的具体方法为：

3.1将发送者端所有缓存内容进行类型匹配和最长前缀匹配，得到满足接收者请求的缓存内容及相关后续内容；

3.2将满足条件的缓存内容作为PPO算法的状态输入到actor_θ^k网络；

3.3初始化策略参数θ⁰；

3.4在T次迭代过程中，使用θ^k与环境进行交互，并收集状态和动作{s_t,a_t}，其中θ^k为策略参数，s_t为状态；动作为a_t，代表回传部分缓存内容至接收者端这一行为；

3.5计算优势函数：A_t＝∑γ^t'-tr_t'-V_Φ(s_t)；其中A_t为优势函数，γ为折扣因子，t表示时刻，t’为t时刻的下一时刻，r_t’为t’时刻的回报，Vφ(s_t)为t时刻s状态下的值函数；

通过优化性能函数：

找寻最优策略参数θ，其中p函数指t时刻在状态s下采取动作a的状态转移概率，A(s_t,a_t)表示在t时刻状态s下采取动作a的优势，clip()函数将两个p函数的比值限制在1-ε和1+ε之间；

3.6输出流量调度策略，即由哪位发送者负责回传哪些数据。

4.根据权利要求1所述的一种多节点协商的信息中心网络流量优化控制方法，其特征在于，所述路由节点模块采用只传输不缓存的机制进行信息的传输。

5.一种多节点协商的信息中心网络流量优化控制系统，其特征在于，包括：

接收者模块，用于确定除了其请求的内容外是否需要后续相关内容，进而决定多节点协商机制是否启用，并将兴趣包发送至路由节点模块；

路由节点模块，用于将兴趣包从接收者模块路由至发送者模块，并且将发送者模块回传的数据路由至接受者模块；

发送者模块，用于各发送者之间的群体协商，识别满足接收者需求的发送者，收集这些发送者的缓存内容，将缓存内容作为PPO算法的输入，最终输出流量调度策略。

Images