CN113490239B - 基于自适应网络编码的异构无线链路并发传输控制方法 - Google Patents

Abstract

本发明公开了一种基于自适应网络编码的异构无线链路并发传输控制方法，包括：基于A3C构建自适应编码决策模型；确定编码分组大小N和编码分组内数据包冗余大小R；定义两个编码矩阵：原始数据包的编码矩阵和冗余编码矩阵，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包；针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中。本发明解决了异构无线链路多路径传输存在的乱序问题，有效提升系统吞吐量。

Description

基于自适应网络编码的异构无线链路并发传输控制方法

技术领域

本发明涉及无线通信技术领域，具体而言涉及一种基于自适应网络编码的异构无线链路并发传输控制方法。

背景技术

随着超高清视频直播、无人驾驶、虚拟现实、远程医疗等业务的不断兴起，人们对带宽、时延的要求不断提高。随着5G网络的不断部署与普及，这些需求不断得到满足，但5G网络很难满足人们对高带宽、低时延的需求。未来的网络将是多种网络共存的异构网络，任何单一的网络将无法满足人们个性化的需求。与此同时，随着智能硬件的普及，越来越多的终端设备装备有多种类型的网络接口，例如WiFi，4G LTE和5G NR等等，使得一个用户终端同时具有访问目标通信节点的多条链路，实现多路径并行传输，将可以利用的网络信道同时利用，以达到提高传输效率的目的。多路径并行传输在有线网络中的应用已经相对成熟。然而，在无线网络环境中，由于无线网络环境中的链路具有动态性和不可靠性，物理链路属性本身具有的差异，加上移动终端的移动性导致的异构无线网络发生动态性变化，会严重影响传输效率，降低了传输性能。由于链路之间的差异性，多路径传输不可避免的产生队头阻塞，缓冲区拥塞，不必要的快速重传，接收乱序等现象。

发明内容

本发明针对现有技术中的不足，提供一种基于自适应网络编码的异构无线链路并发传输控制方法，将强化学习和网络编码相结合，采用网络编码技术打破数据包序列号和交付顺序之间的强约束关系，基于强化学习通过与环境进行交互，学习出最优的网络编码策略，从而解决了异构无线链路多路径传输存在的乱序问题，有效提升系统吞吐量。

为实现上述目的，本发明采用以下技术方案：

第一方面，本发明实施例提出了一种基于自适应网络编码的异构无线链路并发传输控制方法，所述控制方法包括以下步骤：

S1，基于A3C构建自适应编码决策模型，定义A3C强化学习参数，强化学习参数至少包括路径状态集、编码动作集和用于衡量动作执行好坏的奖励函数；

S2，对全局代理的神经网络参数θ_c和θ_a进行迭代优化，采用优化参数后的自适应编码决策模型获取最优编码策略，确定编码分组大小N和编码分组内数据包冗余大小R，N和R均是大于1的整数值；

S3，定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包；

S4，针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中。

可选地，所述控制方法还包括：

S5，接收方根据接收到的数据包，确定解码矩阵，解码出原始数据包，递交上层应用。

可选地，步骤S1中，所述定义模型参数的过程包括以下步骤：

S11，设定路径状态集S_t为：

S_t＝{Bw_t，Buffer_t，(N，R)，T，T_t，Pl_t}

式中，Bw_t＝{Bw_t，1，Bw_t，2，...，Bw_t，I}，Bw_t，i表示t时刻路径i的带宽大小，I表示链路总数；Buffer_t表示t时刻视频缓存，(N，R)表示过去时刻选择的编码分组大小N和R；T表示当前分组传输时延；T_t＝{T_t，1，T_t，2…，T_t，I}，T_t，i表示t时刻路径i的下载时延；Pl_t＝{Pl_t，1，Pl_t，2，...，Pl_t，I}，Pl_t，i表示t时刻路径i的丢包率，1≤i≤I；

S12，设定动作集a_t为：

a_t＝{N，R}

式中，N表示编码分组大小，R表示分组内冗余数据包大小，N和R都是整数值；

S13，定义状态转移概率

S14，定义奖励函数rt：

式中，表示最大化吞吐量，其中Bw_t，i表示t时刻路径i的带宽大小；α是重新缓冲的惩罚因子，rebuf表示重新缓冲的时间；β表示时延惩罚因子，T＝MAX(T_t，i)_(1≤i≤I)表示总的下载时延；γ表示缓冲区惩罚因子，

B₁，B₂是缓冲区上下限阈值，θ为缓冲区调节因子，0≤θ≤1。

可选地，步骤S2中，对全局代理的神经网络参数θ_c和θ_a进行迭代优化的过程包括：

S201，输入全局代理的神经网络参数θ_c和θ_a、全局最大的迭代次数M，令全局迭代次数m＝1；

S202，初始化时间t＝0；

S203，初始化起始状态s_t＝s₀；初始化神经网络参数增量dθ_c＝0，dθ_a＝0；将全局代理的神经网络参数赋值给局部代理θ_c＝θ_c，θ_a＝θ_a；s₀表示t＝0时的网络状态；

S204，设t＝1；

S205，基于策略π(a_t|s_t；0′_a)，执行动作a_t，从视频播放环境中获得奖励值r_t和新的状态s_t+1；

S206，令t＝t+1，m＝m+1；重第步骤S205，直至t＝N+1；

S207，计算状态s_N的值函数

S208，令i＝N-1；

S209，更新θ_a的增量 更新θ_c的增量/> 式中，/>表示优势函数，即运用策略π(θ_a)所获奖励与预期奖励的差值。H(·)表示正则化熵值，以保证决策代理充分地探索环境空间，γ(0＜γ≤1)表示折扣因子；

S210，令i＝i-1，重复步骤S209，直至i＝0；

S211，更新全局代理的网络参数θ_a←θ_a+wdθ_a，θ_c←θ_c-αdθ_c；其中，w表示Actor网络的更新步长，a表示Critic网络的更新步长；

S212，令m＝m+1，重复步骤S23至S211，直至m＞M，输出迭代后的网络参数θ_c和θ_a。

可选地，步骤S3中，编码生成N+R个编码数据包的过程包括以下步骤：

S31，定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r：

其中，c_ij表示高斯域GF(2⁸)中的数，矩阵C_p和C_r中的每一行都是线性无关的；i和j表示第i行第j列的编码系数；

S32，取原始数据包的编码矩阵C_p的前N行作为原始数据包的编码系数矩阵，取冗余编码矩阵C_r的前R行作为冗余数据包的编码系数矩阵，编码生成N+R个编码数据包。

可选地，步骤S4中，针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发的过程包括以下步骤：

根据下述公式计算每条路径的路径质量：

Q_i＝(effwnd_i-unAck_i)*(1-Pl_i)

其中，effwnd_i表示路径i的有效窗口，unAck_i表示已经发送但还未确认的数据包个数，Pl_i表示路径i的丢包率；

选取所有路径中Q_i值最大的路径，将数据包调度到该路径的发送缓存上。

第二方面，本发明实施例提出了一种基于自适应网络编码的异构无线链路并发传输控制系统，所述控制系统包括：

基于A3C构建自适应编码决策模型，其模型参数至少包括路径状态集、编码动作集和用于衡量动作执行好坏的奖励函数；

强化学习模块，用于对全局代理的神经网络参数θ_c和θ_a进行迭代优化，采用优化参数后的自适应编码决策模型获取最优编码策略，确定编码分组大小N和编码分组内数据包冗余大小R；

网络编码模块，用于定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包；

数据包分组模块，用于基于强化学习模块获得的编码分组大小对数据包进行分组；

基于路径质量的数据分发模块，用于针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中；

网络解码模块，用于根据接收到的数据包，确定解码矩阵，解码出原始数据包，递交上层应用。

本发明的有益效果是：

本发明针对异构无线链路并发传输存在的数据包乱序问题，将强化学习和网络编码相结合，采用网络编码技术打破数据包序列号和交付顺序之间的强约束关系，基于强化学习通过与环境进行交互，学习出最优的网络编码策略，从而解决了异构无线链路多路径传输存在的乱序问题，有效提升系统吞吐量。

附图说明

图1是本发明实施例的基于自适应网络编码的异构无线链路并发传输控制方法流程图。

图2为本发明实施例的基于自适应网络编码的异构无线链路并发传输控制系统结构图。

图3为本发明实施例的自适应网络编码原理示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例一

图1是本发明实施例的基于自适应网络编码的异构无线链路并发传输控制方法流程图。该控制方法包括以下步骤：

S1，基于A3C构建自适应编码决策模型，定义模型参数，模型参数至少包括路径状态集、编码动作集和用于衡量动作执行好坏的奖励函数。

步骤S1.1、状态集的定义：网络环境的状态是决策的依据。为了决策出编码分组大小N和编码分组内冗余数据包大小R，需要获取当前每条路径的状态信息。设定状态集为：S＝{Bw_t，Buffer_t，(N，R)，T，T_t，Pl_t}，其中，Bw_t＝{Bw_t，1，B_t，2…，B_t，I}，Bw_t，i表示t时刻路径i的平均带宽大小，I表示链路总数，Buffer_t表示t时刻视频缓存，(N，R)表示过去时刻选择的编码分组大小N和R，T表示当前组传输时延(包括编码包和冗余数据包)，T_t＝{T_t，1，T_t，2…，T_t，I}，T_t，i表示t时刻路径i的下载时延。Pl_t＝{Pl_t，1，Pl_t，2，...，Pl_t，I}，Pl_t，i表示t时刻路径i的丢包率。以上定义中，i的取值范围是(1≤i≤I)。

步骤S1.2、动作集的定义：a_t＝{N，R}，其中N表示编码分组大小，R表示分组内冗余数据包大小。其中N和R都是整数值。

步骤S1.3、状态转移概率的定义：状态转移概率是指，在执行动作a_t后，环境状态由s_t转移到s_t+1的概率。由于强化学习任务具有马尔可夫特性，即下一时刻的状态只由当前时刻的状态决定，因此，状态转移概率可表示为：

步骤S1.4、奖励函数的定义：执行动作后，强化学习环境会反馈一个奖励值，以衡量动作执行的好坏。目标是使得视频传输的吞吐量最大，因此，奖励函数定义为： 其中，第一项/>表示最大化吞吐量，其中i(1≤i≤I)表示路径i，I表示总的路径数；第二项中α是重新缓冲的惩罚因子，rebuf表示重新缓冲的时间；第三项中β表示时延惩罚因子，其中T＝MAX(T_t，i)_(1≤i≤I)表示总的下载时延；第四项中γ表示缓冲区惩罚因子，其中其中B₁，B₂是缓冲区上下限阈值，θ(0≤θ≤1)为缓冲区调节因子。

S2，对全局代理的神经网络参数θ_c和θ_a进行迭代优化，采用优化参数后的自适应编码决策模型获取最优编码策略，确定编码分组大小N和编码分组内数据包冗余大小R。

该步骤的输入为全局代理的神经网络参数θ_c和θ_a，全局迭代次数m，全局最大的迭代次数M，输出为迭代后的神经网络参数θ_c和θ_a。S3，定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包。

步骤S3.1、编码分组大小和编码分组内数据包冗余大小的确定：基于步骤S2，获得自适应编码决策结果。

步骤S3.2、编码矩阵的确定：网络编码可以打破数据包序列号和交付顺序之间的强约束关系。对于编码矩阵的使用，定义两个编码矩阵，一个为原始数据包的编码矩阵C_p，另一个为冗余编码矩阵C_r。

其中，c_ij表示高斯域GF(2⁸)中的数，矩阵C_p和C_r中的每一行都是线性无关的，从而保证在接收端的可解性。

步骤S3.4、编码数据包和冗余数据包的生成：根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数。首先，对于分组大小N,取原始数据包的编码矩阵C_p的前N行作为原始数据包的编码系数矩阵，其次，对于编码分组内冗余数据包大小R,取冗余编码矩阵C_r的前R行作为冗余数据包的编码系数矩阵。编码生成N+R个编码数据包。

自适应网络编码原理示意图如图3所示，Gi表示第i个分组，Pi表示第i个原始数据包，Ci表示编码完成的数据包。例如：对于第一个编码分组G1，编码分组大小N＝3,冗余大小R＝1。表示将三个数据包作为一组进行编码，同时还需要一个冗余的编码包C3。在无线网络传输过程中，由于网络原因造成丢包，如图中所示，数据包C3在传输过程中丢失了，因为在发送端增加了冗余包C3，所以接收端仍然可以解出原始数据包，这样，可以有效的避免数据包的重传。同时，对于接收方来说，及时数据包乱序到达，只要接收方收到足够数量的数据包，就可以解出原始的数据包，而不关心数据包的序列号。因此，网络编码可以打破数据包序列号和交付顺序之间的强约束关系。

S4，针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中。

具体地，针对步骤S3.4生成的编码数据包，分发到多条链路进行传输。由于采用网络编码，打破了打破数据包序列号和交付顺序之间的强约束关系。接收方并不关心接收的数据包的顺序，只需要接收足够的数据包就可以求解出原始的数据包，所以在发送方进行调度时，希望将编码完成的数据包尽快发送出去。基于路径质量的数据包分发算法在每一次调度分发时将根据每条路径的质量，选取最优的路径将编码的数据包调度到该路径的缓存中。路径i的质量定义为：Q_i＝(effwnd_i-unAck_i)*(1-Pl_i)，其中effwnd_i表示路径i的有效窗口，unAck_i表示已经发送但还未确认的数据包个数，Pl_i表示路径i的丢包率。选取所有路径中Q_i值最大的路径i,将数据包调度到该路径的发送缓存上。

S5，接收方根据接收到的数据包，确定解码矩阵，解码出原始数据包，递交上层应用。

实施例二

图2为本发明实施例的基于自适应网络编码的异构无线链路并发传输控制系统结构图。该控制系统包括基于A3C构建自适应编码决策模型、强化学习模块、网络编码模块、数据包分组模块、基于路径质量的数据分发模块和网络解码模块。

基于A3C构建自适应编码决策模型，其强化学习参数至少包括路径状态集、编码动作集和用于衡量动作执行好坏的奖励函数。

强化学习模块，用于对全局代理的神经网络参数θ_c和θ_a进行迭代优化，采用优化参数后的自适应编码决策模型获取最优编码策略，确定编码分组大小N和编码分组内数据包冗余大小R。

表1是其中一种强化学习模块的代码。

表1其中一种强化学习模块的代码

网络编码模块，用于定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包。表2是其中一种网络编码模块的代码例子。

表2其中一种网络编码模块的代码例子

数据包分组模块，用于基于强化学习模块获得的编码分组大小对数据包进行分组。

基于路径质量的数据分发模块，用于针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中。

表3是其中一种数据分发模块的代码例子。

网络解码模块，用于根据接收到的数据包，确定解码矩阵，解码出原始数据包，递交上层应用。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于自适应网络编码的异构无线链路并发传输控制方法，其特征在于，所述控制方法包括以下步骤：

S1，基于A3C构建自适应编码决策模型，定义A3C强化学习参数，强化学习参数至少包括路径状态集、编码动作集和用于衡量动作执行好坏的奖励函数；

S2，对全局代理的神经网络参数θ_c和θ_a进行迭代优化，采用优化参数后的自适应编码决策模型获取最优编码策略，确定编码分组大小N和编码分组内数据包冗余大小R，N和R均是大于1的整数值；

S3，定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包；

S4，针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中；

步骤S1中，所述定义模型参数的过程包括以下步骤：

S11，设定路径状态集St为：

S_t＝{Bw_t，Buffer_t，(N，R)，T，T_t，Pl_t}

式中，Bw_t＝{Bw_t，1，Bw_t，2，...，Bw_t，I}，Bw_t，i表示t时刻路径i的带宽大小，I表示链路总数；Buffer_t表示t时刻视频缓存，(N，R)表示过去时刻选择的编码分组大小N和R；T表示当前分组传输时延；T_t＝{T_t，1，T_t，2…，T_t，I}，T_t，i表示t时刻路径i的下载时延；Pl_t＝{Pl_t，1，Pl_t，2，...，Pl_t，I}，Pl_t，i表示t时刻路径i的丢包率，1≤i≤I；

S12，设定动作集a_t为：

a_t＝{N，R}

式中，N表示编码分组大小，R表示分组内冗余数据包大小，N和R都是整数值；

S13，定义状态转移概率

S14，定义奖励函数r_t：

式中，表示最大化吞吐量，其中Bw_t，i表示t时刻路径i的带宽大小；α是重新缓冲的惩罚因子，rebuf表示重新缓冲的时间；β表示时延惩罚因子，T＝MAX(T_t，i)_(1≤i≤I)表示总的下载时延；γ表示缓冲区惩罚因子，

B₁，B₂是缓冲区上下限阈值，θ为缓冲区调节因子，0≤θ≤1；

步骤S2中，对全局代理的神经网络参数θ_c和θ_a进行迭代优化的过程包括：

S201，输入全局代理的神经网络参数θ_c和θ_a、全局最大的迭代次数M，令全局迭代次数m＝1；

S202，初始化时间t＝0；

S203，初始化起始状态s_t＝s₀；初始化神经网络参数增量dθ_c＝0，dθ_a＝0；将全局代理的神经网络参数赋值给局部代理θ′_c＝θ_c，θ′_a＝θ_a；s₀表示t＝0时的网络状态；

S204，设t＝1；

S205，基于策略π(a_t|s_t；θ′_a)，执行动作a_t，从视频播放环境中获得奖励值r_t和新的状态s_t+1；

S206，令t＝t+1，m＝m+1；重复步骤S205，直至t＝N+1；

S207，计算状态s_N的值函数

S208，令i＝N-1；

S209，更新θ_a的增量 更新θ_c的增量/> 式中，/>表示优势函数，即运用策略π(θ_a)所获奖励与预期奖励的差值；H(.)表示正则化熵值，以保证决策代理充分地探索环境空间，γ表示折扣因子，0＜γ＜1；

S210，令i＝i-1，重复步骤S209，直至i＝0；

S211，更新全局代理的网络参数θ_a←θ_a+wdθ_a，θ_c←θ_c-αdθ_c；其中，w表示Actor网络的更新步长，a表示Critic网络的更新步长；

S212，令m＝m+1，重复步骤S23至S211，直至m＞M，输出迭代后的网络参数θ_c和θ_a。

2.根据权利要求1所述的基于自适应网络编码的异构无线链路并发传输控制方法，其特征在于，所述控制方法还包括：

S5，接收方根据接收到的数据包，确定解码矩阵，解码出原始数据包，递交上层应用。

3.根据权利要求1所述的基于自适应网络编码的异构无线链路并发传输控制方法，其特征在于，步骤S3中，编码生成N+R个编码数据包的过程包括以下步骤：

S31，定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r：

其中，c_ij表示高斯域GF(2⁸)中的数，矩阵C_p和C_r中的每一行都是线性无关的；i和j表示第i行第j列的编码系数；

S32，取原始数据包的编码矩阵C_p的前N行作为原始数据包的编码系数矩阵，取冗余编码矩阵C_r的前R行作为冗余数据包的编码系数矩阵，编码生成N+R个编码数据包。

4.根据权利要求1所述的基于自适应网络编码的异构无线链路并发传输控制方法，其特征在于，步骤S4中，针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发的过程包括以下步骤：

根据下述公式计算每条路径的路径质量：

Q_i＝(effwnd_i-unAck_i)*(1-Pl_i)

其中，effwnd_i表示路径i的有效窗口，unAck_i表示已经发送但还未确认的数据包个数，Pl_i表示路径i的丢包率；

选取所有路径中Q_i值最大的路径，将数据包调度到该路径的发送缓存上。

5.一种基于权利要求1-4任一项中所述方法的基于自适应网络编码的异构无线链路并发传输控制系统，其特征在于，所述控制系统包括：

基于A3C构建自适应编码决策模型，其强化学习参数至少包括路径状态集、编码动作集和用于衡量动作执行好坏的奖励函数；

强化学习模块，用于对全局代理的神经网络参数θ_c和θ_a进行迭代优化，采用优化参数后的自适应编码决策模型获取最优编码策略，确定编码分组大小N和编码分组内数据包冗余大小R；

网络编码模块，用于定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包；

数据包分组模块，用于基于强化学习模块获得的编码分组大小对数据包进行分组；

基于路径质量的数据分发模块，用于针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中；

网络解码模块，用于根据接收到的数据包，确定解码矩阵，解码出原始数据包，递交上层应用。