CN108282238B - 一种基于网络编码技术的中继选择方法及装置 - Google Patents

Abstract

本发明提出一种基于网络编码技术的中继选择方法及装置，方法包括：首先根据通信质量，选择最优的中继，然后根据各种网络编码方式的干扰容量，选取干扰最小的网络编码方式，保证了信息的有效传输，同时也最大化系统资源的利用率；干扰最小的网络编码方式的选择采用强化学习的方法，通过感知环境状态信息来学习动态系统的最优策略，通过试错法不断与环境交互获得策略的改进，为用户选择通信质量最优的中继和干扰最小的网络编码方式。

Description

一种基于网络编码技术的中继选择方法及装置

技术领域

本发明涉及无线通信技术领域，特别涉及一种适用于无线网络的基于网络编码技术的中继选择方法及装置。

背景技术

随着信息化时代的发展，网络覆盖的需求越来越强。在传统的蜂窝网络架构中引入中继基站，并且使用多跳链路，移动终端可以经过一个或多个中继站与基站相连，有效增强无线网络的覆盖范围，提高吞吐量。

网络编码技术的基础原理是在网络中的各个节点上，对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下游节点，中间节点扮演着编码器或信号处理器的角色。传统的通信网络节点传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发器的角色；网络编码转变了传统节点的角色，在节点上对数据进行编码、处理，有效提高网络吞吐量、鲁棒性和安全性，目前在无线网络、P2P系统、分布式文件存储和网络安全等领域应用广泛。

中继协作通信是扩大无线网络覆盖的有效措施。然而协作中继转发会占用额外的信道资源，导致系统资源利用率下降，而网络编码能够提高系统吞吐量。同时，中继能有效降低网络编码应用于无线通信中时带来的噪声、衰落和干扰。

发明内容

本发明的目的在于克服现有技术之不足，提出一种基于网络编码技术的中继选择方法及装置，在中继协作转发中使用网络编码，选出使用户当前效用最优的中继和相应的网络编码方式；在综合考虑系统吞吐量、数据传输速率、带宽利用率、小区间的业务流量、信号覆盖范围等因素的同时，满足低噪声少干扰的传输需求，并且还能实现系统资源利用率高的目的。

本发明解决其技术问题所采用的技术方案是：

一种基于网络编码技术的中继选择方法，包括：

步骤1，用户(移动终端)根据周围环境选择通信质量最好的通信节点(中继或基站)；

步骤2，通信质量最好的通信节点采用强化学习选取干扰容量最大的网络编码方式。

优选的，所述步骤1，包括：

步骤1.1，根据用户与通信节点的距离，选择距离最近的三个通信节点；

步骤1.2，计算用户与最近的三个通信节点的信噪比，比较得出信噪比最大的通信节点作为通信质量最好的通信节点。

优选的，所述步骤2，包括：

步骤2.1，通信质量最好的通信节点计算使用各种网络编码方式编码和不使用网络编码的干扰容量；

步骤2.2，通信质量最好的通信节点使用强化学习，更新干扰容量，选取干扰容量最大的网络编码方式。

优选的，所述步骤2.2，包括：

步骤2.2.1，将计算出的使用各种网络编码方式编码和不使用网络编码的干扰容量数据作为学习样本输入学习模块；采用Q学习算法来学习最优码本；

步骤2.2.2，初始化Q函数值表中的所有Q函数值，Q函数值初值的选取可以为任意值；初始化环境状态s和中继的网络编码方式a，环境状态s根据当前信道状态进行初始化，中继的网络编码方式a在放大转发、解码转发、压缩转发、降噪转发、检测转发和量化转发中任意选取；

步骤2.2.3，通过当前环境状态s和中继的网络编码方式a，评估对应的干扰容量；

步骤2.2.4，将当前干扰容量作为当前动作的即时回报值；

步骤2.2.5，根据下式更新状态－动作对(s,a)所对应的Q函数值，并更新Q值表；

其中，α∈[0,1]为学习因子，用于控制学习的速度；λ_k表示第k次迭代的干扰容量；

γ∈[0,1]是强化学习的折扣因子；s^k表示第k次迭代的环境状态，s^k+1表示第k+1次迭代的环境状态；a^k表示第k次迭代的网络编码方式，a^k+1表示第k+1次迭代的网络编码方式；

Q(s^k,a^k)表示状态－动作对(s^k,a^k)的Q学习函数；V(s^k+1)表示第k+1次迭代信道状态变化情况下最大的Q(s^k+1,a^k+1)值；k为正整数；

步骤2.2.6，学习模块将不断根据新的状态选择动作，重复步骤2.2.3，通过不断的反复学习优化一个迭代计算的Q函数，直至Q函数值收敛，学习结束；最终得到干扰最小的网络编码方式；

步骤2.2.7，输出最优网络编码方式。

优选的，网络编码方式包括：放大转发、解码转发、压缩转发、降噪转发、检测转发和量化转发。

一种基于网络编码技术的中继选择装置，包括中继选择模块和网络编码方式选择模块；在中继选择模块，用户根据周围环境选择通信质量最好的通信节点；在网络编码方式选择模块，通信质量最好的通信节点采用强化学习选取干扰容量最大的网络编码方式。

优选的，所述中继选择模块包括：

通信节点选择单元，用于根据用户与通信节点的距离，选择距离最近的三个通信节点；

信噪比计算单元，用于计算用户与最近的三个通信节点的信噪比，比较得出信噪比最大的通信节点作为通信质量最好的通信节点。

优选的，所述网络编码方式选择模块包括：

干扰容量计算单元，通信质量最好的通信节点计算使用各种网络编码方式编码和不使用网络编码的干扰容量；

网络编码方式选择单元，通信质量最好的通信节点使用强化学习，更新干扰容量，选取干扰容量最大的网络编码方式。

本发明一种基于网络编码技术的中继选择方法及装置，用于增强无线网络的覆盖范围，提高吞吐量，使得网络系统提高系统吞吐量的同时降低噪声、衰落和干扰的影响；本发明的重点是在用户端选择通信质量最优的中继和干扰最小的网络编码方式；网络编码和协作通信两种技术相互补，二者融合在一起，发挥各自的优势。

本发明一种基于网络编码技术的中继选择方法及装置首先根据通信质量，选择最优的中继，然后根据各种网络编码方式的干扰容量，选取干扰最小的网络编码方式，保证了信息的有效传输，同时也最大化系统资源的利用率。

本发明提出的中继选择方法引入了强化学习，利用了强化学习具有对环境的先验知识要求低的优点，选择干扰最低的网络编码方式；由于已知当前网络编码方式，下一次用户为中继选取网络编码方式与之前的网络编码方式无关，即无后效性，所以网络编码方式的选择是马尔可夫过程，可以使用强化学习；本发明能达到最大化用户的通信质量与资源利用率的效果，并且能够满足动态环境的信息传输需求。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于网络编码技术的中继选择方法及装置不局限于实施例。

附图说明

图1为本发明的中继蜂窝小区模型示意图；

图2为本发明的多址接入中继信道模型示意图；

图3为本发明的中继和网络编码方式选择流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。

本实施例的中继选择方法部署方式是基于如图1所示的中继蜂窝小区模型，基站位于小区的中心，小区内部部署6个中继，各个中继位于小区半径上距中心2R/3处(R为小区半径)。该模型能获得最佳的中继传输性能，每个中心用户和每个边缘用户等概率地获得资源块，保障了调度的公平性；边界处用户的接收信号强度相等，提升了小区边缘的吞吐量。

本发明的多址接入中继信道模型示意图如图2所示，多址接入中继信道的方法包括如下步骤：

用户将信号广播，周围的基站、中继、相应的信宿都能接收到相应的信号；

用户计算用户与最近的三个通信节点的信噪比，比较得出信噪比最大的通信节点，作为用户的中继协作转发节点；

相应通信节点将信号进行处理后转发给信宿；

信宿通过处理从用户接收到的信号和从中继接收到的信号，得到信宿需要的信号。

本实施例的中继和网络编码方式选择流程图如图3所示，包括如下步骤：

用户将信号广播，周围的基站、中继、相应的信宿都能接收到相应的信号；

用户计算用户与最近的三个通信节点的信噪比，比较得出信噪比最大的通信节点，作为用户的中继协作转发节点；

相应通信节点计算使用各种网络编码方式编码和不使用网络编码的干扰容量，使用强化学习，寻找干扰容量最大的网络编码方式。

本实施例中可供选择的网络编码方式有放大转发、解码转发、压缩转发、降噪转发、检测转发和量化转发。放大转发是无需进行网络编码，在中继上直接进行信号的放大再转发的方式，也是传统中继在协作通信中扮演的角色。解码转发是中继对接收到的信号解码、编码再转发的过程，有效提高频谱利用率。使用压缩转发，全双工中继可以监听并压缩信号，有效降噪、提高信道利用率。降噪转发是在中继转发信号之前先进行去噪，针对需求零噪声的应用场景。检测转发是中继对接收到的信号进行解调、调制、转发的一种网络编码方式，可以给目的结点提供平均用户间信道的信噪比。使用量化转发，中继将接收到的信号先进行量化再转发，有效抑制干扰。在中继转发过程中加上网络编码技术，可以有效提高网络吞吐量、均衡网络负载、提高带宽利用率、提升网络鲁棒性。针对不同用户、不同应用场景，各种网络编码方式可以发挥他们的优势。因此，本实施例使用强化学习，根据各种网络编码方式对用户的去噪性能，选取最优的网络编码方式。

强化学习过程包括如下步骤：

步骤a，将计算出的各种网络编码方式编码和不使用网络编码的干扰容量数据作为学习样本输入学习模块。这里采用Q学习算法来学习最优码本，Q学习是强化学习的主要算法之一，Q学习基于的一个关键假设是智能体和环境的交互可看作为一个Markov决策过程(MDP)，即智能体当前所处的状态和所选择的动作，决定一个固定的状态转移概率分布、下一个状态、并得到一个即时回报。Q学习的目标是寻找一个策略可以最大化将来获得的报酬。

步骤b，初始化Q函数值表中的所有Q函数值。Q函数值初值的选取可以为任意值。为了加快学习的速度，可以依据一定的经验知识对一函数值的初值进行赋值，使Q函数值表更符合网络的运行规律，避免不必要的学习过程，提高学习效率。同时初始化环境状态s和中继的网络编码方式a，环境状态s根据当前信道状态进行初始化，中继的网络编码方式a在放大转发、解码转发、压缩转发、降噪转发、检测转发和量化转发中任意选取。

步骤c，通过当前环境状态s和中继的网络编码方式a，评估对应的干扰容量。

步骤d，将当前干扰容量作为当前动作的即时回报值。

步骤f，根据式(1)更新状态－动作对(s,a)所对应的Q函数值，并更新Q值表。

其中，α∈[0,1]为学习因子，用于控制学习的速度；λ_k表示第k次迭代的干扰容量；γ∈[0,1]是强化学习的折扣因子；s^k表示第k次迭代的环境状态，s^k+1表示第k+1次迭代的环境状态；a^k表示第k次迭代的网络编码方式，a^k+1表示第k+1次迭代的网络编码方式；Q(s^k,a^k)表示状态－动作对(s^k,a^k)的Q学习函数；V(s^k+1)表示第k+1次迭代信道状态变化情况下最大的Q(s^k+1,a^k+1)值；k为正整数。智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值。

步骤g，学习模块将不断根据新的状态选择动作，重复步骤c，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束。最终得到干扰最小的网络编码方式，

步骤h，输出最优网络编码方式。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于网络编码技术的中继选择方法，其特点在于，包括：

步骤1，用户根据周围环境选择通信质量最好的通信节点；

步骤2，通信质量最好的通信节点采用强化学习选取干扰容量最大的网络编码方式；

所述步骤2，包括：

步骤2.1，通信质量最好的通信节点计算使用各种网络编码方式编码和不使用网络编码的干扰容量；

步骤2.2，通信质量最好的通信节点使用强化学习，更新干扰容量，选取干扰容量最大的网络编码方式；

所述步骤2.2，包括：

步骤2.2.1，将计算出的使用各种网络编码方式编码和不使用网络编码的干扰容量数据作为学习样本输入学习模块；采用Q学习算法来学习最优码本；

步骤2.2.2，初始化Q函数值表中的所有Q函数值，Q函数值初值的选取可以为任意值；初始化环境状态s和中继的网络编码方式a，环境状态s根据当前信道状态进行初始化，中继的网络编码方式a在放大转发、解码转发、压缩转发、降噪转发、检测转发和量化转发中任意选取；

步骤2.2.3，通过当前环境状态s和中继的网络编码方式a，评估对应的干扰容量；

步骤2.2.4，将当前干扰容量作为当前动作的即时回报值；

步骤2.2.5，根据下式更新状态－动作对(s,a)所对应的Q函数值，并更新Q值表；

其中，α∈[0,1]为学习因子，用于控制学习的速度；λ_k表示第k次迭代的干扰容量；γ∈[0,1]是强化学习的折扣因子；s^k表示第k次迭代的环境状态，s^k+1表示第k+1次迭代的环境状态；a^k表示第k次迭代的网络编码方式，a^k+1表示第k+1次迭代的网络编码方式；Q(s^k,a^k)表示状态－动作对(s^k,a^k)的Q学习函数；V(s^k+1)表示第k+1次迭代信道状态变化情况下最大的Q(s^k+1,a^k+1)值；k为正整数；

步骤2.2.6，学习模块将不断根据新的状态选择动作，重复步骤2.2.3，通过不断的反复学习优化一个迭代计算的Q函数，直至Q函数值收敛，学习结束；最终得到干扰最小的网络编码方式；

步骤2.2.7，输出最优网络编码方式。

2.根据权利要求1所述的基于网络编码技术的中继选择方法，其特征在于，所述步骤1，包括：

步骤1.1，根据用户与通信节点的距离，选择距离最近的三个通信节点；

步骤1.2，计算用户与最近的三个通信节点的信噪比，比较得出信噪比最大的通信节点作为通信质量最好的通信节点。

3.一种基于网络编码技术的中继选择装置，其特点在于，包括中继选择模块和网络编码方式选择模块；在中继选择模块，用户根据周围环境选择通信质量最好的通信节点；在网络编码方式选择模块，通信质量最好的通信节点采用强化学习选取干扰容量最大的网络编码方式；

所述网络编码方式选择模块包括：

干扰容量计算单元，通信质量最好的通信节点计算使用各种网络编码方式编码和不使用网络编码的干扰容量；

网络编码方式选择单元，通信质量最好的通信节点使用强化学习，更新干扰容量，选取干扰容量最大的网络编码方式；

通信质量最好的通信节点使用强化学习，更新干扰容量，选取干扰容量最大的网络编码方式，具体包括：

步骤2.2.1，将计算出的使用各种网络编码方式编码和不使用网络编码的干扰容量数据作为学习样本输入学习模块；采用Q学习算法来学习最优码本；

步骤2.2.2，初始化Q函数值表中的所有Q函数值，Q函数值初值的选取可以为任意值；初始化环境状态s和中继的网络编码方式a，环境状态s根据当前信道状态进行初始化，中继的网络编码方式a在放大转发、解码转发、压缩转发、降噪转发、检测转发和量化转发中任意选取；

步骤2.2.3，通过当前环境状态s和中继的网络编码方式a，评估对应的干扰容量；

步骤2.2.4，将当前干扰容量作为当前动作的即时回报值；

步骤2.2.5，根据下式更新状态－动作对(s,a)所对应的Q函数值，并更新Q值表；

其中，α∈[0,1]为学习因子，用于控制学习的速度；λ_k表示第k次迭代的干扰容量；γ∈[0,1]是强化学习的折扣因子；s^k表示第k次迭代的环境状态，s^k+1表示第k+1次迭代的环境状态；a^k表示第k次迭代的网络编码方式，a^k+1表示第k+1次迭代的网络编码方式；Q(s^k,a^k)表示状态－动作对(s^k,a^k)的Q学习函数；V(s^k+1)表示第k+1次迭代信道状态变化情况下最大的Q(s^k+1,a^k+1)值；k为正整数；

步骤2.2.6，学习模块将不断根据新的状态选择动作，重复步骤2.2.3，通过不断的反复学习优化一个迭代计算的Q函数，直至Q函数值收敛，学习结束；最终得到干扰最小的网络编码方式；

步骤2.2.7，输出最优网络编码方式。

4.根据权利要求3所述的基于网络编码技术的中继选择装置，其特征在于，所述中继选择模块包括：

通信节点选择单元，用于根据用户与通信节点的距离，选择距离最近的三个通信节点；

信噪比计算单元，用于计算用户与最近的三个通信节点的信噪比，比较得出信噪比最大的通信节点作为通信质量最好的通信节点。

Images