CN108809881A

CN108809881A - 一种基于改进的exp3算法水下自适应ofdm通信方法

Info

Publication number: CN108809881A
Application number: CN201810410315.1A
Authority: CN
Inventors: 李鑫滨; 赵海红; 闫磊; 韩松; 张玲梅
Original assignee: Yanshan University
Current assignee: Yanshan University
Priority date: 2018-05-02
Filing date: 2018-05-02
Publication date: 2018-11-13
Anticipated expiration: 2038-05-02
Also published as: CN108809881B

Abstract

一种基于改进的EXP3算法水下自适应OFDM通信方法，基于MAB理论，建立自适应OFDM通信系统决策模型；运用正交试验方法，根据需调参数及其水平与数据传输速率的关系，选择正交表，完成正交试验；采用极差分析法处理数据，判断每个参数以及同一参数的不同水平对于数据传输速率的影响程度，删除部分不重要的水平，完成对参数组合的初筛；学习执行器根据评价器的建议随机选择调制参数，相应的回值将回馈至学习执行器与评价器，在评价器中进行回值估计和权重更新；评价器依照平衡“探索与利用”的原则更新策略选择概率函数；判断当前操作次数加1后是否超过预设的总操作次数，如果判定没超过则学习执行器继续做决策，否则结束算法，最终实现网络吞吐量的最大化。

Description

一种基于改进的EXP3算法水下自适应OFDM通信方法

技术领域

本发明涉及水声传感器智能感知技术领域，尤其是一种基于改进EXP3算法的水下自适应OFDM通信机制。

背景技术

水下自适应OFDM通信，旨在通过水下水声传感网络的通信与计算能力，根据水下信道环境变化，自适应调节载波选择、发射功率、编码及调制方式等发射参数，实现网络吞吐量的最大化。水下自适应OFDM通信技术可建立高效、稳定、畅通的通信链路，为海洋资源开发、水下探测预防、海军防卫等应用提供理论依据和技术支撑。增强学习理论近年来在无线通信网络层决策选择问题中得到了广泛的研究与应用，在决策问题中，多臂老虎机框架中的Exp3算法具有算法程序简洁、不依赖于任何分布、应用范围广的特点。在水声通信网络中，OFDM具有需调参数多，参数可调范围广的特点，可选择的调制参数组合的数量呈指数型增长。另外，相比于陆地环境，水下环境更加复杂包括窄带宽、快时变、严重的多径反射等。上述弱通信环境特征以及高复杂度的多参数联合优化特点，使得水下自适应OFDM通信成为一个挑战性的问题。

经对现有文献检索发现，中国专利申请号为CN201611105988.3，名称为“水声通信网络OFDM链路物理层与MAC层跨层通信方法”，该方法通过信道估计等技术获取信道信息，以有效信噪比(ESNR)准确反映信道情况，并据此自适应选择调制参数。然而，快变环境下的多普勒频移、长时延等因素导致信道估计性能下降，无法准确获得信道信息，从而影响调制参数选择的最优性，同时也降低了水下OFDM通信的自适应能力。

另外，中国专利申请号为CN201510638328.0，名称为“一种载波频率自适应水下通信方法及其装置”，该方法考虑到固定的载波频率限制了的水声通信网络吞吐量的优化，提出一种载波频率值可根据工作距离进行调整的自适应水下通信方法，以适应复杂多变的水声通道特性。但是该方法未考虑前向纠错编码等参数对系统性能的影响，缺乏对于水声OFDM系统高效多参数联合调解方法的相关研究。

发明内容

本发明目的在于提供一种不依赖完美信道信息、可对抗强时变性水声信道的、低复杂度、高效多参数联合调节的基于改进的EXP3算法水下自适应OFDM通信方法。

为实现上述目的，采用了以下技术方案：本发明所述方法包括以下步骤：

步骤1，确定水声通信链路中需要调配的参数及每个参数的可配置数值(记为水平)，参数包括编码方式、调制方式、子载波数量；基于多臂老虎机理论建立自适应OFDM通信系统决策模型，利用增强学习机制代替传统自适应OFDM通信中的接收机信道状态反馈过程；

步骤2，运用正交试验方法，根据步骤1中确定的需调参数、每个参数的可配置数值与数据传输速率的关系，选择正交表，确定正交试验方案；对采样调制参数组合进行数次重复试验，收集试验数据，取平均值，通过计算获得每组试验参数下的数据传输速率；

步骤3，用极差分析法处理在步骤2中获得的每组试验参数下的数据传输速率，以判断每个参数以及同一参数的不同水平对于网络吞吐量的影响程度，并据此删除部分不重要的水平，完成对参数组合的初筛；

步骤4，学习执行器根据评价器的建议随机选择即将传输的数据包的调制参数，相应的回值将回馈至学习执行器与评价器，并在评价器中进行回值估计和权重更新；

步骤5，评价器将得到的回值纳入历史回值范围，基于EXP3算法，依照平衡“探索与利用”的原则更新策略选择概率函数；

步骤6，判断当前操作次数加1后是否超过预设的总操作次数，如果判定没超过则返回步骤4，否则结束算法。

进一步的，步骤1是将发射机的可选择参数配置组合建模成决策者的选择项，发射机只需要根据接收机的回值反馈做出参数调节，不再依赖于完美信道状态信息。

进一步的，步骤3中，使用如下的公式对数据进行处理：

σ_n＝max(k_n1,k_n2,...,k_nM)-min(k_n1,k_n2,...,k_nM)

采用如下规则进行判断：

1)当参数n一定时，k_nm越大，参数n的第m水平对于数据传输速率的影响越大；

2)σ_n越大，参数n对于数据传输速率的影响越大；

式中n＝1,2,..,N表示参数，m＝1,2,...,M表示每个参数的可配置水平(操作时带入实际数值)，μ_nm为参数n的第m水平参与配置的参数组合所对应的数据传输速率。

进一步的，在步骤4中，所述的回值反馈至评价器并进行回值估计和权重更新，其回值估计公式和权值更新计算如下：

式中，r_j(t)表示在训练时间t策略j的回值；p_j(t)是在时刻t的策略j的概率值；u(t)是在t时刻被选中的策略；γ为探索因子，ω_i(t)表示在t时刻策略i的权重；K表示所有策略总数。

进一步的，在步骤5中，基于EXP3算法，依照平衡“探索和利用”的原则更新策略选择概率函数，使用下式作为策略选择概率函数：

与现有技术相比，本发明具有如下优点：

1、通过建立基于MAB理论的水下自适应OFDM通信系统决策模型，使得学习机制代替传统自适应OFDM通信中的接收机信道状态信息反馈过程，实现“1-bit反馈”，有效降低反馈信息带宽占用率；

2、通过采用正交试验法和极差分析法，科学有效的完成决策行动的初筛，降低了多参数联合优化的算法复杂度，同时也解决了硬件设备可承受的问题；

3、EXP3算法具有较强的学习能力、抗干扰和自适应能力，将其应用于自适应OFDM通信系统中，不需要假设发射机可获得理想信道状态，也摆脱了对信道状态信息的统计性假设，提高了水下自适应OFDM通信系统的有效性和可操作性。

附图说明

图1为本发明的水下自适应OFDM通信机制的流程图。

图2为本发明的基于MAB理论的自适应OFDM通信系统模型示意图。

图3为本发明在实施例1的水下通信环境下与传统EXP3算法的仿真对比图。图4为本发明在实施例2的水下通信环境下与传统EXP3算法的仿真对比图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示，本发明方法包括以下步骤：

步骤1，图2所示为本发明基于MAB理论对自适应OFDM通信系统建立的决策模型，利用学习机制代替传统自适应OFDM通信中的接收机信道状态反馈过程。在水声通信链路调谐中，根据需要确定需调参数，记为n＝1,2,...,N，每个参数的可配置数值的水平记为m＝1,2,..,M(实际操作中带入真实数值)。将K＝M^N个OFDM发射机的可选择参数组合建模成决策者的选择项，每个策略的回值(数据传出速率)不需要服从任何概率分布。

步骤2，运用正交试验方法，根据步骤1中确定的需调参数及其水平与数据传输速率的关系，选择正交表，确定正交试验方案。对采样调制参数组合进行数次重复试验，收集试验数据，取平均值，通过计算获得每组试验参数下的数据传输速率。

步骤3，用极差分析法处理在步骤2中获得的每组试验参数下的数据传输速率，系采用如下公式进行数据处理

σ_n＝max(k_n1,k_n2,...,k_nM)-min(k_n1,k_n2,...,k_nM)

μ_nm为参数n的第m水平参数配置的参数组合所对应的数据传输速率，σ_n表示参数n的方差。利用上述数据结果，对于不同参数以及同一参数的不同数值对于优化目标的影响程度，其判定规则如下：

1)当n一定时，对于m＝1,2,...,M，k_nm越大表示数值水平m对于网吐量的影响程度越大。

2)对于n＝1,2,...,N，σ_n越大表示参数n对于吞吐量的影响程度越大。

据此适当删除部分不重要的数值，完成对所有参数的初筛，此时可用的参数组合数为K'。

步骤4，训练时刻t，在剩余参数组合的基础上，学习执行器选择策略i_t，作用于外部环境后，相应的回值x(t)将回馈至学习执行器与评价器。评价器将回值纳入历史回值范围，并对回值作出估计，然后根据回执估计值更新每个策略的权重，具体回值估计及权重更新规则如下：

对于j＝1,2,...,K'

对于i＝1,2,...,K'

其中，r_j(t)表示在训练时间t策略j的回值，p_i(t)表示在t时刻策略i的能够被选择的概率，u(t)是在t时刻被选中的策略，ω_i(t)表示在t时刻策略i的权重，探索因子γ表示整个算法的探索水平。

步骤5，根据回值估计和策略权重，评价器依照平衡“探索和利用”的原则更新策略选择概率函数，即

然后学习执行器根据评价器建议的的决策选择概率分布，随机做出对下一次的选择。

步骤6，操作次数加1，判断此时的t+1是否超出预设的总的操作次数T。如果t+1≤T，则返回步骤4；如果t+1＞T，则结束算法。

综上所述，本发明是一种基于机器学习理论处理水声OFDM通信自适应多参数联合优化的方法，适用于水下多径反射，长时延及强不确定性的水下通信环境。通过利用MAB理论对OFDM通信网络建模，摆脱了对信道环境信息的依赖，同时提出正交试验的方法科学有效的降低了算法的复杂度，提高了水声通信的可操作性。

实施例1

该例适用于OFDM水声通信链路中有四个需调参数，且每个参数的可配置值有三个的情形。

步骤1，在此水声通信链路调谐中，有四个需调参数且每个参数的可配置数值有三个，那么OFDM发射机的可选择参数配置有64个(4³)。基于MAB理论对自适应OFDM通信系统建立的决策模型，把每个参数组合建模成决策者的选择项。

步骤2，根据步骤1中的应用情形，选择四参数三水平的正交表A(9；4；3)如表1所示。确定正交试验方案后，对少数且具有代表性的调制参数组合进行数次重复试验，收集试验数据，取平均值，通过计算获得每组试验参数下的数据传输速率。

表1正交表OA(9；4；3)

步骤3，如表2所示，是在表1基础上的用于极差分析的数据分析表，

σ_n＝max(k_n1,k_n2,...,k_nM)-min(k_n1,k_n2,...,k_nM)

利用上述计算结果，对于不同参数以及同一参数的不同数值对于优化目标的影响程度，其判定规则如下：

表2极差分析表

	Factor1	Factor2	Factor3	Factor4
					K_·1	k₁₁	k₂₁	k₃₁	k₄₁
K_·2	k₁₂	k₂₂	k₃₂	k₄₂
					K_·3	k₁₃	k₂₃	k₃₃	k₄₃
σ	σ₁	σ₂	σ₃	σ₄

对于j＝1,2,...,K'

对于i＝1,2,...,K'

图3描述了在该情况下分别使用传统EXP3算法和本发明在相同训练时间内经过连续决策产生的累积后悔值，累积后悔值的收敛速度反映了学习算法的自适应学习能力。本发明相较于传统的EXP3算法大大提高的水下自适应OFDM通信的自适应能力和速度。

实施例2

在该实施例中，将本发明应用于有三个需调参数，且每个参数有五个可配置水平的水下自适应OFDM通信系统中。实验步骤与实例1所述大致相同，但在步骤2，所选的正交表是OA(25；3；5)，步骤3中所选的极差分析表也会变化。

图4描述了在该情况下分别使用传统EXP3算法和本发明经过连续决策后，产生的累积后悔值的情况。同样，相较于传统的EXP3算法，本发明有效提高了水下自适应OFDM通信的自适应能力和速度。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims

1.一种基于改进的EXP3算法水下自适应OFDM通信方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于改进的EXP3算法水下自适应OFDM通信方法，其特征在于：步骤1是将发射机的可选择参数配置组合建模成决策者的选择项，发射机只需要根据接收机的回值反馈做出参数调节。

3.根据权利要求1所述的一种基于改进的EXP3算法水下自适应OFDM通信方法，其特征在于，步骤3中，使用如下的公式对数据进行处理：

σ_n＝max(k_n1,k_n2,...,k_nM)-min(k_n1,k_n2,...,k_nM)

采用如下规则进行判断：

2)σ_n越大，参数n对于数据传输速率的影响越大；

4.根据权利要求1所述的一种基于改进的EXP3算法水下自适应OFDM通信方法，其特征在于，在步骤4中，所述的回值反馈至评价器并进行回值估计和权重更新，其回值估计公式和权值更新计算如下：

5.根据权利要求1所述的一种基于改进的EXP3算法水下自适应OFDM通信方法，其特征在于，在步骤5中，基于EXP3算法，依照平衡“探索和利用”的原则更新策略选择概率函数，使用下式作为策略选择概率函数：