CN104765958B

CN104765958B - 一种基于连续状态空间的认知无线电接入问题新型算法模型

Info

Publication number: CN104765958B
Application number: CN201510136224.XA
Authority: CN
Inventors: 江虹; 刘寅; 张秋云; 熊凯; 刘燕; 郭秋梅; 何小利
Original assignee: Southwest University of Science and Technology
Current assignee: Southwest University of Science and Technology
Priority date: 2015-03-27
Filing date: 2015-03-27
Publication date: 2017-07-21
Anticipated expiration: 2035-03-27
Also published as: CN104765958A

Abstract

本发明属于认知无线电、智能算法优化领域。当前，随着无线通信技术及其应用的发展，无线网频谱资源已几乎被分配殆尽，但其实际利用率又极低。针对该问题，现有的智能求解算法模型存在如下问题：1.无法使用连续状态空间进行决策；2.无法兼顾功率分配与信道分配的综合决策；3.算法复杂度高。为此，本发明使用基于连续状态空间的POMDP模型为无线网功率、信道分配问题建模，并通过MCVI算法进行决策。为加快算法运行速度，使用NSGA2算法对其进行优化。主要发明点包括：1.功率状态空间使用连续实数空间进行决策；2.使用基于连续状态空间的POMDP模型为无线网功率、信道分配问题建模；3.使用NSGA2改进MCVI算法并使用改进后的算法解决认知无线电接入问题。

Description

一种基于连续状态空间的认知无线电接入问题新型算法模型

技术领域

本发明主要针对基于功率、信道分配的无线网接入决策算法模型进行设计。涉及无线网功率、信道分配、部分可观察马尔科夫模型（Partially Observable MarkovDecision Process, POMDP）、非支配排序遗传算法（Non-dominated Sorting geneticalgorithm, NSGA2）、蒙特卡罗值迭代算法（Monte Carlo Value Iteration, MCVI）。旨在通过一种新型的算法模型，解决带功率分配的无线网信道接入决策问题，提高局部范围内无线网吞吐量。属于认知无线电、智能算法优化领域。

背景技术

当前，随着无线通信技术及其应用的发展，许多应用领域对无线网传输的速率和质量都提出了较高的要求。但由于无线设备增长速度迅猛，有限的无线网频带已无法满足需求，由此显现出如下3个重要挑战：

1．如何解决网络资源几乎被分配殆尽但实际利用率又极低的矛盾；

2．存在多个无线网络时，如何能快速建立不同网络用户间的通信信道，并能满足用户一定的服务质量（QoS, quality of service）要求；

3．如何在复杂网络环境下，使通信终端完成无线网络自适应接入，从而提高网络运行的稳健性和网络维护的效率。

在以往算法设计中，主要通过博弈算法、经验公式等方法解决上述问题，但这类方法适应性较差，在不同网络传输环境下需要进行较大改动，降低了执行与决策效率。而在一些使用智能算法的方案中虽然弥补了适应性差的缺陷，但也存在如下问题:

1．难以解决连续状态空间下的智能决策问题；

2．无法兼顾无线网络中功率分配和信道分配的综合决策；

3．算法时间复杂度较高。

本发明基于这些问题，使用POMDP模型和MCVI算法提出了一种新型算法模型以解决带功率分配的无线网信道接入问题。与传统解决POMDP模型的算法不同，MCVI算法可解决连续状态空间下的POMDP问题，提高了决策结果的可信度，但算法执行速度较慢。

为了加快算法执行速度，本发明使用NSGA2优化MCVI算法，旨在通过改进后的算法模型，更加高效、可靠的解决无线网络中功率分配和信道分配问题。

发明内容

MCVI算法是解决连续状态空间下智能决策问题的有效离线算法，主要运用了蒙特卡罗模拟、信念树和决策图相互迭代更新的方法进行决策。算法执行完成后将生成最终决策图，该图将被运用于智能体的实时决策中。但原始的MCVI算法存在如下问题：

1.重复计算智能体相同或相似的状态，导致算法运行速率降低；

2.信念树和决策图的结点数随时间呈线性增长，当算法运行一段时间后，运行效率将明显降低；

3.对于实时性要求较高的智能决策问题，最终生成的决策图较大，不便于搜索，降低了智能体决策的实时性。

本发明针对上述三个问题，提出了一种使用NSGA2进行优化的新型算法模型。该模型通过MCVI算法的运行参数，使用NSGA2对决策图集合进行优化搜索，有效避免了相似信念点重复计算的问题，从而抑制信念树和决策图结点的快速增长，极大提高了算法运算效率和实际运用中的决策速度。NSGA2使用的MCVI运行参数包括：达到单步目标的运行时间、决策图结点数、模拟决策平均回报值。

基于改进后的算法模型，本发明将其运用到认知无线电网络接入问题中。解决的问题主要包括：1.当无线设备需要发送数据时，对发送信道和功率进行决策；2.发送数据时若当前信道被占用，无线设备选择等待或更换信道；3.数据发出后，发生冲突时如何处理。

为解决上述问题。主要发明内容如下：

1) 功率状态空间使用连续实数空间：在传统解决网络信道接入问题的智能算法中，功率状态空间一般为离散值，无法直接使用连续状态空间进行决策，该方法降低了最终决策结果的可信度。本发明针对这一缺陷，基于连续状态空间POMDP模型求解的MCVI算法，将其运用于无线网功率、信道分配问题中，有效解决了该问题并提高了最终决策的可信度。

2) 使用连续状态空间POMDP模型对无线网功率、信道分配问题建模：标准POMDP模型由多元组{S,A,O,T,Z,R,γ}组成，其中S、A、O分别表示智能体的状态、执行动作和观测结果，由于POMDP模型为部分可观测模型，所以无法准确确定智能体所处状态，通常使用信念集合B替代状态集合S，且每一个信念点都表示了S集合中所有状态可能出现的概率分布；T、Z分别表示状态转移概率函数和观测结果概率函数，其表达式分别为：T(s,a,s' )=p(s' |a,s)，Z(s,a,o)=p(o|a,s)；R表示单步决策回报值，表示为R(s,a)；γ表示折扣因子。

本发明中，设无线信道数为N，则B为维数组，前N维代表无线设备检测到相应信道的功率，功率值为非负实数；N+1至维代表各信道被其它终端连续占用的周期数，本发明中一个周期指两次动作决策间的时间间隔；第维代表当前无线设备需要发送数据的剩余字节数；第维代表当前无线设备正使用的发送信道；A为无线设备可选择动作集，设最大发送功率为P _max，最小发送功率为P _min，将区间[P _min,P _max]离散为k个点，则A集合中包含个动作(为保证算法运行速度在可接受范围内，)，将其编号为0到，0代表无线设备不发送任何数据，至分别代表向1~N号信道以功率发送数据，其中m为正整数且取值范围为[0,k]；O代表观测集合，该集合包含三个元素：{未发送数据，发送冲突，发送成功}；R代表单步决策回报值，包括成功完成数据发送回报值R _finish，冲突回报值R _crash，更换发送信道回报值R _change，等待回报值R _wait。

3) NSGA2算法在本问题中的适应性改进：NSGA2使用的计算个体为决策图，决策图是由多个结点组成。如图1所示，每个结点均包含一个决策动作信息(图中a ₁、a ₂)，结点间为单向通路连接，每条通路均对应一个观测值(图中o ₁、o ₂)。当无线设备检测到某一观测值时，可从当前决策动作所在结点沿标有对应观测值的路径查找下一个结点，既下一个决策动作。通过使用决策图反复查找、观测，无线设备将得到完整的动作序列。在原始的MCVI算法中，由于大量相似信念点的存在，导致较多动作序列被重复计算，本发明中基于NSGA2算法可有效避免这一问题，通过遗传算法的迭代更新策略可去除包含较多重复动作序列的决策图，从而提高算法模型运行效率。

NSGA2算法的基本流程为：首先结合MCVI的运行参数对种群中所有信念树个体非支配排序以确定个体优劣。排序完成后，NSGA2将通过选择、交叉、变异操作更新种群。其中选择操作使用基本的赌盘法从种群中选择两个个体，再通过随机概率决定是否执行交叉、变异。交叉操作是从选择出的两个个体中各随机选择一段动作序列进行交换。变异操作是随机选择一个或几个结点并随机改变其执行动作的编号。

附图说明

图1为决策图结构及MC-Backup过程示意图

图2为算法模型总体流程图

图3为信念树结构示意图

具体实施方法

图2为本算法模型使用算法流程图，为进一步说明本发明的内容、效果及创新点，下面将对其中技术细节进一步详细阐述。

本算法模型使用NSGA2优化MCVI，其步骤如下：

1)NSGA2种群初始化：使用单结点决策图作为NSGA2的初始个体，其值为动作终止编号(本发明中使用-1)。定义种群大小为G，则在初始化后种群中有G个同样的决策图个体，但由于MCVI算法随机性较大，在执行MCVI算法后，个体间都将出现较大差异。

2)初始化MCVI：将群中的个体逐一取出执行MCVI算法，每次取出的个体将用于初始化MCVI的决策图。决策图的完整结构如图1所示，其中为节点信息，代表无线设备采取的动作。代表采取动作后可能出现的观测值，观测值对应连接线箭头指向下一个结点，代表下一个执行动作。

3)搜索动作序列：动作序列的搜索通过信念树完成，如图3所示为信念树结构，其中b ₀代表初始信念点，代表可采取的动作，为可能出现的观测值。可知，信念树记录了无线设备在通过不同动作，得到不同观测值后可能转移到的信念状态，其转移公式如下所示：

上式中代表在状态s执行动作a后转移到状态的概率，代表在状态s执行动作a，观测值为o时转移到状态的信念值，对求可得到新的状态概率分布信念。反复使用上述公式计算不同动作、观测值下的信念状态，可搜索出不同的动作序列。

4)计算动作序列回报值

设智能体可采取的动作序列集合为G，可知，当智能体状态为s，使用动作序列可得到总回报值的表达式如下所示：

式中，L表示动作序列长度，γ为折扣因子，取值范围为[0,1]。γ越大表示未来时间的决策回报值对当前的影响越大，本发明中γ取值为0.95。为最大化在信念点b处执行动作序列的最大值，需遍历所有可能的动作序列，其表达式V(b)如下所示：

为节约搜索时间，动作序列长度会被逐步增加，而非一次性到位，这样可以有效利用已计算出回报值的较短动作序列进行迭代计算，表达式如下所示：

上式中V _t+1(b)表示在信念点b处取得的迭代更新后最大回报值，为在信念点b处执行动作a，观测到o时的信念状态，表示迭代更新前在信念点处取得的最大回报值。通过上述公式可迭代搜索出较优的动作序列。

5)MC-Backup:当动作序列搜索到一定长度后需要进行该操作，该操作的本质是将信念树中新生成的动作序列备份到决策图中，而决策图的作用是为动作序列搜索提供依据。使用信念树、决策图交替更新的方法可有效提高搜索效率，加快算法收敛。

MC-Backup操作的示意图如图1所示，图中右侧阴影内为备份前已存在的两个结点，它表示备份前已生成的动作序列。执行备份时从信念树中新生成动作序列的最后一个开始逆序备份，根据可能出现的观测状态o，选择最适合的已存在动作序列进行连接，如图1中左侧结点所示。

6)非支配排序：为加快MCVI算法运行速度，与原始MCVI算法不同，本算法将在MC-Backup操作后通过NSGA2算法选择较优的决策图继续执行，从而淘汰掉有较多重复运算的决策图。首先通过非支配排序算法对种群中所有个体进行排序，排序原则如下所示：

a.平均回报值较大的决策图优于平均回报值较小的决策图；

b.结点数较少的决策图优于结点数较多的决策图；

c.更新耗时短的决策图优于更新耗时长的决策图。

设g ₁、g ₂为种群中的两个个体，若g ₁的上述三个参数均优于g ₂，则称g ₁支配g ₂。若g ₁、g₂在上述三个参数中互有优劣，则称g ₁、g ₂为非支配关系。在非支配排序过程中，首先找出不被任何个体支配的个体组成最优集合，然后排除最优集合中的个体，在剩余个体中继续查找不被任何个体支配的个体组成次优集合，以此类推直到所有个体被分层完毕。最后根据个体所在层次为每个个体标记排序结果。

7)选择算子：选择算子使用赌盘法，既越优秀的个体被选择的概率越高，个体的优劣程度由非支配排序结果决定。每执行一次选择算子将选出两个个体进入交配池作为生成下一代个体的基础。

8)交叉算子：随机获取一个概率值，若该值小于交叉概率(本发明交叉概率为0.5)，则执行交叉操作。首先从两个父代个体所包含的决策图中各随机选取一条路径，再将这两条路径进行交换。

9)变异算子：随机获取一个概率值，若该值小于变异概率(本发明交叉概率为0.1)，则执行变异操作。首先从父代个体所包含的决策图中随机选取多个结点，再随机选择无线设备可执行的动作将结点中的信息替换。

重复6)~8)的操作步骤直到生成新的种群，并将种群中新的个体用于MCVI的初始化，既返回第2)步开始执行。若回报值达到收敛状态或超过限制执行时间，则输出最终决策图并退出程序。

Claims

1.一种基于连续状态空间的认知无线电接入问题的决策模型，其特征在于：

功率状态空间使用连续实数空间;基于连续状态空间的POMDP模型对无线网功率、信道分配问题建模;标准POMDP模型由多元组{S,A,O,T,Z,R,γ}组成，其中S、A、O分别表示智能体的状态、执行动作和观测结果，T和Z分别表示状态转移概率函数和观测结果概率函数，其表达式分别为：T(s,a,s' )=p(s' |a,s)，Z(s,a,o)=p(o|a,s) ，其中s和s'∈S、a∈A、o∈O；R表示单步决策回报值，表达式为R(s,a)；γ表示折扣因子；

所述决策模型中，设无线信道数为N，则B为维数组，前N维代表无线设备检测到各个信道的功率，功率值为非负实数；N+1至维代表各个信道被其它终端连续占用的周期数，所述周期指两次动作决策间的时间间隔；第维代表当前无线设备需要发送数据的剩余字节数；第维代表当前无线设备选择用于发送的信道；A为无线设备可选择动作集，设最大发送功率为P _max，最小发送功率为P _min，将区间[P _min,P _max]离散为k个点，则A集合中包含个动作,为保证算法运行速度在可接受范围内，令，将其编号为0到，0代表无线设备不发送任何数据，至分别代表向1~N号信道以功率发送数据，其中m为正整数且取值范围为[0,k]；

所述观测集合O包含三个元素：{无异常，发送冲突，发送成功}；

所述单步决策回报值 R包括：成功完成数据发送回报值R _finish，冲突回报值R _crash，更换发送信道回报值R _change，等待回报值R _wait。

2.根据权利要求1所述的一种基于连续状态空间的认知无线电接入问题的决策模型，其特征在于：所述决策模型中使用NSGA2算法进行优化从而选择最优的决策图；

使用NSGA2算法优化MCVI算法，其步骤如下：

1）、NSGA2种群初始化：使用单结点决策图作为NSGA2的初始个体，其值为动作终止编号，定义种群大小为G，则在初始化后种群中有G个同样的决策图个体，但由于MCVI算法随机性较大，在执行MCVI算法后，个体间都将出现较大差异；

2）、初始化MCVI：将群中的个体逐一取出执行MCVI算法，每次取出的个体用于初始化MCVI的决策图；

3）、搜索动作序列：动作序列的搜索通过信念树完成，信念树记录了无线设备在通过不同动作，得到不同观测值后可能转移到的信念状态，其转移公式如下所示：

上式中代表在状态s执行动作a后转移到状态的概率，代表在状态s执行动作a，观测值为o时转移到状态s'的信念值，对求可得到新的状态概率分布信念；反复使用上述公式计算不同动作、观测值下的信念状态，搜索出不同的动作序列；

4）、计算动作序列回报值：设智能体可采取的动作序列集合为G，当智能体状态为s，使用动作序列可得到总回报值的表达式如下所示：

式中，L表示动作序列长度，γ为折扣因子，取值范围为[0,1]；γ越大表示未来时间的决策回报值对当前的影响越大，γ取值为0.95；为最大化在信念点b处执行动作序列的最大值，需遍历所有可能的动作序列，其表达式V(b)如下所示：

上式中Vt+1(b)表示在信念点b处取得的迭代更新后最大回报值，为在信念点b处执行动作a，观测到o时的信念状态，表示迭代更新前在信念点处取得的最大回报值；

5）、MC-Backup操作：将信念树中新生成的动作序列备份到决策图中，决策图的作用是为动作序列搜索提供依据；

6）、非支配排序：在MC-Backup操作后通过NSGA2算法选择较优的决策图继续执行，淘汰掉有较多重复运算的决策图；首先通过非支配排序算法对种群中所有个体进行排序，排序原则如下：

平均回报值较大的决策图优于平均回报值较小的决策图；

结点数较少的决策图优于结点数较多的决策图；

更新耗时短的决策图优于更新耗时长的决策图；

设g1、g2为种群中的两个个体，若g1的上述三个参数均优于g2，则称g1支配g2；若g1、g2在上述三个参数中互有优劣，则称g1、g2为非支配关系；在非支配排序过程中，首先找出不被任何个体支配的个体组成最优集合，然后排除最优集合中的个体，在剩余个体中继续查找不被任何个体支配的个体组成次优集合，以此类推直到所有个体被分层完毕；最后根据个体所在层次为每个个体标记排序结果；

7）、选择算子：使用赌盘法选择算子，越优秀的个体被选择的概率越高，个体的优劣程度由非支配排序结果决定；每执行一次选择算子将选出两个个体进入交配池作为生成下一代个体的基础；

8）、交叉算子：随机获取一个概率值，若该值小于交叉概率则执行交叉操作；首先从两个父代个体所包含的决策图中各随机选取一条路径，再将这两条路径进行交换；

9）、变异算子：随机获取一个概率值，若该值小于变异概率则执行变异操作；首先从父代个体所包含的决策图中随机选取多个结点，再随机选择无线设备可执行的动作将结点中的信息替换；

10）、重复6)~8)的操作步骤直到生成新的种群，并将种群中新的个体用于MCVI的初始化，既返回第2)步开始执行；若回报值达到收敛状态或超过限制执行时间，则输出最终决策图并退出程序。