CN114630333B - 一种认知卫星通信中多参数统计学习决策方法 - Google Patents

Abstract

本发明公开了一种认知卫星通信中多参数统计学习决策方法，其步骤包括：确定需要学习的认知卫星通信的系统参数；次级用户需根据自身的QoE需求与各个系统参数之间的关系，建立QoE度量函数，次级用户在利用其选择的信道进行信息传输时，利用该QoE度量函数得到次级用户的QoE回报值；次级用户根据传输情况信息和感知情况信息，对未知的系统参数进行统计学习，并做出频谱决策；当次级用户感知到某信道为空闲时，次级用户以最大发射功率利用此信道传输信息；次级用户更新学习到的系统参数，再更新信道统计信息。本发明基于学习的多个参数，根据次级用户的QoE函数目标，其可进行智能决策，即对最大化QoE函数(最优化QoE性能)进行自适应决策。

Description

一种认知卫星通信中多参数统计学习决策方法

技术领域

本发明涉及卫星通信技术领域，是一种频谱信息未知条件下、认知卫星通信上行链路中的机会频谱接入方法。

背景技术

认知无线电起源于1999年Joseph Mitola博士的奠基性工作，其核心思想是网络用户具有学习能力，能与周围环境交互信息，以感知和利用该空间中的可用频谱，并降低与其他用户冲突的发生。作为频谱分析与决策技术的重要组成部分，认知无线通信过程中的资源分配技术一般以频谱数据库或频谱感知结果为基础，对通信过程中涉及到的频率信道、时间、发送功率以及波束等多种资源进行配置，以达到预先设置的优化目标，如最大化认知通信过程的吞吐量、最小化能量消耗以及最大化用户间的公平等。

卫星通信技术是无线通信的重要组成技术，作为地面无线通信的重要补充，卫星通信尤其在荒凉区域或者偏远地带起到了不可或缺的作用。然而，随着社会的发展和时代的进步，卫星通信在近些年面临着诸多的瓶颈和挑战，其中十分严峻的挑战是由于可用频谱资源短缺所导致的容量限制，而当需要为大量的高吞吐需求的应用提供服务时，解决卫星通信的这一问题会变得更加迫切。考虑到现时诸多授权频段的频谱利用率较为低下，认知无线电技术被引入和使用以便解决或一定程度上缓解卫星通信所面临的可分配频谱资源短缺的问题。

基于这一背景，近几年涌出了一些关于认知卫星通信的研究。特别地，欧洲邮电管理联盟将17.3-17.7GHz和17.7-19.7GHz两个频段命名为非独享频段，并划分给不对等固定卫星服务使用。然而，依据无线电规则，这两个频段已经分别分配给了广播卫星系统的馈线链路和固定服务链路，这意味着FSS与BSS系统内部以及FSS与BSS系统之间的干扰共存问题需要进行妥善的处理。

对频谱的认知是解决共享频谱中多个系统干扰共存问题的基础，一般来说，可以通过两种技术来达到对频谱的认知，分别是频谱数据库和频谱感知。使用频谱数据库，认知系统可以依据资源的可用性进行预先配置，以提高效率和避免对主用户造成干扰，然而，对于用频规律变化较快的主用户系统，频谱数据库则缺乏灵活性，且其频繁的对频谱占用情况进行统计也将会给网络带来较大的负担。相比而言，频谱感知弥补了频谱数据库的缺陷，因为次级用户所配备的感知模块能够为其在认知通信过程中及时的找寻空闲频谱(也称为“频谱空穴”)。

目前，多数研究工作在假设次用户已知主用户信道统计信息或相关信息条件下，对次级用户的多信道感知接入问题进行了研究，提出了多信道感知接入的最优方法，实现了次用户期望收益最大的效果。其中YunxiaChen等人(Y.X.Chen,Q.Zhao,A.Swami(2009),Distributed Spectrum Sensing and Access in Cognitive Radio Networks withEnergy Constraint,IEEE Transactions on Signal Processing,57,2,783-797)假设信道转移概率已知，对基于部分可观测马尔科夫决策过程对能量受限下的感知接入策略进行了研究。但在实际认知网络里，主用户统计信息对于次用户来说通常是未知的，需要通过大量时间测量来获得。除此之外，在通信系统中，往往存在多个系统参数，次级用户在主用户统计信息时还会随时间变化，导致测量结果存在较大偏差。而目前已有的研究难以很好地解决上述问题。为解决主用户统计信息未知情况下的信道感知与接入问题，部分工作将次用户信道感知与接入问题建模为经典统计学问题—多臂老虎机问题(Multi-armed banditproblem,MABP)。其中，LifengLai等人(Lai,L.F.,El Gamal,H.,Jiang,H.and Poor,H.V.(2011)Cognitive medium access:Exploration,exploitation,and competition.IEEETransactions on Mobile Computing,10,239-253.)将感知频谱选择问题建立成了多臂赌博机模型，并且分析了不同场景下的感知信道选择问题，假设次用户可在主信道时隙开始阶段同时感知一个或多个信道，并接入所有感知为空闲的信道。

在未知主用户信息情况下，目前现有的研究工作都是学习信道的占用概率，根据学习到的结果再进行统计决策。然而，在卫星通信中，用户对不同系统参数具有不同的用户体验质量(Quality of experience，QoE)需求，如信道带宽、信道噪声功率、信道驻留时间、传输误码率等。而这些信息可能不断变化或者对用户未知。而在现有的研究中，尚未有关于在未知条件下，对多个信息的统计学习和综合决策的相关研究工作。

发明内容

在卫星通信中，用户对不同系统参数具有不同的用户体验质量(Quality ofexperience，QoE)需求，如信道带宽、信道噪声功率、信道驻留时间、传输误码率等。而这些信息可能不断变化或者对用户未知。为实现最优传输性能，次级用户需要对系统参数进行学习，从而做出最优的频谱决策，针对这一问题，本发明公开了一种认知卫星通信中多参数统计学习决策方法，使得次级用户能够同时学习多个信道参数并做出合理决策。

本发明公开了一种认知卫星通信中多参数统计学习决策方法，其步骤包括：

S1、确定需要学习的认知卫星通信的系统参数；

S2、建立用户体验质量QoE度量函数；

S3、对系统参数进行统计和学习，做出频谱接入决策；

S4、次级用户更新学习到的系统参数，再更新信道统计信息。

信道统计信息包括信道带宽、信噪比、消耗能量和空闲概率等。

进一步地，所述的步骤S1，其具体包括：

在认知卫星通信中，对多个系统参数进行分类。将认知卫星通信环境分为三种环境域，包括无线环境域、网络环境域和次级用户环境域，无线环境域包含认知卫星通信传输环境中可用频谱、噪声等信道信息，网络环境域包括网络类型、次级用户位置等信息，次级用户环境域包括次级用户业务传输类型、服务质量需求等信息。在次级用户进行参数学习并信息传输前，首先需要确定对其QoE具有影响的系统参数，用(θ₁,θ₂,...,θ_d)表示所确定的系统参数，d表示系统参数的数目。

进一步地，所述的步骤S2，次级用户需根据自身的QoE需求与步骤S1中确定的各个系统参数之间的关系，建立QoE度量函数，QoE度量函数用

表示，a_i表示第i条信道的编号。具体的，建立QoE度量函数，是建立以(θ₁,θ₂,...,θ_d)为参数的函数，次级用户在利用其选择的信道进行信息传输时，利用该QoE度量函数得到次级用户的QoE回报值，QoE回报值用

表示，QoE回报值用于表示在信道满足次级用户QoE需求的条件下，次级用户接入该信道所得到的回报值。

进一步地，所述的步骤S3，次级用户根据传输情况信息、感知情况信息等，对未知的系统参数进行统计学习，并做出频谱决策。次级用户在进行信息传输前，对信道进行感知。假设次级用户在卫星传输链路上共有N条可用信道，次级用户采用时隙传输模型，即在每一时隙前，进行频谱决策，决定所要感知的信道，在N条信道中感知M条信道，M≥1。当次级用户感知到某信道为空闲时，次级用户以最大发射功率利用此信道传输信息。当次级用户感知到某信道为占用时，则次级用户等待至下一时隙再进行信道感知。当卫星接收到所传输的信息后，将计算相应的QoE回报值，并通过确认信息ACK的形式传输给次级用户。

所述的步骤S4，其具体包括：次级用户利用从不同时隙中感知到的信道状态信息来估计信道下一时隙的空闲状态信息；信道状态信息是在每一时隙中次级用户感知到的信息，以QoE回报值

的形式表示。对于第i条信道，所有时隙下次级用户所得到的所有的QoE回报值的均值表示为

次级用户根据所得到的QoE回报值，更新信道信息，计算信道指标，判断该信道是否能够满足自身的QoE需求，从而决策下一时隙所接入的信道。

所述的次级用户计算信道指标，其计算每个信道指标的公式为：

t表示时隙总个数，t_i表示次级用户在对第i个信道进行感知时所花费的时间，g_i表示第i条信道的指标。

所述的机会频谱接入，是指如果次用户没有对主用户产生干扰作用，次级用户则可辨别机会频谱，并将其使用到认知卫星通信系统中。

所述的主用户，是指授权接入频谱的用户。

所述的次级用户，是指不对主用户产生干扰情况下接入频谱的用户，其具有对信道各个参数进行学习的能力。

所述的信道空闲概率，是指主用户占用信道后，次级用户感知到信道为空闲的概率，即次级用户感知接入信道是按照一定的概率。

所述的蒙特卡罗方法：Monte-Carlo，也称统计模拟方法，是指使用随机数(或更常见的伪随机数)来解决计算问题的方法。

假设次用户在已知所有信道的先验信息，每次选择最优信道进行感知接入条件下所能获得最优收益的方法，该方法命名为先知辅助方法。

本发明的有益效果为：(1)本发明提出一种同时多未知参数统计学习的方案。基于此，次级用户能够同时学习多个参数，可对未知环境进行充分探究。(2)本发明基于学习的多个参数，根据次级用户的QoE函数目标，其可进行智能决策，即对最大化QoE函数(最优化QoE性能)进行自适应决策。

附图说明

图1是本发明方法的认知网络学习参数示意图；

图2是本发明的时隙协议图；

图3是本发明的信道参数图；

图4是仿真所得到的后悔-时间图。

具体实施方式

图1是本发明方法的认知网络学习参数示意图。图2是时隙协议图，表示每一时隙中的感知接入步骤。图3是信道参数图，表示不同信道参数。图4是仿真所得到的后悔-时间图。

为了更好的了解本发明内容，这里给出三个实施例。

实施例1

本发明公开了一种认知卫星通信中多参数统计学习决策方法，其步骤包括：

S1、确定需要学习的认知卫星通信的系统参数；

S2、建立用户体验质量QoE度量函数；

S3、对系统参数进行统计和学习，做出频谱接入决策；

S4、次级用户更新学习到的系统参数，再更新信道统计信息。

信道统计信息包括信道带宽、信噪比、消耗能量和空闲概率等。

进一步地，所述的步骤S1，其具体包括：

在认知卫星通信中，对多个系统参数进行分类，如图1所示。将认知卫星通信环境分为三种环境域，包括无线环境域、网络环境域和次级用户环境域，无线环境域包含认知卫星通信传输环境中可用频谱、噪声等信道信息，网络环境域包括网络类型、次级用户位置等信息，次级用户环境域包括次级用户业务传输类型、服务质量需求等信息。在未知的环境中，可假设上述部分信息，如无线环境域中的可用频谱、噪声、信道状态概率，用户环境域中的用户偏好等对次级用户未知。在次级用户进行参数学习并信息传输前，首先需要确定对其QoE具有影响的系统参数，用(θ₁,θ₂,...,θ_d)表示所确定的系统参数，d表示系统参数的数目。

进一步地，所述的步骤S2，次级用户需根据自身的QoE需求与步骤S1中确定的各个系统参数之间的关系，建立QoE度量函数，QoE度量函数用

表示，a_i表示第i条信道的编号。具体的，建立QoE度量函数，是建立以(θ₁,θ₂,...,θ_d)为参数的函数，次级用户在利用其选择的信道进行信息传输时，利用该QoE度量函数得到次级用户的QoE回报值，QoE回报值用

表示，QoE回报值用于表示在信道满足次级用户QoE需求的条件下，次级用户接入该信道所得到的回报值。

进一步地，所述的步骤S3，次级用户根据传输情况信息、感知情况信息等，对未知的系统参数进行统计学习，并做出频谱决策。次级用户在进行信息传输前，对信道进行感知。假设次级用户在卫星传输链路上共有N条可用信道，次级用户采用时隙传输模型，即在每一时隙前，进行频谱决策，决定所要感知的信道，在N条信道中感知M条信道，M≥1。当次级用户感知到某信道为空闲时，次级用户以最大发射功率利用此信道传输信息。当次级用户感知到某信道为占用时，则次级用户等待至下一时隙再进行信道感知。当卫星接收到所传输的信息后，将计算相应的QoE回报值，并通过确认信息ACK的形式传输给次级用户。次级用户和卫星所传输信息的整体协议结构如图2所示。

所述的步骤S4，其具体包括：次级用户利用从不同时隙中感知到的信道状态信息来估计信道下一时隙的空闲状态信息；对于信道噪声，其满足平均值为θ_i，标准差为σ_i的正态分布，而信道状态信息是在每一时隙中次级用户感知到的信息，以QoE回报值

的形式表示。对于第i条信道，所有时隙下次级用户所得到的所有的QoE回报值的均值表示为

次级用户根据所得到的QoE回报值，更新信道信息，计算信道指标，判断该信道是否能够满足自身的QoE需求，以区分不同信道的优劣，从而决策下一时隙所接入的信道。

所述的次级用户计算信道指标，其计算每个信道指标的公式为：

t表示时隙总个数，t_i表示次级用户在对第i个信道进行感知时所花费的时间，g_i表示第i条信道的指标。

所述的机会频谱接入，是指如果次用户没有对主用户产生干扰作用，次级用户则可辨别机会频谱，并将其使用到认知卫星通信系统中。

所述的主用户，是指授权接入频谱的用户。

所述的次级用户，是指不对主用户产生干扰情况下接入频谱的用户，其具有对信道各个参数进行学习的能力。

所述的信道空闲概率，是指主用户占用信道后，次级用户感知到信道为空闲的概率，即次级用户感知接入信道是按照一定的概率。

所述的蒙特卡罗方法：Monte-Carlo，也称统计模拟方法，是指使用随机数(或更常见的伪随机数)来解决计算问题的方法。

假设次用户在已知所有信道的先验信息，每次选择最优信道进行感知接入条件下所能获得最优收益的方法，该方法命名为先知辅助方法。

将任意感知接入方法所获得的累积QoE函数的值为QoE回报。则先知辅助方法所获得的的QoE回报可表示为

其中

表示求期望。为度量本发明所设计方法的有效性，令

表示所设计方法的QoE回报。定义后悔值为

后悔值越小，则表明设计的算法与最优算法越接近。

实施例2

本发明提出一种频谱信息未知条件下、认知卫星通信上行链路中的机会频谱接入方法。其具体步骤为：

步骤1、确定需要学习的系统参数；

步骤2、建立QoE度量函数；

步骤3、统计学习系统参数，做出频谱接入决策；

步骤4、更新信道统计信息。

进一步地，步骤1所描述的确定需要学习的系统参数。具体如下：

在认知网络中，为进行信息传输，系统往往具有多个参数。且次级用户为传输某项业务，具有不同QoE要求时，对不同参数有不同的要求。举例来说，当传输流媒体业务时，其对带宽、时延等要求很高。但传输文字时，其对带宽等无特殊要求。因此，在进行统计学习前，次级用户需要确立对其传输影响较大的未知参数。

在本发明中，为清晰表示，将用(θ₁,θ₂,...,θ_d)表示确立的未知参数。

在步骤2中，将建立QoE度量函数。具体如下：

次级用户在传输业务时，具有QoE要求。为度量、量化传输业务的质量，本发明中将建立QoE度量函数，用

表示。其含义为，建立以(θ₁,θ₂,...,θ_d)为参数的函数模型，对选择的信道进行传输时，次级用户可得到某一实数，即QoE回报值，用

表示。该函数可用于区分不同信道在满足次级用户QoE需求的条件下，接入不同信道所得到的值。

在步骤3中，次级用户将统计学习系统参数，做出频谱接入决策。具体如下：

次级用户在进行传输前，需对信道进行感知。假设次级用户与卫星传输链路间共用N条信道，次级用户采用时隙传输模型，即在每一时隙前，进行频谱决策，即决定感知哪一条信道；其次从N条信道中感知M(M≥1)一条信道。当该信道感知为空闲时，次级用户以最大功率发射。当卫星接收到信息后，将计算QoE回报，并通过确认信息ACK传输给次级用户。整体协议结构如图2所示。

在步骤4中，次级用户更新学习到的参数。具体如下：

具体来说，未知环境中多个参数未知且随机，但满足某种分布。以信道空闲状态举例来说，其满足空闲平均信息为θ，信道空闲实际状态为‘空闲’或者‘占用’状态。每个时隙中信道状态不同且随机。因此，次级用户需从不同时隙中感知到的信道状态来估计信道的空闲状态信息；以信道噪声举例来说，其满足平均值为θ_i，标准差为σ_i的正态分布，次级用户需从不同时隙中感知到的信息来预测其下一时隙的实际值。而这些信息在每一时隙中次级用户感知到的信息，以QoE回报

的形式出现。对于所有时隙下，次级用户所得到的所有的累积QoE回报，对于某条信道，其收到的均值可表示为

次级用户需要根据QoE回报，判断每个信道是否能够满足信道的QoE需求，以区分不同信道的优劣。从而在下一时隙进行决策。

实施例3

本发明使用Monte-Carlo(蒙特卡洛)仿真来验证上述分析结论，假设无线认知网络中，信道数量为N＝9，对每条信道，选取四个参数，用向量表示，即θ_i，其相关信息如下图3所示。

为验证本发明所提方法的有效性，选取经典算法贪心算法∈-greedyannealing、greedy、Q-learning、SARSA算法进行对比。所进行的实验结果如图4所示。此外，对不同的M值也进行了不同值的设定。

图4为本发明方法与其他方法的后悔值(即与当知道每条信道参数先验信息时感知接入的最优方法获得的QoE回报的差值)性能对比。横轴为时隙数，纵轴为后悔值，即所设计方法与知道信道所有先验信息情况下，不同接入方法能够获得的最大QoE回报的差值。后悔值越低，表示所设计方法与最优方法越接近。由实验结果可知，本方案所提的方法其后悔值最终收敛至最优值，而其他算法的regret仍随时间在不断增长。从平均回报来看，本发明方法得到的平均QoE回报要高于所比较算法。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种认知卫星通信中多参数统计学习决策方法，其特征在于，其步骤包括：

S1、确定需要学习的认知卫星通信的系统参数；

S2、建立用户体验质量QoE度量函数；

S3、对系统参数进行统计和学习，做出频谱接入决策；

S4、次级用户更新学习到的系统参数，再更新信道统计信息；

所述的步骤S2，次级用户需根据自身的QoE需求与步骤S1中确定的各个系统参数之间的关系，建立QoE度量函数，QoE度量函数用

表示，a_i表示第i条信道的编号；建立QoE度量函数，是建立以(θ₁,θ₂,...,θ_d)为参数的函数，次级用户在利用其选择的信道进行信息传输时，利用该QoE度量函数得到次级用户的QoE回报值，QoE回报值用

表示，QoE回报值用于表示在信道满足次级用户QoE需求的条件下，次级用户接入该信道所得到的回报值；

所述的步骤S3，次级用户根据传输情况信息和感知情况信息，对未知的系统参数进行统计学习，并做出频谱决策；次级用户在进行信息传输前，对信道进行感知；假设次级用户在卫星传输链路上共有N条可用信道，次级用户采用时隙传输模型，即在每一时隙前，进行频谱决策，决定所要感知的信道，在N条信道中感知M条信道，M≥1；当次级用户感知到某信道为空闲时，次级用户以最大发射功率利用此信道传输信息；当次级用户感知到某信道为占用时，则次级用户等待至下一时隙再进行信道感知；当卫星接收到所传输的信息后，将计算相应的QoE回报值，并通过确认信息ACK的形式传输给次级用户；

所述的步骤S4，其具体包括：次级用户利用从不同时隙中感知到的信道状态信息来估计信道下一时隙的空闲状态信息；信道状态信息是在每一时隙中次级用户感知到的信息，以QoE回报值

的形式表示；对于第i条信道，所有时隙下次级用户所得到的所有的QoE回报值的均值表示为

次级用户根据所得到的QoE回报值，更新信道信息，计算信道指标，判断该信道是否能够满足自身的QoE需求，从而决策下一时隙所接入的信道；

所述的次级用户计算信道指标，其计算每个信道指标的公式为：

t表示时隙总个数，t_i表示次级用户在对第i个信道进行感知时所花费的时间，g_i表示第i条信道的指标。

2.如权利要求1所述的认知卫星通信中多参数统计学习决策方法，其特征在于，所述的步骤S1，其具体包括：

在认知卫星通信中，对多个系统参数进行分类；将认知卫星通信环境分为三种环境域，包括无线环境域、网络环境域和次级用户环境域，在次级用户进行参数学习并信息传输前，首先需要确定对其QoE具有影响的系统参数，用(θ₁,θ₂,...,θ_d)表示所确定的系统参数，d表示系统参数的数目。

3.如权利要求2所述的认知卫星通信中多参数统计学习决策方法，其特征在于，所述的无线环境域包含认知卫星通信传输环境中可用频谱、噪声的信道信息，网络环境域包括网络类型、次级用户位置的信息，次级用户环境域包括次级用户业务传输类型、服务质量需求的信息。

4.如权利要求1所述的认知卫星通信中多参数统计学习决策方法，其特征在于，其特征在于，信道统计信息包括信道带宽、信噪比、消耗能量和空闲概率。

5.如权利要求1至4中任一项所述的认知卫星通信中多参数统计学习决策方法，其特征在于，所述的主用户，是指授权接入频谱的用户。

6.如权利要求1至4中任一项所述的认知卫星通信中多参数统计学习决策方法，其特征在于，所述的次级用户，是指不对主用户产生干扰情况下接入频谱的用户，其具有对信道各个参数进行学习的能力。

Images