CN118054835A - 星地协同网络信道分配方法及相关设备 - Google Patents

星地协同网络信道分配方法及相关设备 Download PDF

Info

Publication number
CN118054835A
CN118054835A CN202410108894.XA CN202410108894A CN118054835A CN 118054835 A CN118054835 A CN 118054835A CN 202410108894 A CN202410108894 A CN 202410108894A CN 118054835 A CN118054835 A CN 118054835A
Authority
CN
China
Prior art keywords
satellite
channel
power
state
channel allocation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410108894.XA
Other languages
English (en)
Inventor
李强
蒋月
王炫中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Beijing Zhongdian Feihua Communication Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Beijing Zhongdian Feihua Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd, Beijing Zhongdian Feihua Communication Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN202410108894.XA priority Critical patent/CN118054835A/zh
Publication of CN118054835A publication Critical patent/CN118054835A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • H04B7/18513—Transmission in a satellite or space-based system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0408—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas using two or more beams, i.e. beam diversity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
    • H04B7/0621—Feedback content
    • H04B7/0626—Channel coefficients, e.g. channel state information [CSI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radio Relay Systems (AREA)

Abstract

本申请提供一种星地协同网络信道分配方法及相关设备。星地协同网络信道分配方法，应用于电力系统，包括：将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；获取电力业务服务请求；根据电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配。能够充分考虑信道资源的动态分配特性，构建反馈动态信道分配方法，给出基于环境的奖励增益信息，以优化更新信道分配策略，具有更低的业务阻塞率和更高的信道利用率。

Description

星地协同网络信道分配方法及相关设备
技术领域
本申请涉及卫星通信技术领域，尤其涉及一种星地协同网络信道分配方法及相关设备。
背景技术
随着互联网技术的发展，传统的主流电力通信方式无法保证信号的稳定覆盖，难以在地形复杂、自然灾害频发的偏远地区提供高质量的通信。而卫星通信系统传输容量大、通信可靠性高、通信信号覆盖范围广，不易受复杂崎岖地形和雷电、洪水、地震等特大自然灾害的限制。此外，它还能为多种综合业务提供传输服务。
虽然电力系统对星地协同网络通信的需求越来越大，但星地协同网络也存在资源限制的问题。这主要是由于星上资源是有限的，具体表现在频谱资源、电力资源、计算资源和存储资源等方面。因此，如何在星地协同网络中合理有效地分配有限的信道资源，对于提高资源利用率和系统性能尤为重要。
发明内容
有鉴于此，本申请的目的在于提出一种星地协同网络信道分配方法及相关设备。
基于上述目的，本申请提供了星地协同网络信道分配方法，应用于电力系统，所述方法包括：
将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；
获取电力业务服务请求；
根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；
获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配。
在其中一些实施例中，所述构建电力系统的星地协同网络模型包括：
构建电力系统场景下的卫星天线波束的模型；
构建电力系统场景下的地面站组件的模型；
构建组网中的子网集合的模型；
构建划分在同一子网中的电力业务通信信道单元的互操作约束模型。
在其中一些实施例中，所述电力系统的星地协同组网模型包括：
卫星天线波束的模型：Co＝{S,SF,C}；其中，Co为卫星天线波束设置；S为波束所属的卫星天线；C为波束覆盖的区域范围；F为卫星天线支持的频段；
地面站组件的模型：ESk＝{P,PF,{C}}；其中，ESk为地面站组件，P为地面站的位置，PF为地面站天线支持的频段，{C}为ESk支持的电力业务通信信道单元集；
子网集合的模型：Net＝{S,RF,{C},Mode}；其中，Net为子网集合，S为子网所属的卫星；RF为子网运行的频段；{C}为子网网络下运行的电力业务通信信道单元集；Mode为子网的传输模式；
划分在同一子网中的电力业务通信信道单元的互操作约束模型： 其中，Ck为子网网络下运行的第k个电力业务通信信道单元集；Cl为子网网络下运行的第l个信道单元集；Modek为子网的第k个传输模式；Model为子网的第l个传输模式；Sp为地面站P对应所属的卫星S；Pd为地面站的位置，Pd划分在Sp同所在范围内。
在其中一些实施例中，所述方法还包括通过以下方法确定所述初始信道分配的奖励增益：
根据所述初始电力业务信道分配动作，更新电力业务通信信道资源占用状态；
评估所述初始电力业务信道分配动作对应的奖励增益。
在其中一些实施例中，所述奖励收益包括其中，Smax为可获得的最大奖励值；Vblock为阻塞用户的数量；Vall为服务请求用户的总数。
在其中一些实施例中，所述根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表包括：
根据式更新R值；其中，t为状态，b为动作，u为步数，R’(tu,bu)为状态tu下动作bu的更新R值，tu为第u步的状态，bu为第u步的动作；R(tu,bu)为状态tu下动作bu的R值；Su为执行动作bu后得到的奖励收益；maxR(tu+1,bu)是下一状态tu+1下，所有的动作bu中最大的R值；α为常数，γ为常数；f(tu)为第u步的状态tu的适应度轨迹，
在其中一些实施例中，所述动作b为卫星天线波束o中的用户选择相应的信道资源n，b＝{n|n∈Bo(t)}，其中，为可用信道集的子集。
在其中一些实施例中，所述状态t满足t＝{A,o}，其中，o为执行服务请求的卫星天线波束编号；A＝[a1,…,aO]T为卫星波束信道资源可用性矩阵，其中，ao＝[ao,1,…,ao,N]T为每个波束的信道资源利用率
本申请实施例还提供一种星地协同网络信道分配装置，包括：
构建模块，用于将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；
获取模块，用于获取电力业务服务请求；
分配模块，用于根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；
更新模块，用于获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配。
本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前任意一项所述的方法。
从上面所述可以看出，本申请提供的星地协同网络信道分配方法，通过将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；获取电力业务服务请求；根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配；能够充分考虑信道资源的动态分配特性，构建反馈动态信道分配方法，根据信道分配策略为用户分配相应的信道资源，并给出基于环境的奖励增益信息，以优化更新信道分配策略，具有更低的业务阻塞率和更高的信道利用率。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的星地协同网络信道分配方法的流程示意图；
图2为本申请实施例的星地协同网络信道分配装置的示意图；
图3为本申请实施例的电子设备硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
低轨道卫星网络，其覆盖范围不受地面网络条件和地理位置的限制。它可以作为地面移动网络的补充覆盖，构建满足偏远地区电力通信需求的星地协同网络。专用星地协作网的建设可以弥补现有无线公网存在的信号覆盖差、带宽有限、安全性低、成本昂贵等问题，可以满足重点区域的电力监控需求，还为解决电力系统通信问题提供了方法。
虽然电力系统对星地协同网络通信的需求越来越大，但星地协同网络也存在资源限制的问题。尽管现有研究成果针对上述问题提出了多种解决方案，并取得了积极的成果，但并未充分考虑信道资源的动态分配特性，也没有构建反馈动态信道分配方法。因此，实际星地协作网在地理空间上的非均匀分布使得波束间通信服务差异很大。固定或半固定的信道分配技术无法灵活分配信道资源，会导致资源利用率低下。
因此，相关技术中多采用固定或半固定的信道分配技术，存在信道资源率利用低下，阻塞率较高,无法提供有效的星地协作网络资源分配的问题。
基于此，本申请实施例提供了一种星地协同网络信道分配方法，充分考虑信道资源的动态分配特性，构建反馈动态信道分配方法，构建满足电力应用场景的星地协同网络架构，对动态信道分配优化问题进行数学建模，并提出了一种基于深度学习的动态信道分配算法。通过星地协同网络的卫星智能感知环境中的信道分配状态以及波束用户的服务请求状态。根据信道分配策略为用户分配相应的信道资源，并给出基于环境的奖励增益信息，以优化更新信道分配策略，实现系统服务阻塞概率最小化，从而实现系统信道资源的最优分配，能够在一定程度上提高信道资源率利用低，阻塞率较高的问题。
如图1，本申请实施例提供的星地协同网络信道分配方法，应用于电力系统，所述方法包括：
S100，将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；
S200,获取电力业务服务请求；
S300,根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；
S400，获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配。
本申请实施例提供的星地协同网络信道分配方法，通过将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；获取电力业务服务请求；根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配；能够充分考虑信道资源的动态分配特性，构建反馈动态信道分配方法，根据信道分配策略为用户分配相应的信道资源，并给出基于环境的奖励增益信息，以优化更新信道分配策略，具有更低的业务阻塞率和更高的信道利用率。
在一些实施例中，在步骤S100中，通常卫星可以采用多频段天线进行数据传输，卫星天线形成多波束对地面站进行信号覆盖。地面站可以配置一定数量的电力业务通信信道单元，每个电力业务通信信道单元可以支持不同的信号传输系统，卫星天线的波束通过协同传输实现与地面站的数据通信。具体地，卫星天线可以形成多个波束，并为每个地面站提供通信信号覆盖。而每个地面站分别配置一定数量的功率服务信道单元，每个功率服务信道单元分别可以支持不同的信令体制，用于服务之间的通信。例如，基带信道编码、调制和解调以及多种接入方式等。当某项电力业务发起通信请求时，主站会向地面站发送指令，地面站会为该业务指定一对能满足通信条件的信道单元进行通信。在通信过程中，传输的信号经过初始源地面站的信道单元，通过卫星网络转发到目的地地面站的信道单元。主站管理系统通过细分地面站进行分网。可以设定卫星天线发出O个波束，设定需要组网规划的电力业务信道有N个，因此，在电力系统场景下的卫星天线波束与地面站电力业务通信信道组网规划的问题可视为一个非线性整数规划问题，遵循电力业务信道单元和卫星天线波束的互操作约束。基于此，构建电力系统的星地协同组网模型。
在其中一些实施例中，构建电力系统的星地协同组网模型可以包括：
构建电力系统场景下的卫星天线波束的模型；
构建电力系统场景下的地面站组件的模型；
构建组网中的子网集合的模型；
构建划分在同一子网中的电力业务通信信道单元的互操作约束模型，以使同一子网中的电力业务通信信道单元(也即功率服务信道单元)使用相同的传输体制，从而实现卫星单跳通信。
在其中一些实施例中，所述电力系统的星地协同组网模型可以包括：
卫星天线波束的模型：Co＝{S,SF,C}；其中，Co为卫星天线波束设置；S为波束所属的卫星天线；C为波束覆盖的区域范围；F为卫星天线支持的频段；
地面站组件的模型：ESk＝{P,PF,{C}}；其中，ESk为地面站组件，P为地面站的位置，PF为地面站天线支持的频段，{C}为ESk支持的电力业务通信信道单元集；
子网集合的模型：Net＝{S,RF,{C},Mode}；其中，Net为子网集合，S为子网所属的卫星；RF为子网运行的频段；{C}为子网网络下运行的电力业务通信信道单元集；Mode为子网的传输模式；
划分在同一子网中的电力业务通信信道单元的互操作约束模型： 其中，Ck为子网网络下运行的第k个电力业务通信信道单元集；Cl为子网网络下运行的第l个信道单元集；Modek为子网的第k个传输模式；Model为子网的第l个传输模式；同一子网内的地面站天线必须支持同一频段，卫星波束组为D，电力业务信道单元组为E，Sp为地面站P对应所属的卫星S；Pd为地面站的位置，Pd划分在Sp同所在范围内；Pe为地面站的所有电力业务信道业务分组；DO为O个波束所组成的波束组；SFO为卫星S支持频段F所对应的波束O；PFd为地面站P支持频段F所对应的波束O，PFD为为地面站P支持频段F所对应的波束O组成的波束组D。
该种电力系统的星地协同组网模型，能够满足电力应用场景，可以有效地利用电力系统地球网的研究成果。能够结合卫星通信信号覆盖范围、地理位置、工作频段、天线传输方式等要求，优化卫星天线波束的负载均衡性能，确保星地协同网络资源的合理利用。该星地协同组网模型能够为偏远地区的电力数据回传采集、电力巡检等特定电力应用场景提供便利。还能够实现电力系统的全覆盖、全场景服务，并实现更高效、高质量的通信，达到节约卫星资源的目的。
在其中一些实施例中，在步骤S200，星地协同网络中的卫星智能体获取用户端发出的电力业务请求服务。
接下来，在获取到电业业务请求服务之后，星地协同网络进行信道分配算法的核心思想可以理解为将信道分配优化问题映射为深度学习中智能代理在与环境交互学习时的长期利益最大化问题。可以通过星地协同网络的智能体(也即卫星的计算单元)感知星地协同网络系统中的每个卫星天线波束中的用户的电力业务服务请求和可用信道资源的状态。然后，再根据智能体的资源分配策略分配信道资源。
在其中一些实施例中，在步骤S300中，可以通过卫星智能体根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作。可以理解为，卫星智能体利用R值表完成状态到动作的映射，并在星地协同网络环境中选择相应的信道分配动作。
在其中一些实施例中，可以定义并设计拟议的星地协同网络信道分配优化问题中的状态和行动等基本要素。通常，状态可以理解为星地协同网络环境的一种映射和表征，也是深度学习模型中智能体采取行动的依据。而星地协作网络中的智能体所处的环境可以包含每个卫星天线波束中发起服务请求的用户端数量和当前的电力业务通信信道占用率，也即包含信道分配矩阵W。这样，状态可以包括服务请求事件对应的卫星天线波束和该卫星天线波束可用信道资源矩阵。
在其中一些实施例中，所述状态满足式t＝{A,o}，其中，t为状态，o为执行服务请求的卫星天线波束编号；A＝[a1,…,aO]T为卫星天线波束信道资源可用性矩阵，该状态中的波束信道可用性矩阵不包含0元素，而0元素可以表示当前所有波束都没有可用信道资源时达到的状态。其中，ao＝[ao,1,…,ao,N]T为每个卫星天线波束的信道资源利用率，n为信道资源。通常，当波束o中有多个用户提出服务请求时，波束编号o会在状态转移过程中多次出现。可以将终止状态定义为所有卫星天线波束用户服务请求都已处理完毕。
这样，该种形式的状态在进行状态转移时已经考虑了同信道干扰的影响，能够将同信道干扰的影响反映到观测环境的状态中，从而可以在进行动态信道资源分配时避免或抑制同信道干扰的影响。
在其中一些实施例中，动作可以理解为智能体的输出，而智能体的输出可以来自智能体所处的环境。动作满足b＝{n|n∈Bo(t)}。其中，b为动作，n为信道资源，b为卫星天线波束o中的用户选择相应的信道资源n，为可用信道集的子集。
这样，在星地协作网络信道分配问题中，智能体能够根据所处环境的卫星天线波束的用户服务请求和星地协作系统可用信道资源的状态，来分配相应的信道资源，从而完成初始电力业务信道分配动作。
在其中一些实施例中，在步骤S400中，奖励为智能体在观察环境状态并采取相应行动(例如动作)后，环境给予的反馈。奖励是在确定的状态下，对行动(例如动作)实施后的评价。该值是否合理，与智能体能获得的奖励大小密切相关，也关系到动态信道分配算法的性能。
在其中一些实施例中，具体可以通过以下方法确定所述初始信道分配的奖励增益：
根据所述初始电力业务信道分配动作，更新电力业务通信信道资源占用状态；
评估所述初始电力业务信道分配动作对应的奖励增益。
在其中一些实施例中，所述奖励收益包括其中，Smax为可获得的最大奖励值；Vblock为阻塞用户的数量；Vall为服务请求用户的总数。这样，在星地协作网络系统中阻塞用户数量越少，获得的奖励收益就会越多，即系统阻塞的概率最小。该种奖励收益，可以根据系统中每个卫星天线波束的服务请求用户数和系统的可用信道资源，来学习最优的信道分配策略，从而它可以使系统的服务阻塞概率最小。且可以在达到终止状态(所有用户的服务请求都已处理完毕或系统没有可用信道资源时达到的状态)时，给信道分配过程一个总的评估奖励，并将中间状态转移过程的即时奖励设为零。该奖励增益的取值满足与星地协同网络信道分配算法的优化目标函数以及系统服务阻塞的概率相关等要求。
在其中一些实施例中，所述根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表可以包括：
根据式更新R值；其中，t为状态，b为动作，u为步数，R’(tu,bu)为状态tu下动作bu的更新R值，tu为第u步的状态，bu为第u步的动作；R(tu,bu)为状态tu下动作bu的R值；Su为执行动作bu后得到的奖励收益；max R(tu+1,bu)是下一状态tu+1下，所有的动作bu中最大的R值；α为常数，γ为常数；f(tu)为第u步的状态tu的适应度轨迹，能够跟踪特定状态对其状态动作R值更新的贡献程度，即状态被访问的程度。其中，fu(t)与f(tu)为相同的函数，为在t时刻第u步状态下的f和第u-1步状态下的f的关系。βf为衰减误差参数，且βf∈[0,1)。fu-1(t)为第u-1步的状态(请确认是否正确)。在前向回溯中更新状态动作的R值时，对智能体获得的奖励增益R值的影响大小与该状态被访问的次数有关。/>其中，f(t)为状态适应度(请确认是否正确)，适应度轨迹随着状态访问次数的增加而增加，表明状态对状态-行动值的迭代更新贡献越大。β为平均业务到达率，Υ为常数，l为第l个信道单元，δt,tl为适配因子，满足上述公式给出定义。
这样，智能体在更新之前经历过的状态动作的R值时，用参数βf∈[0,1)来衰减当前的TD误差，可以根据当前奖励增益值计算出的TD误差更新R值，且不仅能更新当前状态下的行动R值，还能向前回溯任何一步。引入适配轨迹和R(βf)算法可以进一步提高所提出的星地协作网络信道分配算法的效率。通过根据环境状态和奖励增益信息不断更新和优化R值表，能够让智能体实现自身增益最大化。
本申请实施例的星地协同网络信道分配方法通过在卫星天线波束与地面站各业务信道组网过程中，假设卫星天线发出O个波束，需要组网规划的电力业务信道有N个。将电力场景下的卫星波束与地面站信道组网规划问题视为一个非线性整数规划问题。然后星地协同网络智能体通过观察环境，获取环境中的用户业务请求情况和信道资源分配状态，然后利用R值表完成状态到动作的映射，在星地协作网络环境中选择相应的信道分配动作。根据智能体的信道分配行为，星地协作网络环境更新环境中的信道资源占用状态，然后对这一信道分配行为进行评估，并以奖励增益的形式反馈给智能体。根据深度学习中的状态动作值函数更新规则进行误差计算和R值表更新。优化智能体的通道分配行动策略，使智能体获得的增益最大化，从而优化信道分配性能，并使卫星通信系统的业务阻塞概率最小化。
验证例
比较本申请实施例提供的星地协同网络信道分配算法与其他信道分配算法在不同业务持续时间和不同信道数量的业务分配场景下的性能。与本申请实施例的星地协同网络信道分配算法进行比较的算法主要有固定信道分配算法和动态信道分配算法(也即半固定动态信道分配算法)。具体可以对在不同服务持续时间t情况下的阻塞概率性能进行仿真，并分析在波束间业务分布不均匀的情况下，业务阻塞概率与系统中信道资源数量之间的关系。
结果显示，当平均业务到达率为且波束间业务量非均匀分布时，本申请实施例的星地协同网络信道分配算法的业务阻塞率低于其他两种分配算法。具体来说，当服务持续时间为t＝2.5分钟时，本申请实施例提出的算法的服务阻塞概率约为3.5％。然而，固定信道分配算法和动态信道分配算法的服务阻塞概率分别为10％和8％。可见，本申请实施例所提出的信道分配算法在服务阻塞率方面具有独特的优势。此外，随着服务持续时间的延长，上述三种信道分配算法的服务阻塞概率会进一步增加。这是由于星地协作网的卫星终端用户占用信道的时间越长，剩余的空闲信道资源就越少。随着服务持续时间的延长，固定信道分配算法和动态信道分配算法导致的阻塞概率分别达到了40％，而本申请的阻塞概率仅为10％，这一阻塞概率明显优于其他两种算法。因此，本申请所提出的算法将拥有更多的信道资源，进而满足实际应用场景的需求。
结果还显示，当波束间平均业务到达率为业务持续时间为t＝3时，上述三种算法的阻塞概率都随着信道数的增加而降低。这是因为当可用信道数逐渐增加时，有更多的可用信道资源供服务请求用户使用，从而使服务阻塞率下降。然而，当服务阻塞概率一定时，本申请提出的信道分配算法所需的信道数量明显少于其他两种算法。例如，当服务阻塞概率为10％时，固定信道分配算法和动态信道分配算法所需的信道数分别为20和16，而本申请所提出的算法只需要12个信道。这也验证了本申请的信道分配算法具有更高的信道利用率，也进一步证实了本申请在信道分配方面的独特优势。
需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种星地协同网络信道分配装置。
参考图2，所述星地协同网络信道分配装置，包括：
构建模块510，用于将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；
获取模块520，用于获取电力业务服务请求；
分配模块530，用于根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；
更新模块540，用于获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配。
在其中一些实施例中，所述构建电力系统的星地协同网络模型包括：
构建电力系统场景下的卫星天线波束的模型；
构建电力系统场景下的地面站组件的模型；
构建组网中的子网集合的模型；
构建划分在同一子网中的电力业务通信信道单元的互操作约束模型。
在其中一些实施例中，所述电力系统的星地协同组网模型包括：
卫星天线波束的模型：Co＝{S,SF,C}；其中，Co为卫星天线波束设置；S为波束所属的卫星天线；C为波束覆盖的区域范围；F为卫星天线支持的频段；
地面站组件的模型：ESk＝{P,PF,{C}}；其中，ESk为地面站组件，P为地面站的位置，PF为地面站天线支持的频段，{C}为ESk支持的电力业务通信信道单元集；
子网集合的模型：Net＝{S,RF,{C},Mode}；其中，Net为子网集合，S为子网所属的卫星；RF为子网运行的频段；{C}为子网网络下运行的电力业务通信信道单元集；Mode为子网的传输模式；
划分在同一子网中的电力业务通信信道单元的互操作约束模型： 其中，Ck为子网网络下运行的第k个电力业务通信信道单元集；Cl为子网网络下运行的第l个信道单元集；Modek为子网的第k个传输模式；Model为子网的第l个传输模式；Sp为地面站P对应所属的卫星S；Pd为地面站的位置，Pd划分在Sp同所在范围内。
在其中一些实施例中，所述方法还包括通过以下方法确定所述初始信道分配的奖励增益：
根据所述初始电力业务信道分配动作，更新电力业务通信信道资源占用状态；
评估所述初始电力业务信道分配动作对应的奖励增益。
在其中一些实施例中，所述奖励收益包括其中，Smax为可获得的最大奖励值；Vblock为阻塞用户的数量；Vall为服务请求用户的总数。
在其中一些实施例中，所述根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表包括：
根据式更新R值；其中，t为状态，b为动作，u为步数，R’(tu,bu)为状态tu下动作bu的更新R值，tu为第u步的状态，bu为第u步的动作；R(tu,bu)为状态tu下动作bu的R值；Su为执行动作bu后得到的奖励收益；max R(tu+1,bu)是下一状态tu+1下，所有的动作bu中最大的R值；α为常数，Υ为常数；f(tu)为第u步的状态tu的适应度轨迹，
在其中一些实施例中，所述动作b为卫星天线波束o中的用户选择相应的信道资源n，b＝{n|n∈Bo(t)}，其中，为可用信道集的子集。
在其中一些实施例中，所述状态t满足t＝{A,o}，其中，o为执行服务请求的卫星天线波束编号；A＝[a1,…,aO]T为卫星波束信道资源可用性矩阵，其中，ao＝[ao,1,…,ao,N]T为每个波束的信道资源利用率
当卫星天线波束o中有多个用户提出服务请求时，卫星天线波束编号o会在状态转移过程中多次出现。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的星地协同网络信道分配方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的星地协同网络信道分配方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的星地协同网络信道分配方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的星地协同网络信道分配方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的星地协同网络信道分配方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例所述的星地协同网络信道分配方法相对应的，本公开还提供了一种计算机程序产品，其包括计算机程序指令。在一些实施例中，所述计算机程序指令可以由计算机的一个或多个处理器执行以使得所述计算机和/或所述处理器执行所述的星地协同网络信道分配方法。对应于所述的星地协同网络信道分配方法各实施例中各步骤对应的执行主体，执行相应步骤的处理器可以是属于相应执行主体的。
上述实施例的计算机程序产品用于使所述计算机和/或所述处理器执行如上任一实施例所述的星地协同网络信道分配方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种星地协同网络信道分配方法，其特征在于，应用于电力系统，所述方法包括：
将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；
获取电力业务服务请求；
根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；
获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配。
2.根据权利要求1所述的星地协同网络信道分配方法，其特征在于，所述构建电力系统的星地协同网络模型包括：
构建电力系统场景下的卫星天线波束的模型；
构建电力系统场景下的地面站组件的模型；
构建组网中的子网集合的模型；
构建划分在同一子网中的电力业务通信信道单元的互操作约束模型。
3.根据权利要求1所述的星地协同网络信道分配方法，其特征在于，所述电力系统的星地协同组网模型包括：
卫星天线波束的模型：Co＝{S,SF,C}；其中，Co为卫星天线波束设置；S为波束所属的卫星天线；C为波束覆盖的区域范围；F为卫星天线支持的频段；
地面站组件的模型：ESk＝{P,PF,{C}}；其中，ESk为地面站组件，P为地面站的位置，PF为地面站天线支持的频段，{C}为ESk支持的电力业务通信信道单元集；
子网集合的模型：Net＝{S,RF,{C},Mode}；其中，Net为子网集合，S为子网所属的卫星；RF为子网运行的频段；{C}为子网网络下运行的电力业务通信信道单元集；Mode为子网的传输模式；
划分在同一子网中的电力业务通信信道单元的互操作约束模型： SFo＝PFd＝PFD；其中，Ck为子网网络下运行的第k个电力业务通信信道单元集；Cl为子网网络下运行的第l个信道单元集；Modek为子网的第k个传输模式；Model为子网的第l个传输模式；Sp为地面站P对应所属的卫星S；Pd为地面站的位置，Pd划分在Sp同所在范围内。
4.根据权利要求1所述的星地协同网络信道分配方法，其特征在于，所述方法还包括通过以下方法确定所述初始信道分配的奖励增益：
根据所述初始电力业务信道分配动作，更新电力业务通信信道资源占用状态；
评估所述初始电力业务信道分配动作对应的奖励增益。
5.根据权利要求4所述的星地协同网络信道分配方法，其特征在于，所述奖励收益包括其中，Smax为可获得的最大奖励值；Vblock为阻塞用户的数量；Vall为服务请求用户的总数。
6.根据权利要求4所述的星地协同网络信道分配方法，其特征在于，所述根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表包括：
根据式更新R值；其中，t为状态，b为动作，u为步数，R’(tu,bu)为状态tu下动作bu的更新R值，tu为第u步的状态，bu为第u步的动作；R(tu,bu)为状态tu下动作bu的R值；Su为执行动作bu后得到的奖励收益；maxR(tu+1,bu)是下一状态tu+1下，所有的动作bu中最大的R值；α为常数，Υ为常数；f(tu)为第u步的状态tu的适应度轨迹，
7.根据权利要求6所述的星地协同网络信道分配方法，其特征在于，所述动作b为卫星天线波束o中的用户选择相应的信道资源n，b＝{n|n∈Bo(t)}，其中，为可用信道集的子集。
8.根据权利要求6所述的星地协同网络信道分配方法，其特征在于，所述状态t满足t＝{A,o}，其中，o为执行服务请求的卫星天线波束编号；A＝[a1,…,aO]T为卫星波束信道资源可用性矩阵，其中，ao＝[ao,1,…,ao,N]T为每个波束的信道资源利用率
9.一种星地协同网络信道分配装置，其特征在于，包括：
构建模块，用于将卫星天线波束与地面站电力业务通信信道单元组网，构建电力系统的星地协同组网模型；
获取模块，用于获取电力业务服务请求；
分配模块，用于根据所述电力业务服务请求和电力业务通信信道资源分配状态，利用R值表进行信道资源状态的映射，进行初始电力业务信道分配动作；
更新模块，用于获取初始信道分配的奖励增益，根据深度学习中的状态动作值函数和所述奖励增益计算误差和更新R值表，利用更新后的R值表更新信道分配。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
CN202410108894.XA 2024-01-25 2024-01-25 星地协同网络信道分配方法及相关设备 Pending CN118054835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410108894.XA CN118054835A (zh) 2024-01-25 2024-01-25 星地协同网络信道分配方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410108894.XA CN118054835A (zh) 2024-01-25 2024-01-25 星地协同网络信道分配方法及相关设备

Publications (1)

Publication Number Publication Date
CN118054835A true CN118054835A (zh) 2024-05-17

Family

ID=91049276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410108894.XA Pending CN118054835A (zh) 2024-01-25 2024-01-25 星地协同网络信道分配方法及相关设备

Country Status (1)

Country Link
CN (1) CN118054835A (zh)

Similar Documents

Publication Publication Date Title
CN109743741B (zh) 无线路由器部署方法、装置、存储介质及电子设备
CN114021770B (zh) 网络资源优化方法、装置、电子设备及存储介质
US11528721B2 (en) Scheduling satellite data transmissions using differing sets of ground stations
CN112291793A (zh) 网络接入设备的资源分配方法和装置
CN114205046B (zh) 一种通信感知一体化网络干扰协调方法及装置
US9615384B2 (en) Pilot assignment in cell free massive MIMO wireless systems
CN111132197B (zh) 一种无线mesh双频回传性能优化方法、服务器及存储介质
CN114007231A (zh) 异构无人机数据卸载方法、装置、电子设备及存储介质
CN113541768A (zh) 一种基于noma的leo卫星通信系统频点分配方法
CN116827419A (zh) 卫星波束调度方法、装置、设备及存储介质
CN118054835A (zh) 星地协同网络信道分配方法及相关设备
CN111898061A (zh) 搜索网络的方法、装置、电子设备和计算机可读介质
Basir et al. Energy efficient resource allocation in cache‐enabled fog networks
US20230075690A1 (en) Reduction and geo-spatial distribution of training data for geolocation prediction using machine learning
CN113163408A (zh) 一种无线资源分配方法及装置
Jeon et al. Game theory based hybrid frequency assignment with net filter discrimination constraints
CN117910364B (zh) 卫星测控仿真方法及系统
CN117714446B (zh) 一种卫星云边协同计算的卸载方法及装置
CN115065985B (zh) 干扰测量优先级确定方法、装置、存储介质及电子设备
CN117544920A (zh) 轨道交通无线通信资源分配方法、存储介质及电子设备
CN115665867B (zh) 一种车联网的频谱管理方法及系统
CN114911618B (zh) 异构资源分配方法、装置、电子设备及存储介质
US20230381666A1 (en) Method and apparatus for game matching, storage medium, and electronic device
Velykiene et al. A fast track analysis of ICT constraints on evolving physical infrastructure
CN117793914A (zh) 网络资源的切片方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination