CN113766661B - 用于无线网络环境的干扰控制方法及系统 - Google Patents

用于无线网络环境的干扰控制方法及系统 Download PDF

Info

Publication number
CN113766661B
CN113766661B CN202111005823.XA CN202111005823A CN113766661B CN 113766661 B CN113766661 B CN 113766661B CN 202111005823 A CN202111005823 A CN 202111005823A CN 113766661 B CN113766661 B CN 113766661B
Authority
CN
China
Prior art keywords
link
wireless network
target
communication
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111005823.XA
Other languages
English (en)
Other versions
CN113766661A (zh
Inventor
喻鹏
李文璟
丰雷
周凡钦
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111005823.XA priority Critical patent/CN113766661B/zh
Publication of CN113766661A publication Critical patent/CN113766661A/zh
Application granted granted Critical
Publication of CN113766661B publication Critical patent/CN113766661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/12—Wireless traffic scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/345—Interference values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H04B17/3912—Simulation models, e.g. distribution of spectral power density or received signal strength indicator [RSSI] for a given geographic region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/541—Allocation or scheduling criteria for wireless resources based on quality criteria using the level of interference

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种用于无线网络环境的干扰控制方法及系统，该方法包括：根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；对所述目标优化模型进行求解，得到最优资源分配组合；根据所述最优资源分配组合，对所述无线网络进行干扰控制。本发明通过将网络通信资源按需统一协调调度，针对不同业务的通信网络需求为优化目标，在满足业务需求的条件下，实现网络通信资源的优化调度和配置，从而有效降低无线网络场景中的干扰现象，改善无线网络的服务质量。

Description

用于无线网络环境的干扰控制方法及系统
技术领域
本发明涉及通信技术领域，尤其涉及一种用于无线网络环境的干扰控制方法及系统。
背景技术
随着通信网络的应用场景不断扩大，以及通信网络结构的不断复杂化，在特定的实际应用场景下，通信网络在面向业务需求提供服务的同时，往往需要考虑到所有的可用通信网络资源。
在现有网络通信资源建模和网络通信资源调度配置优化算法中，主要有吞吐量最大分配、公平分配、功率最小分配和多目标、多约束条件下的资源分配等。现有方案研究着重于以目标来驱动，将干扰、带宽等作为条件约束，难以满足特定场景下的高度安全、弱连接快速恢复等特殊需求，并且，对网络资源的考虑相对隔离，无统一的资源感知和调度方案。同时，现有调度算法也是以静态为主，未考虑网络的动态变化过程，难以适应网络的高度弹性变化过程，导致现有无线网络的干扰控制方式，在面对多种不同的无线网络场景时，干扰控制的效果和适应度较差，不能较好的改善网络质量。
因此，现在亟需一种用于无线网络环境的干扰控制方法及系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种用于无线网络环境的干扰控制方法及系统。
本发明提供一种用于无线网络环境的干扰控制方法，包括：
根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；
对所述目标优化模型进行求解，得到最优资源分配组合；
根据所述最优资源分配组合，对所述无线网络进行干扰控制。
根据本发明提供的一种用于无线网络环境的干扰控制方法，在所述根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型之前，所述方法还包括：
获取无线网络中每条链路的信号干扰噪声比；
基于每条链路与外界干扰源之间的距离，将所述信号干扰噪声比大于预设信噪比门限值的链路作为目标链路，以根据所述目标链路的网络资源通信参数构建目标优化模型，其中，所述目标链路为待进行干扰控制的链路。
根据本发明提供的一种用于无线网络环境的干扰控制方法，所述根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型，包括：
根据无线网络中当前时刻每条链路已分配的频谱带宽和通信时长，以及每条链路的信号干扰噪声比，得到当前时刻每条链路的无线传输发射速率；
基于所述无线传输发射速率，根据所述频谱带宽、所述通信时长和每条链路当前时刻的发射功率，以最大化无线网络的发射速率为优化目标，构建目标优化模型。
根据本发明提供的一种用于无线网络环境的干扰控制方法，所述对所述目标优化模型进行求解，得到最优资源分配组合，包括：
基于深度强化学习算法训练得到的资源分配模型，将无线网络中每条链路的频谱带宽、通信时长和发射功率作为状态空间，以最大化无线网络能效和用户侧服务质量参数为奖励，对所述目标优化模型进行求解，得到最优资源分配组合。
根据本发明提供的一种用于无线网络环境的干扰控制方法，所述无线传输发射速率的公式为：
其中，Ri表示第i条链路的无线传输发射速率，Bi表示系统为第i条链路分配的频谱宽度，ti表示在通信时隙长度T上分配给第i条链路的通信时长，SINRi表示第i条链路的信号干扰噪声比；
所述目标优化模型为：
Rmin≤Ri≤Rmax；
0≤Pi≤Pmax；
SINRi＞μ；
其中，Pi表示第i条链路的发射功率，L表示节点之间的通信链路数量，BA表示最大预设可用带宽，Rmin表示满足用户终端通信服务的最低预设下行速率，Rmax表示满足用户终端通信服务最高预设下行速率，Pmax表示最大预设发射功率，μ表示预设信噪比门限值。
根据本发明提供的一种用于无线网络环境的干扰控制方法，所述资源分配模型通过以下步骤得到：
通过历史网络资源通信参数，对神经网络进行离线训练，在满足预设训练次数时，得到值函数估计和对应的动作对样本；
根据所述值函数估计和所述动作对样本，对离线训练后的神经网络进行在线训练，若达到预设迭代次数，得到资源分配模型。
本发明还提供一种用于无线网络环境的干扰控制系统，包括：
优化模型构建模块，用于根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；
最优资源组合获取模块，用于对所述目标优化模型进行求解，得到最优资源分配组合；
干扰控制模块，用于根据所述最优资源分配组合，对所述无线网络进行干扰控制。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于无线网络环境的干扰控制方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于无线网络环境的干扰控制方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用于无线网络环境的干扰控制方法的步骤。
本发明提供的用于无线网络环境的干扰控制方法及系统，通过将网络通信资源按需统一协调调度，针对不同业务的通信网络需求为优化目标，在满足业务需求的条件下，实现网络通信资源的优化调度和配置，从而有效降低无线网络场景中的干扰现象，改善无线网络的服务质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的网络资源池的构建示意图；
图2为本发明提供的用于无线网络环境的干扰控制方法的流程示意图；
图3为本发明提供的用于无线网络环境的干扰控制系统的结构示意图；
图4为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在现有网络通信资源建模和网络通信资源调度配置优化算法中，包括吞吐量最大分配、公平分配、功率最小分配和多目标、多约束条件下的资源分配等。在这些优化算法中，对于网络系统而言，吞吐量最大分配，除了要提供能够满足一定服务质量要求的资源服务外，还要使吞吐量最大化，这样才能获得最大的经济利益。
虽然吞吐量最大分配方法，可最大程度提高网络资源，但是却无法保证资源分配的公平性。因此，基于公平分配的方法，能够保证一个数据流的恶意行为不会对其他数据流产生不良影响，其中，公平性包括速率最大化公平性、比例公平性和最大最小公平性等。
进一步地，无线网络中的节点有很多为移动节点，自身所携带能量有限，而且除去自身的通信需求外，往往还需要为其他用户提供中继服务，这就要求无线节点的发射功率不能够过大。如果能够在满足通信需求的前提下使得发射功率最小化，即功率最小分配，就能够有效地节省节点的能量，将会延长整个网络的工作寿命，使得网络的吞吐量进一步提高、服务质量进一步改善。
最后，多目标、多约束条件下的资源分配。不同的业务有不同的服务质量要求，主要包括吞吐量、时延、丢包率和抖动等。多约束条件下的资源分配，能够在满足多种约束条件的前提下合理得对资源进行分配，包括带宽和时隙等，使得服务质量得到提高，并且同时节约资源。目前的多约束资源分配有很多不同的研究思路，例如使用动态规划的方法等等，分别能够根据网络条件的变化动态调整分配策略以及使得网络的总体效用最大化。
然而，上述提到的研究，均着重于以目标来驱动，将干扰、带宽等作为条件约束，而未考虑干扰控制的小区无线接入位置规划可靠性多业务路由等不同的网络应用场景的差异化特征。
本发明提出一种无线网络环境中基于深度强化学习的干扰控制算法。针对不同无线网络环境中网络通信资源的抽象建模，网络通信资源的标准化描述，以及虚拟网络通信资源池构建的依据和机理，对网络资源整体的统一协调进行管理和调度。与此同时，针对不同无线网络场景下的业务需求，可快速的进行虚拟网络的构建，保证特定应用场景下，网络成员之间的需求互联以及满足业务的差异化传输需求；统一协同按需调度网络通信资源，将不同的业务对通信网络的需求作为优化目标，在满足业务需求的条件下，实现对网络通信资源的最优化调度和配置。本发明针对不同无线网络应用场景下的通信网络，基于通信网络资源虚拟化建模，通过深度强化学习优化算法对网络通信资源实现最优化调度和配置。
首先，根据不同的网络资源构建通信网络资源池模型，图1为本发明提供的网络资源池的构建示意图，可参考图1所示，基于网络资源建模方法，包括基于管理信息模型的建模方法和基于知识图谱的动态建模方法，进一步面向分层的网络结构，面向业务和应用需求构建对应的通信网络资源池模型。在本发明中，资源池模型中自底向上分为相互关联的基础承载网络模型、联合业务的网络资源模型(即联合网络资源模型)和业务资源模型三层，其中基础承载网络模型包含了各种异构的边缘网络的可用网络模型，进一步分为两层，第一层主要映射至数据链网络和虚拟网络，而数据链网络也可以映射至虚拟网络。进一步，数据链网络和虚拟网络进一步又承载于底层的各种基础实施网络，包括但不限于互联网、光有线接入网络、无线接入网络、卫星接入网络、光传输网络和其他的网络等。
在各种不同的无线通信网中，常见的干扰类型为压制性干扰，包括瞄准式干扰、半瞄准式干扰和阻塞式干扰等。当网络中存在外界干扰源随机地出现在通信频段上，干扰源出现在通信频段上的次数是随时间变化的一个泊松过程，外界干扰源在通信频段上的持续时间是符合高斯分布的，并且每次在通信频段持续时间都是相互独立的。因此，外界干扰源的行为与无线通信网络中的通信终端的行为特征十分相似。
图2为本发明提供的用于无线网络环境的干扰控制方法的流程示意图，如图2所示，本发明提供了一种用于无线网络环境的干扰控制方法，包括：
步骤201，根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型。
在本发明中，首先需要根据现有无线网络中每条链路的频谱带宽、通信时长和发射功率等，构建目标优化模型，从而基于该模型对每条链路的网络资源通信参数进行调整，以实现干扰控制，提高整个无线网络环境的速率。
步骤202，对所述目标优化模型进行求解，得到最优资源分配组合；
步骤203，根据所述最优资源分配组合，对所述无线网络进行干扰控制。
在本发明中，通过上述构建的目标优化模型，求解得到无线网络中网络资源通信参数的调整方案，使得各链路之间产生的干扰减少，从而最大化无线网络环境速率。最后，根据得到调整方案，通过调整各自网络资源参数，对无线网络进行干扰控制。优选地，由于构建得到目标优化模型是一个复杂的多维变量非线性约束问题，一般的方法很难求解，为了保证算法的可适应性，本发明通过深度强化学习方法对该模型进行求解，完成对应资源的分配。
本发明提供的用于无线网络环境的干扰控制方法，通过将网络通信资源按需统一协调调度，针对不同业务的通信网络需求为优化目标，在满足业务需求的条件下，实现网络通信资源的优化调度和配置，从而有效降低无线网络场景中的干扰现象，改善无线网络的服务质量。
在上述实施例的基础上，在所述根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型之前，所述方法还包括：
获取无线网络中每条链路的信号干扰噪声比；
基于每条链路与外界干扰源之间的距离，将所述信号干扰噪声比大于预设信噪比门限值的链路作为目标链路，以根据所述目标链路的网络资源通信参数构建目标优化模型，其中，所述目标链路为待进行干扰控制的链路。
在无线网络环境中，针对外界干扰源，首先判别其功率大小及影响，即识别出正在进行的无线通信链路的信号干扰噪声比(signal to interference and noise ratio，简称SINR)，若此链路距离外界干扰源距离较远(即大于预设干扰源距离)，且无线通信链路的信号干扰噪声比仍然大于预设信噪比门限值，可以选择增大发射功率，或降低发射速率。若无线通信链路与外界干扰源的距离较近(即小于等于预设干扰源距离)，并且外界干扰源的发射功率较大，此时无线通信链路的信号干扰噪声比已经小于预设信噪比门限值，在此情况下，只能选择终止当前通信。在本发明中，针对无线通信链路的信号干扰噪声比仍然大于预设信噪比门限值的情况，为了实现对这些干扰的压制和识别，通过调整链路频谱带宽、通信时长和发射功率等方式，在抑制干扰的同时，最大化无线网络的发射速率以及各种业务的服务质量要求。
在上述实施例的基础上，所述根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型，包括：
根据无线网络中当前时刻每条链路已分配的频谱带宽和通信时长，以及每条链路的信号干扰噪声比，得到当前时刻每条链路的无线传输发射速率。
在本发明中，所述无线传输发射速率的公式为：
其中，Ri表示第i条链路的无线传输发射速率，Bi表示系统为第i条链路分配的频谱宽度，ti表示在通信时隙长度T上分配给第i条链路的通信时长，SINRi表示第i条链路的信号干扰噪声比。
需要说明的是，在本发明中，无线网络中链路数量为N，各节点间的通信链路数量为L，则在该无线网络中，第ith条链路受到的此无线网络内部其他无线节点的干扰总和Ii可以表达为：
通过上述干扰总和Ii的公式，从而定义每条链路受其他链路干扰的最大干扰约束条件。其中，εn∈0,1表示第nth条链路是否正在进行通信，Gi,n表示第nth条链路上发射节点相对于第ith条链路的增益，Pn为第nth条链路上的发射功率。另外，设当前时刻其他强干扰源当前相对于链路i产生的干扰为通过上述无线传输发射功率的公式，可得到链路i上的SINR。
基于所述无线传输发射速率，根据所述频谱带宽、所述通信时长和每条链路当前时刻的发射功率，以最大化无线网络的发射速率为优化目标，构建目标优化模型。
在本发明中，为了抑制干扰，在可控制的范围内，需以无线网络中的频谱带功率、时隙等资源为优化对象，构建全系统速率最大化的目标优化模型，所述目标优化模型为：
Rmin≤Ri≤Rmax；
0≤Pi≤Pmax；
SINRi＞μ；
其中，Pi表示第i条链路的发射功率，L表示节点之间的通信链路数量；T表示通信时隙长度，第一项约束条件保证所有无线通信链路的时隙分配之和，不能高于整个通信时隙长度T；BA表示最大预设可用带宽，第二项约束条件保证分配给所有用户终端的频谱之和在可用的最大带宽BA以内；Rmin表示满足用户终端通信服务的最低预设下行速率，Rmax表示满足用户终端通信服务最高预设下行速率，第三项约束条件保障用户终端的下行速率在指定的范围[Rmin,Rmax]之内；Pmax表示最大预设发射功率，第四项约束条件是对链路发射功率的要求，其限制无线通信链路的发射功率不能高于允许的最大值Pmax；μ表示预设信噪比门限值，第五项约束条件是为了保证无线通信链路的信噪比在指定的门限μ以上。
在上述实施例的基础上，所述对所述目标优化模型进行求解，得到最优资源分配组合，包括：
基于深度强化学习算法训练得到的资源分配模型，将无线网络中每条链路的频谱带宽、通信时长和发射功率作为状态空间，以最大化无线网络能效和用户侧服务质量参数为奖励，对所述目标优化模型进行求解，得到最优资源分配组合。
在本发明中，在对模型进行训练之后，首先需要构造学习的状态空间、动作空间和奖励函数。具体表示为：
状态空间S：作为三维变量，由优化对象{Bi},{ti},{Pi}的值空间组成；
动作空间A：对应于四维状态空间，由分配的频谱带宽Bi、通信时隙长度ti和发射功率Pi的三维递进式变化量组成；
奖励Re：为了在实现无线网络能效最大化的同时，兼顾用户侧的服务质量，这里将奖励定义为优化目标和任务服务质量Φ之和的增量，即：
其中，F为与用户服务质量有关的参数集合，包括但不限于约束中指定的用户下行速率和SINR等；为各个服务质量参数的归一化效能值；ξi(·)表示第i个用户终端的当前服务质量参数取值，Γk为对应的约束门限。
进一步地，通过训练得到的资源分配模型，对目标优化模型进行求解，从而得到最优资源分配组合。在上述实施例的基础上，所述资源分配模型通过以下步骤得到：
通过历史网络资源通信参数，对神经网络进行离线训练，在满足预设训练次数时，得到值函数估计和对应的动作对样本；
根据所述值函数估计和所述动作对样本，对离线训练后的神经网络进行在线训练，若达到预设迭代次数，得到资源分配模型。
在本发明中，基于深度强化学习的任务资源按需调度算法，确保满足整个无线网络的速率最大化的目标。其中，深度强化学习过程包括离线的学习网络构造和在线的深度Q学习两个阶段。针对离线的学习网络构造阶段，需要选择合适的深度强化学习训练模型，获取动作对(s,a)和值函数Q(s,a)之间的相互关系。由于影响的因素众多，本发明直接量化定义其与参数之间的量化关系，因此，通过训练模型，可以积累足够的值函数估计和对应的动作对样本，并使用记忆回放以平稳训练过程。在本发明中，深度强化学习训练模型可选择卷积神经网络(Convolutional Neural Network，简称CNN)或者递归神经网络(recurrentneural network，简称RNN)。
进一步地，在离线学习阶段获取了足够的训练样本后，下一步是开展在线的Q学习，将离线训练得到的值函数估计和对应的动作对样本，输入到神经网络中进行在线训练。采用的训练过程如下：
步骤1，随机初始化Q函数的参数θ，并设定1个初始状态st；
步骤2，如果达到迭代次数或者Q值函数变化量达到终止条件，则训练结束，否则，以预设概率在状态空间中随机选择动作at或者选择当前最大化值函数对应的动作对at＝argmaxQ(st,at；θ)，其中，Q值通过离线阶段的深度学习训练获得；
步骤3，在与环境交互中，观察到立即奖励Ret和下一状态st+1，将状态转换(st,at,Ret,st+1)存储，并从存储空间中随机抽样，获取一组新的状态(st,at,Ret,st+1)；
步骤4，计算当前状态下的最小化均方差期望M(θ)，公式为：
M(θt)＝E[(zt-Q(st,at；θt))2]；
其中，目标Zt的定义如下：
zt＝Ret+γmaxa′Q(st,a′；θt-1)；
其中，0<γ<1为折扣因子。之后，基于梯度下降方法获取θ的更新，即：
步骤5，令θt+1＝θt+Δθ，并计算新的Q值，返回步骤2。
通过上述方法，在满足预设收敛条件之后，即可获得最优资源分配组合，从而实现无线网络在强干扰条件下的资源分配。通过仿真结果表明，对于固定功率的干扰源，干扰源周围的用户终端会受到不同程度的影响，具体表现为用户终端传输速率的降低。基于本发明提供的方法，通过调整周边基站的功率，可以再次提高受干扰的用户终端的速率，从而满足用户终端达到最小服务速率要求的目的。
图3为本发明提供的用于无线网络环境的干扰控制系统的结构示意图，如图3所示，本发明提供了一种用于无线网络环境的干扰控制系统，包括优化模型构建模块301、最优资源组合获取模块302和干扰控制模块303，其中，优化模型构建模块301用于根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；最优资源组合获取模块302用于对所述目标优化模型进行求解，得到最优资源分配组合；干扰控制模块303用于根据所述最优资源分配组合，对所述无线网络进行干扰控制。
本发明提供的用于无线网络环境的干扰控制系统，通过将网络通信资源按需统一协调调度，针对不同业务的通信网络需求为优化目标，在满足业务需求的条件下，实现网络通信资源的优化调度和配置，从而有效降低无线网络场景中的干扰现象，改善无线网络的服务质量。
在上述实施例的基础上，所述系统还包括：
信噪比获取模块，用于获取无线网络中每条链路的信号干扰噪声比；
目标链路确定模块，用于基于每条链路与外界干扰源之间的距离，将所述信号干扰噪声比大于预设信噪比门限值的链路作为目标链路，以根据所述目标链路的网络资源通信参数构建目标优化模型，其中，所述目标链路为待进行干扰控制的链路。
在上述实施例的基础上，所述优化模型构建模块包括：
链路发射速率获取单元，用于根据无线网络中当前时刻每条链路已分配的频谱带宽和通信时长，以及每条链路的信号干扰噪声比，得到当前时刻每条链路的无线传输发射速率；
优化模型生成单元，用于基于所述无线传输发射速率，根据所述频谱带宽、所述通信时长和每条链路当前时刻的发射功率，以最大化无线网络的发射速率为优化目标，构建目标优化模型。
本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图4为本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(CommunicationsInterface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行用于无线网络环境的干扰控制方法，该方法包括：根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；对所述目标优化模型进行求解，得到最优资源分配组合；根据所述最优资源分配组合，对所述无线网络进行干扰控制。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的用于无线网络环境的干扰控制方法，该方法包括：根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；对所述目标优化模型进行求解，得到最优资源分配组合；根据所述最优资源分配组合，对所述无线网络进行干扰控制。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的用于无线网络环境的干扰控制方法，该方法包括：根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；对所述目标优化模型进行求解，得到最优资源分配组合；根据所述最优资源分配组合，对所述无线网络进行干扰控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种用于无线网络环境的干扰控制方法，其特征在于，包括：
根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；
对所述目标优化模型进行求解，得到最优资源分配组合；
根据所述最优资源分配组合，对所述无线网络进行干扰控制；
所述根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型，包括：
根据无线网络中当前时刻每条链路已分配的频谱带宽和通信时长，以及每条链路的信号干扰噪声比，得到当前时刻每条链路的无线传输发射速率；
基于所述无线传输发射速率，根据所述频谱带宽、所述通信时长和每条链路当前时刻的发射功率，以最大化无线网络的发射速率为优化目标，构建目标优化模型；
所述对所述目标优化模型进行求解，得到最优资源分配组合，包括：
基于深度强化学习算法训练得到的资源分配模型，将无线网络中每条链路的频谱带宽、通信时长和发射功率作为状态空间，以最大化无线网络能效和用户侧服务质量参数为奖励，对所述目标优化模型进行求解，得到最优资源分配组合；
所述无线传输发射速率的公式为：
其中，Ri表示第i条链路的无线传输发射速率，Bi表示系统为第i条链路分配的频谱宽度，ti表示在通信时隙长度T上分配给第i条链路的通信时长，SINRi表示第i条链路的信号干扰噪声比；
所述目标优化模型为：
Rmin≤Ri≤Rmax；
0≤Pi≤Pmax；
SINRi＞μ；
其中，Pi表示第i条链路的发射功率，L表示节点之间的通信链路数量，BA表示最大预设可用带宽，Rmin表示满足用户终端通信服务的最低预设下行速率，Rmax表示满足用户终端通信服务最高预设下行速率，Pmax表示最大预设发射功率，μ表示预设信噪比门限值。
2.根据权利要求1所述的用于无线网络环境的干扰控制方法，其特征在于，在所述根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型之前，所述方法还包括：
获取无线网络中每条链路的信号干扰噪声比；
基于每条链路与外界干扰源之间的距离，将所述信号干扰噪声比大于预设信噪比门限值的链路作为目标链路，以根据所述目标链路的网络资源通信参数构建目标优化模型，其中，所述目标链路为待进行干扰控制的链路。
3.根据权利要求1所述的用于无线网络环境的干扰控制方法，其特征在于，所述资源分配模型通过以下步骤得到：
通过历史网络资源通信参数，对神经网络进行离线训练，在满足预设训练次数时，得到值函数估计和对应的动作对样本；
根据所述值函数估计和所述动作对样本，对离线训练后的神经网络进行在线训练，若达到预设迭代次数，得到资源分配模型。
4.一种用于无线网络环境的干扰控制系统，其特征在于，包括：
优化模型构建模块，用于根据无线网络中每条链路的网络资源通信参数，以最大化无线网络的发射速率为优化目标，构建目标优化模型；
最优资源组合获取模块，用于对所述目标优化模型进行求解，得到最优资源分配组合；
干扰控制模块，用于根据所述最优资源分配组合，对所述无线网络进行干扰控制；
所述优化模型构建模块包括：
链路发射速率获取单元，用于根据无线网络中当前时刻每条链路已分配的频谱带宽和通信时长，以及每条链路的信号干扰噪声比，得到当前时刻每条链路的无线传输发射速率；
优化模型生成单元，用于基于所述无线传输发射速率，根据所述频谱带宽、所述通信时长和每条链路当前时刻的发射功率，以最大化无线网络的发射速率为优化目标，构建目标优化模型；
所述最优资源组合获取模块具体用于：
基于深度强化学习算法训练得到的资源分配模型，将无线网络中每条链路的频谱带宽、通信时长和发射功率作为状态空间，以最大化无线网络能效和用户侧服务质量参数为奖励，对所述目标优化模型进行求解，得到最优资源分配组合；
所述无线传输发射速率的公式为：
其中，Ri表示第i条链路的无线传输发射速率，Bi表示系统为第i条链路分配的频谱宽度，ti表示在通信时隙长度T上分配给第i条链路的通信时长，SINRi表示第i条链路的信号干扰噪声比；
所述目标优化模型为：
Rmin≤Ri≤Rmax；
0≤Pi≤Pmax；
SINRi＞μ；
其中，Pi表示第i条链路的发射功率，L表示节点之间的通信链路数量，BA表示最大预设可用带宽，Rmin表示满足用户终端通信服务的最低预设下行速率，Rmax表示满足用户终端通信服务最高预设下行速率，Pmax表示最大预设发射功率，μ表示预设信噪比门限值。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述用于无线网络环境的干扰控制方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述用于无线网络环境的干扰控制方法的步骤。
CN202111005823.XA 2021-08-30 2021-08-30 用于无线网络环境的干扰控制方法及系统 Active CN113766661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111005823.XA CN113766661B (zh) 2021-08-30 2021-08-30 用于无线网络环境的干扰控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111005823.XA CN113766661B (zh) 2021-08-30 2021-08-30 用于无线网络环境的干扰控制方法及系统

Publications (2)

Publication Number Publication Date
CN113766661A CN113766661A (zh) 2021-12-07
CN113766661B true CN113766661B (zh) 2023-12-26

Family

ID=78791831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111005823.XA Active CN113766661B (zh) 2021-08-30 2021-08-30 用于无线网络环境的干扰控制方法及系统

Country Status (1)

Country Link
CN (1) CN113766661B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037135A (ja) * 2005-07-26 2007-02-08 Ntt Docomo Inc 無線自己組織ネットワークにおけるジョイントパワーとレート制御方法と装置
CN109379754A (zh) * 2018-12-18 2019-02-22 国家电网有限公司 一种无线接入网中的网络切片优化方法
CN109617662A (zh) * 2019-01-04 2019-04-12 浙江大学 基于水声ofdm-noma系统下行链路的联合资源优化方法
CN109729528A (zh) * 2018-12-21 2019-05-07 北京邮电大学 一种基于多智能体深度强化学习的d2d资源分配方法
CN109743778A (zh) * 2019-01-14 2019-05-10 长沙学院 一种基于强化学习的资源分配优化方法和系统
CN109862610A (zh) * 2019-01-08 2019-06-07 华中科技大学 一种基于深度强化学习ddpg算法的d2d用户资源分配方法
CN110769514A (zh) * 2019-11-08 2020-02-07 山东师范大学 一种异构蜂窝网络d2d通信资源分配方法及系统
CN111641450A (zh) * 2020-06-02 2020-09-08 西安电子科技大学 星地一体化网络通信与缓存资源联合调度方法
CN112566253A (zh) * 2020-11-10 2021-03-26 北京科技大学 一种无线资源分配联合优化方法及装置
CN112995951A (zh) * 2021-03-12 2021-06-18 南京航空航天大学 一种采用深度确定性策略梯度算法的5g车联网v2v资源分配方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355748B2 (en) * 2004-05-28 2013-01-15 Panasonic Corporation Multi-mode control station, radio communication system, radio station, and radio communication control method
US7567543B2 (en) * 2005-10-24 2009-07-28 Nec Laboratories America, Inc. Method and apparatus for cross layer resource allocation for wireless backhaul networks
US7782829B2 (en) * 2008-06-22 2010-08-24 Intel Corporation Energy-efficient link adaptation and resource allocation for wireless OFDMA systems
US8848534B2 (en) * 2011-08-31 2014-09-30 Verizon Patent And Licensing Inc. Dynamic resource allocation within a heterogeneous wireless transport network

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037135A (ja) * 2005-07-26 2007-02-08 Ntt Docomo Inc 無線自己組織ネットワークにおけるジョイントパワーとレート制御方法と装置
CN109379754A (zh) * 2018-12-18 2019-02-22 国家电网有限公司 一种无线接入网中的网络切片优化方法
CN109729528A (zh) * 2018-12-21 2019-05-07 北京邮电大学 一种基于多智能体深度强化学习的d2d资源分配方法
CN109617662A (zh) * 2019-01-04 2019-04-12 浙江大学 基于水声ofdm-noma系统下行链路的联合资源优化方法
CN109862610A (zh) * 2019-01-08 2019-06-07 华中科技大学 一种基于深度强化学习ddpg算法的d2d用户资源分配方法
CN109743778A (zh) * 2019-01-14 2019-05-10 长沙学院 一种基于强化学习的资源分配优化方法和系统
CN110769514A (zh) * 2019-11-08 2020-02-07 山东师范大学 一种异构蜂窝网络d2d通信资源分配方法及系统
CN111641450A (zh) * 2020-06-02 2020-09-08 西安电子科技大学 星地一体化网络通信与缓存资源联合调度方法
CN112566253A (zh) * 2020-11-10 2021-03-26 北京科技大学 一种无线资源分配联合优化方法及装置
CN112995951A (zh) * 2021-03-12 2021-06-18 南京航空航天大学 一种采用深度确定性策略梯度算法的5g车联网v2v资源分配方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A fairness resource allocation algorithm for coverage and capacity optimization in wireless self-organized network;Pan Zhao等;China Communications;第15卷(第11期);全文 *
大规模MIMO系统能效优化算法研究综述;王正强等;重庆邮电大学学报;全文 *
异构无线网络多链路接入动态资源分配算法;俞鹤伟;梁根;秦勇;;电子与信息学报(04);全文 *
异构无线网络资源分配算法研究综述;徐勇军;李国权;徐鹏;陈前斌;;重庆邮电大学学报(自然科学版)(03);全文 *

Also Published As

Publication number Publication date
CN113766661A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
Mei et al. Intelligent radio access network slicing for service provisioning in 6G: A hierarchical deep reinforcement learning approach
CN111405568B (zh) 基于q学习的计算卸载和资源分配方法及装置
Liu et al. Dynamic task offloading and resource allocation for ultra-reliable low-latency edge computing
CN109729528B (zh) 一种基于多智能体深度强化学习的d2d资源分配方法
CN111800828B (zh) 一种超密集网络的移动边缘计算资源分配方法
Wei et al. Deep Q-Learning Based Computation Offloading Strategy for Mobile Edge Computing.
CN111405569A (zh) 基于深度强化学习的计算卸载和资源分配方法及装置
CN111666149A (zh) 基于深度强化学习的超密边缘计算网络移动性管理方法
CN110798849A (zh) 一种超密网边缘计算的计算资源分配与任务卸载方法
CN110753319B (zh) 异构车联网中面向异质业务的分布式资源分配方法及系统
Ji et al. Power optimization in device-to-device communications: A deep reinforcement learning approach with dynamic reward
Khoramnejad et al. On joint offloading and resource allocation: A double deep q-network approach
Kim Adaptive online power control scheme based on the evolutionary game theory
Elsayed et al. Deep reinforcement learning for reducing latency in mission critical services
CN112512070B (zh) 一种基于图注意力机制强化学习的多基站协同无线网络资源分配方法
CN113573363B (zh) 基于深度强化学习的mec计算卸载与资源分配方法
Chiang et al. Deep Q-learning-based dynamic network slicing and task offloading in edge network
Lynch et al. Automated self-optimization in heterogeneous wireless communications networks
Sande et al. Access and radio resource management for IAB networks using deep reinforcement learning
Huang et al. A DRL-based automated algorithm selection framework for cross-layer QoS-aware scheduling and antenna allocation in massive MIMO systems
Alwarafy et al. DeepRAT: A DRL-based framework for multi-RAT assignment and power allocation in HetNets
Guerra-Gomez et al. Machine learning adaptive computational capacity prediction for dynamic resource management in C-RAN
Barrachina-Muñoz et al. Multi-armed bandits for spectrum allocation in multi-agent channel bonding WLANs
CN114051252A (zh) 无线接入网中多用户智能发射功率控制方法
Yang et al. Multi-objective deep reinforcement learning for mobile edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant