CN113316259A - 一种支持ai引擎的下行无线资源调度方法及装置 - Google Patents

一种支持ai引擎的下行无线资源调度方法及装置 Download PDF

Info

Publication number
CN113316259A
CN113316259A CN202110729669.4A CN202110729669A CN113316259A CN 113316259 A CN113316259 A CN 113316259A CN 202110729669 A CN202110729669 A CN 202110729669A CN 113316259 A CN113316259 A CN 113316259A
Authority
CN
China
Prior art keywords
engine
scheduling
oai
downlink
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110729669.4A
Other languages
English (en)
Other versions
CN113316259B (zh
Inventor
张海君
管婉青
王东
卢同威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110729669.4A priority Critical patent/CN113316259B/zh
Publication of CN113316259A publication Critical patent/CN113316259A/zh
Priority to US17/537,542 priority patent/US11943793B2/en
Application granted granted Critical
Publication of CN113316259B publication Critical patent/CN113316259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/535—Allocation or scheduling criteria for wireless resources based on resource usage policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/20—Control channels or signalling for resource management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/622—Queue service order
    • H04L47/6225—Fixed service order, e.g. Round Robin
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/20—Control channels or signalling for resource management
    • H04W72/23—Control channels or signalling for resource management in the downlink direction of a wireless link, i.e. towards a terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/53—Allocation or scheduling criteria for wireless resources based on regulatory allocation policies
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种支持AI引擎的下行无线资源调度方法及装置，该方法包括：构建AI引擎，并建立AI引擎与OAI系统之间的socket连接，将AI引擎配置到OAI运行环境中，以利用AI引擎替代OAI系统中MAC层LTE对资源调度所采用的轮询算法和公平轮转算法，实现下行无线资源调度过程的接管；在OAI对资源进行调度的过程中，将调度信息通过Socket发送至AI引擎；利用AI引擎根据调度信息完成资源分配，并将资源分配结果返回至OAI。本发明利用深度强化学习技术实现了对无线资源的合理调度和分配，提高了系统性能。

Description

一种支持AI引擎的下行无线资源调度方法及装置
技术领域
本发明涉及无线通信技术领域，特别涉及一种支持AI引擎的下行无线资源调度方法及装置。
背景技术
在无线传输领域中，下行资源是由基站传输至用户端，现有的LTE系统在下行控制资源的交互传输过程中，会产生大量的冗余信息和较多的处理时延，在LTE传输过程中，需要进行多次信息的确认和传输，通过系统的层层反馈，才会进行最后的传输。在这个过程中，会产生极大的时延和很多资源的浪费。
发明内容
本发明提供了一种支持AI引擎的下行无线资源调度方法及装置，以解决现有技术在资源调度中会产生极大的时延和很多资源浪费的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供一种支持AI引擎的下行无线资源调度方法，包括：
构建AI引擎，并建立AI引擎与OAI系统之间的socket连接，将AI引擎配置到OAI运行环境中，以利用AI引擎替代OAI系统中MAC层LTE对资源调度所采用的轮询算法和公平轮转算法，实现下行无线资源调度过程的接管；
在OAI对资源进行调度的过程中，将调度信息通过Socket发送至AI引擎；
利用AI引擎根据调度信息完成资源分配，并将资源分配结果返回至OAI。
进一步地，所述AI引擎采用预设的深度强化学习算法实现对下行无线资源的调度。
进一步地，所述深度强化学习算法为DDQN算法。
进一步地，所述利用AI引擎根据调度信息完成资源分配，包括：
将不断变化的用户服务需求视为环境状态，并将已分配的无线资源视为环境操作来利用预设的深度强化学习算法实现下行无线资源调度；
通过最大限度地减少估算的行动值分布与目标行动值分布之间的差异来学习行动值分布，通过估计状态值分布和动作优势函数来学习动作值分布。
进一步地，在利用AI引擎根据调度信息完成资源分配后，所述方法还包括：
对调度帧号、下行带宽和下行最大信息数进行实时监控并显示监控结果。另一方面，本发明还提供一种支持AI引擎的下行无线资源调度装置，包括：
AI引擎构建模块，用于构建AI引擎，并建立AI引擎与OAI系统之间的socket连接，将AI引擎配置到OAI运行环境中，以利用AI引擎替代OAI系统中MAC层LTE对资源调度所采用的轮询算法和公平轮转算法，实现下行无线资源调度过程的接管；
调度信息发送模块，用于在OAI对资源进行调度的过程中，将调度信息通过Socket发送至AI引擎；
资源分配及分配结果发送模块，用于利用AI引擎根据调度信息完成资源分配，并将资源分配结果返回至OAI。
进一步地，所述AI引擎采用预设的深度强化学习算法实现对下行无线资源的调度。
进一步地，所述深度强化学习算法为DDQN算法。
进一步地，所述资源分配及分配结果发送模块具体用于：
将不断变化的用户服务需求视为环境状态，并将已分配的无线资源视为环境操作来利用预设的深度强化学习算法实现下行无线资源调度；
通过最大限度地减少估算的行动值分布与目标行动值分布之间的差异来学习行动值分布，通过估计状态值分布和动作优势函数来学习动作值分布。
进一步地，所述装置还包括调度结果监控模块，用于：
对调度帧号、下行带宽和下行最大信息数进行实时监控并显示监控结果。
再一方面，本发明还提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
本发明在下行无线资源调度时采用智能AI引擎进行分配，采用训练好的机器模型将资源进行调度和分配，能极大程度的减少时延和冗余信息。每次需要进行资源调度时只需通过模型进行直接分配，避免了多次信息的传输和确认过程，使得整个系统的运行更加流畅，从而提高了系统的性能。本发明用于OAI引擎中的下行无线资源调度分配，可完全替代原有的资源分配模式，并能极大的减少时延。本发明采用深度强化学习中的DDQN算法，设计针对虚拟无线网络的DDQN算法，利用AI引擎完成对下行无线资源的智能调度。同时，可以通过相配置的界面，对所分配的多个用户(UE)所获得的资源进行查看。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的支持AI引擎的下行无线资源调度方法的执行流程示意图；
图2为本发明实施例提供的AI引擎接口设计流程示意图；
图3为本发明实施例提供的OAI与AI引擎的通信连接示意图；
图4为本发明实施例提供的AI引擎和OAI运行环境整体架构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例针对下行无线资源调度分配问题，提供了一种用于开源OpenAirInterface(OAI)系统中，支持AI引擎的下行无线资源调度方法，即配置在OAI引擎下实现，设计DDQN算法进行训练，得到适用于该引擎的封装AI模型，该模型可最多配置多个UE进行资源分配。
该方法的执行流程如图1所示，包括以下步骤：
S1，构建AI引擎并建立AI引擎与OAI系统之间的socket连接，将AI引擎配置到OAI运行环境中，以利用AI引擎替代OAI系统中MAC层LTE对资源调度所采用的轮询算法和公平轮转算法，实现下行无线资源调度过程的接管；
需要说明的是，为实现AI引擎对于下行资源的配置，需要对OAI代码的运行流程有一个清晰的认识。其中，OAI系统是通过子帧(ITTI)的中间件实现了任务消息队列，进而实现了整个无线接入网(Radio Access Network，RAN)侧代码运行。为了实现AI引擎对原本系统中的分配，需要针对系统中原本的分配方式进行替换。OAI的物理层(Media AccessControl，MAC)，介质访问控制MAC层调度器在每一子帧都会对下行共享信道(DL-SCH，Downlink Shared Channel)、上行共享信道(UL-SCH，Uplink Shared Channel)进行调度，这个调度的算法共有两种，其一是默认的轮询算法，第二种公平轮转算法(fair-RR)，OAI通过这两个算法对下行资源进行分配，本实施例将使用AI引擎对其进行替代，实现调度过程的接管。
S2，在OAI对资源调度的过程中，将调度信息通过Socket发送至AI引擎；
S3，利用AI引擎根据调度信息完成资源分配，并将分配结果返回至OAI。
需要说明的是，在OAI运行过程中，我们所需要的调度信息储存在上下文环境中，我们通过AI引擎的接口将环境信息发送至AI调度算法，进行智能资源管控。在经过AI算法完成资源分配后，再通过AI引擎接口返回至OAI RAN运行环境中。
通过在OAI的调度过程中，将有用的调度信息通过Socket发送到Python的接受端，AI引擎的相关算法接受到相关信息后将做出相应的调度结果返回给OAI进而完成一次调度过程。在OAI代码运行的过程中加入一个类似钩子函数的Socket连接(前文已经阐述)。通过Socket连接将实时运行过程中的参数发送到Python端AI算法中，然后将AI算法得出新的分配结果返回到OAI，并以此篡改OAI原生的调度结果。在建立socket连接之后，就可以实现OAI与AI引擎的长时间链接。
基于上述，本实施例的下行无线资源调度方法的实现过程如下：
步骤1：捕捉AI引擎接口，找到关键技术代码中的eNB_dlsch_ulsch_scheduler等函数定位并进行修改。
步骤2：捕捉AI引擎数据的数据输入及输出，包括module_idP,frameP,subframeP三种标识函数、建立上下文环境、保存eNB、UE状态信息存储。
步骤3：确立一个基于Socket能满足连接AI引擎与OAI RAN实时运行环境的接口C2PY，使二者可以相互通信。其中，在本实施例中支持AI引擎的无线资源调度中，引入Socket通信协议和加入OAI对外的接口，将数据发送出去。
步骤4：将C2PY接口分别在OAI运行环境和AI引擎中配置。
步骤5：找到C2PY接口部署openair2/LAYER2/MAC/pre_processor.c文件，完成资源调度问题OAI分配的下行资源块分配。其中，在本实施例中，修改了OAI代码中preprocessor中的下行分配的流程，将OAI的调度接口通过写好的python接口(C2PY)发送到python端。
步骤6：利用C语言中的socket库与AI引擎的Python端创建一个socket长连接，保证接口第一次运行，将连接信息存储到上下文环境RC中的sockfd中。
步骤7：为保证socket长连接建立，要在运行pre_processor.c之前的函数中完成。
步骤8：通过静态变量实现了socket长连接，使得C2PY接口已经在OAI中部署完成。
步骤9：重复步骤5到步骤8，利用AI引擎的Python语言完成对应的部署。
步骤10：OAI中新增添加的C程序编译成动态库.so文件以供OAI编译时使用。
步骤11：C2PY成功连接了OAI与AI引擎的Python端。
步骤12：利用OAI运行平台建立多个UEs,相互可以进行数据输入和输出，使得可以建立基础通信网络。
步骤13：建立基于DDQN的速率限制的分配PRB，达到利用AI引擎实现下行链路资源分配的目的。其中，在本实施例中，针对虚拟无线网络设计利用DDQN算法，包括动作状态完成下行无线资源调度方法。在终端对调度帧号、下行带宽、下行最大信息数等进行实时监控。
步骤14：完成基于DDQN的智能资源分配，配置界面并利用UE进行查看。获得接入eNB后访问局域网的能力。利用GRB方格的形式查看智能分配资源的结果。
在实现AI引擎和OAI接口的连接后，本实施例聚焦于AI引擎内部的算法构建中，资源管控问题描述如下：在LTE-5MHz-25PRB的下行传输资源调度中，每一子帧(TTI)内如何将25个PRB分配给n个UE，同时n个UE都要满足其速率要求。通过OAI引擎将具体参数传输至AI引擎，其中包括当前的速率以及参数数据，经过AI引擎进行分配，将每一子帧的数据传回OAI中，实现AI引擎对于轮询算法和fairRR算法的替代。
对于AI引擎，本实施例使用DDQN算法进行设计。规定：动作空间为Action_Space，奖励函数为Reward(A)，状态空间为S，当前网络输入为Q，迭代轮数N，状态特征维度n，目标网络为Q′。输出：网络参数Q，算法如下：
基于DDQN算法的下行智能分配资源：
1：问题建模：在LTE-5MHz-25PRB的下行传输资源调度中，每一子帧(TTI)内如何将25个PRB分配给多个UE
2：使用算法：DDQN
3：算法目标：使n个UE均满足其速率要求：
From 1to n:
UE1_RATE＝r1
UE2_RATE＝r2
UE3_RATE＝r3
……
UEn_RATE＝rn
5：动作空间：
Figure BDA0003138856020000061
其分别代表向UE1-N增加i个资源块
6：状态空间：S＝[R1,R2,R3,…,Rn],S.T.∑R≤100
7：奖励函数：回报函数Reward与每个UE所达到的速率有关：
Figure BDA0003138856020000062
8：优化目标：
Figure BDA0003138856020000063
即使每个UE与其要求速率之差的绝对值和最小
下面，结合附图对本实施例的下行无线资源调度方法的实现原理作更详细的说明，为实现支持AI引擎的下行无线资源调度方法，具体实施方式如下：
配置实现AI引擎与OAI平台的接口，嵌入多种深度强化学习算法，实现智能资源分配。在eNodB中实现细粒度流量测量，统计流量的基本特征数据，并根据特征统计数据对流进行类型识别，为业务智能资源分配提供准确的输入信息。AI引擎接口设计流程如图2所示，包括AI引擎接口定位、数据传输格式定义以及UEs数据端输入输出。
为了构建基于OAI的AI引擎接口，我们掌握OAI通过ITTI的中间件实现了任务消息队列，进而实现了整个RAN侧，即eNodB和UE成功运行。OAI的RAN环境实时运行过程中，每一个子帧内，OAI程序会调eNB_scheduler.c中的eNB_dlsch_ulsch_scheduler调度函数。OAI的MAC层的调度器在每一子帧都会对DLSCH、ULSCH进行调度。因此我们在openair2/LAYER2/MAC中寻找AI接口定位函数：eNB_dlsch_ulsch_scheduler函数。
在OAI-RAN实时运行的调度过程中，利用C2PY接口将AI引擎配置在OAI运行环境中。如图3所示，通过在OAI的调度过程中，将有用的调度信息通过socket发送到Python的接受端(AI引擎)，AI引擎的相关算法接受到相关信息后将做出相应的调度结果返回给OAI进而完成一次调度过程。在OAI代码运行的过程中加入一个的socket连接(前文已经阐述)。通过socket连接将实时运行过程中的参数发送到Python端AI算法中，然后将AI算法得出新的分配结果返回到OAI，并以此篡改OAI原生的调度结果。在建立socket连接之后，就可以实现OAI与AI引擎的长时间链接。将C2PY接口部署在openair2/LAYER2/MAC/pre_processor.c之中。将SOCKET部署在MAC层调度流程的顶层的入口eNB_scheduler.c之中。将相应的库依赖添加到OAI编译的CMakeList文件中，编译运行C2PY，使得C2PY的三个动态库连接到OAI的依赖之中。开启C2PY的Python端，启动eNB，连接OAI与AI引擎的Python端。
在AI算法集成中，我们通过将不断变化的服务需求视为环境状态，并将已分配的资源视为环境操作来利用深度强化学习(DRL)解决此问题。为了减少嵌入在接收的服务水平协议(SLA)满意率(SSR)和频谱效率(SE)中的烦人的随机性和噪声的影响，我们主要提出基于深度分布Q网络DDQN，以通过最大限度地减少估算的行动值分布与目标行动值分布之间的差异来学习行动值分布，通过估计状态值分布和动作优势函数来学习动作值分布。最后，我们通过对算法对多个UEs在OAI运行环境中进行了智能资源分配，统计各个UE流出流量大小，为业务智能资源分配模块提供数据访问接口。
AI引擎和OAI运行环境整体架构框图如图4所示，首先利用AI引擎对通信网络赋能并启用核心网EPC，接入OAI运行环境的eNB后通过C2PY接口获得访问局域网的能力。建立终端页面，对比前端25PRB下行资源分配与DDQN分配结果，查看智能资源块分配算法分配结果与OAI原生分配结果对比。在OAI原生的下行资源调度流程中，将其分配好的调度结果和其他一些必要的信息(在上下文环境中获取)通过AI引擎接口发送到AI引擎，通过其中的AI算法完成资源分配后在通过AI引擎接口返回给OAI RAN运行环境中。建立eNodB与AI引擎间的数据传输通道，支持实时调用AI引擎中的多种智能管控算法。整个AI引擎接口基于开源的OAI项目开发，通过修改OAI的源代码实现了AI原生资源动态管控系统所需求的接口功能。实现上下行资源调度、功率分配等多类型功能需求导向的智能资源管控。
综上，本实施例的方法采用AI智能引擎替代OAI系统中MAC层LTE调度所采用的轮询算法和fairRR算法，减少了信息的冗余和时延。本实施例在设计AI引擎时，将OAI中环境信息和参数信息传入AI引擎中，由AI引擎对资源进行分配，再传回至OAI，实现资源分配。本实施例所设计的AI引擎采用DQN算法，针对OAI系统设计相应的状态空间、动作空间等，可同时支持N个用户(UE)的资源调度和分配。通过AI引擎中的模型，对下行无线资源进行快速的调度和分配，从而减少了OAI信息传输的冗余，提高了OAI系统的运行效率。
第二实施例
本实施例提供了一种支持AI引擎的下行无线资源调度装置，该装置包括：
AI引擎构建模块，用于构建AI引擎，并建立AI引擎与OAI系统之间的socket连接，将AI引擎配置到OAI运行环境中，以利用AI引擎替代OAI系统中MAC层LTE对资源调度所采用的轮询算法和公平轮转算法，实现下行无线资源调度过程的接管；
调度信息发送模块，用于在OAI对资源进行调度的过程中，将调度信息通过Socket发送至AI引擎；
资源分配及分配结果发送模块，用于利用AI引擎根据调度信息完成资源分配，并将资源分配结果返回至OAI。
本实施例的支持AI引擎的下行无线资源调度装置与上述第一实施例的支持AI引擎的下行无线资源调度方法相对应；其中，本实施例的支持AI引擎的下行无线资源调度装置中的各功能模块所实现的功能与上述第一实施例的支持AI引擎的下行无线资源调度方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种支持AI引擎的下行无线资源调度方法，其特征在于，包括：
构建AI引擎，并建立AI引擎与OAI系统之间的socket连接，将AI引擎配置到OAI运行环境中，以利用AI引擎替代OAI系统中MAC层LTE对资源调度所采用的轮询算法和公平轮转算法，实现下行无线资源调度过程的接管；
在OAI对资源进行调度的过程中，将调度信息通过Socket发送至AI引擎；
利用AI引擎根据调度信息完成资源分配，并将资源分配结果返回至OAI。
2.如权利要求1所述的支持AI引擎的下行无线资源调度方法，其特征在于，所述AI引擎采用预设的深度强化学习算法实现对下行无线资源的调度。
3.如权利要求2所述的支持AI引擎的下行无线资源调度方法，其特征在于，所述深度强化学习算法为DDQN算法。
4.如权利要求2所述的支持AI引擎的下行无线资源调度方法，其特征在于，所述利用AI引擎根据调度信息完成资源分配，包括：
将不断变化的用户服务需求视为环境状态，并将已分配的无线资源视为环境操作来利用预设的深度强化学习算法实现下行无线资源调度；
通过最大限度地减少估算的行动值分布与目标行动值分布之间的差异来学习行动值分布，通过估计状态值分布和动作优势函数来学习动作值分布。
5.如权利要求1所述的支持AI引擎的下行无线资源调度方法，其特征在于，在利用AI引擎根据调度信息完成资源分配之后，所述方法还包括：
对调度帧号、下行带宽和下行最大信息数进行实时监控并显示监控结果。
6.一种支持AI引擎的下行无线资源调度装置，其特征在于，包括：
AI引擎构建模块，用于构建AI引擎，并建立AI引擎与OAI系统之间的socket连接，将AI引擎配置到OAI运行环境中，以利用AI引擎替代OAI系统中MAC层LTE对资源调度所采用的轮询算法和公平轮转算法，实现下行无线资源调度过程的接管；
调度信息发送模块，用于在OAI对资源进行调度的过程中，将调度信息通过Socket发送至AI引擎；
资源分配及分配结果发送模块，用于利用AI引擎根据调度信息完成资源分配，并将资源分配结果返回至OAI。
7.如权利要求6所述的支持AI引擎的下行无线资源调度装置，其特征在于，所述AI引擎采用预设的深度强化学习算法实现对下行无线资源的调度。
8.如权利要求7所述的支持AI引擎的下行无线资源调度装置，其特征在于，所述深度强化学习算法为DDQN算法。
9.如权利要求7所述的支持AI引擎的下行无线资源调度装置，其特征在于，所述资源分配及分配结果发送模块具体用于：
将不断变化的用户服务需求视为环境状态，并将已分配的无线资源视为环境操作来利用预设的深度强化学习算法实现下行无线资源调度；
通过最大限度地减少估算的行动值分布与目标行动值分布之间的差异来学习行动值分布，通过估计状态值分布和动作优势函数来学习动作值分布。
10.如权利要求6所述的支持AI引擎的下行无线资源调度装置，其特征在于，所述装置还包括调度结果监控模块，用于：
对调度帧号、下行带宽和下行最大信息数进行实时监控并显示监控结果。
CN202110729669.4A 2021-06-29 2021-06-29 一种支持ai引擎的下行无线资源调度方法及装置 Active CN113316259B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110729669.4A CN113316259B (zh) 2021-06-29 2021-06-29 一种支持ai引擎的下行无线资源调度方法及装置
US17/537,542 US11943793B2 (en) 2021-06-29 2021-11-30 AI engine-supporting downlink radio resource scheduling method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110729669.4A CN113316259B (zh) 2021-06-29 2021-06-29 一种支持ai引擎的下行无线资源调度方法及装置

Publications (2)

Publication Number Publication Date
CN113316259A true CN113316259A (zh) 2021-08-27
CN113316259B CN113316259B (zh) 2022-04-01

Family

ID=77380785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110729669.4A Active CN113316259B (zh) 2021-06-29 2021-06-29 一种支持ai引擎的下行无线资源调度方法及装置

Country Status (2)

Country Link
US (1) US11943793B2 (zh)
CN (1) CN113316259B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201814753D0 (en) * 2018-09-11 2018-10-24 Samsung Electronics Co Ltd Improvements in and relating to telecommunication networks
CN111182644A (zh) * 2019-12-24 2020-05-19 北京邮电大学 基于深度强化学习的联合重传urllc资源调度方法
CN111414265A (zh) * 2020-03-23 2020-07-14 海信电子科技（深圳）有限公司 一种调用系统资源的服务框架及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455195B2 (en) * 2020-01-03 2022-09-27 International Business Machines Corporation Workload-based cognitive dynamic computing system optimization
WO2022155529A1 (en) * 2021-01-15 2022-07-21 Pivotal Commware, Inc. Installation of repeaters for a millimeter wave communications network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201814753D0 (en) * 2018-09-11 2018-10-24 Samsung Electronics Co Ltd Improvements in and relating to telecommunication networks
CN112673593A (zh) * 2018-09-11 2021-04-16 三星电子株式会社 在电信网络中的和与电信网络相关的改进
CN111182644A (zh) * 2019-12-24 2020-05-19 北京邮电大学 基于深度强化学习的联合重传urllc资源调度方法
CN111414265A (zh) * 2020-03-23 2020-07-14 海信电子科技（深圳）有限公司 一种调用系统资源的服务框架及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张俊龙等: "基于OAI的LTE MAC层研究和实现", 《中国科技论文》 *
张凌等: "OAI技术发展及其在通信领域的应用", 《广东通信技术》 *

Also Published As

Publication number Publication date
US20220417956A1 (en) 2022-12-29
CN113316259B (zh) 2022-04-01
US11943793B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
Prathiba et al. Federated learning empowered computation offloading and resource management in 6G-V2X
CN110704186B (zh) 基于混合分布架构的计算资源分配方法、装置和存储介质
García-Morales et al. Latency-sensitive 5G RAN slicing for industry 4.0
EP3855842A1 (en) Method and apparatus for dynamically allocating radio resources in a wireless communication system
US20190324819A1 (en) Distributed-system task assignment method and apparatus
CN110069341B (zh) 边缘计算中结合功能按需配置的有依赖关系任务的调度方法
CN112673352A (zh) 顺序计算dag的异构调度
CN111246586A (zh) 一种基于遗传算法的分配智能电网资源的方法及系统
WO2021203437A1 (zh) 资源配置方法、装置、设备及存储介质
CN109995669A (zh) 分布式限流方法、装置、设备及可读存储介质
WO2022001941A1 (zh) 网元管理方法、网管系统、独立计算节点、计算机设备、存储介质
CN114007225A (zh) Bwp的分配方法、装置、电子设备及计算机可读存储介质
CN113692021A (zh) 一种基于亲密度的5g网络切片智能资源分配方法
CN110087324A (zh) 资源分配方法、装置、接入网设备和存储介质
CN113316259B (zh) 一种支持ai引擎的下行无线资源调度方法及装置
CN109388501A (zh) 基于人脸识别请求的通信匹配方法、装置、设备及介质
WO2018099395A1 (zh) 资源调度方法、装置及系统
CN107483361B (zh) 一种调度模型构建方法和装置
US20240015726A1 (en) Scheduling transmissions of internet of things devices
CN114035940A (zh) 资源分配方法以及装置
EP4032231A1 (en) Method and apparatus for abstracting network resources in a mobile communications network
EP3370368B1 (en) Communication system, networking method and controller for application-driven network
CN109475006A (zh) 基于动态分组的m2m业务资源分配方法及分配系统
CN116170822B (zh) 一种5g网络资源管理方法及系统
Sotenga et al. A virtual network model for gateway media access control virtualisation in large scale internet of things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant