CN117118835A - 配电网的资源管理方法、装置、电子设备及存储介质 - Google Patents

配电网的资源管理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117118835A
CN117118835A CN202310896245.6A CN202310896245A CN117118835A CN 117118835 A CN117118835 A CN 117118835A CN 202310896245 A CN202310896245 A CN 202310896245A CN 117118835 A CN117118835 A CN 117118835A
Authority
CN
China
Prior art keywords
data
terminal
base station
target
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310896245.6A
Other languages
English (en)
Inventor
李尤
周忠国
颜涛
肖思思
杨永宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Zhongdian Aostar Information Technologies Co ltd
Original Assignee
Sichuan Zhongdian Aostar Information Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Zhongdian Aostar Information Technologies Co ltd filed Critical Sichuan Zhongdian Aostar Information Technologies Co ltd
Priority to CN202310896245.6A priority Critical patent/CN117118835A/zh
Publication of CN117118835A publication Critical patent/CN117118835A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开提供一种配电网的资源管理方法、装置、电子设备及存储介质。所述方法包括：获取基站的发射功率以及终端的数据包的相关数据；数据包的相关数据包括数据包速度数据和数据包数量数据；基于香农公式对发射功率进行运算处理，得到数据速率；对数据包速度数据以及预设的时延上限进行归一化处理，得到时延；对数据包数量数据进行归一化处理，得到丢包率；对数据速率、时延和丢包率进行运算处理得到目标评价指标；基于目标评价指标对基站的资源管理进行建模，得到资源管理模型；基于目标神经网络算法对资源管理模型进行求解处理，得到目标评价指标为最优情况下对应的基站与终端之间的关联关系，以供配电网基于关联关系对基站与终端之间进行配对。

Description

配电网的资源管理方法、装置、电子设备及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及一种配电网的资源管理方法、装置、电子设备及存储介质。
背景技术
配电网是电力系统的重要组成部分。在智能配电网中，电力线通信与无线通信技术为智能内网的建设带来重要的推动力量。然而，当前只能根据无线网络能力进行动态资源分配。
有鉴于此，如何在资源动态分配时综合考虑用户需求，优化资源分配成为亟待解决的问题。
发明内容
有鉴于此，本公开的目的在于提出一种配电网的资源管理方法、装置、电子设备及存储介质用以解决或部分解决上述技术问题。
基于上述目的，本公开的第一方面提出了一种配电网的资源管理方法，包括：
获取基站的发射功率以及终端的数据包的相关数据；其中，所述数据包是所述基站发送至所述终端的；所述数据包的相关数据包括：数据包速度数据和数据包数量数据；
基于香农公式对所述发射功率进行运算处理，得到所述终端的数据速率；
对所述数据包速度数据以及预设的时延上限进行归一化处理，得到所述终端的时延；
对所述数据包数量数据进行归一化处理，得到所述终端的丢包率；
对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标；
基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型；
基于目标神经网络算法对所述资源管理模型进行求解处理，得到所述目标评价指标为最优情况下对应的所述基站与所述终端之间的关联关系，以供配电网基于所述关联关系对所述基站与所述终端之间进行配对；其中，所述目标神经网络算法是对初始神经网络算法进行预先训练得到的。
基于同一个发明构思，本公开的第二方面提出了一种配电网的资源管理装置，包括：
获取模块，被配置为获取基站的发射功率以及终端的数据包的相关数据；其中，所述数据包是所述基站发送至所述终端的；所述数据包的相关数据包括：数据包速度数据和数据包数量数据；
数据速率运算模块，被配置为基于香农公式对所述发射功率进行运算处理，得到所述终端的数据速率；
时延运算模块，被配置为对所述数据包速度数据以及预设的时延上限进行归一化处理，得到所述终端的时延；
丢包率运算模块，被配置为对所述数据包数量数据进行归一化处理，得到所述终端的丢包率；
目标评价指标运算模块，被配置为对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标；
建模模块，被配置为基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型；
求解模块，被配置为基于目标神经网络算法对所述资源管理模型进行求解处理，得到所述目标评价指标为最优情况下对应的所述基站与所述终端之间的关联关系，以供配电网基于所述关联关系对所述基站与所述终端之间进行配对；其中，所述目标神经网络算法是对初始神经网络算法进行预先训练得到的。
基于同一发明构思，本公开的第三方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的方法。
基于同一发明构思，本公开的第四方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的方法。
从上面所述可以看出，本公开提供的配电网的资源管理方法、装置、电子设备及存储介质，对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标。这样，确定的目标评价指标综合考虑了用户需求侧的数据速率、时延和丢包率，可以对动态资源分配进行优化。基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型。基于目标神经网络算法对所述资源管理模型进行求解处理，得到所述目标评价指标为最优情况下对应的所述基站与所述终端之间的关联关系，以供配电网基于所述关联关系对所述基站与所述终端之间进行配对。通过对资源管理进行建模并通过目标神经网络算法进行求解，从而使确定的基站与终端之间的关联关系更加准确，更加准确地进行动态资源分配。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的配电网的资源管理方法的流程图；
图2A为本公开实施例的智能配电系统结构的示意图；
图2B为本公开实施例的配电网异构融合网络系统架构的示意图；
图2C为本公开实施例的DQN网络结构的示意图；
图2D为本公开实施例的DQN网络算法的流程图；
图2E为本公开实施例的累积奖励的示意图；
图2F为本公开实施例的第一数据速率的示意图；
图2G为本公开实施例的第一时延的示意图；
图2H为本公开实施例的第二数据速率的示意图；
图2I为本公开实施例的第二时延的示意图；
图2J为本公开实施例的第三数据速率的示意图；
图2K为本公开实施例的第三时延的示意图；
图2L为本公开实施例的第四时延的示意图；
图2M为本公开实施例的第四数据速率的示意图；
图2N为本公开实施例的第五时延的示意图；
图2O为本公开实施例的第五数据速率的示意图；
图3为本公开实施例的配电网的资源管理装置的结构示意图；
图4为本公开实施例的电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
随着物联网技术的发展，越来越多的智能电表和配电设备开始与网络相连，实现了远程监控和控制。如图2A所示，图2A为本公开实施例的智能配电系统结构的示意图。在智能配电网通信的背景下，业务需求、网络环境更加多样而复杂，就目前来看，单一的通信方式并不能对完全满足智能配电业务安全和可靠性的需求。随着配电网与无线通信相融合技术的出现，配网设备间的通讯实现免费、高效的互联，可以将局域网、广域网直接接入电力线路，从而有效降低了系统的成本和难度。由于异构融合智能配电网所涉及的各个部分之间的耦合度较高，如何实现对其资源进行动态管理成为当前亟待解决的问题。
配电网是整个电力系统的重要组成部分，而其稳定性和可靠性直接关系到整个电力系统运行的效率和安全性，电力线通信(Power Line Communication，简称PLC)与无线通信相融合技术的出现，引发了智能配电网建设的关注。如图2B所示，图2B为本公开实施例的配电网异构融合网络系统架构的示意图。PLC和无线通信相融合的异构智能配电网网络系统架构由三层结构组成，分别是子站层、异构融合接入网层、终端层。子站层由若干配电子站组成，负责子站覆盖区域内信息的采集与汇集、信息的处理与转发以及简单的故障处理等。异构融合接入网层是以PLC为基础，以TD-LTE、5G、WLAN等无线通信新技术为补充的有线与无线相结合网络结构，负责连接配电子站层和配电终端层，各种配电终端通过异构无线网络与配电子站实现双向通信。通过网络资源动态管理可以有效地利用异构网络的差异性和业务需求的差异性实现业务质量以及用户体验的保证和网络性能的提升。配电终端层包括各类智能配电通信业务终端，包括适用于PLC技术的主上断路器、配电变压器，以及适用于智能配电终端、分布式能源站、用户用电信息采集终端等。PLC和无线通信技术作为智能配电网的建设的重要推动力量，将两者相融合进行动态无线资源管理可以提高网络的可靠性、稳定性、安全性，更好地发挥技术优势。
然而，当前配电网系统只能根据无线网络能力进行动态资源分配，并不能考虑用户侧需求，影响配电网的运行以及资源分配。
如上所述，如何在资源动态分配时综合考虑用户需求，优化资源分配，成为了一个重要的研究问题。
用户体验质量评价体系(Quality of Experience，简称QoE)的概念越来越受到重视，其能够通过综合评估用户的需求、偏好和满意度等方面的信息，反映用户对产品和服务的实际体验质量。因此，在异构融合智能配电网中，如何建立一个可行的QoE评价体系，以评估系统的性能和用户体验，对于实现其高效、稳定、可靠的运行至关重要。
本公开提出基于QoE的评价体系融合到资源管理方案中，综合考虑数据速率、时延、丢包率三项反映用户侧需求重要参数，实现智能配电网的高效运行以及优化无线资源利用。
基于上述描述，如图1所示，本实施例提出的配电网的资源管理方法，包括：
步骤101，获取基站的发射功率以及终端的数据包的相关数据；其中，所述数据包是所述基站发送至所述终端的；所述数据包的相关数据包括：数据包速度数据和数据包数量数据。
具体实施时，基站向终端发送数据包，配电网获取基站的发射功率以及终端接收到的数据包的相关数据。所述数据包的相关数据包括：数据包速度数据和数据包数量数据；所述数据包速度数据包括处理速度和传输速度；所述数据包数量数据包括数据包总量和数据包丢失量。
步骤102，基于香农公式对所述发射功率进行运算处理，得到所述终端的数据速率。
具体实施时，香农公式是指在被高斯白噪声干扰的信道中，计算最大信息传送速率的公式，表示为C＝log2(1+/N)，其中，C为最大信息传送速率，B为信道带宽，S为信道内所传信号的平均功率，N为信道内部的高斯噪声功率。
步骤103，对所述数据包速度数据以及预设的时延上限进行归一化处理，得到所述终端的时延。
具体实施时，基于数据包速度数据中的处理速度确定数据包处理时延，基于数据包速度数据中的传输速度确定数据包传输时延。将数据包处理时延和数据包传输时延分别与时延上限进行比较并进行归一化处理，得到终端的时延。
步骤104，对所述数据包数量数据进行归一化处理，得到所述终端的丢包率。
具体实施时，对数据包数量数据中的数据包总量和数据包丢失量进行差值处理，得到数据包数量差值。对数据包数量差值和数据包总量进行归一化处理，得到所述丢包率。
步骤105，对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标。
具体实施时，确定数据速率对应的第一权重系数、时延对应的第二权重系数以及丢包率对应的第三权重系数。基于第一权重系数、第二权重系数和第三权重系数，对数据速率、时延和丢包率进行加权求和处理，得到目标评价指标。
步骤106，基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型。
具体实施时，基于目标评价指标对基站的资源管理进行建模，得到资源管理模型；其中，资源管理模型包括目标函数和约束条件，目标函数即为目标评价指标的最大化。
步骤107，基于目标神经网络算法对所述资源管理模型进行求解处理，得到所述目标评价指标为最优情况下对应的所述基站与所述终端之间的关联关系，以供配电网基于所述关联关系对所述基站与所述终端之间进行配对；其中，所述目标神经网络算法是对初始神经网络算法进行预先训练得到的。
具体实施时，基于预先训练得到的目标神经网络算法对资源管理模型进行求解处理，得到满足约束条件时的最大目标评价指标。确定最大目标评价指标对应的基站与终端之间的关联关系，配电网基于关联关系对基站与终端之间进行配对。
其中，基站为多个基站，多个基站包括有线基站和无线基站，不同类型的基站具备不同地理位置、发射功率和带宽。终端为多个终端，不同的终端具备不同地理位置、发射功率、带宽、数据速率需求和时延需求。配电网在对多个基站与多个终端之间进行配对时，每个终端在同一时刻仅能接入一个基站，一个基站同一时刻在满足其数据速率能力的基础上可接入多个终端。
通过上述实施例，对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标。这样，确定的目标评价指标综合考虑了用户需求侧的数据速率、时延和丢包率，可以对动态资源分配进行优化。通过对资源管理进行建模并通过目标神经网络算法进行求解，从而使确定的基站与终端之间的关联关系更加准确，更加准确地进行动态资源分配。
在一些实施例中，步骤102包括：
步骤1021，获取基站的通信带宽和噪声功率，以及基站至终端之间的信道增益。
步骤1022，对所述发射功率与所述信道增益的平方做乘积处理，得到所述基站向所述终端发送数据包的有用信号功率。
步骤1023，基于香农公式，对所述通信带宽、所述有用信号功率、所述噪声功率和预设的数据速率下限进行运算处理，得到所述数据速率。
其中，QoEk,BR为所述数据速率，xk,n为二值变量，xk,n＝0表示终端k未接入基站n，xk,n＝1表示终端k接入基站n，B为基站n所能提供的所述通信带宽，Pn为基站n的发射功率，hk,n为基站n至终端k间的所述信道增益，Pn|hk,n|2为基站n为终端k提供的所述有用信号功率，δ2为高斯白噪声功率，rk,min为终端k的数据速率下限。
通过上述方案，基于香农公式确定的数据速率更加准确，以便后续确定的目标评价指标可以综合考虑用户需求侧的数据速率需求。
在一些实施例中，步骤103包括：
步骤1031，获取数据包长度，以及所述基站与所述终端之间的目标距离。
步骤1032，对所述数据包长度和所述数据包速度数据中的处理速度进行比值处理，得到数据包处理时延。
步骤1033，对所述目标距离和所述数据包速度数据中的传输速度进行比值处理，得到数据包传输时延。
步骤1034，对数据包处理时延、数据包传输时延和预设的时延上限进行归一化处理，得到所述时延。
其中，QoEk,DL为所述时延，DLk为终端k的时延上限，Dh为数据包长度，Vh为基站对数据包的处理速度，Dt为基站与终端之间的距离，Vt为数据包的传输速度。
通过上述方案，基于数据包处理时延、数据包传输时延和预设的时延上限进行归一化处理得到时延，可以全面考虑数据包传输过程中的传输时延和传输时延，使得确定的时延更加准确，以便后续确定的目标评价指标可以综合考虑用户需求侧的时延需求。
在一些实施例中，步骤104包括：
步骤1041，对所述数据包数量数据中的数据包总量和数据包丢失量进行差值处理，得到数据包数量差值。
步骤1042，对所述数据包数量差值和所述数据包总量进行归一化处理，得到所述丢包率。
其中，QoEk,PL为所述丢包率，Nall为所述数据包总量，Nmiss为所述数据包丢失量。
通过上述方案，对数据包数量差值和数据包总量进行归一化处理，使得确定的丢包率更加准确，以便后续确定的目标评价指标可以综合考虑用户需求侧的丢包率需求。
在一些实施例中，步骤105包括：
步骤1051，确定所述数据速率对应的第一权重系数、所述时延对应的第二权重系数以及所述丢包率对应的第三权重系数。
具体实施时，基于终端k的目标评价指标从用户需求侧出发，通过考虑数据速率、时延和丢包率三项指标，通过Sigmoid函数构建各项指标与目标评价指标的映射关系，确定目标评价指标。三项按不同归一化方式统一单调性，通过加权求和的方式拟合目标评价指标，针对不同场景动态确定权重系数。
步骤1052，基于所述第一权重系数、所述第二权重系数和所述第三权重系数，对所述数据速率、所述时延和所述丢包率进行加权求和处理，得到目标评价指标。
具体实施时，
QoEk＝αQoEk,BR+βQoEk,DL+(1-α-β)QoEk,PL
其中，QoE k为所述目标评价指标，α为所述第一权重系数，β为所述第二权重系数，1-α-β为所述第三权重系数。
通过上述方案，基于权重系数对各项指标进行加权求和处理得到目标评价指标，使得确定的目标评价指标更加准确，可以更加准确地反映用户侧的需求，以便后续通过建模确定最大化的目标评价指标，从而确定基站与终端之间的关联关系，对基站与终端之间进行分配。
在一些实施例中，步骤106包括：
步骤1061，基于所述目标评价指标对基站的资源管理进行建模，得到所述资源管理模型；其中，所述资源管理模型包括目标函数和约束条件。
其中，为目标函数，xk,n＝{0,1}为第一约束条件，/>为第二约束条件，为第三约束条件，/>为第四约束条件，为第五约束条件。
具体实施时，目标函数为目标评价指标的最大化。第一约束条件为二值变量约束条件，xk,n表示资源分配方式，xk,n＝0表示终端k未接入基站n，xk,n＝1表示终端k接入基站n。第二约束条件为二值变量求和约束条件，基于第一约束条件和第二约束条件可以保证每个终端至多接入一个基站。第三约束条件为数据速率下限约束条件，基站提供的数据速率大于等于终端的数据速率下限，即基站提供数据速率必须满足终端的最低数据速率需求。第四约束条件为时延上限约束条件，终端k的时延小于等于预设的时延上限DLk。第五约束条件为丢包率下限约束条件，即终端k的丢包率大于等于常数ε，避免牺牲丢包率来换取目标评价指标。体现终端与基站的关联关系。
通过上述方案，通过建模确定最大化的目标评价指标，从而确定最大化的目标评价指标对应的基站与终端的关联关系。通过设置多个约束条件使得确定的更加符合实际情况，避免确定的目标评价指标是牺牲某一项指标得到的。
在一些实施例中，对所述初始神经网络算法进行预先训练得到所述目标神经网络算法的过程，包括：
步骤10A，基于所述初始神经网络算法从状态空间中获取目标状态，确定所述目标状态对应的所有动作的评估值。
步骤10B，从所述所有动作中确定评估值最大的动作作为目标动作，执行所述目标动作并获取对应的目标奖励。
步骤10C，将所述目标状态、目标动作、目标奖励和所述目标状态对应的下一状态放入经验回放池。
步骤10D，从所述经验回放池中确定目标样本数据，基于所述目标样本数据进行运算处理得到损失函数。
步骤10E，响应于确定所述损失函数满足预设的收敛条件，将所述初始神经网络算法作为所述目标神经网络算法。
具体实施时，目标神经网络为深度强化学习Q网络算法(Deep Q-network，简称DQN)。DQN算法用于求解资源管理模型，解决最大化终端目标评价指标的智能配电网动态资源管理优化问题。如图2C所示，图2C为本公开实施例的DQN网络结构的示意图。DQN网络模型由输入层、第一隐藏层、第二隐藏层和输出层四层网络构成，其中输入层和输出层维度相同，取决于备选基站的数量，隐藏层由两个全连接网络组成，维度初始化设置为128，经验回放池尺寸初始化设置为500，记录(s,a,r,s')，随机抽取批次进行训练，打破样本时间的相关性，DQN网络训练通过梯度下降法实现。
对初始神经网络算法进行训练得到目标神经网络算法。训练过程为：基于初始神经网络算法从状态空间中获取目标状态，确定目标状态对应的所有动作的评估值。从所有动作中确定评估值最大的动作作为目标动作，执行目标动作并获取对应的目标奖励。将目标状态、目标动作、目标奖励和目标状态对应的下一状态放入经验回放池。从经验回放池中确定目标样本数据，基于目标样本数据进行运算处理得到损失函数。响应于确定损失函数满足预设的收敛条件，将初始神经网络算法作为目标神经网络算法。
如图2D所示，图2D为本公开实施例的DQN网络算法的流程图。首先，初始化评估初始DQN网络和目标DQN网络两个结构和参数完全相同的网络组成，初始DQN网络用于选择动作并实时更新模型参数，目标DQN用于计算目标Q值且无需实时更新。其次，对初始DQN网络进行训练得到目标DQN网络，训练过程为：智能体从环境中感知状态s后通过评估网络计算对应所有动作的Q值，采取ε-贪心策略按一定概率选择Q值最大的动作(或者随机选择动作)以扩大前期搜索空间，智能体执行动作a，获取相应奖励r并转移至下一状态s'，将四元组(s,a,r,s')存入经验回放池。从经验池中随机抽取一定规模样本，计算损失函数，并针对评估网络执行梯度下降最小化损失函数。最后，Q-目标网络采用延时更新的方式，每隔一段时间会从Q-评估网络复制网络参数实现更新，这样可以减少目标Q值和当前Q值的相关性，提升训练过程的稳定性。重复上述过程直至损失函数满足预设的收敛条件，将所述初始DQN网络作为所述DQN网络。
除此之外，构建目标DQN网络还包括状态空间设计、动作空间设计和奖励函数设计。
状态空间是深度强化学习中非常重要的概念，它通常由一组状态变量组成，并且描述了智能体所处的环境。状态空间不仅提供了智能体学习的依据，而且直接影响其学习效果。因此，在设计状态空间时，必须考虑应用场景的特征，确保其能够准确地描述环境中的状态变化。为了设计有效的状态空间，首先需要了解应用场景中的关键特征，例如环境的物理属性、智能体所需解决的任务以及环境中的其他参与者等，在将这些特征转换为状态变量时，要全面考虑状态的可观测性以及状态变量之间的相关性两方面。其次需要考虑到状态的维度，状态空间的维度越高，对神经网络的计算资源需求就越大，同时，高维度的状态空间也会增加深度学习的难度。因此，在设计状态空间时，需要在状态空间的维度和准确描述应用场景的需求之间，找到一个度量平衡的点。本公开中设计终端k的状态空间为Sk＝{0,1,...,N}，其中Sk＝N表示终端k未接入基站，Sk＝{0,1,...,N-1}表示业务接入对应基站。联合状态空间S＝{S1,S2,...,Sk,...SK}表示当前时隙下所有终端的状态，其中元素个数为(N+1)K。
动作空间设计需要考虑完备性、高效性和合法性三个基本原则。完备性表示动作空间应该包含所有可达到目标任务的动作选项。换句话说，智能体需要能够在这个空间中找到执行任务所需的所有可能动作。高效性则是指设计动作空间需要考虑动作指令的选择，控制动作空间的维度，并确定合理的决策周期，以确保智能体寻找最优解时的效率。此外，为了保证智能体在执行任务时不出现非法行为，设计动作空间还需要加入一些非法动作的屏蔽机制，以避免在某些特殊情况下执行错误的动作。这三个原则在设计动作空间时不可或缺，只有在它们的基础上才能创建出一个完美的动作空间，为智能体提供最佳的执行方案。本公开设计终端k的动作空间为Ak＝{0,1,...,N}，其中ak＝N表示终端k在当前时隙不选择基站传输，ak＝n表示终端k在当前时隙选择基站n传输。联合动作空间A＝{A1,A2,...,Ak,...AK}表示当前时隙下所有终端的基站选择，其中元素个数为(N+1)K。
深度强化学习的核心在于智能体与环境进行交互，了解不同的环境，并获得实现既定目标的行为策略。这个过程中，智能体的目标是尽可能地最大化累计奖励，而如果希望智能体完成某些特定任务，就一定要确保奖励函数的设计能够同时最大化累计奖励并实现研究的目标。因此，奖励函数的本质是向智能体传达目标，同时也构建了人与算法沟通的桥梁，使得人们可以与算法开展有效互动，从而实现更好的学习效果。在这个过程中，需要不断进行实验和调整，以便找到最优的奖励函数，并不断提高智能体在不同场景下的表现能力，从而实现更好的学习效果。优化问题为最大所有业务的累积目标评价指标，因此将奖励函数定义为该业务的目标评价指标。考虑三种情况：当前基站可支撑终端选择，设置当前终端k的目标评价指标作为奖励函数；当前基站无额外资源支撑业务，此情况需要避免，设置负常数反映问题严重性；终端不选择基站传输，为鼓励终端选择基站，为此情况设置较大负常数作为惩罚。奖励函数表示为
通过上述方案，通过对初始神经网络算法进行训练得到目标神经网络算法，使得确定的目标神经网络算法更加准确。通过目标神经网络算法对资源管理模型进行求解，使得到的最大化的目标评价指标更加准确，从而实现对基站和终端的准确分配。
本公开对配电网的资源管理方法进行仿真，仿真参数如表1所示。
表1
测试场景设置为两台有线基站、四台无线基站、十个终端的场景，不同类型的基站具备不同地理位置、发射功率和带宽，不同的终端具备不同地理位置、发射功率、带宽、数据速率需求和时延需求，每个终端在同一时刻仅能接入一个基站，一个基站同一时刻在满足其数据速率能力的基础上可接入多个终端。测试过程中，设置DQN网络算法输入层尺寸为6，第一隐藏层尺寸为128，第二隐藏层尺寸为128，输出层尺寸为7，学习率为0.01，奖励折扣因子为0.9，贪婪因子分别为0.3、0.9、0.1，异步更新步数为300，贪婪因子更新步数为15000，批次尺寸为1000，训练步数为400000，惩罚常数为-1。
依据实验仿真结果，本公开得到动态资源管理方案如表2所示，表格中的内容对应各终端与基站的关联关系，即在当前时隙内终端选择对应基站实现业务，其中编号0，1对应两台有线基站，编号2至5对应四台无线基站。
表2
终端1 终端2 终端3 终端4 终端5 终端6 终端7 终端8 终端9 终端10
基站 5 0 5 5 3 1 5 0 4 2
为验证上述智能配电网动态资源管理方案的有效性，首先仿真了整体训练周期下累计奖励的变化曲线，如图2E所示。从仿真结果可以得到，在DQN训练初始阶段，DQN累计奖励维持较低水平，随着训练步数的增加，累计奖励迅速增加，在训练5万步后达到峰值，并且累计奖励随着训练进行的推展无明显变化，实现收敛。上述仿真结果证明，十个终端依据目标评价指标学习到较理想的资源管理方案，初步验证动态资源管理仿真的有效性。
为进一步验证各终端均依据目标评价指标以及奖励函数学习有效的资源管理方案，仿真了整体训练周期下，不同终端才采取基站选择策略后获取的数据速率以及时延曲线，其中图2F分别展示了1，3，4，6号终端的数据速率曲线，图2G分别展示了1，2，6，8，9号终端的时延曲线。从仿真结果可以得到，各终端的参数曲线在整体训练进程中依据各用户侧参数需求呈现增加、降低等不同趋势，并且最终均达到收敛状态。上述仿真结果证明，本公开综合考虑了终端业务在数据速率、时延、丢包率三方面基本需求，通过构建目标评价评价体系实现了终端在不同智能配电网实际场景中，在满足用户体验侧需求的基础上，不对无线资源造成过度浪费，进一步验证了动态资源管理方案的有效性。
接着，针对仅从用户需求侧考虑数据速率需求的情况进行仿真作为对比实验证明本公开优势，仿真结果如图2H和图2I所示。从仿真结果可以得到，在仅满足用户侧需求数据速率的情况下，由于终端不考虑时延因素，所以终端的数据速率可以达到更接近该终端的数据速率基线，但是时延会大幅上升(例如，终端6、9)，不满足其基本时延需求，无法支撑其基本业务的完成。
其次，针对仅最大化数据速率的情况进行仿真作为对比实验证明本公开优势，仿真结果如图2J和图2K所示。从仿真结果可以得到，在仅最大化数据速率的情况下，由于各终端仅从基站能力出发而未考虑对应终端的用户侧数据速率需求，导致以下问题：部分终端数据速率远高于所需数据速率(例如，终端1、3、6)，造成无线资源浪费；部分终端所能获取的数据速率远低于其原本需求，无法支撑其基本业务的完成；越高的数据速率代表数据包越快的传输速度，因此在时延结果上，部分终端的时延显著降低(例如，终端1、2、6)，但远低于其终端基本时延需求，造成无线资源浪费；由于在数据速率未考虑终端本身需求，部分终端数据速率较低，时延较高(例如，终端8、9)，已经超出该终端基本时延需求，数据包及时送达也被丢弃，无法支撑其基本完成业务的。
然后，针对仅用户侧需求考虑时延的情况进行仿真作为对比实验证明本公开优势，仿真结果如图2L和图2M所示。从仿真结果可以得到，在仅满足用户侧需求时延的情况下，由于终端不考虑数据速率，导致时延可以达到更接近该终端的时延基线，但是部分终端的数据速率会大幅下降(例如，终端6)，不满足该终端基本数据速率需求，无法支撑其基本业务的完成。
最后，针对仅最小化时延的情况进行仿真作为对比实验证明本公开优势，仿真结果如图2N和图2O所示。从仿真结果可以得到，在仅最小化时延的情况下，由于各终端仅从基站能力出发而未考虑对应终端的用户侧时延需求，导致以下问题：部分终端的时延远低于所需时延需求(例如，终端1、2)，造成无线资源的浪费；部分终端的时延远高于其时延基线(例如，终端8、9)，无法支撑起基本业务的完成；仅考虑时延而未考虑数据速率导致部分终端数据速率无法满足对应终端的基本需求(例如，终端4)，无法支撑其基本业务的完成；时延由传输时延和传播时延两部分组成，所以较低的时延会导致较高的数据速率，因此部分基站的数据速率会远高于其基本数据速率需求(例如，终端1、3、6)，虽可完成终端业务却造成无线资源浪费。
经过上述仿真以及实验对比分析可以证明，本公开可以在保证各终端完成基本业务的同时，使终端从基站处所能获取的数据速率、时延、丢包率均切近对应的终端基本需求，避免无线资源的过度浪费。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种配电网的资源管理装置。
参考图3，所述配电网的资源管理装置，包括：
获取模块301，被配置为获取基站的发射功率以及终端的数据包的相关数据；其中，所述数据包是所述基站发送至所述终端的；所述数据包的相关数据包括：数据包速度数据和数据包数量数据；
数据速率运算模块302，被配置为基于香农公式对所述发射功率进行运算处理，得到所述终端的数据速率；
时延运算模块303，被配置为对所述数据包速度数据以及预设的时延上限进行归一化处理，得到所述终端的时延；
丢包率运算模块304，被配置为对所述数据包数量数据进行归一化处理，得到所述终端的丢包率；
目标评价指标运算模块305，被配置为对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标；
建模模块306，被配置为基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型；
求解模块307，被配置为基于目标神经网络算法对所述资源管理模型进行求解处理，得到所述目标评价指标为最优情况下对应的所述基站与所述终端之间的关联关系，以供配电网基于所述关联关系对所述基站与所述终端之间进行配对；其中，所述目标神经网络算法是对初始神经网络算法进行预先训练得到的。
在一些实施例中，所述数据速率运算模块302，包括：
第一获取单元，被配置为获取基站的通信带宽和噪声功率，以及基站至终端之间的信道增益；
乘积处理单元，被配置为对所述发射功率与所述信道增益的平方做乘积处理，得到所述基站向所述终端发送数据包的有用信号功率；
运算处理单元，被配置为基于香农公式，对所述通信带宽、所述有用信号功率、所述噪声功率和预设的数据速率下限进行运算处理，得到所述数据速率；
其中，QoEk,BR为所述数据速率，xk,n为二值变量，xk,n＝0表示终端k未接入基站n，xk,n＝1表示终端k接入基站n，B为基站n所能提供的所述通信带宽，Pn为基站n的发射功率，hk,n为基站n至终端k间的所述信道增益，Pn|hk,n|2为基站n为终端k提供的所述有用信号功率，δ2为高斯白噪声功率，rk,min为终端k的数据速率下限。
在一些实施例中，所述时延运算模块303，包括：
第二获取单元，被配置为获取数据包长度，以及所述基站与所述终端之间的目标距离；
第一比值处理单元，被配置为对所述数据包长度和所述数据包速度数据中的处理速度进行比值处理，得到数据包处理时延；
第二比值处理单元，被配置为对所述目标距离和所述数据包速度数据中的传输速度进行比值处理，得到数据包传输时延；
第一归一化处理单元，被配置为对数据包处理时延、数据包传输时延和预设的时延上限进行归一化处理，得到所述时延；
其中，QoEk,DL为所述时延，DLk为终端k的时延上限，Dh为数据包长度，Vh为基站对数据包的处理速度，Dt为基站与终端之间的距离，Vt为数据包的传输速度。
在一些实施例中，所述丢包率运算模块304，包括：
差值处理单元，被配置为对所述数据包数量数据中的数据包总量和数据包丢失量进行差值处理，得到数据包数量差值；
第二归一化处理单元，被配置为对所述数据包数量差值和所述数据包总量进行归一化处理，得到所述丢包率；
/>
其中，QoEk,PL为所述丢包率，Nall为所述数据包总量，Nmiss为所述数据包丢失量。
在一些实施例中，所述目标评价指标运算模块305，包括：
系数确定单元，被配置为确定所述数据速率对应的第一权重系数、所述时延对应的第二权重系数以及所述丢包率对应的第三权重系数；
加权求和处理单元，被配置为基于所述第一权重系数、所述第二权重系数和所述第三权重系数，对所述数据速率、所述时延和所述丢包率进行加权求和处理，得到目标评价指标。
在一些实施例中，所述建模模块306，包括：
建模单元，被配置为基于所述目标评价指标对基站的资源管理进行建模，得到所述资源管理模型；其中，所述资源管理模型包括目标函数和约束条件；
其中，为目标函数，xk,n＝{0,1}为第一约束条件，/>为第二约束条件，为第三约束条件，/>为第四约束条件，为第五约束条件。
在一些实施例中，所述求解模块307，包括：
训练单元，具体被配置为基于所述初始神经网络算法从状态空间中获取目标状态，确定所述目标状态对应的所有动作的评估值；从所述所有动作中确定评估值最大的动作作为目标动作，执行所述目标动作并获取对应的目标奖励；将所述目标状态、目标动作、目标奖励和所述目标状态对应的下一状态放入经验回放池；从所述经验回放池中确定目标样本数据，基于所述目标样本数据进行运算处理得到损失函数；响应于确定所述损失函数满足预设的收敛条件，将所述初始神经网络算法作为所述目标神经网络算法。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的配电网的资源管理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的配电网的资源管理方法。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB(Universal Serial Bus，通用串行总线)、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI(Wireless Fidelity，无线网络通信技术)、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的配电网的资源管理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的配电网的资源管理方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的配电网的资源管理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种配电网的资源管理方法，其特征在于，所述方法包括：
获取基站的发射功率以及终端的数据包的相关数据；其中，所述数据包是所述基站发送至所述终端的；所述数据包的相关数据包括：数据包速度数据和数据包数量数据；
基于香农公式对所述发射功率进行运算处理，得到所述终端的数据速率；
对所述数据包速度数据以及预设的时延上限进行归一化处理，得到所述终端的时延；
对所述数据包数量数据进行归一化处理，得到所述终端的丢包率；
对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标；
基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型；
基于目标神经网络算法对所述资源管理模型进行求解处理，得到所述目标评价指标为最优情况下对应的所述基站与所述终端之间的关联关系，以供配电网基于所述关联关系对所述基站与所述终端之间进行配对；其中，所述目标神经网络算法是对初始神经网络算法进行预先训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述基于香农公式对所述发射功率进行运算处理，得到所述终端的数据速率，包括：
获取基站的通信带宽和噪声功率，以及基站至终端之间的信道增益；
对所述发射功率与所述信道增益的平方做乘积处理，得到所述基站向所述终端发送数据包的有用信号功率；
基于香农公式，对所述通信带宽、所述有用信号功率、所述噪声功率和预设的数据速率下限进行运算处理，得到所述数据速率；
其中，QoEk,BR为所述数据速率，xk,n为二值变量，xk,n＝0表示终端k未接入基站n，xk,n＝1表示终端k接入基站n，B为基站n所能提供的所述通信带宽，Pn为基站n的发射功率，hk,n为基站n至终端k间的所述信道增益，Pn|hk,n|2为基站n为终端k提供的所述有用信号功率，δ2为高斯白噪声功率，rk,min为终端k的数据速率下限。
3.根据权利要求1所述的方法，其特征在于，所述对所述数据包速度数据以及预设的时延上限进行归一化处理，得到所述终端的时延，包括：
获取数据包长度，以及所述基站与所述终端之间的目标距离；
对所述数据包长度和所述数据包速度数据中的处理速度进行比值处理，得到数据包处理时延；
对所述目标距离和所述数据包速度数据中的传输速度进行比值处理，得到数据包传输时延；
对数据包处理时延、数据包传输时延和预设的时延上限进行归一化处理，得到所述时延；
其中，QoEk,DL为所述时延，DLk为终端k的时延上限，Dh为数据包长度，Vh为基站对数据包的处理速度，Dt为基站与终端之间的距离，Vt为数据包的传输速度。
4.根据权利要求1所述的方法，其特征在于，所述对所述数据包数量数据进行归一化处理，得到所述终端的丢包率，包括：
对所述数据包数量数据中的数据包总量和数据包丢失量进行差值处理，得到数据包数量差值；
对所述数据包数量差值和所述数据包总量进行归一化处理，得到所述丢包率；
其中，QoEk,PL为所述丢包率，Nall为所述数据包总量，Nmiss为所述数据包丢失量。
5.根据权利要求1所述的方法，其特征在于，所述对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标，包括：
确定所述数据速率对应的第一权重系数、所述时延对应的第二权重系数以及所述丢包率对应的第三权重系数；
基于所述第一权重系数、所述第二权重系数和所述第三权重系数，对所述数据速率、所述时延和所述丢包率进行加权求和处理，得到目标评价指标。
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型，包括：
基于所述目标评价指标对基站的资源管理进行建模，得到所述资源管理模型；其中，所述资源管理模型包括目标函数和约束条件；
其中，为目标函数，xk,n＝{0,1}为第一约束条件，/>为第二约束条件，为第三约束条件，/>为第四约束条件，为第五约束条件。
7.根据权利要求1所述的方法，其特征在于，对所述初始神经网络算法进行预先训练得到所述目标神经网络算法的过程，包括：
基于所述初始神经网络算法从状态空间中获取目标状态，确定所述目标状态对应的所有动作的评估值；
从所述所有动作中确定评估值最大的动作作为目标动作，执行所述目标动作并获取对应的目标奖励；
将所述目标状态、目标动作、目标奖励和所述目标状态对应的下一状态放入经验回放池；
从所述经验回放池中确定目标样本数据，基于所述目标样本数据进行运算处理得到损失函数；
响应于确定所述损失函数满足预设的收敛条件，将所述初始神经网络算法作为所述目标神经网络算法。
8.一种配电网的资源管理装置，其特征在于，包括：
获取模块，被配置为获取基站的发射功率以及终端的数据包的相关数据；其中，所述数据包是所述基站发送至所述终端的；所述数据包的相关数据包括：数据包速度数据和数据包数量数据；
数据速率运算模块，被配置为基于香农公式对所述发射功率进行运算处理，得到所述终端的数据速率；
时延运算模块，被配置为对所述数据包速度数据以及预设的时延上限进行归一化处理，得到所述终端的时延；
丢包率运算模块，被配置为对所述数据包数量数据进行归一化处理，得到所述终端的丢包率；
目标评价指标运算模块，被配置为对所述数据速率、所述时延和所述丢包率进行运算处理得到目标评价指标；
建模模块，被配置为基于所述目标评价指标对基站的资源管理进行建模，得到资源管理模型；
求解模块，被配置为基于目标神经网络算法对所述资源管理模型进行求解处理，得到所述目标评价指标为最优情况下对应的所述基站与所述终端之间的关联关系，以供配电网基于所述关联关系对所述基站与所述终端之间进行配对；其中，所述目标神经网络算法是对初始神经网络算法进行预先训练得到的。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任意一项所述的方法。
CN202310896245.6A 2023-07-20 2023-07-20 配电网的资源管理方法、装置、电子设备及存储介质 Pending CN117118835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310896245.6A CN117118835A (zh) 2023-07-20 2023-07-20 配电网的资源管理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310896245.6A CN117118835A (zh) 2023-07-20 2023-07-20 配电网的资源管理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117118835A true CN117118835A (zh) 2023-11-24

Family

ID=88806388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310896245.6A Pending CN117118835A (zh) 2023-07-20 2023-07-20 配电网的资源管理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117118835A (zh)

Similar Documents

Publication Publication Date Title
Fadlullah et al. HCP: Heterogeneous computing platform for federated learning based collaborative content caching towards 6G networks
CN114116198A (zh) 一种移动车辆的异步联邦学习方法、系统、设备及终端
Sun et al. LSTM based link quality confidence interval boundary prediction for wireless communication in smart grid
Yuan et al. A MEC offloading strategy based on improved DQN and simulated annealing for internet of behavior
Li et al. Method of resource estimation based on QoS in edge computing
CN114021770A (zh) 网络资源优化方法、装置、电子设备及存储介质
Scanzio et al. Predicting Wi‐Fi link quality through artificial neural networks
CN113591490B (zh) 信息处理方法、装置和电子设备
Chen et al. Energy‐efficiency fog computing resource allocation in cyber physical internet of things systems
CN117118835A (zh) 配电网的资源管理方法、装置、电子设备及存储介质
Zhi‐jin et al. Spectrum handoff based on adaptive weights adjustment
CN115065433B (zh) 基于智能反射面的cr-noma网络通信方法及中断性能验证方法
CN112543481B (zh) 一种边缘节点算力负载均衡的方法、装置及系统
CN111585784B (zh) 一种网络切片部署方法及装置
CN111582456B (zh) 用于生成网络模型信息的方法、装置、设备和介质
Wang et al. Research on wireless coverage area detection technology for 5G mobile communication networks
CN117729113B (zh) 一种智能电网的网络切换方法及相关设备
Su et al. Buffer evaluation model and scheduling strategy for video streaming services in 5G-powered drone using machine learning
Kai et al. Game‐theoretic radio resource management for relay‐assisted access in wireless networks
Meng et al. Multistage dynamic packet access mechanism of internet of things
Yang et al. Online reliability optimization for URLLC in HetNets: a DQN approach
CN113472842B (zh) 移动边缘计算网络中的用户状态感知方法及相关设备
CN114697974B (zh) 网络覆盖优化方法、装置、电子设备及存储介质
CN116521377B (zh) 业务计算卸载方法、系统、装置、设备及介质
CN116346697B (zh) 通信业务质量评测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination