CN114189877A - 一种面向5g基站的复合式能耗优化控制方法 - Google Patents

一种面向5g基站的复合式能耗优化控制方法 Download PDF

Info

Publication number
CN114189877A
CN114189877A CN202111481528.1A CN202111481528A CN114189877A CN 114189877 A CN114189877 A CN 114189877A CN 202111481528 A CN202111481528 A CN 202111481528A CN 114189877 A CN114189877 A CN 114189877A
Authority
CN
China
Prior art keywords
base station
user
users
data
energy consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111481528.1A
Other languages
English (en)
Other versions
CN114189877B (zh
Inventor
王晓飞
林晟
谭靖超
王梓蔚
杨雅君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111481528.1A priority Critical patent/CN114189877B/zh
Publication of CN114189877A publication Critical patent/CN114189877A/zh
Application granted granted Critical
Publication of CN114189877B publication Critical patent/CN114189877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0203—Power saving arrangements in the radio access network or backbone network of wireless communication networks
    • H04W52/0206—Power saving arrangements in the radio access network or backbone network of wireless communication networks in access points, e.g. base stations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种面向5G基站的复合式能耗优化控制方法，包括：构建包括用户、5G基站和5G控制中心的蜂窝通信系统；建立用户分配模型和基站状态选择模型；初始化参数；统计所有用户的基本信息，以时间片长度最小化为一级目标求解用户分配模型的最优解得到用户分配策略，根据用户分配策略与用户数据连接；每个5G基站统计需要传输的数据总量，以能耗服务权衡值最小化为二级目标利用深度强化学习算法求解基站状态选择模型的最优解得到基站状态策略；每个5G基站根据基站状态策略对各自的状态进行切换，更新用户分配模型和基站状态选择模型的网络参数。本发明可在保障用户服务的前提下节省更多能源消耗，实现基站能源消耗优化问题的双重优化。

Description

一种面向5G基站的复合式能耗优化控制方法
技术领域
本发明属于移动通信技术领域，具体涉及一种面向5G基站的复合式能耗优化控制方法。
背景技术
随着5G移动设备的爆炸性增长，移动网络正面临着巨大的数据传输需求。同时，巨大的通信需求给信息通信技术(Information and Communication Technology，ICT)带来了严重的能源消耗问题。研究数据显示，ICT每年消耗全球约4.7％的电力资源，并产生全球1.7％的碳排放总量。另一方面，5G也已经成为ICT的主流通信技术，那么如何绿色地、智能地控制5G基站成为了近年来学者与运营商们研究的热点问题。
目前，大多数5G基站仍然采用固定用户分配原则，如邻近原则。然而，与传统的LTE基站不同，5G基站部署更加密集，这意味着5G用户在建立数据连接时可以有更多的5G基站作为选择。当5G基站面对不同的5G用户时，灵活地选择基站工作策略是降低能源成本的有效方法，而人工智能(Artificial Intelligence，AI)为5G基站节能策略选择提供了有效途径。然而，目前已有的5G基站节能策略大多只关注用户的数据量对于能源消耗的影响，并且大部分的实验都是基于模拟数据。另一方面，由于目前较多的5G基站节能策略都是在基站空闲时直接对5G基站进行关断控制操作，而当5G用户需要使用基站进行数据通信时再将其进行启动激活。这意味着用户需要等待更长的时间才能获取5G服务，也即5G用户在享受5G服务需要承受更多的时延，这同样会对用户的服务质量(Quality of Service，QoS)产生极大的负面影响。
发明内容
针对现有技术中为降低能耗对5G基站直接进行关断控制降低了用户服务质量的问题，本发明提出了一种面向5G基站的复合式能耗优化控制方法，可以在保障用户服务质量的前提下复合地对5G基站进行多样化状态控制并最大化的优化基站能源消耗。为解决以上技术问题，本发明所采用的技术方案如下：
一种面向5G基站的复合式能耗优化控制方法，包括如下步骤：
S1，构建包括用户、5G基站和5G控制中心的蜂窝通信系统；
S2，利用神经网络分别建立用户分配模型和基站状态选择模型；
S3，设置时间片总数T，初始化用户分配模型的网络参数、基站状态选择模型的网络参数、时间片长度τ以及初始时间片t＝0；
S4，执行t＝t+1，统计所有用户的基本信息，以时间片长度最小化为一级目标函数求解用户分配模型的最优解得到用户分配策略Au，5G基站根据用户分配策略Au与用户进行数据连接；
S5，所有数据连接建立后，每个5G基站根据所连接的5G用户数量统计需要传输的数据总量，以能耗服务权衡值最小化为二级目标函数利用深度强化学习算法求解基站状态选择模型的最优解得到基站状态策略As；
S6，每个5G基站根据基站状态策略As对各自的状态进行切换，根据奖励函数计算用户分配模型和基站状态选择模型的奖励，并对用户分配模型和基站状态选择模型的网络参数进行更新，判断t＜T，如果是返回步骤S3，否则结束。
所述步骤S4包括如下步骤：
S4.1，所有用户确定各自的基本信息，并将基本信息发送到5G控制中心；
S4.2，5G控制中心对接收到的所有用户的基本信息进行统计得到用户状态空间Su；
S4.3，将用户状态空间Su输入用户分配模型，以时间片长度最小化为一级目标函数利用深度强化学习算法对用户分配模型求解得到用户分配策略Au，将用户分配策略Au传输到每个5G基站；
S4.4，每个5G基站根据用户分配策略Au与指定的用户建立数据连接。
所述用户状态空间Su的表达式为：
Figure BDA0003395040810000021
式中，st表示第t个时间片时的总用户数，
Figure BDA0003395040810000022
和
Figure BDA0003395040810000023
表示用户nj当前所在位置的二维坐标值，
Figure BDA0003395040810000024
表示用户nj需要传输的数据量，N′表示用户的集合，T′表示时间片数的集合，且T′＝{1，2，…，T}；
所述用户分配策略Au的表达式为：
Figure BDA0003395040810000025
式中，
Figure BDA0003395040810000026
表示用户nj的用户分配策略，numc表示每个用户可以选择的最大基站数，M′表示5G基站的集合。
所述一级目标函数的表达式为：
Figure BDA0003395040810000027
式中，τ表示时间片长度，θa表示一级目标函数；
所述时间片长度τ的计算公式为：
Figure BDA0003395040810000028
式中，
Figure BDA0003395040810000031
表示5G基站mi上所有用户下载完成的下载时间，Mt表示最大时间片长度。
所述5G基站mi上所有用户下载完成的下载时间
Figure BDA0003395040810000032
的计算公式为：
Figure BDA0003395040810000033
式中，
Figure BDA0003395040810000034
表示5G基站mi到5G用户nj的传输时间，N′表示用户的集合，；
所述5G基站mi到5G用户nj的传输时间
Figure BDA0003395040810000035
的计算公式为：
Figure BDA0003395040810000036
式中，
Figure BDA0003395040810000037
表示5G用户nj从5G基站mi下载数据的峰值速率，
Figure BDA0003395040810000038
表示用户需要传输的数据量。
所述5G用户nj从5G基站mi下载数据的峰值速率
Figure BDA0003395040810000039
的计算公式为：
Figure BDA00033950408100000310
式中，ω表示带宽，α表示用于数据传输的带宽的分数，
Figure BDA00033950408100000311
表示5G用户nj从5G基站mi下载数据时的信干噪比。
所述步骤S5包括如下步骤：
S5.1，每个5G基站根据所连接的用户数量计算各自需要传输的数据总量，并将计算后的数据总量发送给5G控制中心；
S5.2，5G控制中心根据步骤S5.1中的数据总量生成基站状态空间Ss；
S5.3，5G控制中心将基站状态空间Ss输入基站状态选择模型，以能耗服务权衡值最小化为二级目标函数利用深度强化学习算法对基站状态选择模型进行求解，得到基站状态策略As；
S5.4，5G控制中心将基站状态策略As分发给每个5G基站。
在步骤S5.1中，所述数据总量的计算公式为：
Figure BDA00033950408100000312
式中，
Figure BDA00033950408100000313
表示5G基站mi需要传输的数据总量，
Figure BDA00033950408100000314
表示用户nj连接5G基站mi，当
Figure BDA00033950408100000315
Figure BDA00033950408100000316
表示5G基站mi服务用户nj，否则
Figure BDA00033950408100000317
N′表示用户的集合，
Figure BDA00033950408100000318
表示用户nj需要传输的数据量。
所述基站状态空间Ss的表达式为：
Figure BDA00033950408100000319
式中，
Figure BDA00033950408100000320
表示基站mi在每个时间片的总数据量，
Figure BDA00033950408100000321
表示5G基站mi需要服务的用户数量，M′表示5G基站的集合，S表示所有5G基站需要服务的用户数量的集合；
所述基站状态策略As的表达式为：
Figure BDA0003395040810000041
式中，
Figure BDA0003395040810000042
表示基站mi的基站状态策略，当
Figure BDA0003395040810000043
为0时，基站mi选择空闲状态；当
Figure BDA0003395040810000044
为1时，基站mi选择一级睡眠状态SS1；当
Figure BDA0003395040810000045
为2时，基站mi选择二级睡眠状态SS2；当
Figure BDA0003395040810000046
为3时，基站mi选择三级睡眠状态SS3。
所述二级目标函数的表达式为：
Figure BDA0003395040810000047
式中，
Figure BDA0003395040810000048
表示基站mi的能耗服务权衡值，θs表示二级目标函数；
所述基站mi的能耗服务权衡值
Figure BDA0003395040810000049
的计算公式为：
Figure BDA00033950408100000410
式中，
Figure BDA00033950408100000411
表示基站mi服务的用户的服务质量，
Figure BDA00033950408100000412
表示基站mi的总能耗，τsw表示状态切换时间，τtr表示5G基站的数据传输时间，pw表示5G基站处于工作时间的功率，pi表示5G基站处于非工作时间的功率，η∈[0，1]为延迟敏感性因子，
Figure BDA00033950408100000413
表示5G基站mi需要服务的用户数量。
本发明的有益效果：
本申请将基站的能源和QoS优化问题拆分成了两个子问题，即用户分配子问题和基站状态选择子问题，针对这两个子问题提出了两步式的深度强化学习算法，通过对两个问题的优化求解可以在保障用户QoS的前提下比其它算法节省50％以上的能源消耗，且可以根据用户的任务种类自适应的调节基站分配策略以保证满足不同用户的QoS需求，实现了对基站能源消耗优化问题的双重优化；根据具体需求可以对基站的状态数量进行相应的设计调整，通过对基站状态的切换可以使基站进入不同程度的睡眠状态，降低了5G基站的能量消耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为蜂窝通信系统的架构图。
图2为本申请的流程示意图。
图3为用户稀疏区域下不同用户分配算法对于时间片长度的比较示意图。
图4为用户密集区域下不同用户分配算法对于时间片长度的比较示意图。
图5为用户密集场景下使用本申请进行用户分配时基站负载的效果图。
图6为用户密集场景下使用贪心算法进行用户分配时基站负载的效果图。
图7为用户稀疏场景下使用本申请进行用户分配时基站负载的效果图。
图8为用户稀疏场景下使用贪心算法进行用户分配时基站负载的效果图。
图9为用户稀疏区域下不同基站状态选择算法对于基站用户与能耗效益大小的比较图。
图10为用户密集区域下不同状态选择算法对于基站用户与能耗效益大小的比较图。
图11为用户密集且η＝0.3的场景下使用本申请对于基站状态选择的效果图。
图12为用户密集且η＝0.9的场景下使用本申请对于基站状态选择的效果图。
图13为用户稀疏且η＝0.3的场景下使用本申请对于基站状态选择的效果图。
图14为用户稀疏且η＝0.9的场景下使用本申请对于基站状态选择的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种面向5G基站的复合式能耗优化控制方法，包括如下步骤：
S1，构建包括用户、5G基站和5G控制中心的蜂窝通信系统；
一个大规模的蜂窝通信系统包括M个5G基站，N个5G用户，5G基站的集合表示为M′＝{mi}，且i＝1，2，...，M，每个5G基站所拥有的网络资源为
Figure BDA0003395040810000051
5G用户的集合表示为N′＝{nj}，且j＝1，2，...，N，每个用户都拥有不同的数据量和二维地理坐标，分别表示为
Figure BDA0003395040810000052
和
Figure BDA0003395040810000053
所有的5G基站按照同一时间片为用户服务，在每个时间片，用户均被分配到指定的基站，且每个5G基站可以同时为多个用户服务，直到所有用户的数据传输完毕，整个系统才会进入下一轮时间片。
S2，利用神经网络分别建立用户分配模型和基站状态选择模型；
由于整个系统采用同步机制进行数据传输，所以只有当所有的基站都完成了各自的传输任务后，系统才会进行新一轮的数据传输。因此，每一轮的时间片长度取决于所有5G基站中最长的时间片长度。与此同时，较长的时间片长度会影响用户的QoS和基站的能耗。本申请同时考虑了这两个因素，用户分配模型以时间片长度为优化目标，基站状态选择模型以能耗服务权衡值为优化目标，将优化目标转化为最优解的求解问题，共同实现QoS和能耗的目标最佳化。
S3，设置时间片总数T，初始化用户分配模型的网络参数、基站状态选择模型的网络参数、时间片长度τ以及初始时间片t＝0；
所述网络参数包括初始权重，用户分配模型的初始权重为θu、基站状态选择模型的初始权重为θs。
S4，执行t＝t+1，统计所有5G用户的基本信息，以时间片长度最小化为一级目标函数利用深度强化学习算法求解用户分配模型的最优解，得到用户分配策略Au，5G基站根据用户分配策略Au与5G用户进行数据连接，包括如下步骤：
S4.1，所有5G用户确定各自的基本信息，并将基本信息发送到5G控制中心；
所述基本信息包括5G用户当前所在的位置也即二维地理坐标
Figure BDA0003395040810000061
以及需传输的数据量也即用户拥有的数据量
Figure BDA0003395040810000062
S4.2，5G控制中心对接收到的所有5G用户的基本信息进行统计得到用户状态空间Su；所述用户状态空间Su的表达式为：
Figure BDA0003395040810000063
式中，st表示第t个时间片时的总用户数，T′表示时间片数的集合，且T′＝{1，2，…，T}。
S4.3，将用户状态空间Su输入用户分配模型，以时间片长度最小化为一级目标函数利用深度强化学习算法对用户分配模型求解得到用户分配策略Au，将用户分配策略Au传输到每个5G基站，从而控制5G基站与5G用户建立数据连接；
所述用户分配策略Au的表达式为：
Figure BDA0003395040810000064
式中，
Figure BDA0003395040810000065
是用户nj的用户分配策略，表示用户nj选择最接近的
Figure BDA0003395040810000066
基站接收数据，numc表示每个用户可以选择的最大基站数。
所述一级目标函数的表达式为：
Figure BDA0003395040810000067
式中，τ表示时间片长度，θa表示一级目标函数。
由于时间片长度取决于所有5G基站中最长的时间片长度，因此，所述时间片长度τ的计算公式为：
Figure BDA0003395040810000068
式中，
Figure BDA0003395040810000069
表示5G基站mi上所有5G用户下载完成的下载时间，Mt表示最大时间片长度，根据不同的应用场景定义。
所述5G基站mi上所有用户下载完成的下载时间
Figure BDA00033950408100000610
的计算公式为：
Figure BDA00033950408100000611
式中，
Figure BDA00033950408100000612
表示5G基站mi到5G用户nj的传输时间；
所述5G基站mi到5G用户nj的传输时间
Figure BDA0003395040810000071
的计算公式为：
Figure BDA0003395040810000072
式中，
Figure BDA0003395040810000073
表示5G用户nj从5G基站mi下载数据的峰值速率；
所述5G用户nj从5G基站mi下载数据的峰值速率
Figure BDA0003395040810000074
可以根据香农-哈特利定理计算得到，对应的计算公式为：
Figure BDA0003395040810000075
式中，ω表示带宽，α表示用于数据传输的带宽的分数，
Figure BDA0003395040810000076
表示5G用户nj从5G基站mi下载数据时的信干噪比；
在同一个5G基站中，假设用户分配的网络资源是相等的，这意味着在不考虑阴影效应和信干噪比(Signal to Interference plus Noise Ratio，SINR)的情况下，相同基站下的用户具有相同的网速。所述信干噪比
Figure BDA0003395040810000077
的计算公式为：
Figure BDA0003395040810000078
式中，σ表示实际场景中的高斯信号噪声，
Figure BDA0003395040810000079
表示5G用户nj从5G基站mk最终得到的网络资源，
Figure BDA00033950408100000710
表示5G用户nj从5G基站mi最终得到的网络资源。
由于5G用户nj从5G基站mi得到的网络资源与5G用户nj和5G基站mi之间的欧氏距离成反比，因此，所述5G用户nj从5G基站mi得到的网络资源
Figure BDA00033950408100000711
的计算公式为：
Figure BDA00033950408100000712
式中，k是常数参数，
Figure BDA00033950408100000713
表示5G用户nj和5G基站mi之间的欧氏距离，
Figure BDA00033950408100000714
表示在不考虑外界影响的情况下，用户nj平均分配得到的网络资源，即
Figure BDA00033950408100000715
表示5G基站mi需要服务的用户数量。
根据以上，因此可以将一级目标函数θa转换为：
Figure BDA00033950408100000716
Figure BDA00033950408100000717
在5G用户和5G基站连接的过程中，包含上传和下载的过程，但由于上传的数据量比下载的数据量要小得多，上传的传输延迟也相应很小，因此，本申请只考虑数据的下载过程，且不考虑上传的传输延迟。
S4.4，每个5G基站根据用户分配策略Au与指定的5G用户建立数据连接。
S5，所有数据连接建立后，每个5G基站根据所连接的5G用户数量统计需要传输的数据总量，以能耗服务权衡值最小化为二级目标函数利用深度强化学习算法求解基站状态选择模型的最优解得到基站状态策略As，包括如下步骤：
S5.1，每个5G基站根据所连接的5G用户数量计算各自需要传输的数据总量，并将计算后的数据总量发送给5G控制中心；
所述数据总量的计算公式为：
Figure BDA0003395040810000081
式中，
Figure BDA0003395040810000082
表示5G基站mi需要传输的数据总量，
Figure BDA0003395040810000083
表示5G基站mi需要服务的用户数量
Figure BDA0003395040810000084
所有5G基站需要服务的用户数量的集合表示为
Figure BDA0003395040810000085
表示用户nj连接5G基站mi，当
Figure BDA0003395040810000086
表示5G基站mi服务用户nj，否则
Figure BDA0003395040810000087
S5.2，5G控制中心根据步骤S5.1中的数据总量生成基站状态空间Ss；
所述基站状态空间Ss的表达式为：
Figure BDA0003395040810000088
式中，
Figure BDA0003395040810000089
表示基站mi在每个时间片的总数据量。
S5.3，5G控制中心将基站状态空间Ss输入基站状态选择模型，以能耗服务权衡值最小化为二级目标函数利用深度强化学习算法对基站状态选择模型进行求解，得到基站状态策略As；
所述基站状态策略As的表达式为：
Figure BDA00033950408100000810
式中，由于5G基站的状态数量有限，基站的状态策略范围在模型中已经确定，具体的，当
Figure BDA00033950408100000811
为0时，基站mi选择空闲状态；当
Figure BDA00033950408100000812
为1时，基站mi选择一级睡眠状态SS1；当
Figure BDA00033950408100000813
为2时，基站mi选择二级睡眠状态SS2；当
Figure BDA00033950408100000814
为3时，基站mi选择三级睡眠状态SS3。
本实施例中，5G基站除了工作状态(Active state)和空闲状态(Idle state)外，还有不同等级的睡眠状态(Sleep state,SS)，建立睡眠状态可以在5G基站不需要工作时节省一些能耗，不同级别的睡眠状态的切换时间和功率不同。
如下为基站处于各状态下的工作信息表：
Figure BDA00033950408100000815
从上表可以看出，当5G基站选择进入更深的睡眠状态时，会节省更多的能量。但是，当用户需要传输数据时，他们也需要等待更多的时间，这是因为5G基站切换到工作状态需要更长的时间。
所述二级目标函数的表达式为：
Figure BDA0003395040810000091
式中，
Figure BDA0003395040810000092
表示基站mi的能耗服务权衡值，θs表示二级目标函数。
由于每次传输的时间片长度是所有基站中最长的时间片的长度，而对于大多数基站，时间片可分为工作时间和非工作时间，两者的功率不同。工作时间是指基站处于工作状态(Active state)的时间，非工作时间包括基站处于空闲状态或睡眠状态的时间和时间片的剩余时间。在基站状态选择问题中，当涉及到用户的QoS时，只需要考虑基站的工作时间，同时对于基站能耗，需要同时考虑工作时间和非工作时间，因此所述基站mi的能耗服务权衡值
Figure BDA0003395040810000093
的计算公式为：
Figure BDA0003395040810000094
式中，
Figure BDA0003395040810000095
表示基站mi服务的用户的Qos，
Figure BDA0003395040810000096
表示基站mi的总能耗，τsw表示状态切换时间，τtr表示5G基站的数据传输时间，pw表示5G基站处于工作时间的功率，pi表示5G基站处于非工作时间的功率，η∈[0，1]为延迟敏感性因子，用于控制用户延迟与基站能耗之间的权衡。特别是当η＝0时，表示系统认为用户对延迟不敏感，将使基站能耗最小化；相反，当η＝1时，表示系统将全部关注用户延迟，而忽略基站能耗。
因此二级目标函数θs的表达式可以转换为：
Figure BDA0003395040810000097
S5.4，5G控制中心将基站状态策略As分发给每个5G基站；
S6，每个5G基站根据基站状态策略As对各自的状态进行切换，5G控制中心根据奖励函数分别计算用户分配模型和基站状态选择模型的奖励，并对用户分配模型和基站状态选择模型的网络参数进行更新，判断t＜T，如果是返回步骤S3，否则进入下一循环。
所述用户分配模型的奖励函数表示为:
Ru(s，a)＝{-t|t∈T′，s∈Su，a∈Au}；
且通过以下梯度函数更新用户分配模型的参数:
Figure BDA0003395040810000101
式中，πθ表示用户分配的策略，θ表示用户分配模型的权重，a表示用户分配策略Au的元素，s表示用户状态空间Su的元素。
所述基站状态选择模型的奖励函数表示为:
Rs(s，a)＝{-5GEDR|s′∈Ss，a′∈As}；
且通过以下梯度函数更新基站状态选择模型的参数：
Figure BDA0003395040810000102
式中，π′θ为基站状态选择的策略，a′表示基站状态策略As的元素，s′表示基站状态空间Ss的元素,θ′表示基站状态选择模型的权重。本实施例中的奖励函数和梯度函数均为现有技术，本申请不再详述。
本实施例中的无线网络环境是静态的，且系统内的所有设备同步工作，如图1所示，5G控制中心为系统提供计算资源用以进行模型推理，并将与用户建立数据连接和切换基站状态的控制命令分发给其覆盖范围内的所有5G基站，工作流程为：当一个5G用户需要通过5G网络下载数据时，他需先向5G控制中心发送其所需数据传输的基本信息，包括用户的GPS位置、需要传输的数据量；当5G控制中心覆盖范围内所有的5G用户都上传了基本信息后，5G控制中心会对基本信息进行处理，并将处理后的基本信息传递给用户分配模型；用户分配模型根据接收到的基本信息生成用户分配策略并分配给每个5G基站，并由5G基站与指定用户建立数据连接；建立数据连接之后，每个5G基站统计各自的传输数据量，并将统计信息重新上传到5G控制中心，5G控制中心将5G基站的统计信息放入基站状态选择模型，并计算出状态选择策略；最后，5G控制中心将状态选择策略分发给每个5G基站，由5G基站进行状态切换以节省5G基站的能量消耗。
首先收集包含2021年3月28日至5月28日的5G基站数据集和用户数据集，其中基站数据集包括每个基站的地理位置、每个基站在不同时间服务的用户数量以及当前上行和下行数据量，用户数据集包括用户的地理位置和每个用户在不同时间的上行和下行数据量，数据集主要用于模型训练、模型评估和仿真。数据集中的各信息如下表2所示，原始数据的总大小约为2.99GB。
Figure BDA0003395040810000103
Figure BDA0003395040810000111
表2来自5G基站和用户数据集的统计数据
使用虚拟机来模拟5G控制中心，并将两个原始数据集按照地理区域进行分割，分别存储到相应的控制中心中。用户分配模型和基站状态选择模型都是两层全连接网络。对于同一应用中的深度神经网络(Deep Q Network,DQN)模型，神经网络单元数相等，另一方面，不同应用的模型每层的神经单元数不同。模型相关的参数见表3。由于数据集为5G基站的真实上行和下行数据，计算了基站的平均数据传输速率和相关参数用于仿真实验。其中，每个基站的总网络资源Rm为10Gbps，带宽α的分数为0.1，实验中η＝0.99,基站状态数为4。
Figure BDA0003395040810000112
表3模型参数设置
为了显示两本申请的优越性，如图3-图14所示，在用户分配问题中使用了随机算法和贪婪算法，并使用了状态选择的随机算法、贪婪算法和单步DQN算法作为基线模型。在随机算法中，基站随机采取行动，并根据当前状态计算奖励，它总是在实验中得到最差的结果。在贪婪算法中，基站只根据当前状态选择最优行动，不考虑对历史或未来可能性的影响。而在单步DQN算法中，基站仅使用DQN模型基于5G基站数据集选择动作。在实验中，我们使用时间片长度和能耗服务权衡值之和来评价各算法的性能。
图3和图4给出了不同时时间片用户分配问题中各算法的时间片长度，图3主要是用户稀疏区域的用户分配问题，图4主要是用户密度高区域的用户分配问题。从图中我们可以清楚地看到，本申请的结果最好，其次是贪婪算法，随机算法的结果最差。图5、7、6、8分别显示了在繁忙网络和空闲网络中，采用贪婪算法和本申请进行用户分配后的5G基站的用户负载情况。从图中我们可以清楚地看到，无论网络繁忙或空闲时，使用本申请的基站的用户负载都比贪婪算法更均衡。
图9和10显示了每个情节里不同的算法在5G基站状态选择子问题上的时间片长度和能耗服务权衡值之和。图9为用户稀疏区域，图10为用户密度高的区域。从这两幅图中可以看出，本申请在5G基站状态选择问题上的效果是所有基线模型中最好的。图11、13、12和14分别给出了在繁忙网络和备用网络中，各算法在不同延迟灵敏度因子η下的基站状态分布。从这些图中可以看出，当η较大时，我们的系统控制基站处于空闲状态，以使其能够更快地响应用户的传输需求。反之，当η较小时，为了降低整体能量消耗，需要更多的基站进入深度睡眠状态。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向5G基站的复合式能耗优化控制方法，其特征在于，包括如下步骤：
S1，构建包括用户、5G基站和5G控制中心的蜂窝通信系统；
S2，利用神经网络分别建立用户分配模型和基站状态选择模型；
S3，设置时间片总数T，初始化用户分配模型的网络参数、基站状态选择模型的网络参数、时间片长度τ以及初始时间片t＝0；
S4，执行t＝t+1，统计所有用户的基本信息，以时间片长度最小化为一级目标函数求解用户分配模型的最优解得到用户分配策略Au，5G基站根据用户分配策略Au与用户进行数据连接；
S5，所有数据连接建立后，每个5G基站根据所连接的5G用户数量统计需要传输的数据总量，以能耗服务权衡值最小化为二级目标函数利用深度强化学习算法求解基站状态选择模型的最优解得到基站状态策略As；
S6，每个5G基站根据基站状态策略As对各自的状态进行切换，根据奖励函数计算用户分配模型和基站状态选择模型的奖励，并对用户分配模型和基站状态选择模型的网络参数进行更新，判断t＜T，如果是返回步骤S3，否则结束。
2.根据权利要求1所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述步骤S4包括如下步骤：
S4.1，所有用户确定各自的基本信息，并将基本信息发送到5G控制中心；
S4.2，5G控制中心对接收到的所有用户的基本信息进行统计得到用户状态空间Su；
S4.3，将用户状态空间Su输入用户分配模型，以时间片长度最小化为一级目标函数利用深度强化学习算法对用户分配模型求解得到用户分配策略Au，将用户分配策略Au传输到每个5G基站；
S4.4，每个5G基站根据用户分配策略Au与指定的用户建立数据连接。
3.根据权利要求2所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述用户状态空间Su的表达式为：
Figure FDA0003395040800000011
式中，st表示第t个时间片时的总用户数，
Figure FDA0003395040800000012
和
Figure FDA0003395040800000013
表示用户nj当前所在位置的二维坐标值，
Figure FDA0003395040800000014
表示用户nj需要传输的数据量，N表示用户的集合，T′表示时间片数的集合，且T′＝{1，2，…，T}；
所述用户分配策略Au的表达式为：
Figure FDA0003395040800000015
式中，
Figure FDA0003395040800000021
表示用户nj的用户分配策略，numc表示每个用户可以选择的最大基站数，M′表示5G基站的集合。
4.根据权利要求2所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述一级目标函数的表达式为：
Figure FDA0003395040800000022
式中，τ表示时间片长度，θa表示一级目标函数；
所述时间片长度τ的计算公式为：
Figure FDA0003395040800000023
式中，
Figure FDA0003395040800000024
表示5G基站mi上所有用户下载完成的下载时间，Mt表示最大时间片长度。
5.根据权利要求4所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述5G基站mi上所有用户下载完成的下载时间
Figure FDA0003395040800000025
的计算公式为：
Figure FDA0003395040800000026
式中，
Figure FDA0003395040800000027
表示5G基站mi到5G用户nj的传输时间，N′表示用户的集合，；
所述5G基站mi到5G用户nj的传输时间
Figure FDA0003395040800000028
的计算公式为：
Figure FDA0003395040800000029
式中，
Figure FDA00033950408000000210
表示5G用户nj从5G基站mi下载数据的峰值速率，
Figure FDA00033950408000000211
表示用户需要传输的数据量。
6.根据权利要求5所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述5G用户nj从5G基站mi下载数据的峰值速率
Figure FDA00033950408000000212
的计算公式为：
Figure FDA00033950408000000213
式中，ω表示带宽，α表示用于数据传输的带宽的分数，
Figure FDA00033950408000000214
表示5G用户nj从5G基站mi下载数据时的信干噪比。
7.根据权利要求1所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述步骤S5包括如下步骤：
S5.1，每个5G基站根据所连接的用户数量计算各自需要传输的数据总量，并将计算后的数据总量发送给5G控制中心；
S5.2，5G控制中心根据步骤S5.1中的数据总量生成基站状态空间Ss；
S5.3，5G控制中心将基站状态空间Ss输入基站状态选择模型，以能耗服务权衡值最小化为二级目标函数利用深度强化学习算法对基站状态选择模型进行求解，得到基站状态策略As；
S5.4，5G控制中心将基站状态策略As分发给每个5G基站。
8.根据权利要求7所述的面向5G基站的复合式能耗优化控制方法，其特征在于，在步骤S5.1中，所述数据总量的计算公式为：
Figure FDA0003395040800000031
式中，
Figure FDA0003395040800000032
表示5G基站mi需要传输的数据总量，
Figure FDA0003395040800000033
表示用户nj连接5G基站mi，当
Figure FDA0003395040800000034
Figure FDA0003395040800000035
表示5G基站mi服务用户nj，否则
Figure FDA0003395040800000036
N′表示用户的集合，
Figure FDA0003395040800000037
表示用户nj需要传输的数据量。
9.根据权利要求7所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述基站状态空间Ss的表达式为：
Figure FDA0003395040800000038
式中，
Figure FDA0003395040800000039
表示基站mi在每个时间片的总数据量，
Figure FDA00033950408000000310
表示5G基站mi需要服务的用户数量，M′表示5G基站的集合，S表示所有5G基站需要服务的用户数量的集合；
所述基站状态策略As的表达式为；
Figure FDA00033950408000000311
式中，
Figure FDA00033950408000000312
表示基站mi的基站状态策略，当
Figure FDA00033950408000000313
为0时，基站mi选择空闲状态；当
Figure FDA00033950408000000314
为1时，基站mi选择一级睡眠状态SS1；当
Figure FDA00033950408000000315
为2时，基站mi选择二级睡眠状态SS2；当
Figure FDA00033950408000000316
为3时，基站mi选择三级睡眠状态SS3。
10.根据权利要求7所述的面向5G基站的复合式能耗优化控制方法，其特征在于，所述二级目标函数的表达式为：
Figure FDA00033950408000000317
式中，
Figure FDA00033950408000000318
表示基站mi的能耗服务权衡值，θs表示二级目标函数；
所述基站mi的能耗服务权衡值
Figure FDA00033950408000000319
的计算公式为：
Figure FDA00033950408000000320
式中，
Figure FDA00033950408000000321
表示基站mi服务的用户的服务质量，
Figure FDA00033950408000000322
表示基站mi的总能耗，τsw表示状态切换时间，τtr表示5G基站的数据传输时间，pw表示5G基站处于工作时间的功率，pi表示5G基站处于非工作时间的功率，η∈[0，1]为延迟敏感性因子，
Figure FDA00033950408000000323
表示5G基站mi需要服务的用户数量。
CN202111481528.1A 2021-12-06 2021-12-06 一种面向5g基站的复合式能耗优化控制方法 Active CN114189877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111481528.1A CN114189877B (zh) 2021-12-06 2021-12-06 一种面向5g基站的复合式能耗优化控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111481528.1A CN114189877B (zh) 2021-12-06 2021-12-06 一种面向5g基站的复合式能耗优化控制方法

Publications (2)

Publication Number Publication Date
CN114189877A true CN114189877A (zh) 2022-03-15
CN114189877B CN114189877B (zh) 2023-09-15

Family

ID=80542483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111481528.1A Active CN114189877B (zh) 2021-12-06 2021-12-06 一种面向5g基站的复合式能耗优化控制方法

Country Status (1)

Country Link
CN (1) CN114189877B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114867090A (zh) * 2022-05-06 2022-08-05 东南大学 一种基于lstm无监督学习的udn基站休眠与功率分配联合优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017000557A1 (zh) * 2015-06-30 2017-01-05 东南大学 一种异构网络中基于流量预测的基站休眠方法
CN111405646A (zh) * 2020-03-17 2020-07-10 重庆邮电大学 异构蜂窝网络中基于Sarsa学习的基站休眠方法
CN111726845A (zh) * 2020-07-01 2020-09-29 南京大学 多用户异构网络系统中的基站切换选择和功率分配方法
CN111726826A (zh) * 2020-05-25 2020-09-29 上海大学 一种基站密集型边缘计算网络中的在线任务卸载方法
CN112153728A (zh) * 2020-10-22 2020-12-29 南开大学 一种基站关联和模块休眠的优化方法
CN113364630A (zh) * 2021-06-15 2021-09-07 广东技术师范大学 一种服务质量QoS差异化优化方法、装置
CN113568727A (zh) * 2021-07-23 2021-10-29 湖北工业大学 一种基于深度强化学习的移动边缘计算任务分配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017000557A1 (zh) * 2015-06-30 2017-01-05 东南大学 一种异构网络中基于流量预测的基站休眠方法
CN111405646A (zh) * 2020-03-17 2020-07-10 重庆邮电大学 异构蜂窝网络中基于Sarsa学习的基站休眠方法
CN111726826A (zh) * 2020-05-25 2020-09-29 上海大学 一种基站密集型边缘计算网络中的在线任务卸载方法
CN111726845A (zh) * 2020-07-01 2020-09-29 南京大学 多用户异构网络系统中的基站切换选择和功率分配方法
CN112153728A (zh) * 2020-10-22 2020-12-29 南开大学 一种基站关联和模块休眠的优化方法
CN113364630A (zh) * 2021-06-15 2021-09-07 广东技术师范大学 一种服务质量QoS差异化优化方法、装置
CN113568727A (zh) * 2021-07-23 2021-10-29 湖北工业大学 一种基于深度强化学习的移动边缘计算任务分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐伦;周钰;谭颀;魏延南;陈前斌;: "基于强化学习的5G网络切片虚拟网络功能迁移算法", 电子与信息学报, no. 03 *
李国权;徐勇军;陈前斌;: "基于干扰效率多蜂窝异构无线网络最优基站选择及功率分配算法", 电子与信息学报, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114867090A (zh) * 2022-05-06 2022-08-05 东南大学 一种基于lstm无监督学习的udn基站休眠与功率分配联合优化方法
CN114867090B (zh) * 2022-05-06 2024-04-02 东南大学 一种基于lstm无监督学习的udn基站休眠与功率分配联合优化方法

Also Published As

Publication number Publication date
CN114189877B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Lee et al. An online optimization framework for distributed fog network formation with minimal latency
CN109639760B (zh) 一种基于深度强化学习的d2d网络中的缓存策略方法
CN112737837B (zh) 一种高动态网络拓扑下无人机群带宽资源分配方法
CN110351754B (zh) 基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法
CN109600178B (zh) 一种边缘计算中能耗与时延和最小化的优化方法
CN108809695A (zh) 一种面向移动边缘计算的分布上行链路卸载策略
CN113326002A (zh) 基于计算迁移的云边协同控制系统及迁移决策生成方法
WO2023179010A1 (zh) 一种noma-mec系统中的用户分组和资源分配方法及装置
CN107426773B (zh) 无线异构网络中面向能效的分布式资源分配方法和装置
CN104619029B (zh) 一种集中式蜂窝网络架构下的基带池资源分配方法和装置
CN111475274A (zh) 云协同多任务调度方法及装置
CN109982434B (zh) 无线资源调度一体智能化控制系统及方法、无线通信系统
CN111124531A (zh) 一种车辆雾计算中基于能耗和延迟权衡的计算任务动态卸载方法
CN113573363B (zh) 基于深度强化学习的mec计算卸载与资源分配方法
Zhu et al. Computing offloading strategy using improved genetic algorithm in mobile edge computing system
CN114205353B (zh) 一种基于混合动作空间强化学习算法的计算卸载方法
CN112188551A (zh) 一种计算迁移方法、计算终端设备及边缘服务器设备
Xu et al. Residual energy maximization-based resource allocation in wireless-powered edge computing industrial IoT
CN104883727B (zh) 蜂窝异构网络中d2d用户速率最大化的功率分配方法
CN107094281A (zh) 一种m2m设备接入基站时的接入方法及系统
CN114423070B (zh) 一种基于d2d的异构无线网络功率分配方法及系统
CN112202847A (zh) 一种基于移动边缘计算的服务器资源配置方法
CN114189877A (zh) 一种面向5g基站的复合式能耗优化控制方法
CN109272167B (zh) 一种基于uudn和q神经网络的绿色能量合作方法
Luo et al. Joint game theory and greedy optimization scheme of computation offloading for UAV-aided network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant