CN112468984A - 一种电力无线专网基站选址方法及相关设备 - Google Patents

一种电力无线专网基站选址方法及相关设备 Download PDF

Info

Publication number
CN112468984A
CN112468984A CN202011218455.2A CN202011218455A CN112468984A CN 112468984 A CN112468984 A CN 112468984A CN 202011218455 A CN202011218455 A CN 202011218455A CN 112468984 A CN112468984 A CN 112468984A
Authority
CN
China
Prior art keywords
base station
station planning
planning
state
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011218455.2A
Other languages
English (en)
Other versions
CN112468984B (zh
Inventor
游兆阳
孙德栋
肖飞
欧清海
姚贤炯
张宁池
王艳茹
丰雷
李温静
陈毅龙
张洁
郭丹丹
杨志祥
陈志杰
贺军
王晨
杜加懂
王�琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing University of Posts and Telecommunications
China Academy of Information and Communications Technology CAICT
State Grid Shanghai Electric Power Co Ltd
State Grid Shaanxi Electric Power Co Ltd
Beijing Zhongdian Feihua Communication Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing University of Posts and Telecommunications
China Academy of Information and Communications Technology CAICT
State Grid Shanghai Electric Power Co Ltd
State Grid Shaanxi Electric Power Co Ltd
Beijing Zhongdian Feihua Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Beijing University of Posts and Telecommunications, China Academy of Information and Communications Technology CAICT, State Grid Shanghai Electric Power Co Ltd, State Grid Shaanxi Electric Power Co Ltd, Beijing Zhongdian Feihua Communication Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202011218455.2A priority Critical patent/CN112468984B/zh
Publication of CN112468984A publication Critical patent/CN112468984A/zh
Application granted granted Critical
Publication of CN112468984B publication Critical patent/CN112468984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/35—Services specially adapted for particular environments, situations or purposes for the management of goods or merchandise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本说明书一个或多个实施例提供一种电力无线专网基站选址方法及相关设备，所述方法包括：设计奖励函数的计算表达式R[S,A]；初始化相关参数，定义状态空间
Figure DDA0002761222860000011
和动作空间
Figure DDA0002761222860000012
；随机选取一个基站规划状态S；根据贪婪策略∈‑greedy选取基站规划动作A；执行所述基站规划动作A，并在下一时刻到达新状态S′；将基站规划状态转移样本[S,A,R,S′]存入所述基站规划经验回放池；计算基站规划目标Q值，并更新损失函数；每相隔C个时刻更新基站规划目标Q神经网络参数ω‑；根据最终输出的基站规划目标Q值得到最优电力无线专网基站选址结果。本方法通过DQN算法进行基站选址问题求解，在能够实现高维大规模选址问题的求解的同时收敛性能也得到进一步提升。

Description

一种电力无线专网基站选址方法及相关设备
技术领域
本说明书一个或多个实施例涉及电力无线通信技术领域，尤其涉及一种电力无线专网基站选址方法及相关设备。
背景技术
在电力无线专网网络规划中，基站规划(选址和分布)问题是非常关键和复杂的部分。基站的位置和数量直接影响到网络的成本、覆盖范围和信号质量。因此，基站规划问题的优化目标为：在满足建网目标的前提下，达到容量、质量、覆盖和成本的最佳组合。但这些目标是相互制约，甚至相互矛盾的。所以基站规划属于多目标优化问题。
基站选址优化需要考虑覆盖率和成本等问题，目前的寻优搜索算法在收敛性能和大规模场景上还存在不足。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种电力无线专网基站选址方法及相关设备，以解决收敛性能和大规模场景存在不足的问题。
基于上述目的，本说明书一个或多个实施例提供了一种电力无线专网基站选址方法，包括：
根据电力无线专网基站建设成本和为覆盖盲区损失成本设置设计奖励函数的计算表达式R[S,A]；其中，S代表基站规划状态；A代表基站规划动作；
初始化基站规划经验回放池，所述经验回放池大小为D；初始化基站规划Q网络Q(S,A；ω)及其神经网络参数ω、基站规划目标Q网络Q(S′,A；ω-)及其神经网络参数ω-；定义状态空间
Figure BDA0002761222840000012
和动作空间
Figure BDA0002761222840000011
从所述状态空间
Figure BDA0002761222840000013
中随机选取一个基站规划状态S；
根据选取的基站规划状态S，利用贪婪策略∈-greedy从所述动作空间
Figure BDA0002761222840000014
选取基站规划动作A；
执行所述基站规划动作A，根据所述奖励函数计算在所述基站规划状态S下采取所述动作A的成本奖励R，并在下一时刻到达新状态S′；
将基站规划状态转移样本[S,A,R,S′]存入所述基站规划经验回放池；
利用所述基站规划经验回放池中的基站规划状态转移样本均匀随机采样计算基站规划目标Q值，并更新损失函数；
每相隔C个时刻更新基站规划目标Q神经网络参数ω-；
在每个训练回合内遍历T个时刻；其中T代表预先设置的每个训练回合的总时刻数；
遍历M个基站规划训练回合，根据最终输出的基站规划目标Q值确定电力无线专网基站选址结果并输出；其中M代表预先设置的回合数。
基于同一发明构思，本说明书一个或多个实施例还提供了一种电力无线专网基站选址装置，包括：
设计奖励函数模块：用于根据电力无线专网基站建设成本和为覆盖盲区损失成本设置设计奖励函数的计算表达式R[S,A]；其中，S代表基站规划状态；A代表基站规划动作；
初始化模块：用于初始化基站规划经验回放池，所述经验回放池大小为D；初始化基站规划Q网络Q(S,A；ω)及其神经网络参数ω、基站规划目标Q网络Q(S′,A；ω-)及其神经网络参数ω-；定义状态空间
Figure BDA0002761222840000021
和动作空间
Figure BDA0002761222840000022
状态选取模块：用于从所述状态空间
Figure BDA0002761222840000023
中随机选取一个基站规划状态S；
动作选取模块：根据选取的基站规划状态S，利用贪婪策略∈-greedy从所述动作空间
Figure BDA0002761222840000024
选取基站规划动作A；
新状态确定模块：用于执行所述基站规划动作A，根据所述奖励函数计算在所述基站规划状态S下采取所述动作A的成本奖励R，并在下一时刻到达新状态S′；
样本回放模块：用于将基站规划状态转移样本[S,A,R,S′]存入所述基站规划经验回放池；
目标Q值计算模块：用于利用所述基站规划经验回放池中的基站规划状态转移样本均匀随机采样计算基站规划目标Q值，并更新损失函数；
神经网络参数更新模块：用于每相隔C个时刻更新基站规划目标Q神经网络参数ω-；
遍历时刻模块：用于在每个训练回合内遍历T个时刻；其中T代表预先设置的每个训练回合的总时刻数；
遍历回合模块：用于遍历M个基站规划训练回合，根据最终输出的基站规划目标Q值确定电力无线专网基站选址结果并输出；其中M代表预先设置的回合数。
基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。
基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一所述方法。
从上面所述可以看出，本说明书一个或多个实施例提供的一种电力无线专网基站规划方法及相关设备，通过深度强化学习法DQN算法对电力无线专网规划进行求解，综合考虑建设成本和覆盖损失设计奖励函数，保证DQN累计长期奖励最大化目标与基站选址目标保持一致
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例的电力无线专网基站选址方法流程图；
图2为本说明书一个或多个实施例的电力无线专网基站选址装置结构示意图；
图3为本说明书一个或多个实施例的电子设备结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
如背景技术部分所述，电力无线专网基站选址属于多目标优化问题，基站的位置和数量直接影响到网络的成本、覆盖范围和信号的质量，但目前的寻优搜索算法在收敛性能和大规模场景上还存在不足。
有鉴于此，本说明书一个或多个实施例提供了一种电力无线专网基站选址方法及相关设备，深入分析深度Q网络(DQN)算法，DQN算法既可以从与环境交互中进行学习的特点，又可以处理高维数据，根据电力无线专网基站选址的实际需求和约束对奖励函数进行重新设计，在考虑成本和覆盖率的基础上，对电力无线专网基站的选址问题进行有效求解。
以下，通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。
参考图1，本说明书一个实施例的电力无线专网基站选址方法，包括以下步骤：
步骤S101：根据电力无线专网基站建设成本和为覆盖盲区损失成本设置设计奖励函数的计算表达式R[S,A]；其中，S代表基站规划状态；A代表基站规划动作。
本步骤中，所述奖励函数的计算表达式R[S,A]的计算方法为：
f1(S,A)＝nC1
Figure BDA0002761222840000041
R[S,A]＝-(β1f1(S,A)+β2f2(S,A))
其中，Area为规划区域面积，r为基站覆盖半径r、C1为单基站建设成本、C2为覆盖盲区单位面积损失成本，f1(S,A)为基站建设成本，f2(S,A)为覆盖盲区损失成本，β1为建设成本的权重系数，β2为覆盖盲区损失的权重系数，且β1+β2＝1，n为选址结果中基站的建设个数，xij为基站i和基站j覆盖重叠区域的面积。
步骤S102：初始化基站规划经验回放池，所述经验回放池大小为D；初始化基站规划Q网络Q(S,A；ω)及其神经网络参数ω、基站规划目标Q网络Q(S′,A；ω-)及其神经网络参数ω-；定义状态空间
Figure BDA0002761222840000042
和动作空间
Figure BDA0002761222840000043
步骤S103：从所述状态空间
Figure BDA0002761222840000044
中随机选取一个基站规划状态S。
本步骤中，所述状态空间
Figure BDA0002761222840000045
的大小为
Figure BDA0002761222840000046
所述基站规划状态S的计算方法为：
S＝{si(t)|i＝1,2,…,N0}
其中，
Figure BDA0002761222840000051
si(t)表示t时刻待选址位置i是否部署基站，取值为1表示部署，否则取值为0，N0表示全部待选位置的数量。
步骤S104：根据选取的基站规划状态S，利用贪婪策略∈-greedy从所述动作空间
Figure BDA0002761222840000052
选取基站规划动作A。
本步骤中，所述动作空间
Figure BDA0002761222840000053
的大小为2n，所述基站规划动作A的计算方法为：
A＝{ai(t)|i＝1,2,…,N0}
其中，ai(t)表示t时刻对待选址位置i采取的动作,取值为1表示取消在该位置的部署或在该位置添加部署，不改变则取值为0。
步骤S105：执行所述基站规划动作A，根据所述奖励函数计算在所述基站规划状态S下采取所述动作A的成本奖励R，并在下一时刻到达新状态S′。
本步骤中，设定电力无线专网选址方法在一个确定性环境下执行的，即定义在基站规划状态
Figure BDA0002761222840000054
基站规划动作
Figure BDA0002761222840000055
到达状态
Figure BDA0002761222840000056
的转移概率；将所述转移概率记为
Figure BDA0002761222840000057
的算法为：
Figure BDA0002761222840000058
其中，
Figure BDA0002761222840000059
取值范围为{0,1}。
步骤S106：将基站规划状态转移样本[S,A,R,S′]存入所述基站规划经验回放池。
步骤S107：利用所述基站规划经验回放池中的基站规划状态转移样本均匀随机采样计算基站规划目标Q值，并更新损失函数。
本步骤中，将所述基站规划目标Q值记作yi，yi的计算方法为：
Figure BDA00027612228400000510
将所述损失函数记作L(ω)，L(ω)的计算方法为：
L(ω)＝[yi-Q(S,A；ω)]2
其中，
Figure BDA00027612228400000511
表示未来的奖励，Q(S,A；ω)，Q(S′,A；ω-)分别表示Q网络和目标Q网络对状态动作价值函数Q(S,A)的拟合函数，其中状态动作价值函数Q(S,A)表示在基站规划状态S下采取基站动作A的价值，γ为折扣系数。
步骤S108：每相隔C个时刻更新基站规划目标Q神经网络参数ω-。
本步骤中，更新基站规划目标Q神经网络参数的方式为：将基站规划Q神经网络参数ω赋值给基站规划目标Q神经网络参数ω-，即：ω-＝ω。
步骤S109：将步骤S104-S108遍历每个训练回合内的T个时刻，其中T代表预先设置的每个训练回合的总时刻数。
步骤S110：将步骤S103-S108遍历M个基站规划训练回合，根据最终输出的基站规划目标Q值确定电力无线专网基站选址结果并输出；其中M代表预先设置的回合数。
可见，本实施例中，DQN算法使用了基站规划目标Q网络，也就是在原有的基站规划Q网络之外再搭建一份完全相同的网络，基站规划目标Q网络的引入增加了学习的稳定性，输入一个基站部署状态，会输出该状态下对应的策略，通过不断地学习迭代，输出的策略会收敛到最优的策略，并执行最优策略，得到最优的基站选址结果，对于解决大规模场景的电力专网基站选址的问题上，收敛性能有明显的提升，也不会出现容易陷入局部极值、后期收敛速度慢以及精度较差的缺陷。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种电力无线专网基站选址装置。
参考图2，所述电力无线专网基站选址装置，包括：
设计奖励函数模块：用于根据电力无线专网基站建设成本和为覆盖盲区损失成本设置设计奖励函数的计算表达式R[S,A]；其中，S代表基站规划状态；A代表基站规划动作；
初始化模块：用于初始化基站规划经验回放池，所述经验回放池大小为D；初始化基站规划Q网络Q(S,A；ω)及其神经网络参数ω、基站规划目标Q网络Q(S′,A；ω-)及其神经网络参数ω-；定义状态空间
Figure BDA0002761222840000071
和动作空间
Figure BDA0002761222840000072
状态选取模块：用于从所述状态空间
Figure BDA0002761222840000073
中随机选取一个基站规划状态S；
动作选取模块：根据选取的基站规划状态S，利用贪婪策略∈-greedy从所述动作空间
Figure BDA0002761222840000074
选取基站规划动作A；
新状态确定模块：用于执行所述基站规划动作A，根据所述奖励函数计算在所述基站规划状态S下采取所述动作A的成本奖励R，并在下一时刻到达新状态S′；
样本回放模块：用于将基站规划状态转移样本[S,A,R,S′]存入所述基站规划经验回放池；
目标Q值计算模块：用于利用所述基站规划经验回放池中的基站规划状态转移样本均匀随机采样计算基站规划目标Q值，并更新损失函数；
神经网络参数更新模块：用于每相隔C个时刻更新基站规划目标Q神经网络参数ω-；
遍历时刻模块：用于在每个训练回合内遍历T个时刻；其中T代表预先设置的每个训练回合的总时刻数；
遍历回合模块：用于遍历M个基站规划训练回合，根据最终输出的基站规划目标Q值确定电力无线专网基站选址结果并输出；其中M代表预先设置的回合数。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的电力无线专网基站选址方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的电力无线专网基站选址方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的电力无线专网基站选址方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的电力无线专网基站选址方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的电力无线专网基站选址方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种电力无线专网基站选址方法，包括：
根据电力无线专网基站建设成本和为覆盖盲区损失成本设置设计奖励函数的计算表达式R[S，A]；其中，S代表基站规划状态；A代表基站规划动作；
初始化基站规划经验回放池，所述经验回放池大小为D；初始化基站规划Q网络Q(S，A；ω)及其神经网络参数ω、基站规划目标Q网络Q(S′，A；ω-)及其神经网络参数ω-；定义状态空间
Figure FDA0002761222830000011
和动作空间
Figure FDA0002761222830000012
从所述状态空间
Figure FDA0002761222830000015
中随机选取一个基站规划状态S；
根据选取的基站规划状态S，利用贪婪策略∈-greedy从所述动作空间
Figure FDA0002761222830000013
选取基站规划动作A；
执行所述基站规划动作A，根据所述奖励函数计算在所述基站规划状态S下采取所述动作A的成本奖励R，并在下一时刻到达新状态S′；
将基站规划状态转移样本[S，A，R，S′]存入所述基站规划经验回放池；
利用所述基站规划经验回放池中的基站规划状态转移样本均匀随机采样计算基站规划目标Q值，并更新损失函数；
每相隔C个时刻更新基站规划目标Q神经网络参数ω-；
在每个训练回合内遍历T个时刻；其中T代表预先设置的每个训练回合的总时刻数；
遍历M个基站规划训练回合，根据最终输出的基站规划目标Q值确定电力无线专网基站选址结果并输出；其中M代表预先设置的回合数。
2.根据权利要求1所述的方法，其中，所述奖励函数的计算表达式R[S，A]，其计算方法为：
f1(S，A)＝nC1
Figure FDA0002761222830000014
R[S，A]＝-(β1f1(S，A)+β2f2(S，A))
其中，Area为规划区域面积，r为基站覆盖半径r、C1为单基站建设成本、C2为覆盖盲区单位面积损失成本，f1(S，A)为基站建设成本，f2(S，A)为覆盖盲区损失成本，β1为建设成本的权重系数，β2为覆盖盲区损失的权重系数，且β1+β2＝1，n为选址结果中基站的建设个数，xij为基站i和基站j覆盖重叠区域的面积。
3.根据权利要求1所述的方法，其中，所述状态空间
Figure FDA0002761222830000021
中随机选取基站规划状态S，
Figure FDA0002761222830000022
的大小为
Figure FDA00027612228300000214
S的计算方法为：
S＝{si(t)|i＝1，2，...，N0}
其中，
Figure FDA0002761222830000023
si(t)表示t时刻待选址位置i是否部署基站，取值为1表示部署，否则取值为0，N0表示全部待选位置的数量。
4.根据权利要求1所述的方法，其中，所述根据贪婪策略∈-greedy从所述动作空间
Figure FDA0002761222830000024
选取基站规划动作A，
Figure FDA0002761222830000025
的大小为
Figure FDA00027612228300000215
A的计算方法为：
A＝{ai(t)|i＝1，2，...，N0}
其中，ai(t)表示t时刻对待选址位置i采取的动作，取值为1表示取消在该位置的部署或在该位置添加部署，不改变则取值为0。
5.根据权利要求1所述的方法，其中，所述执行所述基站规划动作A，根据所述奖励函数计算在所述基站规划状态S下采取所述动作A的成本奖励R，并在下一时刻到达新状态S′，还包括：
定义在基站规划状态
Figure FDA0002761222830000026
基站规划动作
Figure FDA0002761222830000027
到达状态
Figure FDA0002761222830000028
的转移概率，将所述转移概率记为
Figure FDA0002761222830000029
的算法为：
Figure FDA00027612228300000210
其中，
Figure FDA00027612228300000211
取值范围为{0，1}。
6.根据权利要求1所述的方法，其中，所述利用所述基站规划经验回放池中的基站规划状态转移样本均匀随机采样计算基站规划目标Q值，并更新损失函数，包括：
将所述基站规划目标Q值记作yi，yi的计算方法为：
Figure FDA00027612228300000212
将所述损失函数记作L(ω)，L(ω)的计算方法为：
L(ω)＝[yi-Q(S，A；ω)]2
其中，
Figure FDA00027612228300000213
表示未来的奖励，Q(S，A；ω)，Q(S′，A；ω-)分别表示Q网络和目标Q网络对状态动作价值函数Q(S，A)的拟合函数，其中状态动作价值函数Q(S，A)表示在基站规划状态S下采取基站动作A的价值，γ为折扣系数。
7.一种电力无线专网基站选址装置，包括：
设计奖励函数模块：用于根据电力无线专网基站建设成本和为覆盖盲区损失成本设置设计奖励函数的计算表达式R[S，A]；其中，S代表基站规划状态；A代表基站规划动作；
初始化模块：用于初始化基站规划经验回放池，所述经验回放池大小为D；初始化基站规划Q网络Q(S，A；ω)及其神经网络参数ω、基站规划目标Q网络Q(S′，A；ω-)及其神经网络参数ω-；定义状态空间
Figure FDA0002761222830000031
和动作空间
Figure FDA0002761222830000032
状态选取模块：用于从所述状态空间
Figure FDA0002761222830000033
中随机选取一个基站规划状态S；
动作选取模块：根据选取的基站规划状态S，利用贪婪策略∈-greedy从所述动作空间A选取基站规划动作A；
新状态确定模块：用于执行所述基站规划动作A，根据所述奖励函数计算在所述基站规划状态S下采取所述动作A的成本奖励R，并在下一时刻到达新状态S′；
样本回放模块：用于将基站规划状态转移样本[S，A，R，S′]存入所述基站规划经验回放池；
目标Q值计算模块：用于利用所述基站规划经验回放池中的基站规划状态转移样本均匀随机采样计算基站规划目标Q值，并更新损失函数；
神经网络参数更新模块：用于每相隔C个时刻更新基站规划目标Q神经网络参数ω-；
遍历时刻模块：用于在每个训练回合内遍历T个时刻；其中T代表预先设置的每个训练回合的总时刻数；
遍历回合模块：用于遍历M个基站规划训练回合，根据最终输出的基站规划目标Q值确定电力无线专网基站选址结果并输出；其中M代表预先设置的回合数。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至6任一所述方法。
CN202011218455.2A 2020-11-04 2020-11-04 一种电力无线专网基站选址方法及相关设备 Active CN112468984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218455.2A CN112468984B (zh) 2020-11-04 2020-11-04 一种电力无线专网基站选址方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218455.2A CN112468984B (zh) 2020-11-04 2020-11-04 一种电力无线专网基站选址方法及相关设备

Publications (2)

Publication Number Publication Date
CN112468984A true CN112468984A (zh) 2021-03-09
CN112468984B CN112468984B (zh) 2023-02-10

Family

ID=74835088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218455.2A Active CN112468984B (zh) 2020-11-04 2020-11-04 一种电力无线专网基站选址方法及相关设备

Country Status (1)

Country Link
CN (1) CN112468984B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873434A (zh) * 2021-08-27 2021-12-31 北京邮电大学 面向通信网络热点区域容量增强的多空中基站部署方法
CN117858104A (zh) * 2024-03-04 2024-04-09 成都工业学院 一种基于深度q网络的无线ap规划部署方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228163A (ja) * 2007-03-15 2008-09-25 Nec Corp 三次元座標による捜索対象の位置通知システム、その方法及びそのプログラム
CN107682867A (zh) * 2017-07-19 2018-02-09 国网浙江省电力公司嘉兴供电公司 Td‑lte230网络中的电网基站优化方法
CN109195135A (zh) * 2018-08-06 2019-01-11 同济大学 Lte-v中基于深度强化学习的基站选择方法
CN110826841A (zh) * 2019-08-31 2020-02-21 华南理工大学 考虑用户充电体验和配电网运行风险的充电站规划方法
CN111582670A (zh) * 2020-04-21 2020-08-25 上海电力大学 一种电动汽车充电站选址定容方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228163A (ja) * 2007-03-15 2008-09-25 Nec Corp 三次元座標による捜索対象の位置通知システム、その方法及びそのプログラム
CN107682867A (zh) * 2017-07-19 2018-02-09 国网浙江省电力公司嘉兴供电公司 Td‑lte230网络中的电网基站优化方法
CN109195135A (zh) * 2018-08-06 2019-01-11 同济大学 Lte-v中基于深度强化学习的基站选择方法
CN110826841A (zh) * 2019-08-31 2020-02-21 华南理工大学 考虑用户充电体验和配电网运行风险的充电站规划方法
CN111582670A (zh) * 2020-04-21 2020-08-25 上海电力大学 一种电动汽车充电站选址定容方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IVAN VILOVIC，NIKSA BURUM，ETC.: "Ant colony approach in optimization of base station position", 《 2009 3RD EUROPEAN CONFERENCE ON ANTENNAS AND PROPAGATION》 *
孙先佑: "基于免疫计算的低辐射3G网络基站选址优化研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873434A (zh) * 2021-08-27 2021-12-31 北京邮电大学 面向通信网络热点区域容量增强的多空中基站部署方法
CN117858104A (zh) * 2024-03-04 2024-04-09 成都工业学院 一种基于深度q网络的无线ap规划部署方法及系统
CN117858104B (zh) * 2024-03-04 2024-05-03 成都工业学院 一种基于深度q网络的无线ap规划部署方法及系统

Also Published As

Publication number Publication date
CN112468984B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
US20180012403A1 (en) Method and device for computing a path in a game scene
CN112468984B (zh) 一种电力无线专网基站选址方法及相关设备
JP7252449B2 (ja) 最適化装置、最適化システム、最適化方法および最適化プログラム
US20150026109A1 (en) Method and system for predicting power consumption
CN111223006A (zh) 一种异常用电检测方法及装置
CN107766573B (zh) 基于数据处理的商品推荐方法、装置、设备和存储介质
US11556795B2 (en) Computing device for training artificial neural network model, method of training the artificial neural network model, and memory system for storing the same
CN114091763A (zh) 路线规划方法、装置、可读介质和电子设备
CN111353601A (zh) 用于预测模型结构的延时的方法和装置
CN111917579A (zh) 分布式训练方法、装置、设备和存储介质
CN114007231B (zh) 异构无人机数据卸载方法、装置、电子设备及存储介质
CN116594364A (zh) 基于预制菜生产控制系统的优化方法及系统
CN114971078A (zh) 基于约束性多目标粒子群优化的路径规划方法及相关设备
CN111565065B (zh) 一种无人机基站部署方法、装置及电子设备
CN115878963B (zh) 电容式电压互感器计量误差预测方法、系统、终端及介质
CN110378936B (zh) 光流计算方法、装置及电子设备
CN115689061B (zh) 风电超短期功率预测方法及相关设备
WO2019179252A1 (zh) 一种样本回放数据存取方法及装置
CN113849498B (zh) 一种索引构建及查询方法
CN114234984B (zh) 基于差分矩阵的室内定位轨迹平滑方法、系统及设备
CN115859765A (zh) 城市扩张的预测方法、装置、设备及存储介质
CN111461328B (zh) 一种神经网络的训练方法
CN109993338A (zh) 一种链路预测方法及装置
CN116050554A (zh) 一种景区客流量预测方法、装置、计算设备和存储介质
CN114035218A (zh) 融合定位方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant