CN115550866A - 一种无人机数据收集方法 - Google Patents

一种无人机数据收集方法 Download PDF

Info

Publication number
CN115550866A
CN115550866A CN202211144132.2A CN202211144132A CN115550866A CN 115550866 A CN115550866 A CN 115550866A CN 202211144132 A CN202211144132 A CN 202211144132A CN 115550866 A CN115550866 A CN 115550866A
Authority
CN
China
Prior art keywords
modeling
uav
network
data collection
time slot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211144132.2A
Other languages
English (en)
Inventor
柴蓉
唐柔枝
李沛欣
陈前斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongyue Enterprise Management Consulting Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202211144132.2A priority Critical patent/CN115550866A/zh
Publication of CN115550866A publication Critical patent/CN115550866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种无人机数据收集方法，属于无线通信技术领域，包括以下步骤：S1：建模UAV模型；S2：建模SN模型；S3：建模信道模型；S4：基于亲和力传播算法确定SN聚类策略；S5：建模网络效用函数；S6：建模资源调度、带宽分配限制条件；S7：建模系统状态、动作和输出奖励；S8：建模并训练双时延深度确定性策略梯度网络；S9：基于双时延深度确定性策略梯度算法确定UAV数据收集策略。本发明在综合考虑SN的带宽分配及资源调度限制的情况下，联合优化无人机轨迹及传感器节点关联策略，实现网络效用最大化。

Description

一种无人机数据收集方法
技术领域
本发明属于无线通信技术领域，涉及一种无人机数据收集方法。
背景技术
近年来，由于UAV制造技术的发展和成本的降低，UAV已广泛应用于民用和商业领域。在部分物联网数据收集应用中，无线传感器节点需采集环境数据并传输至汇聚节点，由于SN能量有限且与汇聚节点之间距离较远，难以高效完成数据收集，使用UAV进行数据收集已经受到越来越多的关注，与传统地面通信系统相比，通过对UAV轨迹及关联策略的优化可以有效提升数据收集的效率。相关研究表明，UAV的轨迹及关联策略将对系统性能产生显著的影响。
目前已有文献针对UAV数据收集问题进行研究，如提出了一种基于最小化时间年龄的UAV数据收集策略；但现有研究较少联合考虑SN成簇、SN发送能耗及UAV收集数据所需能耗对网络效用的影响问题，难以实现高效的数据收集性能优化。
发明内容
有鉴于此，本发明的目的在于提供一种无人机数据收集方法，针对包含一个UAV以及多个SN的UAV辅助的物联网数据收集系统，建模网络效用函数为SN发送能耗及UAV收集数据所需能耗的相反数，以最大化网络效用为目标，实现UAV轨迹及用户关联策略的联合优化。
为达到上述目的，本发明提供如下技术方案：
一种无人机数据收集方法，包括以下步骤：
S1：建模UAV模型；
S2：建模SN模型；
S3：建模信道模型；
S4：基于亲和力传播算法确定SN聚类策略；
S5：建模网络效用函数；
S6：建模资源调度、带宽分配限制条件；
S7：建模系统状态、动作和输出奖励；
S8：建模并训练双时延深度确定性策略梯度网络；
S9：基于双时延深度确定性策略梯度算法确定UAV数据收集策略。
进一步，步骤S1中所述建模UAV模型具体包括：将系统时间划分为大小相等的时隙，令T表示时隙总数，τ表示时隙长度，并假设在一个时隙内UAV的位置固定不变；UAV从初始位置出发对所有SN进行数据收集后返回初始位置，令H为UAV的飞行高度，UAV在时隙t的位置为
Figure BDA0003854604330000021
UAV的最大速度为vmax；vt∈[0,vmax]表示UAV在时隙t的飞行速度；令B0表示UAV的可用带宽。
进一步，步骤S2中所述建模SN模型具体包括：SNm表示第m个SN，χm表示SNm的数据包大小，SNm的位置为
Figure BDA0003854604330000022
1≤m≤M，M为SN数量，SNs从环境中采集数据并通过正交频分多址技术传输至UAV，时隙t内，最多可支持m0个SN同时上传数据至UAV。
进一步，步骤S3中所述建模信道模型具体包括：建模时隙t，SNm与UAV之间信道模型，具体为：
Figure BDA0003854604330000023
其中a为路径损耗系数，ρ0为距离为1m时的参考信道增益，
Figure BDA0003854604330000024
表示时隙t，UAV与SNm之间的距离；
Figure BDA0003854604330000025
建模为高斯随机变量，e∈{LoS,NLoS}为传播参数。
进一步，步骤S4中所述基于亲和力传播算法确定SN聚类策略，具体包括：利用SN之间的相似性将其划分为K个簇；令二元指标矩阵ρ＝[ρm,k]M×M，其中ρm,k∈{0,1}，若ρm,k＝1，表示SNk为SNm的聚类中心，反之，ρm,k＝0；
基于优化问题
Figure BDA0003854604330000026
对聚类中心进行优化，其中
Figure BDA0003854604330000027
κ是非负常数，表示节点作为聚类中心的能力；
建模SNs成簇限制条件为：
①
Figure BDA0003854604330000028
表示一个SN只能与一个聚类中心关联；
②
Figure BDA0003854604330000029
表示一个簇最多包含m0个SN；
令S＝(sm,k)M×M为相似度矩阵，其中sm,k表示SNm和SNk之间的相似性，建模为：
Figure BDA0003854604330000031
令Ψ＝(ψm,k)M×M为吸引度矩阵，其中ψm,k表示SNk成为覆盖SNm的聚类中心的适合度；令
Figure BDA0003854604330000032
为归属度矩阵，其中
Figure BDA0003854604330000033
为SNm选择SNk作为其聚类中心的适合度；给定SNk，初始化ψm,k＝0，
Figure BDA0003854604330000034
假设n是当前迭代次数，
Figure BDA0003854604330000035
分别为ψm,k，
Figure BDA0003854604330000036
的第n次迭代值，则ψm,k及
Figure BDA0003854604330000037
的更新公式如下：
Figure BDA0003854604330000038
Figure BDA0003854604330000039
重复执行更新步骤直至算法收敛，得到聚类中心，集合
Figure BDA00038546043300000310
进而确定SN的聚类策略为：
Figure BDA00038546043300000311
进一步，在步骤S5中所述建模网络效用函数为：
Figure BDA00038546043300000312
其中ζ和ω分别为SN传输能耗和UAV推进能耗的权重系数；
Figure BDA00038546043300000313
为SN在时隙t的传输能耗，Em,t表示SNm在时隙t的能耗，计算公式为：Em,t＝αm,tpm,tDm,t，其中αm,t∈{0,1}，若αm,t＝1，表示SNm在时隙t上传数据至UAV，反之，αm,t＝0；pm,t表示SNm在时隙t的传输功率，Dm,t表示上传数据的时延，建模为：
Figure BDA00038546043300000314
Rm,t表示SNm在时隙t内的传输速率，建模为
Figure BDA00038546043300000315
其中Bm,t为SNm在时隙t分配的带宽，σ2为噪声功率；
Figure BDA0003854604330000041
表示UAV在时隙t的能量消耗，建模为
Figure BDA0003854604330000042
其中l0为给定门限值，
Figure BDA0003854604330000043
为UAV的悬停能耗，建模为
Figure BDA0003854604330000044
其中Ph为悬停能耗；
Figure BDA0003854604330000045
表示UAV在时隙t飞行时的能耗，计算公式为：
Figure BDA0003854604330000046
其中P0和Pi为常数，分别表示叶片剖面功率和悬停状态下的感应功率，Utip为转子叶片的叶尖速度，v0为UAV悬停时平均转子诱导速度，d0和s分别为机身阻力比和转子可靠性，ρ和Λ分别为空气密度和转子盘面积。
进一步，在步骤S6中所述建模资源调度、带宽分配限制条件，具体包括：
Figure BDA0003854604330000047
Figure BDA0003854604330000048
进一步，在步骤S7中所述建模系统状态、动作和输出奖励，具体包括：建模系统在时隙t的状态
Figure BDA0003854604330000049
其中ht＝{h1,t,h2,t,...,hM,t}表示UAV与SN之间信道增益的集合；建模时隙t，动作at＝<θt,vt,Bt,Ct>，其中θt∈(0,2π]为UAV的飞行方向，Bt＝{B1,t,B2,t,…,BM,t}，Ct＝{α1,t,α2,t,…,αM,t}；建模时隙t，UAV的输出奖励
Figure BDA00038546043300000410
进一步，在步骤S8中所述建模并训练双时延深度确定性策略梯度网络，具体包括：初始化折扣因子γ，更新率υ；演员网络和两个评论网络的在线策略网络参数为
Figure BDA00038546043300000411
θ1和θ2，将在线策略网络参数复制给目标网络，参数为
Figure BDA00038546043300000412
θ′1和θ′2；初始化经验回放缓冲区
Figure BDA00038546043300000413
初始化小样本集
Figure BDA00038546043300000414
并对系统状态st进行初始化；对于U，根据策略
Figure BDA00038546043300000415
将动作at施加于系统环境，得到奖励值rt(st,at)和下一时刻的状态st+1，并将(st,at,rt,st+1)存入经验回放缓冲区
Figure BDA00038546043300000416
从
Figure BDA00038546043300000417
中抽取一批样本
Figure BDA00038546043300000418
通过
Figure BDA00038546043300000419
计算出st+1状态下对应的动作的值
Figure BDA00038546043300000420
目标值为
Figure BDA0003854604330000051
基于损失函数最小化
Figure BDA0003854604330000052
更新评论网络；利用策略梯度更新公式
Figure BDA0003854604330000053
更新其演员网络；通过软更新算法更新在线策略网络和目标网络的参数，具体为：
Figure BDA0003854604330000054
θ′i←υθi,t+(1-υ)θ′i,t,i＝1,2。
进一步，在步骤S9中所述基于双时延深度确定性策略梯度算法确定UAV数据收集策略，具体包括：将环境观测值输入网络，根据在线策略网络的输出确定UAV飞行轨迹、SN的带宽分配及资源调度策略。
本发明的有益效果在于：本发明在综合考虑SN的带宽分配及资源调度限制的情况下，联合优化无人机轨迹及传感器节点关联策略，实现网络效用最大化。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为无人机数据收集场景示意图；
图2为基于双时延深度确定性策略梯度算法的无人机数据收集方法的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图2，图1为无人机数据收集场景示意图，如图1所示，网络中存在一架无人机，多个传感器节点，传感器节点收集环境信息，通过无人机进行数据收集，同时，无人机根据网络效用最大化联合优化轨迹及节点关联策略。
图2为本发明无人机数据收集方法的流程图，如图2所示，该方法具体包括以下步骤：
1)建模UAV模型
将系统时间划分为大小相等的时隙，令T表示时隙总数，τ表示时隙长度，并假设在一个时隙内UAV的位置固定不变；UAV从初始位置出发对所有SN进行数据收集后返回初始位置，令H为UAV的飞行高度，UAV在时隙t的位置为
Figure BDA0003854604330000061
UAV的最大速度为vmax；vt∈[0,vmax]表示UAV在时隙t的飞行速度；令B0表示UAV的可用带宽。
2)建模SN模型
SNm表示第m个SN，χm表示SNm的数据包大小，SNm的位置为
Figure BDA0003854604330000062
1≤m≤M，M为SN数量，SNs从环境中采集数据并通过正交频分多址技术传输至UAV，时隙t内，最多可支持m0个SN同时上传数据至UAV。
3)建模信道模型
建模时隙t，SNm与UAV之间信道模型，具体为：
Figure BDA0003854604330000063
其中a为路径损耗系数，ρ0为距离为1m时的参考信道增益，
Figure BDA0003854604330000064
表示时隙t，UAV与SNm之间的距离；
Figure BDA0003854604330000065
建模为高斯随机变量，e∈{LoS,NLoS}为传播参数。
4)基于亲和力传播算法确定SN聚类策略
利用SN之间的相似性将其划分为K个簇；令二元指标矩阵ρ＝[ρm,k]M×M，其中ρm,k∈{0,1}，若ρm,k＝1，表示SNk为SNm的聚类中心，反之，ρm,k＝0；
基于优化问题
Figure BDA0003854604330000071
对聚类中心进行优化，其中
Figure BDA0003854604330000072
κ是非负常数，表示节点作为聚类中心的能力；
建模SNs成簇限制条件为：
①
Figure BDA0003854604330000073
表示一个SN只能与一个聚类中心关联；
②
Figure BDA0003854604330000074
表示一个簇最多包含m0个SN；
令S＝(sm,k)M×M为相似度矩阵，其中sm,k表示SNm和SNk之间的相似性，建模为：
Figure BDA0003854604330000075
令Ψ＝(ψm,k)M×M为吸引度矩阵，其中ψm,k表示SNk成为覆盖SNm的聚类中心的适合度；令
Figure BDA0003854604330000076
为归属度矩阵，其中
Figure BDA00038546043300000715
是SNm选择SNk作为其聚类中心的适合度；给定SNk，初始化ψm,k＝0，
Figure BDA0003854604330000077
假设n是当前迭代次数，
Figure BDA0003854604330000078
分别为ψm,k，
Figure BDA0003854604330000079
的第n次迭代值，则ψm,k及
Figure BDA00038546043300000710
的更新公式如下：
Figure BDA00038546043300000711
Figure BDA00038546043300000712
重复执行上述更新步骤直至算法收敛，得到聚类中心，集合
Figure BDA00038546043300000713
进而确定SN的聚类策略为：
Figure BDA00038546043300000714
5)建模网络效用函数
网络效用
Figure BDA0003854604330000081
其中ζ和ω分别为SN传输能耗和UAV推进能耗的权重系数；
其中
Figure BDA0003854604330000082
为SN在时隙t的传输能耗，Em,t表示SNm在时隙t的能耗，计算公式为：Em,t＝αm,tpm,tDm,t，其中αm,t∈{0,1}，若αm,t＝1，表示SNm在时隙t上传数据至UAV，反之，αm,t＝0；pm,t表示SNm在时隙t的传输功率，Dm,t表示上传数据的时延，建模为：
Figure BDA0003854604330000083
Rm,t表示SNm在时隙t内的传输速率，建模为
Figure BDA0003854604330000084
其中Bm,t为SNm在时隙t分配的带宽，σ2为噪声功率；
Figure BDA0003854604330000085
表示UAV在时隙t的能量消耗，建模为
Figure BDA0003854604330000086
其中l0为给定门限值，
Figure BDA0003854604330000087
为UAV的悬停能耗，建模为
Figure BDA0003854604330000088
其中Ph为悬停能耗；
Figure BDA0003854604330000089
表示UAV在时隙t飞行时的能耗，计算公式为：
Figure BDA00038546043300000810
其中P0和Pi为常数，分别表示叶片剖面功率和悬停状态下的感应功率，Utip为转子叶片的叶尖速度，v0为UAV悬停时平均转子诱导速度，d0和s分别为机身阻力比和转子可靠性，ρ和Λ分别为空气密度和转子盘面积。
6)建模资源调度、带宽分配限制条件
①
Figure BDA00038546043300000811
②
Figure BDA00038546043300000812
7)建模系统状态、动作和输出奖励
建模系统在时隙t的状态
Figure BDA00038546043300000813
其中ht＝{h1,t,h2,t,...,hM,t}表示UAV与SN之间信道增益的集合；建模时隙t，动作at＝<θt,vt,Bt,Ct>，其中θt∈(0,2π]为UAV的飞行方向，Bt＝{B1,t,B2,t,…,BM,t}，Ct＝{α1,t,α2,t,…,αM,t}；建模时隙t，UAV的输出奖励
Figure BDA0003854604330000091
8)建模并训练双时延深度确定性策略梯度网络
初始化折扣因子γ，更新率υ；演员网络和两个评论网络的在线策略网络参数为
Figure BDA0003854604330000092
θ1和θ2，将在线策略网络参数复制给目标网络，参数为
Figure BDA0003854604330000093
θ′1和θ′2；初始化经验回放缓冲区
Figure BDA0003854604330000094
初始化小样本集
Figure BDA0003854604330000095
并对系统状态st进行初始化；对于U，根据策略
Figure BDA0003854604330000096
将动作at施加于系统环境，得到奖励值rt(st,at)和下一时刻的状态st+1，并将(st,at,rt,st+1)存入经验回放缓冲区
Figure BDA0003854604330000097
从
Figure BDA0003854604330000098
中抽取一批样本
Figure BDA0003854604330000099
通过
Figure BDA00038546043300000910
计算出st+1状态下对应的动作的值
Figure BDA00038546043300000911
目标值为
Figure BDA00038546043300000912
基于损失函数最小化
Figure BDA00038546043300000913
更新评论网络；利用策略梯度更新公式
Figure BDA00038546043300000914
更新其演员网络；通过软更新算法更新在线策略网络和目标网络的参数，具体为：
Figure BDA00038546043300000915
θ′i←υθi,t+(1-υ)θ′i,t,i＝1,2。
9)将环境观测值输入网络，根据在线策略网络的输出确定UAV飞行轨迹、SN的带宽分配及资源调度策略。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种无人机数据收集方法，其特征在于：包括以下步骤：
S1：建模UAV模型；
S2：建模SN模型；
S3：建模信道模型；
S4：基于亲和力传播算法确定SN聚类策略；
S5：建模网络效用函数；
S6：建模资源调度、带宽分配限制条件；
S7：建模系统状态、动作和输出奖励；
S8：建模并训练双时延深度确定性策略梯度网络；
S9：基于双时延深度确定性策略梯度算法确定UAV数据收集策略。
2.根据权利要求1所述的无人机数据收集方法，其特征在于：步骤S1中所述建模UAV模型具体包括：将系统时间划分为大小相等的时隙，令T表示时隙总数，τ表示时隙长度，并假设在一个时隙内UAV的位置固定不变；UAV从初始位置出发对所有SN进行数据收集后返回初始位置，令H为UAV的飞行高度，UAV在时隙t的位置为
Figure FDA0003854604320000011
UAV的最大速度为vmax；vt∈[0,vmax]表示UAV在时隙t的飞行速度；令B0表示UAV的可用带宽。
3.根据权利要求1所述的无人机数据收集方法，其特征在于：步骤S2中所述建模SN模型具体包括：SNm表示第m个SN，χm表示SNm的数据包大小，SNm的位置为
Figure FDA0003854604320000012
1≤m≤M，M为SN数量，SNs从环境中采集数据并通过正交频分多址技术传输至UAV，时隙t内，最多可支持m0个SN同时上传数据至UAV。
4.根据权利要求1所述的无人机数据收集方法，其特征在于：步骤S3中所述建模信道模型具体包括：建模时隙t，SNm与UAV之间信道模型，具体为：
Figure FDA0003854604320000013
其中a为路径损耗系数，ρ0为距离为1m时的参考信道增益，
Figure FDA0003854604320000014
表示时隙t，UAV与SNm之间的距离；
Figure FDA0003854604320000015
建模为高斯随机变量，e∈{LoS,NLoS}为传播参数。
5.根据权利要求1所述的无人机数据收集方法，其特征在于：步骤S4中所述基于亲和力传播算法确定SN聚类策略，具体包括：利用SN之间的相似性将其划分为K个簇；令二元指标矩阵ρ＝[ρm,k]M×M，其中ρm,k∈{0,1}，若ρm,k＝1，表示SNk为SNm的聚类中心，反之，ρm,k＝0；
基于优化问题
Figure FDA0003854604320000021
对聚类中心进行优化，其中
Figure FDA0003854604320000022
κ是非负常数，表示节点作为聚类中心的能力；
建模SNs成簇限制条件为：
①
Figure FDA0003854604320000023
表示一个SN只能与一个聚类中心关联；
②
Figure FDA0003854604320000024
表示一个簇最多包含m0个SN；
令S＝(sm,k)M×M为相似度矩阵，其中sm,k表示SNm和SNk之间的相似性，建模为：
Figure FDA0003854604320000025
令Ψ＝(ψm,k)M×M为吸引度矩阵，其中ψm,k表示SNk成为覆盖SNm的聚类中心的适合度；令
Figure FDA0003854604320000026
为归属度矩阵，其中
Figure FDA0003854604320000027
为SNm选择SNk作为其聚类中心的适合度；给定SNk，初始化ψm,k＝0，
Figure FDA0003854604320000028
假设n是当前迭代次数，
Figure FDA0003854604320000029
分别为ψm,k，
Figure FDA00038546043200000210
的第n次迭代值，则ψm,k及
Figure FDA00038546043200000211
的更新公式如下：
Figure FDA00038546043200000212
Figure FDA00038546043200000213
重复执行更新步骤直至算法收敛，得到聚类中心，集合
Figure FDA00038546043200000214
进而确定SN的聚类策略为：
Figure FDA00038546043200000215
6.根据权利要求1所述的无人机数据收集方法，其特征在于：在步骤S5中所述建模网络效用函数为：
Figure FDA0003854604320000031
其中ζ和ω分别为SN传输能耗和UAV推进能耗的权重系数；
Figure FDA0003854604320000032
为SN在时隙t的传输能耗，Em,t表示SNm在时隙t的能耗，计算公式为：Em,t＝αm,tpm,tDm,t，其中αm,t∈{0,1}，若αm,t＝1，表示SNm在时隙t上传数据至UAV，反之，αm,t＝0；pm,t表示SNm在时隙t的传输功率，Dm,t表示上传数据的时延，建模为：
Figure FDA0003854604320000033
Rm,t表示SNm在时隙t内的传输速率，建模为
Figure FDA0003854604320000034
其中Bm,t为SNm在时隙t分配的带宽，σ2为噪声功率；
Figure FDA0003854604320000035
表示UAV在时隙t的能量消耗，建模为
Figure FDA0003854604320000036
其中l0为给定门限值，
Figure FDA0003854604320000037
为UAV的悬停能耗，建模为
Figure FDA0003854604320000038
其中Ph为悬停能耗；
Figure FDA0003854604320000039
表示UAV在时隙t飞行时的能耗，计算公式为：
Figure FDA00038546043200000310
其中P0和Pi为常数，分别表示叶片剖面功率和悬停状态下的感应功率，Utip为转子叶片的叶尖速度，v0为UAV悬停时平均转子诱导速度，d0和s分别为机身阻力比和转子可靠性，ρ和Λ分别为空气密度和转子盘面积。
7.根据权利要求1所述的无人机数据收集方法，其特征在于：在步骤S6中所述建模资源调度、带宽分配限制条件，具体包括：
Figure FDA00038546043200000311
Figure FDA00038546043200000312
8.根据权利要求1所述的无人机数据收集方法，其特征在于：在步骤S7中所述建模系统状态、动作和输出奖励，具体包括：建模系统在时隙t的状态
Figure FDA0003854604320000041
其中ht＝{h1,t,h2,t,...,hM,t}表示UAV与SN之间信道增益的集合；建模时隙t，动作at＝<θt,vt,Bt,Ct>，其中θt∈(0,2π]为UAV的飞行方向，Bt＝{B1,t,B2,t,…,BM,t}，Ct＝{α1,t,α2,t,…,αM,t}；建模时隙t，UAV的输出奖励
Figure FDA0003854604320000042
9.根据权利要求1所述的无人机数据收集方法，其特征在于：在步骤S8中所述建模并训练双时延深度确定性策略梯度网络，具体包括：初始化折扣因子γ，更新率υ；演员网络和两个评论网络的在线策略网络参数为
Figure FDA0003854604320000043
θ1和θ2，将在线策略网络参数复制给目标网络，参数为
Figure FDA0003854604320000044
θ′1和θ′2；初始化经验回放缓冲区
Figure FDA0003854604320000045
初始化小样本集
Figure FDA0003854604320000046
并对系统状态st进行初始化；对于U，根据策略at＝μ(st)+nt,
Figure FDA0003854604320000047
将动作at施加于系统环境，得到奖励值rt(st,at)和下一时刻的状态st+1，并将(st,at,rt,st+1)存入经验回放缓冲区
Figure FDA0003854604320000048
从
Figure FDA0003854604320000049
中抽取一批样本
Figure FDA00038546043200000410
通过
Figure FDA00038546043200000411
计算出st+1状态下对应的动作的值
Figure FDA00038546043200000412
目标值为
Figure FDA00038546043200000413
基于损失函数最小化
Figure FDA00038546043200000414
更新评论网络；利用策略梯度更新公式
Figure FDA00038546043200000415
更新其演员网络；通过软更新算法更新在线策略网络和目标网络的参数，具体为：
Figure FDA00038546043200000416
θ′i←υθi,t+(1-υ)θ′i,t,i＝1,2。
10.根据权利要求1所述的无人机数据收集方法，其特征在于：在步骤S9中所述基于双时延深度确定性策略梯度算法确定UAV数据收集策略，具体包括：将环境观测值输入网络，根据在线策略网络的输出确定UAV飞行轨迹、SN的带宽分配及资源调度策略。
CN202211144132.2A 2022-09-20 2022-09-20 一种无人机数据收集方法 Pending CN115550866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211144132.2A CN115550866A (zh) 2022-09-20 2022-09-20 一种无人机数据收集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211144132.2A CN115550866A (zh) 2022-09-20 2022-09-20 一种无人机数据收集方法

Publications (1)

Publication Number Publication Date
CN115550866A true CN115550866A (zh) 2022-12-30

Family

ID=84727523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211144132.2A Pending CN115550866A (zh) 2022-09-20 2022-09-20 一种无人机数据收集方法

Country Status (1)

Country Link
CN (1) CN115550866A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333648A (zh) * 2020-11-11 2021-02-05 重庆邮电大学 一种基于无人机的动态数据收集方法
CN113873434A (zh) * 2021-08-27 2021-12-31 北京邮电大学 面向通信网络热点区域容量增强的多空中基站部署方法
US20220051135A1 (en) * 2020-08-14 2022-02-17 Samsung Electronics Co., Ltd. Load balancing using data-efficient learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051135A1 (en) * 2020-08-14 2022-02-17 Samsung Electronics Co., Ltd. Load balancing using data-efficient learning
CN112333648A (zh) * 2020-11-11 2021-02-05 重庆邮电大学 一种基于无人机的动态数据收集方法
CN113873434A (zh) * 2021-08-27 2021-12-31 北京邮电大学 面向通信网络热点区域容量增强的多空中基站部署方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张堃;李珂;时昊天;张振冲;刘泽坤;: "基于深度强化学习的UAV航路自主引导机动控制决策算法", 系统工程与电子技术, no. 07, 24 June 2020 (2020-06-24) *

Similar Documents

Publication Publication Date Title
CN113190039B (zh) 一种基于分层深度强化学习的无人机采集路径规划方法
US20210165405A1 (en) Multiple unmanned aerial vehicles navigation optimization method and multiple unmanned aerial vehicles system using the same
Do et al. Deep reinforcement learning for energy-efficient federated learning in UAV-enabled wireless powered networks
CN109547938B (zh) 无线传感器网络中无人机的轨迹规划方法
CN110730031B (zh) 一种用于多载波通信的无人机轨迹与资源分配联合优化方法
Fan et al. RIS-assisted UAV for fresh data collection in 3D urban environments: A deep reinforcement learning approach
CN109857143B (zh) 一种吞吐量最大化的无人机轨迹规划方法
CN114172942A (zh) 多无人机辅助物联网的协同任务分配与轨迹优化方法
CN117119489A (zh) 一种基于多无人机辅助的无线供能网络的部署和资源优化方法
Xiao et al. An energy-aware joint routing and task allocation algorithm in MEC systems assisted by multiple UAVs
CN115499921A (zh) 面向复杂无人机网络的三维轨迹设计及资源调度优化方法
CN113406965A (zh) 一种基于强化学习的无人机能耗优化方法
CN113485409A (zh) 一种面向地理公平性的无人机路径规划分配方法及系统
Wang et al. Trajectory optimization and power allocation scheme based on DRL in energy efficient UAV‐aided communication networks
CN116700343A (zh) 一种无人机路径规划方法、设备和存储介质
CN112333648B (zh) 一种基于无人机的动态数据收集方法
Nemati et al. Modelling data aided sensing with UAVs for efficient data collection
Zhang et al. Optimization schemes for UAV data collection with LoRa 2.4 GHz technology in remote areas without infrastructure
Shi et al. Age of information optimization with heterogeneous uavs based on deep reinforcement learning
CN117873171A (zh) 多旋翼无人机集群应用联邦学习框架训练神经网络模型
CN114980020B (zh) 一种基于maddpg算法的无人机数据收集方法
CN115550866A (zh) 一种无人机数据收集方法
CN116847379A (zh) 基于联邦学习的框架训练无人机集群的神经网络建模方法
CN116321237A (zh) 一种基于深度强化学习的无人机辅助车联网数据收集方法
Yang et al. An AoI-guaranteed sensor data collection strategy for RIS-assisted UAV communication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240705

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd.

Country or region after: China

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China