CN113055078B - 有效信息年龄确定方法、以及无人机飞行轨迹优化方法 - Google Patents

有效信息年龄确定方法、以及无人机飞行轨迹优化方法 Download PDF

Info

Publication number
CN113055078B
CN113055078B CN202110267635.8A CN202110267635A CN113055078B CN 113055078 B CN113055078 B CN 113055078B CN 202110267635 A CN202110267635 A CN 202110267635A CN 113055078 B CN113055078 B CN 113055078B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
user
information age
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110267635.8A
Other languages
English (en)
Other versions
CN113055078A (zh
Inventor
李新民
尹宝林
魏李莉
贾玲普
冯立
王郡
赵亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202110267635.8A priority Critical patent/CN113055078B/zh
Publication of CN113055078A publication Critical patent/CN113055078A/zh
Application granted granted Critical
Publication of CN113055078B publication Critical patent/CN113055078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种有效信息年龄确定方法、以及无人机飞行轨迹优化方法。所述确定方法包括：构建用户群组与无人机的无线通信系统模型，建立无人机与用户数据传输的通信信道以及有效信息年龄计算的模型，利用该模型确定无人机有效信息年龄。所述优化方法包括：构建用户群组与无人机的无线通信系统模型；建立无人机自主飞行到达每个数据接收位置的第一模型；建立无人机与地面用户数据传输的通信信道以及有效信息年龄计算的第二模型；基于第一模型和第二模型，确定无人机在最小化信息年龄前提下接收所有数据的飞行轨迹。本发明能够通过最小化地面用户接收信息年龄优化无人机飞行路径，降低无人机的能耗，借此提升无人机的数据采集效率和时效性。

Description

有效信息年龄确定方法、以及无人机飞行轨迹优化方法
技术领域
本发明涉及无人机通信技术领域，特别地，涉及一种信息年龄最小化的无人机飞行轨迹的优化方法和无人机有效信息年龄的确定方法。
背景技术
如今，以发达的通信网路作为数据传输的管控，无人机已广泛应用于影视拍摄、农业种植、电力巡视、灾害观测、紧急救援等行业中。同时，无人机作为空中基站可大大提高蜂窝网络的数据传输性能，在动态的无人机通信网络当中，无人机直接服务于地面的多个用户群组，而现有的无人机轨迹规划方法中存在无法最小化信息年龄(信息年龄的英文名称为：AGE OF INFORMATION，简称为AoI)，无法提高数据采集的时效性、智能决策控制等问题。
发明内容
针对现有技术中存在的不足，本发明的目的在于解决上述现有技术中存在的一个或多个问题。例如，本发明的目的之一在于提供一种信息年龄最小化的无人机飞行轨迹的优化方法，以实现无人机轨迹规划中信息年龄最小化。
为了实现上述目的，本发明一方面提供了一种信息年龄最小化的无人机飞行轨迹的优化方法。
所述方法可包括以下步骤：构建用户群组与无人机的无线通信系统模型，该模型包括：一个作为移动基站的无人机，N个数据接收位置，分别对应N个数据接收位置的N个地面用户群组，其中，无人机部署有M根接收天线，每个地面用户群组中用户的数量不大于M；利用强化学习算法建立无人机自主飞行到达每个数据接收位置的第一模型；建立包含了无人机与用户数据传输的通信信道以及有效信息年龄计算的第二模型；基于第一模型和第二模型，利用强化学习算法确定无人机在最小化信息年龄前提下接收所有数据的飞行轨迹。
进一步地，所述强化学习算法可包括Q-Learning。
进一步地，所述第一模型可包括：无人机的状态：在不同时间单元的剩余能量和在不同时间单元所处的位置；无人机在每个状态下能够执行的多种动作；无人机每次执行动作时的行为奖励。其中，时间单元可以为无线帧、子帧或时隙。
进一步地，所述第二模型包括：所述信息年龄计算值包括所有信息年龄的平均值，该平均值为：
Figure BDA0002972872590000021
其中，
Figure BDA0002972872590000022
为第n个地面用户群组中第k个地面用户与所述无人机间传输第l个时间单元时的信息年龄，K为第n个地面用户群组中地面用户的总数量，L为时间单元的总数(即指定的时间长度)。
进一步地，所述多种动作可包括：向北、向南、向东、向西和悬停。
进一步地，所述行为奖励包括：第一行为奖励、第二行为奖励、第三行为奖励和第四行为奖励中的至少一种，其中，第一行为奖励为：无人机到达所述数据接收位置；第二行为奖励为：无人机经历一次训练得到信息年龄计算值；第三行为奖励为：当无人机走出工作区域，立即停止当前训练并返回；第四行为奖励为：当无人机在一次训练中多次到达同一所述数据接收位置，立即停止当前训练并返回。
进一步地，所述建立无人机与用户数据传输的通信信道以及有效信息年龄计算的第二模型可包括：设定所述N个地面用户群组中各个用户的坐标点；根据所述坐标点，构建第n个群组第k个用户与无人机的通信信道矢量；计算第n个群组第k个地面用户于时间长度为L的通信链路；计算第n个群组第k个地面用户于时间长度L的通信链路的数据传输速率；根据数据包大小Ψ以及传输速率，构建第n个群组中第k个用户的信息年龄计算公式；计算所有数据的信息年龄，并将所有数据的信息年龄的平均值作为有效信息年龄。
再进一步地，在所述计算第n个群组第k个地面用户于时间长度为L的通信链路中，计算第n个群组中第k个用户在传输第l个时间单元时无人机的信干噪比。信干噪比可以根据通信信道矢量、接收波束、噪声功率和用户上行发送功率来计算。
再进一步地，所述计算第n个群组第k个地面用户于时间长度L的通信链路的数据传输速率包括：计算第n个群组中第k个用户与无人机间的传输第l个时间单元时的传输速率，可根据信干燥比和所述无人机接收天线的宽带来计算。
进一步地，时间单元可以是无线帧、子帧或时隙。
进一步地，在第l时间单元，所述第n个群组第k个用户与无人机的通信信道矢量为
Figure BDA0002972872590000031
βkn为信号的大尺度衰落，gkn为信号的小尺度衰落；
所述第n个群组中第k个用户在传输第l个时间单元时无人机的信干噪比为
Figure BDA0002972872590000032
Figure BDA0002972872590000033
其中，p为用户上行发送功率，
Figure BDA0002972872590000034
为第l个时间单元时的接收波束，σ2为噪声功率，
Figure BDA0002972872590000035
和
Figure BDA0002972872590000036
分别为在第l个时间单元第n个地面用户群组中第k个用户和第j个用户与无人机的信道信息，Gn为除用户k和已服务的用户集合的剩余用户集合；
所述第n个群组中第k个用户与无人机间的传输第l个时间单元时的传输速率为
Figure BDA0002972872590000037
其中，B为所述无人机接收天线的宽带。
进一步地，所述βkn依据3GPP信道建模。
进一步地，所述第n个群组中第k个用户与无人机间的传输第l个时间单元时的信息年龄为
Figure BDA0002972872590000038
Figure BDA0002972872590000039
其中，ηkn为一个二进制数，用于标志无人机是否接收到整个数据包，
Figure BDA00029728725900000310
Ψ表示一个信息包的大小；
所述有效信息年龄为：
Figure BDA00029728725900000311
其中，K为群组中用户总数，N为地面群组总数，L为给定的通信时间长度。
进一步地，所述确定无人机在最小化信息年龄前提下接收所有数据的飞行轨迹可包括：设置学习率、折扣因子和贪婪系数，并初始化Q表；设定无人机的初始状态；对于每一次训练，都包括：在n个地面用户群组中随机生成k个用户，并计算信号的大尺度衰落βkn，在保证βkn不变的情况下，生成多次小尺度衰落gkn；对于每次生成的gkn都进行以下步骤：计算每个用户的信道参数；若用户到达数据接收点，无人机开始接收数据，并计算相应的信息年龄和剩余能量；无人机到达所有数据接收点实现数据接收；计算有效信息年龄。再进一步地，所述方法还包括：若无人机到达所有数据接收点接收数据或者当前剩余能量不足以让无人机继续采取动作，结束本次训练。
本发明另一方面提供了一种无人机有效信息年龄的确定方法。
所述确定方法可包括以下步骤：构建用户群组与无人机的无线通信系统模型，该模型包括：一个作为移动基站的无人机，N个数据接收位置，分别对应N个数据接收位置的N个地面用户群组，其中，无人机部署有M根接收天线，每个地面用户群组中用户的数量不大于M；建立无人机与用户数据传输的通信信道以及有效信息年龄计算的第二模型；对于用户与无人机之间的通信链路，利用第二模型确定无人机有效信息年龄。
与现有技术相比，本发明的有益效果可包括以下中的至少一项：
(1)在无人机通信领域中，本发明能够进行基于信息年龄的智能路径规划，同时，本发明利用强化学习方法Q-Learning来保证无人机进行地面用户的数据采集时，达到保证收集信息的时效性目的；
(2)本发明能够解决现有的无人机轨迹规划方法中存在无法最小化信息年龄的问题；
(3)本发明能够解决无法提高数据采集的时效性、智能决策控制等问题；
(4)本发明能够通过最小化地面用户接收信息年龄优化无人机飞行路径，降低无人机的能耗，借此提升无人机的数据采集效率和时效性。
附图说明
通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：
图1示出了本发明示例性实施例1中的建立的用户群组与无人机的无线通信系统模型的一个示意图；
图2示出了本发明示例性实施例1中的步骤S30的一个流程示意图；
图3示出了本发明示例性实施例2中的信息年龄最小化的无人机飞行轨迹优化方法的一个流程示意图。
具体实施方式
在下文中，将结合附图和示例性实施例详细地描述本发明的信息年龄最小化的无人机飞行轨迹的优化方法和无人机有效信息年龄确定方法，该确定方法可基于无线帧、子帧、时隙计算。
本发明一方面提供了一种信息年龄最小化的无人机飞行轨迹的优化方法。
本发明通过给定无人机的起飞位置、数据接收位置、无人机服务半径，按照数据接收点将地面用户划分为多个用户组，无人机作为基站从起飞位置起飞，基于强化学习方法优化无人机飞行轨迹以实现数据的接收或转发，通过联合无人机的能量以及轨迹来最小化信息年龄，提升无人机数据采集时效性，解决了现有的无人机轨迹规划方法中无法最小化信息年龄等问题。
示例性实施例1
所述信息年龄最小化的无人机飞行轨迹优化方法可包括以下步骤：
S10：构建用户群组与无人机的无线通信系统模型。
S20：利用Q-Learning建立无人机自主飞行到达数据接收点(也可称为数据接收位置)的模型M1(也可称为第一模型)。
S30：建立无人机与地面用户数据传输的通信信道以及有效AoI计算模型M2(也可称为第二模型)。即，建立一个模型M2，该模型包含了无人机与地面用户数据传输的通信信道和有效AoI计算。通信信道是所有用户和无人机之间的信道信息，包括有用信号信道和干扰信道，通信信道的一个信道矢量为hkn。
S40：基于M1与M2，利用强化学习算法Q-Learning得到无人机最小化AoI前提下接收所有数据的轨迹。
在上述的方案中，地面的用户作为与无人机通信的数据点，通过建立地面用户与无人机的三维坐标无线通信系统(即无线通信系统模型)，先利用强化学习方法Q-Learning计算出无人机与地面用户各数据发送点的最优路径模型，再联合无人机的能量计算出使得信息年龄(AoI)最小化的飞行轨迹路径，以达到提高无人机基站系统的数据采集速率、数据时效性的目的。
在本实施例中，如图1所示，步骤S10建立的无线通信系统模型可包括：一个移动无人机基站(也可称为空中基站)，N个地面用户群组(可简称为用户群组、用户组和群组)。
其中，为保证用户与无人机通信的时效性，无人机部署M根接收天线，即可同时接收来自M个用户的数据。在无人机的通信覆盖范围之内共有N个数据接收位置，可按照数据接收位置将地面用户划分为N个用户组，每个用户组有K个地面用户(可简称为用户)可与无人机基站建立通信(K≤M)，其覆盖半径为Rn，每个用户组中的用户数K可不相同，可随机生成。所述用户群组与无人机的无线通信系统模型的优化目标为通过联合无人机的能量E以及无人机轨迹使得用户接收的信息年龄最小化。
在本实施例中，所有用户在发送一个数据包后便终止与空中基站的通信，即不会对正在与空中基站通信的用户产生干扰，从而减小对通信速率的影响，进而影响AoI的值。因此，可将每个用户群组划分为正在服务当中的群组、已服务过的群组和未服务的群组。
图1示出了本发明建立的用户群组与无人机的无线通信系统模型的一个示意图。图1中共有N个用户群组，包括Group1、Group2、……、GroupN，Group2与GroupN之间的用户群组在图中省略未示出。图1中的当前正在服务的群组和已服务过的群组用于在步骤S30中计算AoI计算模型M2。其中，在步骤S30中用以统计区分无人机服务于不同群组时，其余已服务过的群组传送数据包给空中基站的通信速率为0，即所有用户集群的每个用户在传输完一个数据包后，停止与空中基站的通信，速率为0。
在本实施例中，步骤S10建立的无线通信系统模型中各个参数的设定为：
无人机的接收天线的带宽为B，用户的发送功率为p；无人机的飞行高度为hu，完成任务需要的时间为T；无人机的起始位置坐标为q0，无人机在第n个群组的数据接收点位置(即数据接收位置)坐标为qn。
第n个群组中第k个用户的坐标为jkn；第n个群组中第k个用户到无人机的水平距离为d2,kn；第n个群组中第k个用户到无人机的直线距离d3,kn；第n个群组中第k个用户与无人机的信道信息(也可称为信道矢量)为hkn。
上述无线通信系统模型中各个参数的具体表达式为：
qn＝(xn,yn,hu)；
jkn＝(xkn,ykn,0)；
Figure BDA0002972872590000061
Figure BDA0002972872590000062
Figure BDA0002972872590000063
其中，βkn为信号的大尺度衰落，其可依据3GPP信道建模，gkn为信号的小尺度衰落。
在本实施例中，为达到信息年龄最小化的无人机飞行轨迹优化的目的，步骤S20使用强化学习算法Q-Learning先实现无人机飞行轨迹的求解，再计算地面用户与无人机之间的平均AoI(即步骤S30)。
所述模型M1包括以下内容为：
(1)无人机的状态由两方面组成：一方面为无人机在时隙n剩余的能量Em(n)＝em(n)；另一方面为无人机在时隙n所处的位置cu(n)。
无人机的状态空间s(n)＝{em(n)m,cu(n)}∈S。其中，n为时隙，m表示当前空中基站与第m个用户(即用户群组中的第m个用户)进行通信，S为无人机所处的位置与剩余能量的集合，即无人机的状态。
(2)无人机在每一个状态共有多种动作可以采用，比如向北、向南、向东、向西以及悬停，对应的无人机动作空间为a(n)∈A＝{'NORTH','EAST','WEST','SOUTH','HOVER'}。
(3)无人机每次执行动作的行为奖励主要由四部分构成。
第一为：无人机到达数据接收点，获得Rw1的奖励。
第二为：无人机经历一次训练得到AoI计算值，获得Rw2奖励，Rw2为-AoI*theta，其中theta为折扣系数，用于将AoI的值转换为奖励，Theta取小于一的值，例如0.1，但不仅限于此。
第三为：当无人机走出工作区域立即停止当前训练并返回，获得-Rw3奖励，该奖励能够避免无人机飞出服务区域。
第四为：当无人机在一次训练多次(如2次或者3次)到达同一数据接收点，立即停止当前训练并返回，获得-Rw4奖励。该奖励能够避免无人机在一次训练中多次到达同一数据接收点。
其中，Rw1、Rw2、Rw3均为非负值。
在本实施例中，在步骤S30中所述的建立每个用户群组的有效AoI模型M2，可通过联合带宽、功率以及轨迹来最小化信息年龄。
在本实施例中，在步骤S30中，将无人机与地面用户之间AoI的平均值作为有效AoI。求平均值是为了减小误差，在同一大尺度衰落情况下，多次(如1000次)获得小尺度衰落，每一个小尺度衰落对应的信道可求得AoI，对多次小尺度衰落对应的AoI求平均值，以此减小误差。
图2示出了模型M2的具体实施过程，如图2所示，步骤S30可包括：
S31：进行初始化，生成地面用户的坐标点。
S32：构建第n个群组第k个地面用户与无人机的通信信道矢量：hkn。
在第l个子帧，第n个群组中第k个地面用户与无人机的信道信息表示为：
Figure BDA0002972872590000081
其中，βkn为信号的大尺度衰落，gkn为信号的小尺度衰落。
βkn可依据3GPP信道建模，例如：
Figure BDA0002972872590000082
Figure BDA0002972872590000083
Figure BDA0002972872590000084
Figure BDA0002972872590000085
Figure BDA0002972872590000086
Figure BDA0002972872590000087
S33：计算第n个群组第k个地面用户于时间长度为L的通信链路，在最后对AoI求取平均值是做了加权平均的计算，其无人机的信干噪比
Figure BDA0002972872590000088
Figure BDA0002972872590000089
为第n个群组中第k个地面用户在传输第l个子帧时无人机的信干噪比，其表示为：
Figure BDA00029728725900000810
其中，p为用户的发送功率，
Figure BDA00029728725900000811
为第l个子帧时的无人机天线的接收波束，σ2为噪声功率，
Figure BDA00029728725900000812
和
Figure BDA00029728725900000813
分别为：在第l个子帧，第n个地面用户群组中第k个地面用户和第j个地面用户与无人机的信道矢量，Gn为除用户k和已服务的用户集合的剩余用户集合，即违背服务的用户集+除k以外的正在服务用户集。
S34：计算第n个群组第k个地面用户于时间长度L的通信链路的数据传输速率。
Figure BDA00029728725900000814
为第n个群组中第k个地面用户与无人机间的传输第l个子帧时的速率，其可表示为：
Figure BDA00029728725900000815
其中，B为无人机接收天线的带宽。
S35：根据数据包大小Ψ以及传输速率，构建地面用户的AoI计算公式：
Figure BDA00029728725900000816
Figure BDA00029728725900000817
为第n个群组中第k个地面用户与无人机间的传输第l个子帧时的AoI，其可表示为：
Figure BDA0002972872590000091
其中，ηkn为一个二进制数，用于标志无人机是否接收到整个数据包。
Figure BDA0002972872590000092
Ψ表示一个包的大小。
S36：计算平均AoI作为有效数据。
所有AoI的平均值为数据为地面用户与空中基站通信所传输的数据：
Figure BDA0002972872590000093
其中，
Figure BDA0002972872590000094
表示地面用户总数K、地面群组总数N和给定通信时间长度L的乘积的倒数，用以表示平均AoI，其中时间长度可以根据通信系统需求设置，比如时隙、子帧和无线帧。
在本实施例中，在步骤S40中，基于模型M1和模型M2，利用轨迹优化以及信息包Ψ的信息年龄作为参考，进一步优化无人机的飞行轨迹，得到最优解，具体步骤以下所示：
(1)设置学习率α、折扣因子δ、贪婪系数ε等，并初始化Q表。
(2)选取无人机的初始状态，位置q0，能量E＝Emax。
(3)对于每一次训练，都有以下过程：
Ⅰ、若无人机到达所有数据接收点接收数据或者当前剩余能量不足以让无人机继续采取动作，结束本次训练。
Ⅱ、在n个群组中随机生成k个用户，并计算βkn，保证βkn不变的情况下，生成多次gkn。
Ⅲ、对于每次生成的gkn都执行以下步骤：
计算每个用户的信道参数；
若无人机到达数据接收位置，开始接收来自地面用户的数据，并计算相应的AoI和能量剩余；
直到无人机到达所有数据接收点实现数据接收。
(4)计算信息年龄AoI平均值。
Q-Learning算法通过获得的奖励来更新Q表，无人机能够根据Q表选择更加有利的动作执行，因此将AoI作为一部分奖励，用于更新Q表，使得无人机能够做出决策以此获得更加小的AoI。
示例性实施例2
图3示出了本发明的信息年龄最小化的无人机飞行轨迹优化方法的一个流程示意图。
如图3所示，所述信息年龄最小化的无人机飞行轨迹优化方法可包括步骤：
构建用户群组与无人机的无线通信系统(即无线通信系统模型)。该步骤可以与上一个示例性实施例1中的步骤S10相同。
利用Q-Learning建立无人机自主飞行到达数据接收点的模型M1。该步骤可以与上一个示例性实施例1中的步骤S20相同。
基于3GPP信道模型得到每个用户群组的有效AoI模型M2。模型M2可以与上一个示例性实施例1中步骤S30中的模型M2的相同。
基于M1和M2，获得最小化AoI的无人机接收数据的飞行轨迹。其中，该步骤也可以利用强化学习算法来进行。
本发明另一方面提供了一种无人机有效信息年龄的确定方法。
示例性实施例3
所述无人机有效信息年龄的确定方法可包括以下步骤：
构建用户群组与无人机的无线通信系统模型，该模型包括：一个作为移动基站的无人机，N个数据接收位置，分别对应N个数据接收位置的N个地面用户群组，其中，无人机部署有M根接收天线，每个地面用户群组中用户的数量不大于M。该步骤可以与上述两个示例性实施例中的“构建用户群组与无人机的无线通信系统模型”相同。
建立无人机与用户数据传输的通信信道以及有效信息年龄计算的第二模型。该步骤可以与上述两个示例性实施例中的“建立无人机与地面用户数据传输的通信信道以及有效AoI计算模型M2相同。
对于地面用户与无人机之间的通信链路，利用第二模型确定无人机有效信息年龄，其中信息年龄的计算可以基于无线帧、子帧、时隙等。
尽管上面已经通过结合示例性实施例描述了本发明，但是本领域技术人员应该清楚，在不脱离权利要求所限定的精神和范围的情况下，可对本发明的示例性实施例进行各种修改和改变。

Claims (9)

1.一种信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，所述方法包括以下步骤：
构建用户群组与无人机的无线通信系统模型，该模型包括：一个作为移动基站的无人机，N个数据接收位置，分别对应N个数据接收位置的N个地面用户群组，其中，无人机部署有M根接收天线，每个地面用户群组中用户的数量不大于M；
利用强化学习算法建立无人机自主飞行到达每个数据接收位置的第一模型；
建立包含了无人机与用户数据传输的通信信道以及有效信息年龄计算的第二模型；
基于第一模型和第二模型，利用强化学习算法确定无人机在最小化信息年龄前提下接收所有数据的飞行轨迹；
所述建立第二模型包括：设定所述N个地面用户群组中各个用户的坐标点；根据所述坐标点，构建第n个群组第k个用户与无人机的通信信道矢量；计算第n个群组第k个地面用户于时间长度为L的通信链路；计算第n个群组第k个地面用户于时间长度L的通信链路的数据传输速率；根据数据包大小Ψ以及传输速率，构建第n个群组中第k个用户的信息年龄计算公式；计算所有数据的信息年龄，并将所有数据的信息年龄的平均值作为有效信息年龄。
2.根据权利要求1所述的信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，所述强化学习算法包括Q-Learning。
3.根据权利要求1所述的信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，所述第一模型包括：
无人机的状态包括：在不同时间单元的剩余能量和在不同时间单元所处的位置；
无人机在每个状态下能够执行的多种动作；
无人机每次执行动作时的行为奖励。
4.根据权利要求3所述的信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，所述多种动作包括：向北、向南、向东、向西和悬停。
5.根据权利要求3所述的信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，所述行为奖励包括：第一行为奖励、第二行为奖励、第三行为奖励和第四行为奖励中的至少一种，其中，
第一行为奖励为：无人机到达所述数据接收位置；
第二行为奖励为：无人机经历一次训练得到信息年龄计算值；
第三行为奖励为：当无人机走出工作区域，立即停止当前训练并返回；
第四行为奖励为：当无人机在一次训练中多次到达同一所述数据接收位置，立即停止当前训练并返回。
6.根据权利要求1所述的信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，在第l个时间单元，所述第n个群组第k个用户与无人机的通信信道矢量为
Figure FDA0003331317480000021
其中，
Figure FDA0003331317480000022
βkn为信号的大尺度衰落，
Figure FDA0003331317480000023
为信号在第l个时间单元时的小尺度衰落；
所述第n个群组中第k个用户在传输第l个时间单元时无人机的信干噪比为
Figure FDA0003331317480000024
Figure FDA0003331317480000025
其中，
其中，p为用户上行发送功率，
Figure FDA0003331317480000026
为第l个时间单元的接收波束，σ2为噪声功率，
Figure FDA0003331317480000027
和
Figure FDA0003331317480000028
分别为在第l个时间单元第n个地面用户群组中第k个用户和第j个用户与无人机的信道信息，Gn为除用户k和已服务的用户集合的剩余用户集合；
所述第n个群组中第k个用户与无人机间的传输第l个时间单元的传输速率为
Figure FDA0003331317480000029
Figure FDA00033313174800000210
其中，B为所述无人机接收天线的宽带。
7.根据权利要求6所述的信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，所述βkn依据3GPP信道建模。
8.根据权利要求6所述的信息年龄最小化的无人机飞行轨迹的优化方法，其特征在于，所述第n个群组中第k个用户与无人机间的传输第l个时间单元的信息年龄为
Figure FDA00033313174800000211
Figure FDA00033313174800000212
其中，ηkn为一个二进制数，用于标志无人机是否接收到整个数据包，
Figure FDA0003331317480000031
Ψ表示一个信息包的大小；
所述有效信息年龄为：
Figure FDA0003331317480000032
其中，K为群组中用户总数，N为地面群组总数，L为给定的通信时间长度。
9.一种无人机有效信息年龄的确定方法，其特征在于，所述方法包括以下步骤：
构建用户群组与无人机的无线通信系统模型，该模型包括：一个作为移动基站的无人机，N个数据接收位置，分别对应N个数据接收位置的N个地面用户群组，其中，无人机部署有M根接收天线，每个地面用户群组中用户的数量不大于M；
建立无人机与用户数据传输的通信信道以及有效信息年龄计算的第二模型；
对于用户与无人机之间的通信链路，利用第二模型确定无人机有效信息年龄；
所述建立第二模型包括：设定所述N个地面用户群组中各个用户的坐标点；根据所述坐标点，构建第n个群组第k个用户与无人机的通信信道矢量；计算第n个群组第k个地面用户于时间长度为L的通信链路；计算第n个群组第k个地面用户于时间长度L的通信链路的数据传输速率；根据数据包大小Ψ以及传输速率，构建第n个群组中第k个用户的信息年龄计算公式；计算所有数据的信息年龄，并将所有数据的信息年龄的平均值作为有效信息年龄。
CN202110267635.8A 2021-03-12 2021-03-12 有效信息年龄确定方法、以及无人机飞行轨迹优化方法 Active CN113055078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267635.8A CN113055078B (zh) 2021-03-12 2021-03-12 有效信息年龄确定方法、以及无人机飞行轨迹优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267635.8A CN113055078B (zh) 2021-03-12 2021-03-12 有效信息年龄确定方法、以及无人机飞行轨迹优化方法

Publications (2)

Publication Number Publication Date
CN113055078A CN113055078A (zh) 2021-06-29
CN113055078B true CN113055078B (zh) 2022-02-08

Family

ID=76511659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267635.8A Active CN113055078B (zh) 2021-03-12 2021-03-12 有效信息年龄确定方法、以及无人机飞行轨迹优化方法

Country Status (1)

Country Link
CN (1) CN113055078B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113783941B (zh) * 2021-08-23 2023-04-18 华北电力大学（保定） 基于大规模MIMO-MEC中最小化平均AoI的方法
CN114389679B (zh) * 2022-01-13 2023-04-11 吉林大学 基于信息年龄最小化的多天线无人机感知和传输优化方法
CN115802318B (zh) * 2022-11-08 2024-04-09 重庆邮电大学 一种基于无人机辅助车联网资源优化方法、设备和介质
CN116156459B (zh) * 2023-02-21 2023-09-26 北京航空航天大学 一种基于灯塔盘旋的无人机辅助超可靠低时延传输方法
CN116193367B (zh) * 2023-04-27 2023-07-25 北京航空航天大学 一种无人机自组网可靠传输时效性评估与计算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104137153A (zh) * 2012-03-02 2014-11-05 高通股份有限公司 实时事件反馈
CN109640370A (zh) * 2019-02-02 2019-04-16 北京邮电大学 一种基于信息新鲜度的车联网传输方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4554653B2 (ja) * 2007-08-08 2010-09-29 クラリオン株式会社 経路探索方法、経路探索システムおよびナビゲーション装置
US20190354100A1 (en) * 2018-05-21 2019-11-21 Board Of Regents, The University Of Texas System Bayesian control methodology for the solution of graphical games with incomplete information
CN109990790B (zh) * 2019-03-29 2021-03-12 北京邮电大学 一种无人机路径规划方法及装置
CN110190888B (zh) * 2019-05-06 2020-04-17 北京邮电大学 一种基于信息时效性的无人机信息收集方法及装置
CN110543185B (zh) * 2019-07-19 2022-05-27 宁波大学 一种基于最小化信息年龄的无人机数据收集方法
CN110417456B (zh) * 2019-07-24 2020-06-16 北京交通大学 基于无人机的信息传输方法
GB201912145D0 (en) * 2019-08-23 2019-10-09 Five Ai Ltd Performance testing for robotic systems
CN111367315B (zh) * 2020-03-11 2021-06-11 北京邮电大学 一种应用于无人机收集信息的轨迹规划方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104137153A (zh) * 2012-03-02 2014-11-05 高通股份有限公司 实时事件反馈
CN109640370A (zh) * 2019-02-02 2019-04-16 北京邮电大学 一种基于信息新鲜度的车联网传输方法及装置

Also Published As

Publication number Publication date
CN113055078A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113055078B (zh) 有效信息年龄确定方法、以及无人机飞行轨迹优化方法
CN112118556B (zh) 基于深度强化学习的无人机轨迹及功率联合优化方法
Liu et al. Average AoI minimization in UAV-assisted data collection with RF wireless power transfer: A deep reinforcement learning scheme
CN113162682B (zh) 一种基于pd-noma的多波束leo卫星系统资源分配方法
Zhan et al. Energy-efficient data uploading for cellular-connected UAV systems
Cao et al. Deep reinforcement learning for multi-user access control in non-terrestrial networks
CN114025330B (zh) 一种空地协同的自组织网络数据传输方法
Zhan et al. Energy minimization for cellular-connected UAV: From optimization to deep reinforcement learning
CN113162679A (zh) 基于ddpg算法的irs辅助无人机通信联合优化方法
CN109885088B (zh) 边缘计算网络中基于机器学习的无人机飞行轨迹优化方法
CN111970709B (zh) 一种基于粒子群优化算法的无人机中继部署方法及系统
CN111479239B (zh) 一种多天线无人机数据采集系统的传感器发射能耗优化方法
CN111526592B (zh) 一种用于无线干扰信道中的非协作多智能体功率控制方法
CN109743210A (zh) 基于深度强化学习的无人机网络多用户接入控制方法
CN115499921A (zh) 面向复杂无人机网络的三维轨迹设计及资源调度优化方法
CN109039437A (zh) 一种无人机区域组网系统
Chowdhury et al. Trajectory optimization in UAV-assisted cellular networks under mission duration constraint
Park et al. Joint trajectory and resource optimization of MEC-assisted UAVs in sub-THz networks: A resources-based multi-agent proximal policy optimization DRL with attention mechanism
CN115412134A (zh) 基于离线强化学习的以用户为中心的无蜂窝大规模mimo功率分配方法
Xiong et al. Collaborative computation offloading at UAV-enhanced edge
Chenxiao et al. Energy-efficiency maximization for fixed-wing UAV-enabled relay network with circular trajectory
Li et al. Intelligent uav navigation: A DRL-QiER solution
CN112996121A (zh) 一种面向集群内通信的u2u分布式动态资源分配方法
Ahn et al. Velocity optimization for UAV-mounted transmitter in population-varying fields
Li et al. Low Altitude 3-D Coverage Performance Analysis of Cell-Free RAN for 6G Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant