CN111443731B - 一种无人机控制方法、装置及控制设备 - Google Patents

一种无人机控制方法、装置及控制设备 Download PDF

Info

Publication number
CN111443731B
CN111443731B CN202010293107.5A CN202010293107A CN111443731B CN 111443731 B CN111443731 B CN 111443731B CN 202010293107 A CN202010293107 A CN 202010293107A CN 111443731 B CN111443731 B CN 111443731B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
sub
flight
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010293107.5A
Other languages
English (en)
Other versions
CN111443731A (zh
Inventor
田辉
倪万里
郑景桁
袁晓旭
范绍帅
聂高峰
曹蕾蕾
华美慧
郝国良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010293107.5A priority Critical patent/CN111443731B/zh
Publication of CN111443731A publication Critical patent/CN111443731A/zh
Application granted granted Critical
Publication of CN111443731B publication Critical patent/CN111443731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明实施例提供了一种无人机控制方法、装置及控制设备,方法包括:获取待探测区域以及完成探测任务的限制时长,获取所述子区域对应的最少数据量,将限制时长平均分为N份,得到时隙长度为δt的N个时隙,并将δt确定为所述子区域对应的传输时长,控制无人机在所述子区域内采集该子区域对应的最少数据量的数据,并控制所述无人机使用该子区域对应的传输时长向数据中心实时传输在该子区域所采集的数据。采用本发明实施例提供的方案控制无人机,可以减小无人机的通信能耗,为无人机节省了能耗,从而减少了无人机在续航时间内无法完成探测任务的现象,提高无人机的探测效率。

Description

一种无人机控制方法、装置及控制设备
技术领域
本发明涉及无人机技术领域,特别是涉及一种无人机控制方法、装置及控制设备。
背景技术
无人机由于具有操作稳定、移动灵活、环境适应性强等特性,被越来越多地应用于区域探测领域。无人机在对目标区域进行探测时,通常是将在目标区域采集的数据实时发送给数据中心,这样,操作人员可以从数据中心获取到无人机采集的数据。无人机的续航时间通常是有限的,当无人机在续航时间内没有完成探测任务时,会使得探测任务在未完成的情况下被中断。
为了减少无人机在续航时间内无法完成探测任务的现象,提出了一种无人机控制方法、装置及控制设备。
发明内容
本发明实施例的目的在于提供一种无人机控制方法、装置及控制设备,以减少无人机在续航时间内无法完成探测任务的现象。具体技术方案如下:
第一方面,本发明实施例提供了一种无人机控制方法,所述方法包括:
获取待探测区域以及完成探测任务的限制时长,其中,所述待探测区域被划分为多个子区域;
获取所述子区域对应的最少数据量,其中,所述最少数据量为:满足探测任务需采集的子区域内的最少数据量;
将限制时长平均分为N份,得到时隙长度为δt的N个时隙,并将δt确定为所述子区域对应的传输时长,其中,所述传输时长为:无人机向数据中心传输在子区域内采集的数据所用的时长,N为正整数,且N的取值不小于所述待探测区域被划分的子区域的个数;
控制无人机在所述子区域内采集该子区域对应的最少数据量的数据,并控制所述无人机使用该子区域对应的传输时长向数据中心实时传输在该子区域所采集的数据。
可选的,所述方法还包括:
以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,其中,所述驱动能耗包括:飞行能耗与通信能耗,所述飞行能耗为:无人机在飞行过程中维持飞行状态所消耗的能量,所述通信能耗为:无人机在探测过程中与数据中心进行数据传输所消耗的能量;
针对每一子区域,当监测到无人机完成向数据中心传输所采集的数据后,控制无人机按所述飞行轨迹飞行至该子区域的下一子区域进行探测。
可选的,所述以使得无人机的驱动能耗最小为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,包括:
以使得无人机的驱动能耗最小为原则、且基于飞行轨迹的约束条件,确定无人机从开始飞行到飞行结束的飞行轨迹;
其中,所述约束条件包括:无人机开始飞行的位置、无人机结束飞行的位置、与待探测区域内最接近所述数据中心的点的位置相同,无人机当前所处的子区域与无人机上一次进行数据采集所处的子区域为相邻的子区域,无人机在飞行过程中所处的位置位于所述待探测区域内。
可选的,所述约束条件还包括:无人机在飞行过程中所处的位置位于所述待探测区域内的各探测点,所述探测点为:所述子区域的中心点。
可选的,所述以使得无人机的驱动能耗最小为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,包括:
将最小化无人机驱动能耗建模为马尔可夫决策过程,得到马尔可夫决策过程所定义的状态、动作及奖励函数;
基于所述状态、动作及奖励函数,使用强化学习算法得到最小化无人机的驱动能耗时无人机的飞行轨迹。
可选的,所述将最小化无人机驱动能耗建模为马尔可夫决策过程,得到马尔可夫决策过程所定义的状态、动作及奖励函数,包括:
定义状态
Figure BDA0002451151550000031
其中,qu[n]表示无人机在第n个时隙所处的子区域,n的取值从1至N,
Figure BDA0002451151550000032
表示qu[n]是否被探测过,
Figure BDA0002451151550000033
Figure BDA0002451151550000034
时表示qu[n]被探测过,当
Figure BDA0002451151550000035
时表示qu[n]没有被探测过,υ∈{0,1,2,…,M},υ表示被探测过的子区域数量,M表示待探测区域包括的子区域的个数;
定义动作An,其中,An∈A(Sn),A(Sn)表示处于Sn状态下时无人机可执行的动作,所述可执行的动作包括前进、后退、左转、右转中的至少一种;
定义实时奖励rn=-θE[n],其中,θ是与下一状态有关的参数,若下一状态的
Figure BDA0002451151550000036
则θ<0,若下一状态的
Figure BDA0002451151550000037
且υ≠M则θ>0,若下一状态的
Figure BDA0002451151550000038
且υ=M则θ<<0,θ<<0表示无人机结束探测任务,否则θ>>0,θ>>0表示无人机遇到障碍,E[n]表示无人机在第n个时隙完成探测任务的驱动能耗;
定义长期折扣奖励
Figure BDA0002451151550000039
其中,γ∈[0,1],γ表示未来奖励的现值的折扣因子,rn+t表示无人机在第n个时隙执行当前定义的动作后在第n个时隙后的t时长对应的时刻将得到的实时奖励。
第二方面,本发明实施例还提供了一种无人机控制装置,所述装置包括:
时长获取单元,用于获取待探测区域以及完成探测任务的限制时长,其中,所述待探测区域被划分为多个子区域;
数据量获取单元,用于获取所述子区域对应的最少数据量,其中,所述最少数据量为:满足探测任务需采集的子区域内的最少数据量;
时长确定单元,用于将限制时长平均分为N份,得到时隙长度为δt的N个时隙,并将δt确定为所述子区域对应的传输时长,其中,所述传输时长为:无人机向数据中心传输在子区域内采集的数据所用的时长,N为正整数,且N的取值不小于所述待探测区域被划分的子区域的个数;
第一控制单元,用于控制无人机在所述子区域内采集该子区域对应的最少数据量的数据,并控制所述无人机使用该子区域对应的传输时长向数据中心实时传输在该子区域所采集的数据。
可选的,所述装置还包括:
轨迹确定单元,用于以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,其中,所述驱动能耗包括:飞行能耗与通信能耗,所述飞行能耗为:无人机在飞行过程中维持飞行状态所消耗的能量,所述通信能耗为:无人机在探测过程中与数据中心进行数据传输所消耗的能量;
第二控制单元,用于针对每一子区域,当监测到无人机完成向数据中心传输所采集的数据后,控制无人机按所述飞行轨迹飞行至该子区域的下一子区域进行探测。
可选的,所述轨迹确定单元,具体用于:
以使得无人机的驱动能耗最小为原则、且基于飞行轨迹的约束条件,确定无人机从开始飞行到飞行结束的飞行轨迹;
其中,所述约束条件包括:无人机开始飞行的位置、无人机结束飞行的位置、与待探测区域内最接近所述数据中心的点的位置相同,无人机当前所处的子区域与无人机上一次进行数据采集所处的子区域为相邻的子区域,无人机在飞行过程中所处的位置位于所述待探测区域内。
第三方面,本发明实施例还提供了一种控制设备,包括处理器、通信接口、存储器和通信总线;
其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现第一方面任一项所述的无人机控制方法。
本发明实施例提供的技术方案在控制无人机运行时,获取待探测区域包括的各子区域对应的最少数据量和完成探测任务的限制时长,将限制时长平均分为N份,得到时隙长度为δt的N个时隙,将δt确定为所述子区域对应的传输时长,这样,无人机向数据中心传输在子区域内采集的数据所用的传输时长为一个时隙的时长,也就是说传输时长为最长可用时长,由于最少数据量为:满足探测任务需采集的子区域内的最少数据量,通过通信能耗的影响参数发现,当无人机在每个子区域内用尽可能长的时间去传输尽可能少的数据时是最节省通信能量的,因此,控制无人机在子区域内采集该子区域对应的最少数据量的数据,并控制无人机使用该子区域对应的传输时长向数据中心传输在该子区域所采集的数据,可以减小无人机的通信能耗,为无人机节省了能耗,从而减少了无人机在续航时间内无法完成探测任务的现象,提高无人机的探测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无人机控制方法的一种流程示意图;
图2为本发明实施例提供的无人机控制方法的一种应用场景的示意图;
图3为本发明实施例提供的无人机控制方法的第二种流程示意图;
图4为本发明实施例提供的确定无人机飞行轨迹的一种流程示意图;
图5为本发明实施例提供的无人机控制装置的一种结构示意图;
图6为本发明实施例提供的控制设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了减少了无人机在续航时间内无法完成探测任务的现象,本发明实施例提供了一种无人机控制方法及装置。
下面首先对本发明实施例所提供的无人机控制方法进行介绍。
本发明实施例提供的无人机控制方法的执行主体可以是控制设备,控制设备可以安装于无人机上,也可以部署在无人机外,当控制设备部署在无人机外时,可以通过无线信号控制无人机的运行。控制设备例如可以是微型计算机、处理器、台式电脑、笔记本电脑等设备。
如图1所示,本发明实施例提供的无人机控制方法包括以下步骤S110~S140。
S110:获取待探测区域以及完成探测任务的限制时长。
其中,待探测区域被划分为多个子区域。
在一种实施方式中,控制设备可以将预设的时长确定为限制时长,也可以将操作人员输入的时长确定为限制时长,也可以从其他设备获取限制时长;电子设备可以将将操作人员输入的区域确定为待探测区域,也可以从其他设备获取待探测区域。上述限制时长是指无人机在待探测区域完成探测任务可以使用的时长。限制时长可以根据待探测区域的大小、待探测区域的环境复杂程度、无人机的续航能力等因素来确定,当待探测区域较大、环境较复杂、无人机续航能力较强时,限制时长可以设置的较长。限制时长例如可以是1小时、2小时、30分钟等时长,本发明实施例不具体限定。
待探测区域可以被划分为多个大小相同的子区域,也可以被划分为多个大小不同的子区域。例如,如图2所示,待探测区域可以被划分为多个大小相同、且呈矩阵分布的矩形子区域。本发明实施例不具体限定待探测区域被划分的区域大小和形状。在一个具体实施例中,为了便于对无人机的控制,待探测区域可以被划分为多个大小相同的子区域。
S120:获取上述子区域对应的最少数据量。
上述最少数据量为:满足探测任务需采集的子区域内的最少数据量。
在一种实施方式中,电子设备可以将预设的数据量确定为子区域对应的最少数据量,也可以将用户输入的数量确定为子区域对应的最少数据量。各个子区域对应的各最少数据量可以相同,也可以不同。在一个具体实施例中,为了便于对无人机的控制,各个子区域对应的各最少数据量可以相同。
例如,上述子区域对应的最少数据量可以为2000比特~10000比特中的任一数据量,也可以是其他数据量。最少数据量可以根据子区域的大小和环境复杂程度确定,当子区域较大、子区域内的环境较复杂时,子区域对应的最少数据量可以设置的较多。
S130:将限制时长平均分为N份,得到时隙长度为δt的N个时隙,并将δt确定为上述子区域对应的传输时长。
其中,传输时长为:无人机向数据中心传输在子区域内采集的数据所用的时长,N为正整数,且N的取值不小于待探测区域被划分的子区域的个数。
如图2所示,上述数据中心可以是空中基站。上述数据中心也可以是其他接收信号的设备。
其中,N可以为不小于待探测区域被划分的子区域的个数M的任意整数。例如,当M为40时,N可以为40~50中的任一值。为了减少无人机的通信能耗,N的值不宜过大。本发明实施例不具体限定N的取值。
S140:控制无人机在子区域内采集该子区域对应的最少数据量的数据,并控制无人机使用该子区域对应的传输时长向数据中心实时传输在该子区域所采集的数据。
例如,若子区域对应的最少数据量为2000比特,对应的传输时长为10秒,那么,可以控制无人机在该子区域内采集2000比特的数据,并使用10秒的时长将采集的2000比特的数据传输给数据中心。
在本发明实施例中,根据香农信息理论,可以得到无人机在第n个时隙向向数据中心传输数据的传输速率R[n]的表达式为:
Figure BDA0002451151550000071
式(1)中,n为正整数,n的取值从1至N,B为无人机与数据中心所属的通信系统的带宽,N0为零均值加性高斯白噪声功率谱密度,ξ为信噪比SNR的常数间隙,ξ用于表示理论信道容量与实际调制方案之间的差异,pc[n]为无人机在第n个时隙的发射功率,且0≤pc[n]≤pmax,pmax为无人机的最大发射功率,
Figure BDA0002451151550000072
为在第n个时隙的大尺度信道衰落,大尺度信道衰落与无人机和数据中心的距离有关,其中,α为路损指数,β0为无人机在参考距离d=1米时的信道增益,qu[n]=(xu[n],yu[n])表示无人机在第n个时隙的水平坐标,q0=(x0,y0)表示数据中心在第n个时隙的水平坐标,zu表示无人机的海拔高度,z0表示数据中心的海拔高度。
若无人机与数据中心在第n个时隙的通信时间为t[n],其中,0<t[n]≤δt,δt为每个时隙的长度,根据公式(1),可以得到通信能耗Ec[n]的表达式:
Figure BDA0002451151550000081
式(2)中,
Figure BDA0002451151550000082
即β[n]为在第n个时隙的大尺度信道衰落,N0为零均值加性高斯白噪声功率谱密度,B为无人机与数据中心所属的通信系统的带宽,ξ为信噪比SNR的常数间隙,l[n]为无人机在第n个时隙采集的数据量。
根据公式(2),可以得到通信能耗Ec[n]的优化方程为:
Figure BDA0002451151550000083
其中,
Figure BDA0002451151550000084
L表示无人机在不同时隙采集的数据量,
Figure BDA0002451151550000085
T表示无人机在不同时隙的传输时间。
在求解式(3)时,可以将通信能耗的约束方程作为约束:
通信能耗的约束方程为:
Figure BDA0002451151550000086
式(4)中,lmin为子区域对应的最少数据量,
Figure BDA0002451151550000087
表示信道容量,约束条件C1表示传输时间大于零且小于等于一个时隙长度,约束条件C2表示采集数据量大于等于子区域对应的最小数据量且小于等于信道容量。
从式(2)可知,Ec[n]是关于l[n]和t[n]的二元凸函数,对目标函数Ec[n]求关于t[n]的一阶偏导可以得知,其导函数是一个关于t[n]的单调减函数,所以在t[n]取最大值的时候,目标函数值最小,即通信能耗最小;对目标函数Ec[n]求关于l[n]的一阶偏导可以得知,其导函数是一个关于l[n]的单调增函数,所以在l[n]取最小值的时候,目标函数值最小,即通信能耗最小。因此,通过凸优化方法求解式(3),可以确定出无人机在第n个时隙采集的最优数据量l*[n]=lmin及最优传输时间t*[n]=δt时,可以使得通信能耗Ec[n]达到最小,其中,lmin为第n个时隙探测的子区域对应的最少数据量。
本发明实施例提供的技术方案在控制无人机运行时,获取待探测区域包括的各子区域对应的最少数据量和完成探测任务的限制时长,将限制时长平均分为N份,得到时隙长度为δt的N个时隙,将δt确定为所述子区域对应的传输时长,这样,无人机向数据中心传输在子区域内采集的数据所用的传输时长为一个时隙的时长,也就是说传输时长为最长可用时长,由于最少数据量为:满足探测任务需采集的子区域内的最少数据量,通过通信能耗的影响参数发现,当无人机在每个子区域内用尽可能长的时间去传输尽可能少的数据时是最节省通信能量的,因此,控制无人机在子区域内采集该子区域对应的最少数据量的数据,并控制无人机使用该子区域对应的传输时长向数据中心传输在该子区域所采集的数据,可以减小无人机的通信能耗,为无人机节省了能耗,从而减少了无人机在续航时间内无法完成探测任务的现象,提高无人机的探测效率。
在一种实施方式中,如图3所示,上述方法还可以包括以下步骤S150~S160:
S150:以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹。
其中,驱动能耗包括:飞行能耗与通信能耗,飞行能耗为:无人机在飞行过程中维持飞行状态所消耗的能量,通信能耗为:无人机在探测过程中与数据中心进行数据传输所消耗的能量。
在一种实现方式中,步骤S150可以按以下步骤实现:
通过求解驱动能耗的优化方程确定无人机从开始飞行到飞行结束的飞行轨迹。
驱动能耗的优化方程为:
Figure BDA0002451151550000091
其中,E[n]表示无人机在第n个时隙完成探测任务的驱动能耗,E[n]=Ef[n]+Ec[n],Ef[n]为无人机第n个时隙完成探测任务的飞行能耗,Ec[n]为无人机第n个时隙完成探测任务的通信能耗,
Figure BDA0002451151550000101
Q表示无人机在各个时隙所处的子区域内的各个探测点,qu[n]表示无人机在第n个时隙所处的子区域的位置。
具体的,qu[n]可以表示无人机在第n个时隙所处的子区域的探测点的位置,探测点可以为:子区域的中心点,探测点也可以为子区域中的其他点。
根据推进功率消耗模型,无人机在第n个时隙的飞行能耗Ef[n]可以为:
Ef[n]=pf[n]δt (6)
式(6)中,pf[n]为无人机在第n个时隙的飞行功率。
S160:针对每一子区域,当监测到无人机完成向数据中心传输所采集的数据后,控制无人机按所述飞行轨迹飞行至该子区域的下一子区域进行探测。
本实施方式通过合理规划无人机的飞行轨迹,可以进一步减小无人机探测任务消耗的通信能耗和飞行能耗。另外,本实施方式在规划无人机的轨迹时,不仅考虑了无人机的飞行能耗,还考虑了无人机的通信能耗,无人机按这种方式规划出的飞行轨迹飞行,可以同时使通信能耗和飞行能耗最小,进一步减少了无人机在探测过程中所消耗的驱动能耗,提高了无人机的续航时间。
在一种实施方式中,步骤S150,可以按以下步骤实现:
以使得无人机的驱动能耗最小为原则、且基于飞行轨迹的约束条件,确定无人机从开始飞行到飞行结束的飞行轨迹。
其中,约束条件包括:无人机开始飞行的位置、无人机结束飞行的位置、与待探测区域内最接近所述数据中心的点的位置相同,无人机当前所处的子区域与无人机上一次进行数据采集所处的子区域为相邻的子区域,无人机在飞行过程中所处的位置位于所述待探测区域内。
在一个具体实施例中,上述飞行轨迹的约束条件可以用飞行轨迹的约束方程表示。上述飞行轨迹的约束方程可以为:
Figure BDA0002451151550000111
式(7)中,约束条件C3表示:无人机在任务开始和结束时都处于同一位置,且都处于最接近数据中心的子区域的探测点的位置,qu[1]表示无人机的出发位置,qu[N]表示无人机的最终返回的位置,
Figure BDA0002451151550000112
表示最接近数据中心的子区域的探测点的位置;
约束条件C4表示:无人机在下一时隙所处位置是当前时隙所处区域的相邻区域,Γ表示当待探测区域被划分为多个相同的子区域时相邻两个子区域的探测点间的距离,qu[n+1]表示无人机在第n+1个时隙所处的子区域的探测点,qu[n]表示无人机在第n个时隙所处的子区域的探测点;
约束条件C5表示:无人机在任何一个时隙的位置均处于各个子区域内的各个探测点。
在一种实施方式中,所述约束条件还可以包括:无人机在飞行过程中所处的位置位于待探测区域内的各探测点,该探测点为:上述子区域的中心点。这样,可以使得无人机在沿着各个探测点组成的轨迹运行,使无人机的运行轨迹更短、更合理,进一步减少了飞行能耗。
在一种实施方式中,步骤S140,可以按以下步骤实现:利用强化学习算法确定最小化无人机的驱动能耗时,无人机的飞行轨迹。由于强化学习算法属于机器学习算法,使用强化学习算法可以更快速地确定出无人机的飞行轨迹。
在一种实施方式中,如图4所示,步骤S140,可以按以下步骤S141~S142实现:
步骤S141:将最小化无人机驱动能耗建模为马尔可夫决策过程,得到马尔可夫决策过程所定义的状态、动作及奖励函数;
步骤S142:基于上述状态、动作及奖励函数,使用强化学习算法得到最小化无人机的驱动能耗时无人机的飞行轨迹。
本实施方式可以将最小化无人机驱动能耗的问题建模为马尔可夫决策过程,更便于求解无人机的飞行轨迹。
在一种实施方式中,步骤S141,可以按以下步骤A~D实现:
步骤A:定义状态
Figure BDA0002451151550000121
其中,qu[n]表示无人机在第n个时隙所处的子区域,n的取值从1至N,
Figure BDA0002451151550000122
表示qu[n]是否被探测过,
Figure BDA0002451151550000123
Figure BDA0002451151550000124
时表示qu[n]被探测过,当
Figure BDA0002451151550000125
时表示qu[n]没有被探测过,υ∈{0,1,2,…,M},υ表示被探测过的子区域数量,M表示待探测区域包括的子区域的个数;
步骤B:定义动作An,其中,An∈A(Sn),A(Sn)表示处于Sn状态下时无人机可执行的动作,所述可执行的动作包括前进、后退、左转、右转中的至少一种;
步骤C:定义实时奖励rn=-θE[n],其中,θ是与下一状态有关的参数,若下一状态的
Figure BDA0002451151550000126
则θ<0,若下一状态的
Figure BDA0002451151550000127
且υ≠M则θ>0,若下一状态的
Figure BDA0002451151550000128
且υ=M则θ<<0,θ<<0表示无人机结束探测任务,否则θ>>0,θ>>0表示无人机遇到障碍,E[n]表示无人机在第n个时隙完成探测任务的驱动能耗;
步骤D:定义长期折扣奖励
Figure BDA0002451151550000129
其中,γ∈[0,1],γ表示未来奖励的现值的折扣因子,rn+t表示无人机在第n个时隙执行当前定义的动作后在第n个时隙后的t时长对应的时刻将得到的实时奖励。
在一种实施方式中,步骤S142,可以按以下步骤实现:
基于上述状态、动作及奖励函数,确定策略π(a|s)=P(An=a|Sn=s),该策略π(a|s)表示:选择状态为s的动作a,通过估算最佳作用值函数实现最大化预期的长期折现奖励Q*(s,a)=maxπQπ(s,a),其中Qπ(s,a)=Eπ{Gn|Sn=s,An=a},Eπ{Gn|Sn=s,An=a}表示长期折扣奖励期望。
在一种实现方法,可以根据贝尔曼优化方程定义Q*(s,a)为:
Q*(s,a)=∑s′,rP(s′,r|s,a)(r+γmaxa′Q*(s′,a′)) (8)
其中,s′表示状态s的下一状态,a′表示动作a的下一动作,当s为结束状态时Q(s|·)=0。
考虑无人机对待探测区域没有先验知识,可以结合ε-贪心策略,通过无人机与环境交互试错的方式完成学习,进行作用值函数更新,作用值函数可以通过以下表达式更新:
Q(s,a)←Q(s,a)+η(r+γmaxa′Q(s′,a′)-Q(s,a)) (9)
其中,0<η<1,η为学习速率。
在一种实施方式中,最佳策略π*(a|s)的可以按以下表达式确定:
Figure BDA0002451151550000131
基于上述强化学习算法,可以得到最佳策略,求解无人机探测轨迹的次优解
Figure BDA0002451151550000132
从而使得无人机飞行能耗最小化。
如图2所示,图2为本发明实施例提供的无人机控制方法的一种应用场景的示意图,其中,数据中心为空中基站1,空中基站1悬停在空中并释放无人机2,无人机2所处的位置的坐标为(xu,yu,zu),空中基站1负责接收无人机2发送的探测数据并向卫星3回传;无人机2负责采集待探测区域内的数据,将待探测区域内的图像信息、温度信息、湿度信息、声音信息等数据发送给空中基站1;待探测区域包括起飞/降落子区域、已探测子区域、当前所处子区域、可飞行子区域、障碍/不可飞行子区域等子区域。
图2中,空中基站1悬停于坐标(x0,y0,z0)处,无人机2从起飞/降落位置出发,逐个对各子区域进行探测,最终回到起飞/降落位置。具体的:空中基站1释放无人机2,无人机2从在完成坐标为(xm,ym,zm)的探测点的探测任务后,移动到与该探测点相邻的子区域内的探测点继续探测,并将采集到的数据实时发送给空中基站1,完成除障碍/不可飞行的子区域外的其他可飞行的子区域探测任务后,回到起飞/降落位置,完成探测任务。
本发明实施例还提供了一种无人机控制装置,如图5所示,所述装置包括:
时长获取单元510,用于获取待探测区域以及完成探测任务的限制时长,其中,所述待探测区域被划分为多个子区域;
数据量获取单元520,用于获取所述子区域对应的最少数据量,其中,所述最少数据量为:满足探测任务需采集的子区域内的最少数据量;
时长确定单元530,用于将限制时长平均分为N份,得到时隙长度为δt的N个时隙,并将δt确定为所述子区域对应的传输时长,其中,所述传输时长为:无人机向数据中心传输在子区域内采集的数据所用的时长,N为正整数,且N的取值不小于所述待探测区域被划分的子区域的个数;
第一控制单元540,用于控制无人机在所述子区域内采集该子区域对应的最少数据量的数据,并控制所述无人机使用该子区域对应的传输时长向数据中心实时传输在该子区域所采集的数据。
在一种实施方式中,所述装置还可以包括:
轨迹确定单元,用于以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,其中,所述驱动能耗包括:飞行能耗与通信能耗,所述飞行能耗为:无人机在飞行过程中维持飞行状态所消耗的能量,所述通信能耗为:无人机在探测过程中与数据中心进行数据传输所消耗的能量;
第二控制单元,用于针对每一子区域,当监测到无人机完成向数据中心传输所采集的数据后,控制无人机按所述飞行轨迹飞行至该子区域的下一子区域进行探测。
在一种实施方式中,所述轨迹确定单元,具体用于:
以使得无人机的驱动能耗最小为原则、且基于飞行轨迹的约束条件,确定无人机从开始飞行到飞行结束的飞行轨迹;
其中,所述约束条件包括:无人机开始飞行的位置、无人机结束飞行的位置、与待探测区域内最接近所述数据中心的点的位置相同,无人机当前所处的子区域与无人机上一次进行数据采集所处的子区域为相邻的子区域,无人机在飞行过程中所处的位置位于所述待探测区域内。
本发明实施例还提供了一种控制设备设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601、通信接口602、存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现上述任一项提供的无人机控制方法。
上述控制设备设备中提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项提供的无人机控制方法。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一项提供的无人机控制方法。
对于装置/控制设备/存储介质/程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种无人机控制方法,其特征在于,所述方法包括:
获取待探测区域以及完成探测任务的限制时长,其中,所述待探测区域被划分为多个子区域;
获取所述子区域对应的最少数据量,其中,所述最少数据量为:满足探测任务需采集的子区域内的最少数据量;
将限制时长平均分为N份,得到时隙长度为δt的N个时隙,并将δt确定为所述子区域对应的传输时长,其中,所述传输时长为:无人机向数据中心传输在子区域内采集的数据所用的时长,N为正整数,且N的取值不小于所述待探测区域被划分的子区域的个数;
控制无人机在所述子区域内采集该子区域对应的最少数据量的数据,并控制所述无人机使用该子区域对应的传输时长向数据中心实时传输在该子区域所采集的数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,其中,所述驱动能耗包括:飞行能耗与通信能耗,所述飞行能耗为:无人机在飞行过程中维持飞行状态所消耗的能量,所述通信能耗为:无人机在探测过程中与数据中心进行数据传输所消耗的能量;
针对每一子区域,当监测到无人机完成向数据中心传输所采集的数据后,控制无人机按所述飞行轨迹飞行至该子区域的下一子区域进行探测。
3.根据权利要求2所述的方法,其特征在于,所述以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,包括:
以使得无人机的驱动能耗最小为原则、且基于飞行轨迹的约束条件,确定无人机从开始飞行到飞行结束的飞行轨迹;
其中,所述约束条件包括:无人机开始飞行的位置、无人机结束飞行的位置、与待探测区域内最接近所述数据中心的点的位置相同,无人机当前所处的子区域与无人机上一次进行数据采集所处的子区域为相邻的子区域,无人机在飞行过程中所处的位置位于所述待探测区域内。
4.根据权利要求3所述的方法,其特征在于,所述约束条件还包括:无人机在飞行过程中所处的位置位于所述待探测区域内的各探测点,所述探测点为:所述子区域的中心点。
5.根据权利要求2所述的方法,其特征在于,所述以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,包括:
将最小化无人机驱动能耗建模为马尔可夫决策过程,得到马尔可夫决策过程所定义的状态、动作及奖励函数;
基于所述状态、动作及奖励函数,使用强化学习算法得到最小化无人机的驱动能耗时无人机的飞行轨迹。
6.根据权利要求5所述的方法,其特征在于,所述将最小化无人机驱动能耗建模为马尔可夫决策过程,得到马尔可夫决策过程所定义的状态、动作及奖励函数,包括:
定义状态
Figure FDA0002942710430000021
其中,qu[n]表示无人机在第n个时隙所处的子区域,n的取值从1至N,
Figure FDA0002942710430000022
表示qu[n]是否被探测过,
Figure FDA0002942710430000023
Figure FDA0002942710430000024
时表示qu[n]被探测过,当
Figure FDA0002942710430000025
时表示qu[n]没有被探测过,υ∈{0,1,2,...,M},υ表示被探测过的子区域数量,M表示待探测区域包括的子区域的个数;
定义动作An,其中,An∈A(Sn),A(Sn)表示处于Sn状态下时无人机可执行的动作,所述可执行的动作包括前进、后退、左转、右转中的至少一种;
定义实时奖励rn=-θE[n],其中,θ是与下一状态有关的参数,若下一状态的
Figure FDA0002942710430000026
则θ<0,若下一状态的
Figure FDA0002942710430000027
且υ≠M则θ>0,若下一状态的
Figure FDA0002942710430000028
且υ=M则θ<<0,θ<<0表示无人机结束探测任务,否则θ>>0,θ>>0表示无人机遇到障碍,E[n]表示无人机在第n个时隙完成探测任务的驱动能耗;
定义长期折扣奖励
Figure FDA0002942710430000029
其中,γ∈[0,1],γ表示未来奖励的现值的折扣因子,rn+t表示无人机在第n个时隙执行当前定义的动作后在第n个时隙后的t时长对应的时刻将得到的实时奖励。
7.一种无人机控制装置,其特征在于,所述装置包括:
时长获取单元,用于获取待探测区域以及完成探测任务的限制时长,其中,所述待探测区域被划分为多个子区域;
数据量获取单元,用于获取所述子区域对应的最少数据量,其中,所述最少数据量为:满足探测任务需采集的子区域内的最少数据量;
时长确定单元,用于将限制时长平均分为N份,得到时隙长度为δt的N个时隙,并将δt确定为所述子区域对应的传输时长,其中,所述传输时长为:无人机向数据中心传输在子区域内采集的数据所用的时长,N为正整数,且N的取值不小于所述待探测区域被划分的子区域的个数;
第一控制单元,用于控制无人机在所述子区域内采集该子区域对应的最少数据量的数据,并控制所述无人机使用该子区域对应的传输时长向数据中心实时传输在该子区域所采集的数据。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
轨迹确定单元,用于以最小化无人机的驱动能耗为原则,确定无人机从开始飞行到飞行结束的飞行轨迹,其中,所述驱动能耗包括:飞行能耗与通信能耗,所述飞行能耗为:无人机在飞行过程中维持飞行状态所消耗的能量,所述通信能耗为:无人机在探测过程中与数据中心进行数据传输所消耗的能量;
第二控制单元,用于针对每一子区域,当监测到无人机完成向数据中心传输所采集的数据后,控制无人机按所述飞行轨迹飞行至该子区域的下一子区域进行探测。
9.根据权利要求8所述的装置,其特征在于,所述轨迹确定单元,具体用于:
以使得无人机的驱动能耗最小为原则、且基于飞行轨迹的约束条件,确定无人机从开始飞行到飞行结束的飞行轨迹;
其中,所述约束条件包括:无人机开始飞行的位置、无人机结束飞行的位置、与待探测区域内最接近所述数据中心的点的位置相同,无人机当前所处的子区域与无人机上一次进行数据采集所处的子区域为相邻的子区域,无人机在飞行过程中所处的位置位于所述待探测区域内。
10.一种控制设备,其特征在于,包括处理器、通信接口、存储器和通信总线;
其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1至6任一项所述的无人机控制方法。
CN202010293107.5A 2020-04-15 2020-04-15 一种无人机控制方法、装置及控制设备 Active CN111443731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010293107.5A CN111443731B (zh) 2020-04-15 2020-04-15 一种无人机控制方法、装置及控制设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010293107.5A CN111443731B (zh) 2020-04-15 2020-04-15 一种无人机控制方法、装置及控制设备

Publications (2)

Publication Number Publication Date
CN111443731A CN111443731A (zh) 2020-07-24
CN111443731B true CN111443731B (zh) 2021-06-18

Family

ID=71654161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010293107.5A Active CN111443731B (zh) 2020-04-15 2020-04-15 一种无人机控制方法、装置及控制设备

Country Status (1)

Country Link
CN (1) CN111443731B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880572B (zh) * 2020-08-20 2024-03-15 中国电子科技集团公司第五十四研究所 一种多无人机安全通行狭窄出入口的协同调度方法
CN113793234B (zh) * 2021-11-16 2022-02-15 中通服建设有限公司 基于数字孪生技术的智慧园区平台

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515163A (zh) * 2009-04-03 2009-08-26 北京航空航天大学 一种时分体制下无人机数据链点对点通信的自同步方法
CN107493457A (zh) * 2017-09-06 2017-12-19 天津飞眼无人机科技有限公司 一种无人机监视系统
CN107809277A (zh) * 2017-10-17 2018-03-16 安徽工业大学 一种基于无人机和无线设备的应急救援通信网络及组网方法
CN108521667A (zh) * 2018-03-07 2018-09-11 杭州电子科技大学 一种低传输能耗的无人机数据传输方法
CN108632831A (zh) * 2018-05-11 2018-10-09 南京航空航天大学 一种基于动态航迹的无人机群频谱资源分配方法
CN108803667A (zh) * 2018-05-30 2018-11-13 北京邮电大学 一种无人机协同监测与跟踪方法
CN108924792A (zh) * 2018-07-20 2018-11-30 沈阳航空航天大学 一种减小数据传输能耗的最优停止中继选择方法
CN109067490A (zh) * 2018-09-29 2018-12-21 郑州航空工业管理学院 蜂窝网联下多无人机协同移动边缘计算系统资源分配方法
CN109445313A (zh) * 2018-12-12 2019-03-08 仲恺农业工程学院 任务驱动的动态自适应环境感知移动机器人及系统、方法
CN110049448A (zh) * 2019-04-22 2019-07-23 福州大学 一种基于无人机群的无线传感网数据收集方法
CN110264758A (zh) * 2019-05-27 2019-09-20 北京邮电大学 基于微云的车辆信息处理与交互方法、处理与交互系统
WO2019193456A1 (en) * 2018-04-05 2019-10-10 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing airborne status indication and related wireless devices and network nodes
WO2019199214A1 (en) * 2018-04-13 2019-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for categorising wireless devices
CN110414722A (zh) * 2019-07-08 2019-11-05 中国人民解放军陆军工程大学 基于能耗公平的无人机协同侦察路径规划方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868455B (zh) * 2019-10-29 2021-01-01 北京邮电大学 一种基于空天地远程物联网的计算卸载方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515163A (zh) * 2009-04-03 2009-08-26 北京航空航天大学 一种时分体制下无人机数据链点对点通信的自同步方法
CN107493457A (zh) * 2017-09-06 2017-12-19 天津飞眼无人机科技有限公司 一种无人机监视系统
CN107809277A (zh) * 2017-10-17 2018-03-16 安徽工业大学 一种基于无人机和无线设备的应急救援通信网络及组网方法
CN108521667A (zh) * 2018-03-07 2018-09-11 杭州电子科技大学 一种低传输能耗的无人机数据传输方法
WO2019193456A1 (en) * 2018-04-05 2019-10-10 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing airborne status indication and related wireless devices and network nodes
WO2019199214A1 (en) * 2018-04-13 2019-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for categorising wireless devices
CN108632831A (zh) * 2018-05-11 2018-10-09 南京航空航天大学 一种基于动态航迹的无人机群频谱资源分配方法
CN108803667A (zh) * 2018-05-30 2018-11-13 北京邮电大学 一种无人机协同监测与跟踪方法
CN108924792A (zh) * 2018-07-20 2018-11-30 沈阳航空航天大学 一种减小数据传输能耗的最优停止中继选择方法
CN109067490A (zh) * 2018-09-29 2018-12-21 郑州航空工业管理学院 蜂窝网联下多无人机协同移动边缘计算系统资源分配方法
CN109445313A (zh) * 2018-12-12 2019-03-08 仲恺农业工程学院 任务驱动的动态自适应环境感知移动机器人及系统、方法
CN110049448A (zh) * 2019-04-22 2019-07-23 福州大学 一种基于无人机群的无线传感网数据收集方法
CN110264758A (zh) * 2019-05-27 2019-09-20 北京邮电大学 基于微云的车辆信息处理与交互方法、处理与交互系统
CN110414722A (zh) * 2019-07-08 2019-11-05 中国人民解放军陆军工程大学 基于能耗公平的无人机协同侦察路径规划方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Near-Optimal UAV-Aided Radio Coverage Strategy for Dense Urban Areas;Xiaowei Li etal.;《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》;20191231;第9098-9109页 *
Striking a Balance Between System Throughput and Energy Efficiency for UAV-IoT Systems;Xiaohui Lin etal.;《IEEE INTERNET OF THINGS JOURNAL》;20191231;第10519-10533页 *
基于移动边缘计算的无人机能耗优化研究;燕武;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200115;第C031-225页 *
空地协作组网的无人机位置部署及能量优化机制研究;郜富晓;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200115;第C034-1016页 *
能量受限的微型无人机移动策略研究;徐马蒙等;《电子设计工程》;20161031;第56-58页 *
负载感知的异构无线网络协同休眠节能算法;苗杰等;《北京邮电大学学报》;20121231;第97-101页 *

Also Published As

Publication number Publication date
CN111443731A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111443731B (zh) 一种无人机控制方法、装置及控制设备
EP3165981B1 (en) Experimental real-time performance enhancement for aircraft
US10048686B2 (en) Methods and apparatus to autonomously navigate a vehicle by selecting sensors from which to obtain measurements for navigation
CN107111794B (zh) 预测和利用地图服务中出行时间的可变性
US20200300495A1 (en) Prediction method, model learning method, and non-transitory computer-readable storage medium for storing prediction program
CN110190888B (zh) 一种基于信息时效性的无人机信息收集方法及装置
US20130158751A1 (en) Stand Alone Aircraft Flight Data Transmitter
CN108733868B (zh) 用于基于飞行数据的参数调谐和配置的方法和系统
US7539653B2 (en) Document clustering
US20150106313A1 (en) Predictive modeling of high-bypass turbofan engine deterioration
US11704943B2 (en) Usage-based maintenance service system
CN115980742B (zh) 一种用于无人飞行器的雷达探测方法及装置
Lee et al. Learning to schedule joint radar-communication requests for optimal information freshness
CN114265434B (zh) 飞行控制方法、装置、电子设备及可读存储介质
CN116225053A (zh) 一种面向任务分级目标运动特性的跟踪轨迹优化方法
CN114326809A (zh) 返航点确定方法、装置、电子设备及可读存储介质
Fan et al. NLOS Error Mitigation Using Weighted Least Squares and Kalman Filter in UWB Positioning
CN111902851B (zh) 学习用数据生成方法、学习用数据生成装置以及学习用数据生成程序
EP4343609A1 (en) Aircraft performance model based on historical flight data
Wang et al. A VB-IMM filter for ADS-B data
CN117289725B (zh) 无人机分布式通算一体资源调度方法和装置
JP6929908B2 (ja) 積雪量分布推定装置及び方法
US20230394977A1 (en) Machine Learning System For Sound Exposure Level Prediction
US20230394978A1 (en) Machine Learning System For Maximum Sound Pressure Level Prediction
US20220253573A1 (en) People flow estimation device, people flow estimation method, and people flow estimation program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant