CN108832995A - 基于动态规划的无人机协同消息传输方法 - Google Patents

Abstract

基于动态规划的无人机协同消息传输方法，包括以下步骤：步骤一、定义状态函数，得到状态转移方程及状态转移方程的边界条件；步骤二、采集所有时刻所有无人机的位置，并进行条件设置；步骤三、计算无人机间的距离，得到每个无人机当前时刻可通信的邻居节点；步骤四、根据状态转移方程得到当前时刻的传输下一跳，直至迭代更新完所有时刻，得到无人机每一时刻的最优消息传输对象。本发明运用动态规划的思想将问题拆分，定义问题状态和状态之间的关系，使问题能够以递推的方式去解决，从而得知无人机在哪一时刻将消息传输给哪一跳无人机所产生的消息延迟最小，从而减少消息传输的时间延迟，减少因消息传输“乒乓效应”带来的能源损耗。

Description

基于动态规划的无人机协同消息传输方法

技术领域

本发明属于无人机的通信领域，具体涉及基于动态规划的无人机协同消息传输方法，通过将动态规划思想运用到基于任务驱动的无人机协同消息传输中，减少了无人机消息传输的延迟时间，减少了因传输“乒乓效应”而造成的资源浪费。

背景技术

无人机是全球新一轮科技革命和产业革命的热点，其产业发展关乎国家利益、公民权益。由于无人机具有成本相对较低、无人员伤亡风险、生存能力强、机动性能好、使用方便等特征，特别是在许多复杂、危险的空中活动中更具备独特优势，在影视航拍、传统农林业、工业作业、灾害救援、公共安全以及消费娱乐业领域得到广泛应用。然而对于很多任务，单一无人机的能力有限，往往需要一个无人机组协同作业完成任务。此时，无人机组如何根据无人机组网络特性运用路由算法将消息快速传回到地面站就成了一个重要的技术问题。

无人机组网络是一种无线自组织网络，无人机组通过创建一个临时的、多跳的方式来提供一个区域内的连接和高吞吐量的传输无线网络。然而，由于无人机的高度移动导致的经常改变的无人机链路质量和断开连接对终端传输的影响超过传统的移动自组织网络。无人机网络中的包转发涉及移动自组织网络(MANET)中的路由协议。然而，无人机网络的频繁拓扑变化、快速移动和不稳定的无线链路条件使得现有的MANET路由算法导致分组投递率较低，端到端时延较高以及缺少网络安全保障等许多问题，影响了无人机自组网的通信性能。无人机网络的这种特殊设置需要重新思考路由协议。在现有的路由方案中，传统的信源、距离向量、链路状态自组织路由协议在高度动态的环境中不适用，因为它们需要一个端到端的路径和一定程度的链路稳定性来收敛。

到目前为止，有少量文献对无人机自组织网络路由进行了探索。例如，由于诸如由全球定位系统(GPS)提供的无人机的位置信息是可用的，有文献认为基于将节点转发到节点的地理路由在空间上更接近目的地是一个可行的方法。但是，对于面临间歇性连接的网络来说，纯粹的地理路由是不够的。有文献考虑了一种已知的间歇性连接的方法是延迟容忍网络(DTN)，它原则上适用于无人机网络，但是纯粹的DTN概念通常使用基于关于移动节点的有限泛洪并且长时间断开。有文献考虑将地理路由和DTN相结合，但DTNgeo算法只考虑到当前时刻的无人机位置，选择这一时刻距离目标节点较近的无人机进行传输，没有考虑无人机不断变化的位置信息，导致消息传输的时间延迟和乒乓效应。

发明内容

本发明针对现有技术中的不足，提供一种基于动态规划的无人机协同消息传输方法。

为实现上述目的，本发明采用以下技术方案：

基于动态规划的无人机协同消息传输方法，其特征在于，包括以下步骤：

步骤一、定义状态函数，得到状态转移方程及状态转移方程的边界条件；

步骤二、采集所有时刻所有无人机的位置，并进行条件设置；

步骤三、计算无人机间的距离，得到每个无人机当前时刻可通信的邻居节点；

步骤四、根据状态转移方程得到当前时刻的传输下一跳，直至迭代更新完所有时刻，得到无人机每一时刻的最优消息传输对象。

为优化上述技术方案，采取的具体措施还包括：

步骤一中，定义状态函数F(UAVID，TIME)，其中，UAVID表示无人机ID，定义地面站为特殊的UAVID为0，其他无人机的ID为1～n，n为执行任务的无人机的个数；TIME表示时刻，无人机在TIME时刻产生需发送到地面站的数据；F表示在TIME时刻无人机产生的数据最早到达地面站的时刻；

根据状态函数，分析得出状态转移方程：

其中，当前可与无人机i进行通信的节点为{neighbours}，即对于任意j∈{neighbours}，无人机j都可以与无人机i进行通信；t表示当前时刻，t+1表示下一时刻，函数F表示到达地面站的时刻最早，F(i，t+1)表示携带该数据到下一时刻，下一时刻的数据传输到地面站的最早时间，表示任意的邻居节点数据传输到地面站的最早时间；

得到状态转移方程的边界条件：

当i＝0时，F(0，t)＝t，该数据到达地面站的最早时刻为t；

当t≥T_max时，F(i，t)＝∞，即任务结束时还没有传递到地面站的数据最早传回地面站的时刻为无穷大，T_max表示任务的执行时间。

步骤二中，地面站根据无人机的运动轨迹得到所有无人机所有时刻的位置，设置无人机的ID，地面站ID，最大通信半径Range；设置当前时间为0时刻，任务执行结束时刻T_max，设定初始时刻等于T_max，由任务结束时刻往前回推，设置邻接矩阵d[n][n]表示无人机之间的距离，设置矩阵a[n][T_max]存储状态转移函数的值，设置数组next[n][T_max]表示每一时刻的下一跳选择。

步骤三中，计算t时刻任意无人机i与其余任意无人机j的欧式距离d_ij，若d_ij≤Range，则无人机i与无人机j可进行通信，将d_ij的值存入邻接矩阵d[i][j]中，并将j并入集合表示i的邻居节点集合；否则，令d[i][j]＝∞。

步骤四中，用Dijkstra算法计算以地面站为源点到其他所有无人机的最短距离，若最短距离存在，则该无人机i与地面站存在端到端连接，则F[i，t]＝t，a[i][t]＝t；否则a[i][t]＝∞；

根据状态转移方程，由任务结束时刻往前回推，首先比较所有a[i][t+1]和a[i][t]，若a[i][t+1]＜a[i][t]，则令a[i][t]＝a[i][t+1]，next[i][t]＝next[i][t+1]；然后比较a[i][t]和的值，若a[i][t]＜a[j][t]，则令a[j][t]＝a[i][t]，next[j][t]＝i；

将t往回退一个时刻，即令t＝t-1，并判断是否到达开始0时刻，若t＞0，重复步骤三和步骤四；否则结束操作。

本发明的有益效果是：在无人机任务驱动的条件下，通过知道无人机所有时刻的所有位置，运用动态规划的思想将问题拆分，定义问题状态和状态之间的关系，使问题能够以递推的方式去解决，从而得知无人机在哪一时刻将消息传输给哪一跳无人机所产生的消息延迟最小，减少消息传输的时间延迟，减少因消息传输“乒乓效应”带来的能源损耗。仿真结果证明，该方法能减少消息的传输延迟时间，并且与之前的算法相比产生“乒乓”的比例为0。

附图说明

图1为无人机组协同消息传输的场景图。

图2为基于动态规划的无人机协同消息传输方法的流程图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明提出了一种基于动态规划的无人机协同消息传输方法，应用领域为无人机组的消息路由。由于无人机消息传输满足以下两种特性：1)无后效性：当前t时刻消息传输只会考虑以后时刻的无人机位置，而不会考虑t时刻之前的无人机位置；2)最优子结构：无人机传输消息只要保证每一跳传输最快，则总的消息传输肯定是最快的。

所以考虑用动态规划的思想解决无人机消息传输问题。动态规划思想是将问题进行拆分，拆分为多个形式相同规模较小的子问题，然后再对子问题进行拆分，直至子问题成为我们可以显而易见的解决的简单问题，则初始的问题得到解决。在运用动态规划思想时首先根据问题定义问题状态和状态之间的关系，即状态转移方程，使得问题能够以递推的方式去解决。从而得知无人机每一时刻应将消息传输给哪一跳所带来的消息延迟最小，使消息能尽快到达目的节点。

因此，本方法的核心步骤如下：

1、定义状态函数；

2、得到状态转移方程；

3、得到状态转移方程的边界条件。

其中，每一步的详细描述如下：

1、无人机路由的本质是如何规划好无人机每一时刻的消息传输节点，使消息到达地面站的时刻最早，即只要知道每一时刻将消息传输给哪一跳无人机即可。

所以我们定义状态函数：F(UAVID，TIME)

其中UAVID表示无人机ID，我们定义地面站为特殊的UAVID为0，其他UAV的ID为1～n(n为执行任务的无人机的个数)；TIME表示时刻，无人机在TIME时刻产生需发送到地面站的数据包；F表示在TIME时刻无人机UAVID产生的数据包最早到达地面站的时刻。

2、根据所得的状态函数，分析得出状态转移方程，具体如下：

由于无人机相互传递消息速度极快，我们假设消息在无人机之间的传递不消耗时间。定义当前可与无人机i进行通信的节点为{neighbours}，即对于任意j∈{neighbours}，无人机j都可以与无人机i进行通信。当前t时刻无人机i产生了一个数据包后，对于该数据包，无人机i的处理策略无非是选择：

1)携带该数据包到下一时刻，即t+1时刻，然后再做打算；

2)在t时刻将该数据包传给它的邻居节点，由它的邻居来考虑如何将该数据包最优的传输回地面站。

选择哪种策略作为当前时刻无人机的消息传输选择，无非是考虑哪种策略所造成的时间延迟少，即函数F所表示的到达地面站的时刻最早，所以我们得到状态转移方程如下：

在方程中我们枚举了这两种处理策略中的所有可能，找出一个能够最快到达地面站的方案即为最优的策略。F(i，t+1)表示携带该数据到下一时刻，下一时刻的数据传输到地面站的最早时间，表示任意的邻居节点j数据传输到地面站的最早时间。在执行该策略的同时，使用一个数组next记录每个节点选择的下一跳即可。

3、得到状态转移方程的边界条件

当消息传输到地面站时，消息传输过程结束，且传输到地面站的时刻为当前的最早时刻。所以在状态函数中，当i＝0时，F(0，t)＝t，该数据包到达地面站的最早时刻即为t。同时定义任务的执行时间T_max，若消息在任务执行时间结束时还没有传输到地面站，则认为该消息传输失败。所以在状态函数中，当t≥T_max时，F(i，t)＝∞，即当任务结束时还没有传递到地面站的消息最早传回地面站的时刻为最大值。

为了方便叙述和实验，下述的示例说明基于实验的2D飞行轨迹而设计的，对3D的扩展也是可能的。

1、地面站根据图1所示的无人机的运动轨迹得到所有无人机所有时刻的位置，设置该示例中无人机的ID范围为1～13，地面站的ID为0，最大通信半径Range＝200m。设置当前时间为0时刻，任务执行结束时刻T_max＝480，即任务的执行时长为480s，为了减少计算的时间复杂度和空间复杂度，在实际计算时由任务结束时刻往回追溯，所以令初始时刻等于T_max。设置邻接矩阵d[n][n]表示无人机间的距离，n表示无人机的个数。设置时间间隔为1s，设置矩阵a[n][T_max]存储状态转移函数的值，这里定义的时间间隔为1s，所以时间间隔的个数等于T_max，设置next[n][T_max]表示每一时刻的下一跳。

2、计算t时刻任意无人机i与其余任意无人机j的欧式距离d_ij，若d_ij≤Range，则无人机i与无人机j可进行通信，将d_ij的值存入邻接矩阵d[i][j]中，并将j并入集合表示i的邻居节点集合；否则，令d[i][j]＝∞。

3、用Dijkstra算法计算以地面站为源点到其他所有无人机的最短距离，若最短距离存在，则该无人机与地面站存在端到端连接，即无人机i若能与地面站进行端到端连接，则F[i，t]＝t，a[i][t]＝t；否则a[i][t]＝∞。

4、根据状态转移方程：

由于时间由后往前回推，首先比较所有a[i][t+1]和a[i][t]，若a[i][t+1]＜a[i][t]，则令a[i][t]＝a[i][t+1]，next[i][t]＝next[i][t+1]；然后比较a[i][t]和的值，若a[i][t]＜a[j][t]，则令a[j][t]＝a[i][t]，next[j][t]＝i。

5、将t往回退一个时刻，即令t＝t-1，并判断是否到达开始0时刻，若t＞0，重复步骤2、3、4、5；否则进入步骤6。

6、由于全局预测无人机所有时刻的所有位置，无人机在执行任务时按照上述过程得到的每一时刻的传输对象进行消息传输，消息的传输路径为最优且会避免传输的“乒乓”效应，得到少的消息传输延迟。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.基于动态规划的无人机协同消息传输方法，其特征在于，包括以下步骤：

步骤一、定义状态函数，得到状态转移方程及状态转移方程的边界条件；

步骤二、采集所有时刻所有无人机的位置，并进行条件设置；

步骤三、计算无人机间的距离，得到每个无人机当前时刻可通信的邻居节点；

步骤四、根据状态转移方程得到当前时刻的传输下一跳，直至迭代更新完所有时刻，得到无人机每一时刻的最优消息传输对象。

2.如权利要求1所述的基于动态规划的无人机协同消息传输方法，其特征在于：步骤一中，定义状态函数F(UAVID，TIME)，其中，UAVID表示无人机ID，定义地面站为特殊的UAVID为0，其他无人机的ID为1～n，n为执行任务的无人机的个数；TIME表示时刻，无人机在TIME时刻产生需发送到地面站的数据；F表示在TIME时刻无人机产生的数据最早到达地面站的时刻；

根据状态函数，分析得出状态转移方程：

其中，当前可与无人机i进行通信的节点为{neighbours}，即对于任意j∈{neighbours}，无人机j都可以与无人机i进行通信；t表示当前时刻，t+1表示下一时刻，函数F表示到达地面站的时刻最早，F(i，t+1)表示携带该数据到下一时刻，下一时刻的数据传输到地面站的最早时间，表示任意的邻居节点数据传输到地面站的最早时间；

得到状态转移方程的边界条件：

当i＝0时，F(0，t)＝y，该数据到达地面站的最早时刻为y；

当t≥T_max时，F(i，t)＝∞，即任务结束时还没有传递到地面站的数据最早传回地面站的时刻为无穷大，T_max表示任务的执行时间。

3.如权利要求2所述的基于动态规划的无人机协同消息传输方法，其特征在于：步骤二中，地面站根据无人机的运动轨迹得到所有无人机所有时刻的位置，设置无人机的ID，地面站ID，最大通信半径Range；设置当前时间为0时刻，任务执行结束时刻T_max，设定初始时刻等于T_max，由任务结束时刻往前回推，设置邻接矩阵d[n][n]表示无人机之间的距离，设置矩阵a[n][T_max]存储状态转移函数的值，设置数组next[n][T_max]表示每一时刻的下一跳选择。

4.如权利要求3所述的基于动态规划的无人机协同消息传输方法，其特征在于：步骤三中，计算t时刻任意无人机i与其余任意无人机j的欧式距离d_ij，若d_ij≤Range，则无人机i与无人机j可进行通信，将d_ij的值存入邻接矩阵d[i][j]中，并将j并入集合 表示i的邻居节点集合；否则，令d[i][j]＝∞。

5.如权利要求4所述的基于动态规划的无人机协同消息传输方法，其特征在于：步骤四中，用Dijkstra算法计算以地面站为源点到其他所有无人机的最短距离，若最短距离存在，则该无人机i与地面站存在端到端连接，则F[i，t]＝t，a[i][t]＝t；否则a[i][t]＝∞；

根据状态转移方程，由任务结束时刻往前回推，首先比较所有a[i][t+1]和a[i][t]，若a[i][t+1]＜a[i][t]，则令a[i][t]＝a[i][t+1]，next[i][t]＝next[i][t+1]；然后比较a[i][t]和a[j][t]的值，若a[i][t]＜a[j][t]，则令a[j][y]＝a[i][t]，next[j][t]＝i；

将t往回退一个时刻，即令t＝t-1，并判断是否到达开始0时刻，若t＞0，重复步骤三和步骤四；否则结束操作。