CN109034376A - 一种基于lstm的无人机飞行状态预测方法及系统 - Google Patents

Abstract

本发明提供一种基于LSTM的无人机飞行状态预测方法及系统。本发明方法，包括：步骤1：构建动作标签字典；步骤2：采集无人机飞行状态信息以及动作数据；步骤3：针对采集的每一种无人机飞行状态信息进行预处理；步骤4：形成数据矩阵形式的数据集；步骤5：将数据集中的数据组随机划分70％作为训练集，30％作为验证集；训练得到引入方差的长短期记忆网络LSTM改进模型；步骤6：利用验证集，对模型超参数进行调优得到最终模型；步骤7：采集需要预测的当前时刻无人机的无人机飞行状态信息，依次进行预处理和滤波处理后输入最终模型得到无人机飞行动作预测结果。本发明的技术方案解决了现有的控制模型无法根据采集到的飞行状态数据预测飞行动作的问题。

Description

一种基于LSTM的无人机飞行状态预测方法及系统

技术领域

本发明涉及无人机飞行控制技术领域，具体而言，尤其涉及一种基于 LSTM的无人机飞行状态预测方法及系统。

背景技术

十多年前，无人机的发展初期人们更多考虑的是如何让无人机稳定得飞 起来、飞得更快、飞得更高，但随着芯片、人工智能、大数据技术的发展， 无人机开始进入了智能化、终端化、集群化的发展趋势，无人机从远离人们 视野的军事应用飞入了寻常百姓家，让门外汉可以短暂的学习，也能稳定可 靠的飞行娱乐，这其中不可否认的是，飞行控制技术的发展是这十年无人机 变化的最大推手。无人机的飞行控制是无人机研究领域主要问题之一，无人 机在飞行过程中会受到各种干扰，如传感器的噪音与漂移、强风与乱气流、 载重量变化及倾角过大引起的模型变动等等，这些都会严重影响飞行器的飞 行品质，因此无人机的控制技术便显得尤为重要。

传统的控制方法主要集中于姿态和高度的控制，除此之外还有一些对速 度、位置、航向、3D轨迹跟踪的控制，传统的PID控制方法结构简单，但当 被控对象具有复杂的非线性特性、难以简历精确的数学模型时，往往难以达 到满意的控制效果。通过神经网络自适应技术能有效实现多种不确定、难以 确切描述的非线性复杂过程的控制，提高控制系统的鲁棒性、容错性，且控 制参数具有自适应和自学习能力。

早期的飞行控制硬件使用的是战斗机的飞行控制计算机，控制算法使用 的是分型模态分段辨识、建模、控制的方法，通过吹风洞、机理建模等方法， 知道飞行器在起飞、悬停、低速、中速、高速、下降、向左、向右、向前、 向后等不同飞行状态下的参数，在不同状态设计相应控制器，飞行器飞行过 程中不断切换控制方法或控制参数以保证飞行器处于理想状态，硬件经过长 期飞行验证，控制算法在设计模态内系统稳定性可以有效理论证明，但是缺 点在于无法预测实际飞行过程中可以经历的所有飞行动作。如今的大数据时 代，原始数据的重要性不言而喻，在实际场景中，无人机发展过程不应空泛 强调大数据的意义，而更应去获取飞行控制的更有效信息，并通过最佳的算 法对数据进行挖掘和分析，实现预测无人机飞行过程中可能经历的所有飞行 动作。

发明内容

根据上述提出现有的控制模型无法根据采集到的飞行状态数据预测飞行 过程中出现的动作的技术问题，而提供一种基于LSTM的无人机飞行状态预 测方法及系统。本发明主要利用引入方差的长短期记忆网络LSTM改进模型， 从而实现对无人机飞行动作的预测。

本发明采用的技术手段如下：

本发明提供了一种基于LSTM的无人机飞行动作预测方法，包括如下步 骤：

步骤1：构建用于将数值转化为动作标签的动作标签字典；

步骤2：按照相同的时间间隔，分别采集无人机飞行过程中多个时刻对 应的无人机飞行状态信息，以及各时刻对应的下一时刻的动作数据；通过动 作标签字典将动作数据转化为动作标签；

步骤3：针对采集的每一种无人机飞行状态信息，分别按照无人机飞行 状态信息的数据值升序排列后进行预处理，包括填补缺失值位置数据和替换 离群点数据；

步骤4：对动作标签进行one-hot编码，与预处理后的无人机飞行状态信 息一起形成数据矩阵形式的数据集，其中，每一行对应同一时刻的无人机飞 行状态信息和该时刻对应的下一时刻的动作标签对应的编码，每一列对应的 数据种类相同；

步骤5：将数据集中的数据组随机划分70％作为训练集，30％作为验证集； 将经过滤波处理后的训练集作为输入信息，训练得到引入方差的长短期记忆 网络LSTM改进模型，模型的输出信息为无人机飞行动作预测值；

步骤6：利用验证集，通过有限次试验对引入方差的长短期记忆网络 LSTM改进模型的模型超参数进行调优，从而实现对模型的优化，得到最终 模型；

步骤7：采集需要预测的当前时刻无人机的无人机飞行状态信息，依次 进行预处理和滤波处理后输入最终模型，得到无人机飞行动作预测值，通过 动作标签字典将无人机飞行动作预测值转化为动作标签，得到无人机飞行动 作预测结果。

进一步地，无人机飞行状态信息包括无人机头方向、无人机头到地面的 垂直距离、无人机飞行的侧偏夹角数据、无人机相对于惯性坐标系XOY平面 的夹角数据、偏航角度数据、滚转夹角数据、无人机在x、y、z三个飞行方 向的加速度数据、大气压数据、无人机发出的超声波频率数据、无人机的x、 y、z三轴飞行坐标数据和无人机速度数据；

动作数据包括无人机加速度数据和无人机x、y、z三轴方位数据；

动作标签包括与速度有关的动作和与方向有关的动作；与速度有关的动 作包括悬停、低速、中速和高速，与方向有关的动作包括下降、上升、向左、 向右、向前和向后。

进一步地，步骤1中，动作标签字典包括数值对应的索引值和与索引值 对应的动作标签组合。

进一步地，采集无人机飞行状态信息时，通过水平传感器采集无人机头 方向和无人机头到地面的垂直距离；通过垂直传感器采集无人机飞行的侧偏 夹角数据；通过俯仰传感器采集无人机相对于惯性坐标系XOY平面的夹角数 据；通过航向传感器采集偏航角度数据；通过滚转角速度传感器采集滚转夹 角数据；

通过角速度传感器采集无人机在x、y、z三个飞行方向的加速度数据； 通过气压计、超声波传感器和GPS定位器分别采集大气压数据、无人机发出 的超声波频率数据和无人机的x、y、z三轴飞行坐标数据；以及通过惯性测 量单元采集无人机当前速度；

采集动作数据时，通过重力感应器采集的无人机加速度数据，通过地磁 感应器采集的无人机x、y、z三轴方位数据。

进一步地，步骤3中预处理过程具体包括：

(1)当某一种飞行状态信息中出现缺失值，如果为中间位置数据，则取 缺失值位置相邻的两个数据的平均值填补缺失值位置数据；如果为第一个或 最后一个位置数据，则采用包括缺失值位置数据在内的相邻的三个数据中， 两两相邻的数据差相同的方法，填补缺失值位置数据；

(2)离群点数据处理：通过基于正态分布的离群点检测方法找出无人机 飞行状态信息中的离群点数据，当在所有的无人机飞行状态信息中找出的离 群点数据数量大于2个时，放弃当前数据，返回步骤2重新采集无人机飞行 状态信息；

当离群点数据数量小于等于2个时，如果某一种飞行状态信息中的离群 点数据为中间位置数据，则取离群点数据相邻的两个数据的平均值替换离群 点数据；如果为第一个或最后一个位置数据，则采用包括离群点数据在内的 相邻的三个数据中，两两相邻的数据差相同的方法，替换离群点数据。

进一步地，步骤5中采用的滤波处理方法为三层一维卷积滤波。

进一步地，步骤6中，模型超参数包括学习率、网络层数、每层飞行时 序数据的个数、数据采集起始时刻的时间、截取飞行时序数据的时间间隔；

采用控制变量的方法分别对每一个模型超参数进行有限次试验，每次试 验从验证集中随机抽取10％数据输入引入方差的LSTM改进模型，并计算每 一次试验计算对应的损失函数值，针对同一个模型超参数的所有试验中损失 函数值最小的试验对应的模型超参数的值作为最终调优结果，对所有模型超 参数调优结束后得到的一组模型超参数对应的模型即为最终模型。

进一步地，引入方差的长短期记忆网络LSTM改进模型具体表示为：

(1)引入方差的遗忘旧信息的概率计算公式如下：

式中：W_f为权重；b_f为偏置；x_t为经过预处理和滤波处理后的t时刻的无 人机飞行状态信息；h_t-1为t-1时刻无人机飞行动作预测值；σ为激活函数；f_t为遗忘t-1时刻信息的概率，取值范围为[0,1]；n为数据总量；

优选地，本申请采用sigmoid函数作为激活函数；

(2)输入单元更新数据概率计算公式如下：

式中：i_t表示对经过预处理和滤波处理后的t时刻的无人机飞行状态信息 进行更新的概率；b_i表示输入偏置；W_i表示输入权重；

临时候选值状态向量计算公式如下：

式中：tanh为激活函数；表示t时刻临时候选值状态向量；b_c表示状态 偏置；W_c表示状态权重；

(3)候选值状态向量计算公式如下：

式中：C_t表示t时刻候选值状态向量；

(4)无人机飞行动作预测值计算公式如下：

式中：h_t表示t时刻无人机飞行动作预测值；b_o表示输出偏置；W_o表示 输出权重。

进一步地，训练引入方差的长短期记忆网络LSTM改进模型时，C_t-1和h_t-1初始值的确定：分别随机生成0-1之间的数值作为h_t-1和C_t-1的临时初始值， 选取训练集中前三组数据，分别计算三组数据对应的后取平均值作为C_t-1， 同时分别计算三组数据对应的h_t后取平均值作为h_t-1初始值。

本发明还提供了一种基于LSTM的无人机飞行动作预测系统，包括：

动作标签字典单元：用于将数值转化为动作标签；

数据采集单元：用于采集建立模型时需要的无人机飞行过程中多个时刻 对应的无人机飞行状态信息和各时刻对应的下一时刻的动作数据，并通过动 作标签字典单元将动作数据转化为动作标签；

或用于采集需要预测的当前时刻无人机的无人机飞行状态信息；

数据预处理单元：针对数据采集单元采集的每一种无人机飞行状态信息， 分别按照无人机飞行状态信息的数据值升序排列后进行预处理，包括填补缺 失值位置数据和替换离群点数据；

模型数据集形成单元：用于形成建立模型需要的数据集，针对通过数据 预处理单元进行预处理后的建立模型需要的无人机飞行状态信息，以及通过 数据采集单元采集的动作数据转化得到的动作标签，在模型数据形成单元内 对动作标签进行one-hot编码，与预处理后的无人机飞行状态信息一起形成数 据矩阵形式的数据集，其中，每一行对应同一时刻的无人机飞行状态信息和 该时刻对应的下一时刻的动作标签对应的编码，每一列对应的数据种类相同；

数据滤波处理单元：用于对形成建立模型需要的数据集以及经过数据预 处理单元预处理的需要预测的当前时刻无人机的无人机飞行状态信息进行滤 波处理；

模型训练单元：用于将模型数据形成单元形成的建立模型需要的数据集 随机取70％作为训练集，将经过滤波处理后的训练集作为输入信息，训练得 到引入方差的长短期记忆网络LSTM改进模型，模型的输出信息为无人机飞 行动作预测值；

模型超参数调优单元：用于将模型数据形成单元形成的建立模型需要的 数据集剩余的30％作为验证集，对引入方差的长短期记忆网络LSTM改进模 型的模型超参数进行调优，从而实现对模型的优化，得到最终模型；

无人机飞行动作预测结果输出单元：用于利用模型超参数调优单元得到 的最终模型，输入依次经过数据预处理单元以及数据滤波处理单元的需要预 测的当前时刻无人机的无人机飞行状态信息，得到无人机飞行动作预测值， 通过动作标签字典单元将无人机飞行动作预测值转化为动作标签，最终输出 无人机飞行动作预测结果。

较现有技术相比，本发明具有以下优点：

1、本发明提供的一种基于LSTM的无人机飞行状态预测方法，按时间间 隔采集无人机飞行过程中的数据，提取特征信息，通过对无人机飞行数据的 挖掘，有效的发现无人机飞行过程中的规律特征，并利用数据训练LSTM改 进模型对无人机飞行动作进行预测。

2、本发明提供的预测方法中采用了引入方差的长短期记忆网络LSTM改 进模型，由于无人机在飞行过程中易受到环境等因素的干扰，与传统LSTM 模型相比本发明所述改进模型增加了训练数据的方差信息，加大了数据的方 差对结果的影响，使网络的输出更稳定，对无人机飞行动作的预测有更好的 效果。

3、本发明提供的预测方法中采用了引入方差的长短期记忆网络LSTM改 进模型，能够发挥LSTM对时间序列数据的超强学习能力，从而提高无人机 执行下一步动作来保持最佳的平衡状态的概率。

综上，应用本发明的技术方案利用引入方差的长短期记忆网络LSTM改 进模型，实现对无人机飞行动作的预测。因此，本发明的技术方案解决了现 有技术中的控制模型无法根据采集到的飞行状态数据预测飞行过程中出现的 动作的技术问题的问题。

基于上述理由本发明可在无人机飞行控制技术等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述无人机飞行状态预测方法的结构框图。

图2为本发明所述改进模型结构框图。

图3为本发明所述改进模型层内部结构示意图。

图4为本发明所述改进模型层内部结构示意图。

图5为本发明所述改进模型层内部结构示意图。

图6为本发明所述改进模型层内部结构示意图。

图7为传统LSTM模型loss折线图。

图8为本发明所述改进模型loss折线图。

图9为传统LSTM模型accuracy折线图。

图10为本发明所述改进模型accuracy折线图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后 次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本 发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外， 术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含， 例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于 清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1-10所示，本发明提供了一种基于LSTM的无人机飞行动作预测方 法及系统。

实施例1

如图1所示，本发明提供了一种基于LSTM的无人机飞行动作预测方法， 包括如下步骤：

步骤1：构建用于将数值转化为动作标签的动作标签字典；

步骤2：按照相同的时间间隔，分别采集无人机飞行过程中多个时刻对 应的无人机飞行状态信息，以及各时刻对应的下一时刻的动作数据；通过动 作标签字典将动作数据转化为动作标签；

步骤3：针对采集的每一种无人机飞行状态信息，分别按照无人机飞行 状态信息的数据值升序排列后进行预处理，包括填补缺失值位置数据和替换 离群点数据；

步骤4：对动作标签进行one-hot编码，与预处理后的无人机飞行状态信 息一起形成数据矩阵形式的数据集，其中，每一行对应同一时刻的无人机飞 行状态信息和该时刻对应的下一时刻的动作标签对应的编码，每一列对应的 数据种类相同；

其中，对动作标签进行one-hot编码，将10种动作标签按顺序排列，编 码值为0或1，执行的动作编码值为1，不执行的动作编码值为0，形成10*n 的数据矩阵，其中n为采集数据的时刻数量。

步骤5：将数据集中的数据组随机划分70％作为训练集，30％作为验证集； 将经过滤波处理后的训练集作为输入信息，训练得到引入方差的长短期记忆 网络LSTM改进模型，模型的输出信息为无人机飞行动作预测值；

步骤6：利用验证集，通过有限次试验对引入方差的长短期记忆网络 LSTM改进模型的模型超参数进行调优，从而实现对模型的优化，得到最终 模型；

步骤7：采集需要预测的当前时刻无人机的无人机飞行状态信息，依次 进行预处理和滤波处理后输入最终模型，得到无人机飞行动作预测值，通过 动作标签字典将无人机飞行动作预测值转化为动作标签，得到无人机飞行动 作预测结果。

进一步地，无人机飞行状态信息包括无人机头方向、无人机头到地面的 垂直距离、无人机飞行的侧偏夹角数据、无人机相对于惯性坐标系XOY平面 的夹角数据，即俯仰夹角数据、偏航角度数据、滚转夹角数据、无人机在x、 y、z三个飞行方向的加速度数据、大气压数据、无人机发出的超声波频率数 据、无人机的x、y、z三轴飞行坐标数据和无人机速度数据；

动作数据包括无人机无人机加速度数据和无人机x、y、z三轴方位数据；

动作标签包括与速度有关的动作和与方向有关的动作；与速度有关的动 作包括悬停、低速、中速和高速，与方向有关的动作包括下降、上升、向左、 向右、向前和向后。

进一步地，步骤1中，动作标签字典包括数值对应的索引值和与索引值 对应的动作标签组合。

步骤2中，通过动作标签字典将动作数据转化为动作标签具体过程包括：

动作数据中，无人机加速度数据反映了无人机与速度有关的动作，无人 机x、y、z三轴方位数据反映了无人机与方向有关的动作；

确定某一时刻t的动作数据对应的索引值时，首先用t+1时刻动作数据与 t时刻相应的动作数据分别做差，其中，x轴方位数据、y轴方位数据和z轴 方位数据的差值大于0时，对应的动作分别是向前、向右和上升，差值小于 0时，对应的动作分别是向后、向左和下降；无人机加速度数据的差值大于0 时，对应的动作为高速，差值等于0且t时刻无人机加速度数据大于0时， 对应的动作为中速，等于0且t时刻无人机加速度数据小于0时，对应的动 作为低速，当无人机x、y、z三轴方位数据的差值均为0且t时刻无人机加 速度数据为0时，对应的动作为悬停；

通过上述过程可以确定t时刻无人机的动作是动作标签中动作的组合， 将动作标签包括的10种动作依次排列并进行编码，编码值为0或1，执行的 动作位置编码值取1，不执行的动作位置编码值取0，最终形成一组二进制数， 将二进制数换算为十进制数即为索引值，即每一个索引值对应一组动作标签 组合；如表1所示，动作标签字典中的动作标签组合方式包括79种。

表1动作标签字典

进一步地，采集无人机飞行状态信息时，通过水平传感器采集无人机头 方向和无人机头到地面的垂直距离；通过垂直传感器采集无人机飞行的侧偏 夹角数据；通过俯仰传感器采集无人机相对于惯性坐标系XOY平面的夹角数 据；通过航向传感器采集偏航角度数据；通过滚转角速度传感器采集滚转夹 角数据；

通过角速度传感器采集无人机在x、y、z三个飞行方向的加速度数据； 通过气压计、超声波传感器和GPS定位器分别采集大气压数据、无人机发出 的超声波频率数据和无人机的x、y、z三轴飞行坐标数据；以及通过惯性测 量单元采集无人机当前速度；

采集动作数据时，通过重力感应器采集的无人机加速度数据，通过地磁 感应器采集的无人机x、y、z三轴方位数据。

进一步地，步骤3中预处理过程具体包括：

(1)当某一种飞行状态信息中出现缺失值，如果为中间位置数据，则取 缺失值位置相邻的两个数据的平均值填补缺失值位置数据；如果为第一个或 最后一个位置数据，则采用包括缺失值位置数据在内的相邻的三个数据中， 两两相邻的数据差相同的方法，填补缺失值位置数据；

(2)离群点数据处理：通过基于正态分布的离群点检测方法找出无人机 飞行状态信息中的离群点数据，当在所有的无人机飞行状态信息中找出的离 群点数据数量大于2个时，放弃当前数据，返回步骤2重新采集无人机飞行 状态信息；

当离群点数据数量小于等于2个时，如果某一种飞行状态信息中的离群 点数据为中间位置数据，则取离群点数据相邻的两个数据的平均值替换离群 点数据；如果为第一个或最后一个位置数据，则采用包括离群点数据在内的 相邻的三个数据中，两两相邻的数据差相同的方法，替换离群点数据。

在本实施例中，基于正态分布的离群点检测方法具体包括：假设数据服 从正态分布，式中参数σ为标准差，μ为均值，x为数据，n为数据总量，把 数据值升序排列，用极大似然估计求σ，μ：

根据上述公式可算得σ，μ，正态分布下，因为区域μ±3σ包含99.7％ 的数据，根据数据可得出最大偏离值，偏离估计均值，如果某个数据距离分 布的均值μ超过了3σ，那么这个数据就可以被标记为一个离群点。

本申请通过对采集的飞行状态信息进行预处理，能够实现数据格式标准 化，异常数据和重复数据的清除以及错误纠正。

进一步地，步骤5中采用的滤波处理方法为三层一维卷积滤波。

本发明需要处理的飞行状态信息是离散的时序数据，选用一维卷积作为 卷积层构建适用于飞行时序数据特征提取的一维卷积网络，输入序列为x_t， t＝1，...，n，滤波器为w_t，t＝1，...，m，滤波器依次对上一层的输入特征进行 局部卷积操作，一般情况下，滤波器的长度m远小于时序长度n，卷积的输 出为：

在一维卷积层中，第p层的每一个神经元都只和第p-1层的一个局部窗 口内的神经元相连，构成一个局部连接网络，卷积层需要一个激活函数f(x) 做非线性特征映射，本发明选用收敛速度较快的修正线性单元作为激活函数： f(x)＝max(0,x)，那么第p层的第i个神经元的输入定义为：

其中，w^p∈R^m为m维的滤波器，w^p对该卷积层的所有神经元都是相同 的，bⁱ是偏置参数，i＝1，...，n。对于无人机 飞行时序数据进行三层一维卷积网络滤波操作，可自动学习数据潜在的特征。

进一步地，步骤6中，模型超参数包括学习率、网络层数、每层飞行时 序数据的个数、数据采集起始时刻的时间、截取飞行时序数据的时间间隔；

采用控制变量的方法分别对每一个模型超参数进行有限次试验，每次试 验从验证集中随机抽取10％数据输入引入方差的LSTM改进模型，并计算每 一次试验计算对应的损失函数值，针对同一个模型超参数的所有试验中损失 函数值最小的试验对应的模型超参数的值作为最终调优结果，对所有模型超 参数调优结束后得到的一组模型超参数对应的模型即为最终模型。

在本实施例中，在训练模型时，模型参数是指可以通过数据计算出来的 参数，属于模型内部的配置，比如说权重和偏置，而模型外部的配置，不能 由数据计算得到的参数叫超参数，模型超参数在估计模型参数的过程中会用 到，对模型超参数的调优就是为了确定一个最佳的模型。

优选地，本申请所采用的引入方差的LSTM改进模型对应的模型超参数 的取值为学习率为0.001、网络层数为2层、每层飞行时序数据的个数为128 个、数据采集起始时刻的时间为无人机起飞5s后开始采集、截取飞行时序数 据的时间间隔为0.1s。

本实施例采用的损失函数公式表示为：

其中为各个状态标签真实值，为各个状态标签的均值。

进一步地，由于无人机飞行过程中采集的数据是随时间变化的，因此采 用带有时间序列特性的LSTM(Long Short Term Memory)长短期记忆网络， 针对此问题更合适，本申请在传统LSTM模型的基础上进行改进，改进之后 的网络结构相比于其他的算法获得了更优的效果。

如图2-6所示，引入方差的长短期记忆网络LSTM改进模型具体表示为：

(1)引入方差的长短期记忆网络LSTM改进模型中，h_t-1为t-1时刻无 人机飞行动作预测值，h_t为t时刻无人机飞行动作预测值，把上一个时刻的输 出作为当前时刻的输入，获得当前时刻的输出，因此当前时刻的输出是与上 一时刻相关联的。

如图3所示，由于上一时刻候选值状态向量C_t-1可能与当前时刻候选值 状态向量有某种关系，因此需要通过模型将这种关系选择出来，在计算当前 时刻候选值状态向量时，有所保留的忘掉上一时刻候选值状态向量C_t-1。

引入方差的遗忘旧信息的概率计算公式如下：

式中：W_f为权重；b_f为偏置；x_t为经过预处理和滤波处理后的t时刻的无 人机飞行状态信息；h_t-1为t-1时刻无人机飞行动作预测值；σ为激活函数；f_t为遗忘t-1时刻信息的概率，取值范围为[0,1]；n为数据总量；

优选地，本申请采用sigmoid函数作为激活函数；

(2)如图4所示，输入单元更新数据概率计算公式如下：

式中：i_t表示对经过预处理和滤波处理后的t时刻的无人机飞行状态信息 进行更新的概率；b_i表示输入偏置；W_i表示输入权重；

临时候选值状态向量计算公式如下：

式中：tanh为激活函数；表示t时刻临时候选值状态向量；b_c表示状态 偏置；W_c表示状态权重；

(3)如图5所示，候选值状态向量计算公式如下：

式中：C_t表示t时刻候选值状态向量；

(4)如图6所示，无人机飞行动作预测值计算公式如下：

式中：h_t表示t时刻无人机飞行动作预测值；b_o表示输出偏置；W_o表示 输出权重。

本发明中，步骤7中计算得到的无人机飞行动作预测值h_t通过模型对应 得到索引值，进一步通过动作标签字典能够得到与之对应的动作标签组合， 即为无人机飞行动作预测结果。

进一步地，训练引入方差的长短期记忆网络LSTM改进模型时，C_t-1和h_t-1初始值的确定：分别随机生成0-1之间的数值作为h_t-1和C_t-1的临时初始值， 选取训练集中前三组数据，分别计算三组数据对应的后取平均值作为C_t-1， 同时分别计算三组数据对应的h_t后取平均值作为h_t-1初始值。

图2所示，为LSTM分类器构建的模型结构框图。模型内部将使用卷积 层，LSTM层和softmax输出层的组合来对无人机飞行动作进行分类，对输入 数据应用一系列一维卷积，然后应用LSTM层，并将所有LSTM步骤的输出 之和输入到softmax层，以在我们所知的各类飞行动作之间进行分类决策。 将数据进行打乱再进行输入，因此按随机顺序从每个类别数据中读取，将输 入数据传递给一系列的卷积层，将卷积的输出传递给一系列双向LSTM层，最后，将每个时间步的输出相加得到一个紧凑的，固定长度的输入。使用 softmax层对此输入进行分类，在对模型进行100万步训练时，可以获得约75％的精确度。

由于无人机在飞行过程中易受到环境等因素的干扰，与传统LSTM模型 相比本发明所述改进模型增加了训练数据的方差信息，加大了数据的方差对 结果的影响，使网络的输出更稳定，对无人机飞行动作的预测有更好的效果。

将本申请所述LSTM改进模型与传统LSTM模型进行对比，通过使用 tensorflow框架搭建的网络输出loss和accuracy折线图对比二者的效果，如图 7-10所示，可以看出，通过在所述LSTM改进模型中引入方差，能够使网络 的输出更稳定。

具体地，如图7所示为使用传统LSTM模型的损失函数折线图，从图中 可以看出由于采用的模型数据的波动性大导致损失值很不稳定，但如图8所 示为使用LSTM改进模型的损失函数折线图，从图中可以看出损失函数折线 稳定，效果更好；如图9所示为使用传统LSTM模型的准确率的折线图，同 样的，准确率折线图也很不稳定，使用LSTM改进模型，如图10所示，准确 率折线平滑了许多，并且准确率由传统LSTM的35％提高到60％。由此可以 看出，在模型中引入方差信息能够使网络输出更稳定，效果更好。

实施例2

本发明还提供了一种基于LSTM的无人机飞行动作预测系统，包括：

动作标签字典单元：用于将数值转化为动作标签；

数据采集单元：用于采集建立模型时需要的无人机飞行过程中多个时刻 对应的无人机飞行状态信息和各时刻对应的下一时刻的动作数据，并通过动 作标签字典单元将动作数据转化为动作标签；

或用于采集需要预测的当前时刻无人机的无人机飞行状态信息；

数据预处理单元：针对数据采集单元采集的每一种无人机飞行状态信息， 分别按照无人机飞行状态信息的数据值升序排列后进行预处理，包括填补缺 失值位置数据和替换离群点数据；

模型数据集形成单元：用于形成建立模型需要的数据集，针对通过数据 预处理单元进行预处理后的建立模型需要的无人机飞行状态信息，以及通过 数据采集单元采集的动作数据转化得到的动作标签，在模型数据形成单元内 对动作标签进行one-hot编码，与预处理后的无人机飞行状态信息一起形成数 据矩阵形式的数据集，其中，每一行对应同一时刻的无人机飞行状态信息和 该时刻对应的下一时刻的动作标签对应的编码，每一列对应的数据种类相同；

数据滤波处理单元：用于对形成建立模型需要的数据集以及经过数据预 处理单元预处理的需要预测的当前时刻无人机的无人机飞行状态信息进行滤 波处理；

模型训练单元：用于将模型数据形成单元形成的建立模型需要的数据集 随机取70％作为训练集，将经过滤波处理后的训练集作为输入信息，训练得 到引入方差的长短期记忆网络LSTM改进模型，模型的输出信息为无人机飞 行动作预测值；

模型超参数调优单元：用于将模型数据形成单元形成的建立模型需要的 数据集剩余的30％作为验证集，对引入方差的长短期记忆网络LSTM改进模 型的模型超参数进行调优，从而实现对模型的优化，得到最终模型；

无人机飞行动作预测结果输出单元：用于利用模型超参数调优单元得到 的最终模型，输入依次经过数据预处理单元以及数据滤波处理单元的需要预 测的当前时刻无人机的无人机飞行状态信息，得到无人机飞行动作预测值， 通过动作标签字典单元将无人机飞行动作预测值转化为动作标签，最终输出 无人机飞行动作预测结果。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施 例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的实施例中，应该理解到，所揭露的技术内容，可通过 其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所 述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方 式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征 可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合 或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以 是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全 部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于LSTM的无人机飞行动作预测方法，其特征在于，包括如下步骤：

步骤1：构建用于将数值转化为动作标签的动作标签字典；

步骤2：按照相同的时间间隔，分别采集无人机飞行过程中多个时刻对应的无人机飞行状态信息，以及各时刻对应的下一时刻的动作数据；通过动作标签字典将动作数据转化为动作标签；

步骤3：针对采集的每一种无人机飞行状态信息，分别按照无人机飞行状态信息的数据值升序排列后进行预处理，包括填补缺失值位置数据和替换离群点数据；

步骤4：对动作标签进行one-hot编码，与预处理后的无人机飞行状态信息一起形成数据矩阵形式的数据集，其中，每一行对应同一时刻的无人机飞行状态信息和该时刻对应的下一时刻的动作标签对应的编码，每一列对应的数据种类相同；

步骤5：将数据集中的数据组随机划分70％作为训练集，30％作为验证集；将经过滤波处理后的训练集作为输入信息，训练得到引入方差的长短期记忆网络LSTM改进模型，模型的输出信息为无人机飞行动作预测值；

步骤6：利用验证集，通过有限次试验对引入方差的长短期记忆网络LSTM改进模型的模型超参数进行调优，从而实现对模型的优化，得到最终模型；

步骤7：采集需要预测的当前时刻无人机的无人机飞行状态信息，依次进行预处理和滤波处理后输入最终模型，得到无人机飞行动作预测值，通过动作标签字典将无人机飞行动作预测值转化为动作标签，得到无人机飞行动作预测结果。

2.根据权利要求1所述的基于LSTM的无人机飞行动作预测方法，其特征在于：

无人机飞行状态信息包括无人机头方向、无人机头到地面的垂直距离、无人机飞行的侧偏夹角数据、无人机相对于惯性坐标系XOY平面的夹角数据、偏航角度数据、滚转夹角数据、无人机在x、y、z三个飞行方向的加速度数据、大气压数据、无人机发出的超声波频率数据、无人机的x、y、z三轴飞行坐标数据和无人机速度数据；

动作数据包括无人机加速度数据和无人机x、y、z三轴方位数据；

动作标签包括与速度有关的动作和与方向有关的动作；与速度有关的动作包括悬停、低速、中速和高速，与方向有关的动作包括下降、上升、向左、向右、向前和向后。

3.根据权利要求2所述的基于LSTM的无人机飞行动作预测方法，其特征在于：步骤1中，动作标签字典包括数值对应的索引值和与索引值对应的动作标签组合。

4.根据权利要求2所述的基于LSTM的无人机飞行动作预测方法，其特征在于：

采集无人机飞行状态信息时，通过水平传感器采集无人机头方向和无人机头到地面的垂直距离；通过垂直传感器采集无人机飞行的侧偏夹角数据；通过俯仰传感器采集无人机相对于惯性坐标系XOY平面的夹角数据；通过航向传感器采集偏航角度数据；通过滚转角速度传感器采集滚转夹角数据；

通过角速度传感器采集无人机在x、y、z三个飞行方向的加速度数据；通过气压计、超声波传感器和GPS定位器分别采集大气压数据、无人机发出的超声波频率数据和无人机的x、y、z三轴飞行坐标数据；以及通过惯性测量单元采集无人机当前速度；

采集动作数据时，通过重力感应器采集的无人机加速度数据，通过地磁感应器采集的无人机x、y、z三轴方位数据。

5.根据权利要求1所述的基于LSTM的无人机飞行动作预测方法，其特征在于：步骤3中预处理过程具体包括：

(1)当某一种飞行状态信息中出现缺失值，如果为中间位置数据，则取缺失值位置相邻的两个数据的平均值填补缺失值位置数据；如果为第一个或最后一个位置数据，则采用包括缺失值位置数据在内的相邻的三个数据中，两两相邻的数据差相同的方法，填补缺失值位置数据；

(2)离群点数据处理：通过基于正态分布的离群点检测方法找出无人机飞行状态信息中的离群点数据，当在所有的无人机飞行状态信息中找出的离群点数据数量大于2个时，放弃当前数据，返回步骤2重新采集无人机飞行状态信息；

当离群点数据数量小于等于2个时，如果某一种飞行状态信息中的离群点数据为中间位置数据，则取离群点数据相邻的两个数据的平均值替换离群点数据；如果为第一个或最后一个位置数据，则采用包括离群点数据在内的相邻的三个数据中，两两相邻的数据差相同的方法，替换离群点数据。

6.根据权利要求1所述的基于LSTM的无人机飞行动作预测方法，其特征在于：步骤5中采用的滤波处理方法为三层一维卷积滤波。

7.根据权利要求1所述的基于LSTM的无人机飞行动作预测方法，其特征在于：步骤6中，模型超参数包括学习率、网络层数、每层飞行时序数据的个数、数据采集起始时刻的时间、截取飞行时序数据的时间间隔；

采用控制变量的方法分别对每一个模型超参数进行有限次试验，每次试验从验证集中随机抽取10％数据输入引入方差的LSTM改进模型，并计算每一次试验计算对应的损失函数值，针对同一个模型超参数的所有试验中损失函数值最小的试验对应的模型超参数的值作为最终调优结果，对所有模型超参数调优结束后得到的一组模型超参数对应的模型即为最终模型。

8.根据权利要求1所述的基于LSTM的无人机飞行动作预测方法，其特征在于：引入方差的长短期记忆网络LSTM改进模型具体表示为：

(1)引入方差的遗忘旧信息的概率计算公式如下：

式中：W_f为权重；b_f为偏置；x_t为经过预处理和滤波处理后的t时刻的无人机飞行状态信息；h_t-1为t-1时刻无人机飞行动作预测值；σ为激活函数；f_t为遗忘t-1时刻信息的概率，取值范围为[0,1]；n为数据总量；

优选地，本申请采用sigmoid函数作为激活函数；

(2)输入单元更新数据概率计算公式如下：

式中：i_t表示对经过预处理和滤波处理后的t时刻的无人机飞行状态信息进行更新的概率；b_i表示输入偏置；W_i表示输入权重；

临时候选值状态向量计算公式如下：

式中：tanh为激活函数；表示t时刻临时候选值状态向量；b_c表示状态偏置；W_c表示状态权重；

(3)候选值状态向量计算公式如下：

式中：C_t表示t时刻候选值状态向量；

(4)无人机飞行动作预测值计算公式如下：

式中：h_t表示t时刻无人机飞行动作预测值；b_o表示输出偏置；W_o表示输出权重。

9.根据权利要求8所述的基于LSTM的无人机飞行动作预测方法，其特征在于：训练引入方差的长短期记忆网络LSTM改进模型时，C_t-1和h_t-1初始值的确定：分别随机生成0-1之间的数值作为h_t-1和C_t-1的临时初始值，选取训练集中前三组数据，分别计算三组数据对应的后取平均值作为C_t-1，同时分别计算三组数据对应的h_t后取平均值作为h_t-1初始值。

10.一种基于LSTM的无人机飞行动作预测系统，其特征在于，包括：

动作标签字典单元：用于将数值转化为动作标签；

数据采集单元：用于采集建立模型时需要的无人机飞行过程中多个时刻对应的无人机飞行状态信息和各时刻对应的下一时刻的动作数据，并通过动作标签字典单元将动作数据转化为动作标签；

或用于采集需要预测的当前时刻无人机的无人机飞行状态信息；

数据预处理单元：针对数据采集单元采集的每一种无人机飞行状态信息，分别按照无人机飞行状态信息的数据值升序排列后进行预处理，包括填补缺失值位置数据和替换离群点数据；

模型数据集形成单元：用于形成建立模型需要的数据集，针对通过数据预处理单元进行预处理后的建立模型需要的无人机飞行状态信息，以及通过数据采集单元采集的动作数据转化得到的动作标签，在模型数据形成单元内对动作标签进行one-hot编码，与预处理后的无人机飞行状态信息一起形成数据矩阵形式的数据集，其中，每一行对应同一时刻的无人机飞行状态信息和该时刻对应的下一时刻的动作标签对应的编码，每一列对应的数据种类相同；

数据滤波处理单元：用于对形成建立模型需要的数据集以及经过数据预处理单元预处理的需要预测的当前时刻无人机的无人机飞行状态信息进行滤波处理；

模型训练单元：用于将模型数据形成单元形成的建立模型需要的数据集随机取70％作为训练集，将经过滤波处理后的训练集作为输入信息，训练得到引入方差的长短期记忆网络LSTM改进模型，模型的输出信息为无人机飞行动作预测值；

模型超参数调优单元：用于将模型数据形成单元形成的建立模型需要的数据集剩余的30％作为验证集，对引入方差的长短期记忆网络LSTM改进模型的模型超参数进行调优，从而实现对模型的优化，得到最终模型；

无人机飞行动作预测结果输出单元：用于利用模型超参数调优单元得到的最终模型，输入依次经过数据预处理单元以及数据滤波处理单元的需要预测的当前时刻无人机的无人机飞行状态信息，得到无人机飞行动作预测值，通过动作标签字典单元将无人机飞行动作预测值转化为动作标签，最终输出无人机飞行动作预测结果。