CN114036640A - 飞机姿态确定系统和飞行器 - Google Patents

Abstract

本专利公开了一种飞机姿态确定系统和飞行器，属于数字图像处理领域和航空领域，所述飞机姿态确定系统适用于民用固定翼飞机，是基于视觉辅助驾驶系统的一部分，用于解决通过图像识别得到与现有传感器精度相近飞机姿态数据，且将其实际应用于真实飞行器的问题。本发明的主要技术方案为：图像采集设备，包括光学图像采集设备和红外图像采集设备，所述图像采集设备安装于飞行器上，用于从采集包含跑道关键信息的图像数据；图像处理单元，用于处理所述图像数据，进行特征检测和分割；位姿解算单元，用于根据所述图像数据确定飞行器的飞机姿态。

Description

飞机姿态确定系统和飞行器

技术领域

本发明涉及数字图像处理领域和航空领域，尤其涉及一种飞机姿态确定系统和飞行器。

背景技术

在民用航空器领域，基于机器视觉的自动起降系统已经成为未来的发展趋势。民用飞机利用机载图像识别技术，通过基于视觉的全自动飞行，可以实现了一架民用飞机的自主滑行、起飞和降落。基于机器视觉的自动起降系统可以帮助飞行员减少对飞机操作的关注，更多地关注策略决策和任务管理。在民用大飞机上应用这项技术，可以增强未来飞机运营方面的潜力，并进一步提升飞机的安全性能。

起飞和降落是固定翼飞机运行过程中飞行最关键的阶段之一，在降落过程中，飞机的姿态是必不可少的参数。在现有的民用飞机中，飞机姿态数据由多种姿态传感器进行收集。但飞机在正常条件下执行自动着陆，如果传统传感器发生故障仍可能导致灾难性的坠机。基于机器视觉的自动起降系统旨在降低上述灾难性事故发生的概率，在达到现有姿态传感器精确度的情况下，为现有的姿态传感器提供备份，或与现有姿态传感器进行数据融合，共同提高飞机的安全性能。

飞机姿态估计系统通常由采用精度高、噪声低的传感器和稳健的最优姿态估计算法组成,以获得精确的姿态估计结果,正确引导飞机飞行,保证飞行安全。但当传感器测量系统确定时,估计算法对飞机获取姿态信息的准确性就显得尤为重要,特别是当使用精度较低的基于视觉的硬件测量系统时,获取的原始数据精度比较差,姿态估计算法将更加重要。

发明内容

本发明提供一种飞机姿态确定系统和安装该系统的飞行器，所述飞机姿态确定系统适用于民用固定翼飞机，是基于视觉辅助驾驶系统的一部分，用于解决通过图像识别得到与现有传感器精度相近飞机姿态数据，且将其实际应用于真实飞行器的问题。

为了解决飞机姿态确定系统在真实飞行器中应用的问题，本发明提供一种飞机姿态确定系统，具体包括：

图像采集设备，包括光学图像采集设备和红外图像采集设备，所述图像采集设备安装于飞行器上，用于从采集包含跑道关键信息的图像数据；

图像处理单元，用于处理所述图像数据，进行特征检测和分割；

位姿解算单元，用于根据所述图像数据确定飞行器的飞机姿态；

在该飞机姿态确定系统中，位姿解算单元如何从图像数据中得到与现有传感器精度相近的飞机姿态数据，这一技术问题显得尤为重要。

基于上述总的发明构思，本发明提出一种端到端的模型，通过合适的方法对机器学习模型进行训练，可以实现直接由图像估计飞机的姿态角数据。由于在姿态角计算过程中，没有引入其他坐标系、或在模型输出的结果上进行二次计算，端到端模型保证了更高的精度和更快的计算速度，更适用于实际应用，也具备更强的鲁棒性。

基于上述总的发明构思，为了保证端到端模型的精度和鲁棒性，模型训练数据的收集和处理显得更为重要。本发明从实际工程角度，考虑基于视觉辅助驾驶系统的设计和实际应用场景，提供了两种典型的模型训练数据的收集途径——从仿真环境中收集的数据和从真实场景中采集的数据。

上述两种训练数据各有优劣，仅使用从仿真环境中收集的数据对模型进行训练，可以为模型提供大量的、低成本的训练数据，通过大量模拟仿真数据提高模型的精确度，且模拟仿真数据采集于现有成熟的工业用途的模拟飞行软件，可以采集不同气象环境下的数据，对基于视觉辅助驾驶系统的前期设计、初步验证起到了十分关键的作用。并且基于仿真数据训练得到的模型，也可经过较为简单的调整直接应用于现实的飞行器中。

而对于使用从真实飞行场景中采集的数据进行模型训练，其优点在于训练集数据来源于真实环境，以此训练出的模型对真实环境中的输入数据适应性更强，且真实飞行场景中的飞机姿态及相关数据可以直接由飞机总线中获取，由于不存在图像时间与飞机姿态及其相关数据的时间戳对齐问题，其数据收集难度更低，但显然由于需要通过多架次的真实飞行才能收集到足够的数据，其收集成本显著高于从仿真环境中采集。

为了进一步平衡训练数据的收集效率和模型最终的飞机姿态预测效果，也可以在训练时同时使用两种来源的数据。

在上述飞机姿态确定系统方案的基础上，还可以包含以下特征：

可选的，所述飞机姿态包括飞行器相对于地面的姿态和飞行器相对于特征目标的位置偏差。飞行器相对于地面的姿态包括俯仰角、航向角、滚转角等飞机姿态数据；飞行器相对于特定目标的位置偏差包括飞行器在进近过程中，飞行器与下滑道之间的水平偏差与垂直偏差；所述特定目标既包括特定的点，还包括特定的航线和特定的平面区域或空间区域。

可选的，所述位姿解算单元，包括基于深度学习的姿态预测模型；所述姿态预测模型，可以前期经过训练后直接在飞机姿态确定系统中应用，或者在飞行中自主训练。所述姿态预测模型的输入为经过预处理的图像数据，输出结果为飞机姿态数据，为端到端模型，保证了更高的精度，也具备更强的鲁棒性。

可选的，所述基于深度学习的姿态预测模型，用于确定飞行器的航向角，所述模型通过以下方法训练得到：

步骤S1，从仿真环境和/或真实环境中采集数据；所述数据包括驾驶员视角的图像数据和机载端数据；

步骤S2，对所述数据进行前处理；

步骤S3，构建神经网络，所述神经网络以图像处理单元得到的图像作为输入，以飞机姿态数据作为输出；所述神经网络包括5个卷积层和5个全连接层；所述5个卷积层中的滤波器数量分别为24、36、48、64和64。在本申请的技术方案中，滤波器数量的确定主要是根据随着网络层数的增加，按照一定的比例增加滤波器数量的方式进行设置，但根据现有滤波器数量设置原则的指导，所述5个卷积层中最后两层滤波器的数量应为60，但本申请发明人将其设置为64个时，发现该模型对飞行器航向角的预测结果更好，取得了预料不到的技术效果。

可选的，当所述步骤S1中采集的数据来源于仿真环境时，所述步骤S2中的前处理还包括对齐所述图像数据与所述机载端数据的时间戳。由于仿真环境中直接输出的机载端数据的时间间隔与图像数据的采集间隔相差较大，较难选取同一时刻的机载端数据和图像数据。为了解决上述问题，需要在数据预处理阶段进行时间戳对其操作，以达到机载端数据与图像数据时间一致的效果。

可选的，对齐所述图像数据与所述机载端数据的时间戳，具体包括：

将所述机载端数据实时输出到所述图像数据上；由于导出时无法将机载端数据与实时图像相对应，直接将机载端数据实时输出到图像上，可以保证二者处于同样的时间段。

采集所述图像数据；在仿真环境中采集包含实时机载端数据的图像，可以达到保证二者处于同一时间点的效果。

抓取所述图像数据上的所述机载端数据，得到所述图像数据对应时刻的所述机载端数据。可以达到保证二者处于同一时间点的效果。

可选的，通过光学字符识别来抓取所述图像数据上的所述机载端数据，具体包括：

当在非首位位置识别到“-”字符时，将识别结果修正为字符“.”；

当在首位识别到字符“.”字符时，将识别结果修正为字符“-”；

当在非尾位识别到空字符时，根据上述规则将识别结果修正为“-”字符或“.”字符。

由于在进行光学字符识别时，容易将字符“-”(负号)与字符“.”(小数点)的识别混淆，因此根据上述字符在机载端数据中的出现规则，对出现的异常识别结果进行修正。

可选的，当所述步骤S1中采集的数据来源于真实环境时，所述机载端数据包括由其他机载传感器收集的姿态数据、气压高度、轮速、IRS数据信息等；所述机载端数据从飞机总线获取；

本发明实施例还提供一种飞行器，所述飞行器安装上述的飞机姿态确定系统。

经过仿真实验验证，本发明实施例提供的飞机姿态确定系统在滑跑阶段对航向角数据进行预测，以飞机从起飞起始点滑跑至抬前轮速度时的S形滑跑轨迹作为测试场景，得到试验结果(参见图3)。其中，实线groundtruth是真实的机载航向角数据，model1和model2是采用本专利方法预测的航向角数据，其中model1相比于model2是在增加训练次数后得到的试验效果，在滑跑阶段，最终的平均偏差可以控制在1°以内，预测值和真实值偏差较小，证明该神经网络模型应用于所述飞机姿态确定系统中，可以具备与传统航向传感器相近的效果，飞机姿态确定系统可以从图像数据中得到与现有传感器精度相近的飞机姿态数据。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中飞机姿态确定系统构架图

图2是本发明一实施例中感兴趣区域划分示意图

图3是本发明一实施例中仿真实验验证结果图，其中实线groundtruth是真实的航向角数据，model1和model2是采用本专利方法预测的航向角数据，其中model1相比于model2是在增加训练次数后得到的效果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

在本发明提供的一实施例中，提供一种飞机姿态确定系统，所述系统包括图像采集设备、图像处理单元和位姿解算单元。本实施例以飞机姿态确定系统用于确定飞行器的航向角为例，详细说明飞机姿态确定系统的工作流程和原理，所述飞机姿态确定系统在用于确定其他飞机姿态时，如俯仰角、滚转角等，工作流程和原理与确定航向角相似，本领域普通技术人员在没有作出创造性劳动前提下，可以直接获得该实施例。

所述图像采集设备，包括光学图像采集设备和红外图像采集设备，所述图像采集设备安装于飞行器上，用于从采集包含跑道关键信息的图像数据；在本实施例中，所述图像采集设备采集的图像数据是从驾驶员视角拍摄的。所述光学图像采集设备可在晴朗天气下采集图像数据，所述红外图像采集设备可在低能见度条件下采集图像数据，上述两种图像采集设备同时工作，以应对不同的应用场景。

所述图像处理单元，用于处理所述图像数据，进行特征检测和分割，并可将所述图像采集设备的图像进行处理以适宜的形式显示在驾驶舱仪表内；所述图像处理单元对图像采集设备采集的图像数据进行预处理，使其更好的适用于位姿解算单元中的机器学习模型。

所述位姿解算单元，用于根据所述图像数据确定飞行器的飞机姿态，飞行器的飞机姿态包括相对于地面的姿态数据，如航向角、俯仰角、滚转角等；在本实施例中，所述位姿解算单元包含基于深度学习的姿态预测模型，用于根据图像数据预测飞机的航向角数据。

在位姿解算单元中的基于深度学习的姿态预测模型，是使用以下方法训练得到的：

步骤S1，从仿真环境中采集数据；所述数据包括驾驶员视角的图像数据和机载端数据；为了实现数据的多样性，在不同的模拟天气，包括晴好、多云、低能见度及暴风雨等，以及早中晚三个不同时刻下，从距离跑道入口3海里的位置处进行模拟的进近着陆，共21次飞行，以20的帧率收集了4162张图像。然后获取这些图像数据对应的机载数据。所述机载数据是由专业模拟飞行软件输出的俯仰角、偏航角、航向角(真航向)、航向角(磁航向)、GPS经纬度信息、高度信息(绝对高度)、高度信息(相对高度)等信息。

由于专业模拟飞行软件输出的机载数据的时间点无法与所述图像数据的时间点做到一一对应，因为需要对齐所述图像数据与所述机载端数据的时间戳，形成包含图像数据及与其对应时刻的机载数据的数据集。总体而言，对齐时间戳的操作可概述为：将机载数据实时输出到图像数据上，这样通过对图像数据进行关键字对应来抓取对应时刻的机载数据。

所述抓取是通过光学字符识别进行的，由于机载数据中存在“-”字符(负号)，“.”字符(小数点)，由于光学字符识别可能将二者的识别结果混淆或未能成功识别(即识别为空字符)，因此需要根据机载数据的特殊属性设计一套修正规则，具体包括：

1、当在非首位位置识别到“-”字符时，将识别结果修正为字符“.”；由于在上述各类机载数据中，“-”字符表示负号，其总是会出现在数据的首位，而当其出现在非首位时，必然是将“.”误识别为“-”，因此予以修正；

2、当在首位识别到字符“.”字符时，将识别结果修正为字符“-”；由于在上述各类机载数据中，“.”字符表示小数点，其永远不会出现在数据的首位，而当其出现在首位时，必然是将“-”误识别为“.”，因此予以修正；

3、当在非尾位识别到空字符时，根据上述规则将识别结果修正为“-”字符或“.”字符。由于“-”字符和“.”字符在光学图像上体积较小，很有可能没有成功将其识别为字符，而造成该位置为空字符(空格)，因此需要根据空字符出现的位置，对其进行修正。由于发成上述误判仅会出现在数据首位和数据中位，不可能出现在数据的末尾，因此仅在非尾位识别到空字符的时候，使用本条修正规则。对于空字符应当修正为“-”字符还是修正为“.”字符，应当根据空字符的位置进行进一步判断，其判断规则与上述第1、2条规则一致，即当空字符出现为首位时，将其修正为“-”，当空字符出现在字符中时，将其修正为“.”。

从图像中识别出对应时刻的记载数据后，形成初始数据集，进入下一步操作。

步骤S2，对所述数据进行前处理。具体包括：划分数据集、对图像进行下采样操作、扩增数据集、划分感兴趣区域、数据归一化、数据重组等。

其中，划分数据集包括：将上一步构建的初始数据集分为三个子数据集，按照0.8、0.1和0.1的比例划分为训练集，验证集和测试集。

下采样包括：为了降低计算成本，将图像分辨率下采样至66*200*3。

扩增数据集包括：将图像进行水平翻转，同时将对应的机载航向角数据更改符号，从而将数据集扩增一倍，最终得到8324个标记数据。

划分感兴趣区域：为了防止神经网络模型学习环境中的无关特征，在原始图像上定义了感兴趣区域，如图所示。所述感兴趣区域为可以观察到最全、最丰富的跑道信息的区域，比如至少要清晰观察到跑道边界、跑道中线。

数据归一化：将所有图像数据除以255从而将数据规范化到[0,1]之间。

数据重组：为了消除数据集的时间序列相关性，将标签数据进行重组以提高适应性和泛化性能。

步骤S3，构建神经网络，所述神经网络以图像处理单元得到的图像作为输入，以飞行姿态数据作为输出；所述神经网络包括5个卷积层和5个全连接层；所述5个卷积层中的滤波器数量分别为24、36、48、64和64。

神经网络的具体构架包括：

所述神经网络以大小为66*200*3的图像作为输入，它包括5个卷积层和5个全连接层。卷积层的前3层的内核大小为5，步幅为2。后面的卷积层的内核大小为3，步幅为1。卷积层中的滤波器数量分别为24、36、48、64和64。此外，在前3个卷积层之后，添加大小为3的平均池化。在最后一个卷积层之后将网络的输出转成向量以作为全连接层的输入。全连接层分别具有1152、100、50、10和1个神经元。对于除最后一层以外的所有层，均使用ReLU函数作为激活函数。

实施例2

实施例2在飞机姿态确定系统构架和组成上与实施例1相同，区别在于，对于所述位姿解算单元中基于深度学习的姿态预测模型的训练方法不同。实施例2在训练时使用自真实环境中采集的数据，所述模型在训练前的数据采集过程如下：

从真实环境中采集数据：所述数据包括驾驶员视角的图像数据和机载端数据；为了实现数据的多样性，在不同的天气，包括晴好、多云、低能见度及暴风雨等，以及早中晚三个不同时刻下，从距离跑道入口3海里的位置处采集飞机进近着陆的视频图像。然后自飞机总线中获取这些图像数据对应的机载数据。所述机载数据是由飞机中现在的传感器识别并输出的俯仰角、偏航角、航向角(真航向)、航向角(磁航向)、GPS经纬度信息、高度信息(绝对高度)、高度信息(相对高度)等飞机姿态信息，同时为了保证训练的精度，还采集了气压高度、轮速、IRS数据信息等。

实施例3

实施例3在飞机姿态确定系统构架和组成上与实施例1相同，区别在于，对于所述位姿解算单元中基于深度学习的姿态预测模型的训练方法不同。实施例3在训练时使用飞机在起飞过程中高速滑跑的图像数据作为训练数据，目的在于使所述基于深度学习的姿态预测模型适用于起飞滑跑阶段的航向确定，所述模型在训练前的数据采集过程如下：

所述数据包括驾驶员视角的图像数据和机载端数据；为了实现数据的多样性，在不同的模拟天气，包括晴好、多云、低能见度及暴风雨等，以及早中晚三个不同时刻下，从跑道起飞点位置进行模拟的高速滑行，直至飞机抬前轮为止，以每秒20帧的帧率收集了若干张图像。

经过仿真实验验证，本发明实施例3提供的飞机姿态确定系统在滑跑阶段对航向角数据进行预测，以飞机从起飞起始点滑跑至抬前轮速度时的S形滑跑轨迹作为测试场景，得到试验结果(参见图3)。其中，实线groundtruth是真实的机载航向角数据，model1和model2是采用本专利方法预测的航向角数据，其中model1相比于model2是在增加训练次数后得到的试验效果，在滑跑阶段，最终的平均偏差可以控制在1°以内，预测值和真实值偏差较小，证明该神经网络模型应用于所述飞机姿态确定系统中，可以具备与传统航向传感器相近的效果，飞机姿态确定系统可以从图像数据中得到与现有传感器精度相近的飞机姿态数据。

实施例4

实施例4在飞机姿态确定系统构架和组成上与实施例3相同，区别在于，对于所述位姿解算单元中基于深度学习的姿态预测模型的训练方法不同。实施例4在训练时使用自真实环境中采集的数据。

此外，本发明提供的一个实施例还包括安装了上述飞机姿态确定系统的飞行器，特别包括固定翼飞机。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种飞机姿态确定系统，其特征在于，包括：

图像采集设备，包括光学图像采集设备和红外图像采集设备，所述图像采集设备安装于飞行器上，用于从采集包含跑道关键信息的图像数据；

图像处理单元，用于处理所述图像数据，进行特征检测和分割；

位姿解算单元，用于根据所述图像数据确定飞行器的飞行姿态；所述飞行姿态包括飞行器的俯仰角和/或航向角和/或滚转角。

2.根据权利要求1所述的飞机姿态确定系统，其特征在于，所述位姿解算单元，包括基于机器学习的姿态预测模型。

3.根据权利要求2所述的飞机姿态确定系统，其特征在于，所述基于机器学习的姿态预测模型通过以下方法训练得到：

步骤S1，从仿真环境和/或真实环境中采集数据；所述数据包括驾驶员视角的图像数据和机载端数据；

步骤S2，对所述数据进行前处理；

步骤S3，构建神经网络，所述神经网络以图像处理单元得到的图像作为输入，以飞行姿态数据作为输出；所述神经网络包括5个卷积层和5个全连接层；所述5个卷积层中的滤波器数量分别为24、36、48、64和64。

4.根据权利要求3所述的飞机姿态确定系统，其特征在于，当所述步骤S1中采集的数据来源于仿真环境时，所述步骤S1还包括对齐所述图像数据与所述机载端数据的时间戳。

5.根据权利要求4所述的飞机姿态确定系统，其特征在于，对齐所述图像数据与所述机载端数据的时间戳，具体包括：

将所述机载端数据实时输出到所述图像数据上；

采集所述图像数据；

抓取所述图像数据上的所述机载端数据，得到所述图像数据对应时刻的所述机载端数据。

6.根据权利要求5所述的飞机姿态确定系统，其特征在于，通过光学字符识别来抓取所述图像数据上的所述机载端数据，具体包括：

当在非首位位置识别到“-”字符时，将识别结果修正为字符“.”；

当在首位识别到字符“.”字符时，将识别结果修正为字符“-”；

当在非尾位识别到空字符时，根据其出现的位置将识别结果修正为“-”字符或“.”字符。

7.根据权利要求3所述的飞机姿态确定系统，其特征在于，当所述步骤S1中采集的数据来源于真实环境时，所述机载端数据包括由其他机载传感器收集的姿态数据、气压高度、轮速、IRS数据信息；所述机载端数据从飞机总线获取。

8.根据权利要求3所述的飞机姿态确定系统，其特征在于，所述对所述数据进行前处理包括：对图像进行翻转操作，并，变更所述机载端数据的符号，进而扩增数据集。

9.一种飞行器，其特征在于，安装如权利要求1所述的飞机姿态确定系统。

Images