CN117806336A - 基于二维和三维标识的飞机自动泊位方法、系统及设备 - Google Patents

Abstract

本发明属于自动控制领域，具体涉及了一种基于二维和三维标识的飞机自动泊位方法、系统及设备，旨在解决依靠人工指引进行停机泊位效率低且精度不足的问题。本发明包括：预先设置二维辅助标识和三维辅助标识；基于二维辅助标识图像序列和三维辅助标识点云数据，分别提取时间特征和空间特征，并分别进行特征融合；将所述融合时间特征和融合空间特征再次进行融合获得时空融合特征；通过分类算法获取当前飞机与目标停机位的典型相对位姿；基于所述典型相对位姿，获取泊位操作序列。本发明通过设置辅助标识的方式进行精确泊位，相较于现有的通过人工方法或磁航向角方法对泊位进行调整，计算量更小，对传感器的精度要求更低。

Description

基于二维和三维标识的飞机自动泊位方法、系统及设备

技术领域

本发明属于自动控制领域，具体涉及了一种基于二维和三维标识的飞机自动泊位方法、系统及设备。

背景技术

现在飞机的泊位基本上还需要多个地面人员的协助来进行，同步性、准确性较低，并且存在较大的偏差，在雾霾、雨雪等能见度差的天气环境下，完全依靠人工指引很难实现高效准确的泊位，且指引人员也会因为主观因素的及人力因素的影响在指引上产生偏差。

为了保障航班安全抵达目的地，并高效实现飞机泊位，一些机场配置了飞机泊位自动引导系统，通过飞机泊位自动引导系统为飞机在停机坪安全、高效停泊提供准确和规范的引导，指引飞行员以最优程序停泊飞机。

发明内容

为了解决现有技术中的上述问题，即依靠人工指引进行停机泊位效率低且精度不足的问题，本发明提供了一种基于二维和三维标识的飞机自动泊位方法，所述方法包括：

步骤S100，预先设置二维辅助标识和三维辅助标识；

步骤S200，实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；；

步骤S300，基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

步骤S400，基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

步骤S500，将所述融合时间特征和融合空间特征进行融合获得时空融合特征；

步骤S600，基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；

步骤S700，基于所述典型相对位姿，获取泊位操作序列。

在一些优选的实施方式中，所述二维辅助标识，为绘制于地面的，具有方向指向的图案。

在一些优选的实施方式中，所述步骤S300，具体包括：

基于所述二维辅助标识图像序列，通过光流法获取停机位图像序列中的二维辅助标识的位置变换轨迹和位置变换速度，将位置变换轨迹和位置变换速度转化为二维图像时间特征；

基于所述二维辅助标识图像序列，通过特征点提取算法获取各二维辅助标识的边缘特征、纹理特征和颜色特征，将所述边缘特征、纹理特征和颜色特征记为二维图像空间特征；

基于所述三维辅助标识点云数据，记录时间轴上的三维辅助标识点云的演变趋势和三维辅助标识点云的演变速度，记为三维点云时间特征；

基于所述三维辅助标识点云数据，提取点云的密度和点的分布规律作为三维点云空间特征。

在一些优选的实施方式中，所述步骤S400，具体包括：

通过第一长短时记忆网络对二维图像时间特征进行特征提取，获得第一时间特征序列；通过第二长短时记忆网络对三维点云时间特征进行特征提取，获得第二时间特征序列；

将第一时间特征序列和第二时间特征序列通过全连接层映射到设定的时间特征空间，在时间特征空间进行拼接获得融合时间特征；

通过第一卷积神经网络对二维图像空间特征进行进一步特征提取，获得第一空间特征集；通过第二卷积神经网络对三维点云空间特征进行进一步特征提取，获得第二空间特征集；

将第一空间特征集和第二空间特征集通过多个卷积层和池化层映射到设定的空间特征空间，在空间特征空间进行拼接获得融合空间特征。

在一些优选的实施方式中，所述典型相对位姿，为预先设定的包含了飞机与二维辅助标识相对位姿、飞机与三维辅助标识相对位置信息的典型相对位姿。

在一些优选的实施方式中，所述典型相对位姿，包括完美泊位的典型相对位姿。

在一些优选的实施方式中，所述步骤S700，具体为基于所述典型相对位姿，结合飞机的速度、加速度和角加速度估计自然停驻位置，根据自然停驻位置与完美泊位的位置生成泊位操作序列。

本发明的另一方面，提出了一种基于二维和三维标识的飞机自动泊位系统，所述系统包括：

预先设置二维辅助标识和三维辅助标识；

环境获取模块，配置为实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；

特征提取模块，配置为基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

第一特征融合模块，配置为基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

第二特征融合模块，配置为将所述融合时间特征和融合空间特征进行融合获得时空融合特征；

位姿分析模块，配置为基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；

自动泊位模块，配置为基于所述典型相对位姿，获取泊位操作序列。

本发明的第三方面，提出了一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于二维和三维标识的飞机自动泊位方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于二维和三维标识的飞机自动泊位方法法。

本发明的有益效果：

(1)本发明通过设置辅助标识的方式进行精确泊位，相较于现有的通过人工方法或磁航向角方法对泊位进行调整，计算量更小，对传感器的精度要求更低，效率更高，满足了自动泊位的实时性要求。

(2)本发明仅通过分类的方式获取准确的相对位姿，相较于现有技术的需要将多维的环境信息进行分析才能确定位姿的方式，受天气、光照和时间等因素干扰小，且计算量小，能够确保实时生成最佳的泊位操作序列辅助飞行员完成泊位。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明实施例中基于二维和三维标识的飞机自动泊位方法的流程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了更清晰地对本发明基于二维和三维标识的飞机自动泊位方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。

本发明第一实施例的基于二维和三维标识的飞机自动泊位方法，包括步骤S100-步骤S700，各步骤详细描述如下：

本发明针对现有技术中完全依靠人员指引，对不同天气、光照、时间影响下存在误差和泊位效率不高，自动化程度低、实时性差的问题，本发明提出一种基于二维和三维标识的飞机自动泊位方法，通过设置雷达+图像采集装置，获取设定角度、位置的二维地面标识和三维指示标识的图像数据和点云数据，并将两种模态的数据进行融合，获取当前飞机相对于目标停机位的相对位姿，根据相对位姿以完美泊位时的典型相对位姿为趋势生成泊位操作序列，能够在无需地面工作人员协作的情况下，快速、准确、自动的完成飞机泊位。

飞机自动泊位与机动车不同，机动车由于其重量较轻和驱动的特性，在泊位静止后，若发现未标准进入车位，可通过再次前进倒退等方式进行微调，甚至可以驶出车位重新进入以使机动车准确停泊。而飞机由于其重量较高和驾驶灵活性不足的限制，每次移动受到惯性影响较大，难以进行反复的微调，需要在完成静止前预先对制动、方向的控制进行干预，以利用惯性完成泊位。

步骤S100，预先设置二维辅助标识和三维辅助标识；

在一些优选的实施方式中，所述二维辅助标识，为绘制于地面的，具有方向指向的图案。二维辅助标识绘制于各个跑道和各个停机位上。

步骤S200，实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；

本方案设定的雷达系统和图像采集设备为每一种机型均设置为相同的位置相同的角度，以确保同种机型在同一位姿下采集到的辅助标识的数据完全相同。且确保飞机的雷达和摄像装置的视域能时刻存在二维辅助标识和三维辅助标识以便在机场中时刻保持定位精确。每个二维辅助标识和三维辅助标识均与停机位相匹配。由于仅依靠二维数据不能准确识别飞机周围各个检测对象的距离和角度，所以需要采用雷达传感器通过反射回来的信号识别三维辅助标识，进而生成点云数据，实现测量周围物体的形状和轮廓和三维辅助标识的相对位置和距离。

所述图像采集设备包括广角摄像头、夜视红外摄像头进行辅助标识和停机位附近障碍物的探测。

步骤S300，基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

在本实施例中，所述步骤S300，具体包括：

基于所述二维辅助标识图像序列，通过光流法获取停机位图像序列中的二维辅助标识的位置变换轨迹和位置变换速度，将位置变换轨迹和位置变换速度转化为二维图像时间特征；

基于所述二维辅助标识图像序列，通过特征点提取算法获取各二维辅助标识的边缘特征、纹理特征和颜色特征，将所述边缘特征、纹理特征和颜色特征记为二维图像空间特征；

基于所述三维辅助标识点云数据，记录时间轴上的三维辅助标识点云的演变趋势和三维辅助标识点云的演变速度，记为三维点云时间特征；

基于所述三维辅助标识点云数据，提取点云的密度和点的分布规律作为三维点云空间特征。

为了充分利用二维辅助标识和三维辅助标识，即二维图像数据和三维点云数据的时间和空间特征，需要将所有的时间和空间特征进行融合，以提高综合性和准确性。

步骤S400，基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

在一些优选的实施方式中，所述步骤S400，具体包括：

通过第一长短时记忆网络对二维图像时间特征进行特征提取，获得第一时间特征序列；通过第二长短时记忆网络对三维点云时间特征进行特征提取，获得第二时间特征序列；

在本实施例中，通过长短时记忆网络(LSTM)模型对图像时间特征在时间维度上建模，将每个时间步的特征进行处理得到一个时间序列特征表示即第一时间特征序列；第一时间特征序列用来确立相邻帧的时间关系。

将第一时间特征序列和第二时间特征序列通过全连接层映射到设定的时间特征空间，在时间特征空间进行拼接获得融合时间特征；

第一时间特征序列和第二时间特征序列在设定的维度即时间特征空间通过拼接或加权平均的方式进行融合。

通过第一卷积神经网络对二维图像空间特征进行进一步特征提取，获得第一空间特征集；通过第二卷积神经网络对三维点云空间特征进行进一步特征提取，获得第二空间特征集；

将第一空间特征集和第二空间特征集通过多个卷积层和池化层映射到设定的空间特征空间，在空间特征空间进行拼接获得融合空间特征。

步骤S500，将所述融合时间特征和融合空间特征进行融合获得时空融合特征；本步骤中通过全连接层、卷积层和softmax函数映射到最终的输出空间用于分类。这些再融合特征可能包括点云和图像数据的时间特征、空间特征、尺寸特征等。

步骤S600，基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；在本实施例中可利用向量机分类算法对这些再融合特征进行分类，以识别泊位的二维和三维标识的距离、位置、大小和内容。

在本实施例中，所述典型相对位姿，为预先设定的包含了飞机与二维辅助标识相对位姿、飞机与三维辅助标识相对位置信息的典型相对位姿。所述典型相对位姿，包括完美泊位的典型相对位姿。

由于驾驶员通常是具备基本的驾驶能力，进行泊位时即使位姿与理想状态存在些许偏差，偏差的种类、程度的数量均可以预先设置。在此基础上，如果将每一时刻的飞机的传感器信息如磁航向角、经纬度等信息，或者通过卫星定位来确定飞机和停机位的位置，对传感器精度要求较高，计算负荷也更大。而通过设置辅助标识的方式进行相对位姿相对距离的确定，只需要进行特征提取、融合和分类的过程即可得出准确的信息。最终以实现完美泊位的典型相对位姿为趋势产生路径，即最终要求获得的二维辅助标识的图像和三维辅助标识的点云均为预先设定的标准状态。

步骤S700，基于所述典型相对位姿，获取泊位操作序列。

所述步骤S700，具体为基于所述典型相对位姿，结合飞机的速度、加速度和角加速度估计自然停驻位置，根据自然停驻位置与完美泊位的位置生成泊位操作序列。

具体的操作序列可通过搜索操作序列与二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征的共同变化关系，对比当前时刻的典型相对位姿和完美泊位的典型相对位姿进行反推获得。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例公开将所述飞机自动泊位方法应用于全动模拟机的应用，具体为：

在全动模拟机中还原机场模型和飞机视角图像；

在所述机场模型中设置标准的二维辅助标识模型和标准的三维辅助标识模型；

为模拟飞机设置虚拟激光雷达和虚拟摄像头；

要求飞行员进行模拟泊位任务，并实时回传虚拟激光雷达和虚拟摄像头的数据；

通过如步骤S300至步骤S700所述方法，获取泊位操作序列。

在本实施例中，所述泊位操作序列，可用于指导飞行员完成泊位任务或通过泊位操作序列与泊位任务过程中的典型相对位姿对飞行员的训练进行评价。

本发明第三实施例的基于二维和三维标识的飞机自动泊位系统，所述系统包括：

环境获取模块，配置为实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；

特征提取模块，配置为基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

第一特征融合模块，配置为基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

第二特征融合模块，配置为将所述融合时间特征和融合空间特征进行融合获得时空融合特征；

位姿分析模块，配置为基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；

自动泊位模块，配置为基于所述典型相对位姿，获取泊位操作序列。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于二维和三维标识的飞机自动泊位系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第四实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于二维和三维标识的飞机自动泊位方法。

本发明第五实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于二维和三维标识的飞机自动泊位方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于二维和三维标识的飞机自动泊位方法，其特征在于，所述方法包括：

步骤S100，预先设置二维辅助标识和三维辅助标识；

步骤S200，实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；

步骤S300，基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

步骤S400，基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

步骤S500，将所述融合时间特征和融合空间特征进行融合获得时空融合特征；

步骤S600，基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；

步骤S700，基于所述典型相对位姿，获取泊位操作序列。

2.根据权利要求1所述的基于二维和三维标识的飞机自动泊位方法，其特征在于，所述二维辅助标识，为绘制于地面的，具有方向指向的图案。

3.根据权利要求1所述的基于二维和三维标识的飞机自动泊位方法，其特征在于，所述步骤S300，具体包括：

基于所述二维辅助标识图像序列，通过光流法获取停机位图像序列中的二维辅助标识的位置变换轨迹和位置变换速度，将位置变换轨迹和位置变换速度转化为二维图像时间特征；

基于所述二维辅助标识图像序列，通过特征点提取算法获取各二维辅助标识的边缘特征、纹理特征和颜色特征，将所述边缘特征、纹理特征和颜色特征记为二维图像空间特征；

基于所述三维辅助标识点云数据，记录时间轴上的三维辅助标识点云的演变趋势和三维辅助标识点云的演变速度，记为三维点云时间特征；

基于所述三维辅助标识点云数据，提取点云的密度和点的分布规律作为三维点云空间特征。

4.根据权利要求1所述的基于二维和三维标识的飞机自动泊位方法，其特征在于，所述步骤S400，具体包括：

通过第一长短时记忆网络对二维图像时间特征进行特征提取，获得第一时间特征序列；通过第二长短时记忆网络对三维点云时间特征进行特征提取，获得第二时间特征序列；

将第一时间特征序列和第二时间特征序列通过全连接层映射到设定的时间特征空间，在时间特征空间进行拼接获得融合时间特征；

通过第一卷积神经网络对二维图像空间特征进行进一步特征提取，获得第一空间特征集；通过第二卷积神经网络对三维点云空间特征进行进一步特征提取，获得第二空间特征集；

将第一空间特征集和第二空间特征集通过多个卷积层和池化层映射到设定的空间特征空间，在空间特征空间进行拼接获得融合空间特征。

5.根据权利要求1所述的基于二维和三维标识的飞机自动泊位方法，其特征在于，所述典型相对位姿，为预先设定的包含了飞机与二维辅助标识相对位姿、飞机与三维辅助标识相对位置信息的典型相对位姿。

6.根据权利要求1所述的基于二维和三维标识的飞机自动泊位方法，其特征在于，所述典型相对位姿，包括完美泊位的典型相对位姿。

7.根据权利要求1所述的基于二维和三维标识的飞机自动泊位方法，其特征在于，所述步骤S700，具体为基于所述典型相对位姿，结合飞机的速度、加速度和角加速度估计自然停驻位置，根据自然停驻位置与完美泊位的位置生成泊位操作序列。

8.一种基于二维和三维标识的飞机自动泊位系统，其特征在于，所述系统包括：

预先设置二维辅助标识和三维辅助标识；

环境获取模块，配置为实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；

特征提取模块，配置为基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

第一特征融合模块，配置为基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

第二特征融合模块，配置为将所述融合时间特征和融合空间特征进行融合获得时空融合特征；

位姿分析模块，配置为基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；

自动泊位模块，配置为基于所述典型相对位姿，获取泊位操作序列。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-7任一项所述的基于二维和三维标识的飞机自动泊位方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-7任一项所述的基于二维和三维标识的飞机自动泊位方法。